автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.05, диссертация на тему:Многофункциональное оптико-электронное устройство распознавания дорожной информации

40ЧЭ1"—

На правах рукописи

Прилуцкий Сергей Викторович

МНОГОФУНКЦИОНАЛЬНОЕ ОПТИКО-ЭЛЕКТРОННОЕ УСТРОЙСТВО РАСПОЗНАВАНИЯ ДОРОЖНОЙ ИНФОРМАЦИИ

Специальность: 05.13.05 - Элементы и устройства вычислительной техники и систем управления

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Курск-2011

9 НЮН 2011

4849426

Работа выполнена в ГОУ ВПО «Юго-Западный государственный университет» на кафедре «Вычислительная техника» в совместной научно-исследовательской лаборатории Центра информационных технологий в проектировании РАН и Юго-Западного государственного университета «Информационные распознающие телекоммуникационные интеллектуальные системы».

Научный руководитель: доктор технических наук, профессор

заслуженный деятель науки РФ Титов Виталий Семенович

Официальные оппоненты: доктор технических наук, профессор

Ильин Анатолий Александрович

кандидат технических наук Векленко Юрий Алексеевич

Ведущая организация: ФГБОУ ВПО "Рязанский государственный

радиотехнический университет"

Защита состоится «_Х_» июля 2011 г. в 14.00 на заседании совета по защит докторских и кандидатских диссертаций Д 212.105.02 при ГОУ ВПО Юго Западный государственный университет по адресу: 305040, Курск, ул. 50 ле Октября, 94.

С диссертацией можно ознакомиться в библиотеке Юго-Западного государственного университета.

Автореферат разослан « 28 » мая 2011 г.

Отзывы на автореферат в двух экземплярах, заверенные печатью, просим направлять по адресу: 305040, Курск, ул. 50 лет Октября, 94, ЮЗГУ, ученому секретарю диссертационного совета по защите докторских и кандидатских диссертаций Д 212.105.02.

Ученый секретарь совета по защите докторских и кандидатских диссертаций Д 212.105.02, доктор технических наук, профессор

И.В.Зотов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Рост интереса к использованию оптико-электронных устройств обработки и распознавания изображений, входящих в состав систем управления различного назначения, обусловлен рядом причин, к основным из которых относятся высокая информативность получаемой по изображению информации и доступность оптико-электронных устройств для массового потребителя. Не исключением являются системы управления транспортными средствами на основе информации о дорожной обстановке, получаемой посредством преобразования изображений от установленных на транспортном средстве оптико-электронных датчиков.

К настоящему времени разработан ряд методов обработки и распознавания изображений о дорожной обстановке, серийно производится значительное число бортовых автомобильных оптико-электронных устройств, обеспечивающих обнаружение препятствий на пути движения транспортного средства, предупреждение столкновений, предотвращение засыпания водителя.

Анализ показывает, что среди созданных подходов основное внимание уделено методам и устройствам предотвращения засыпания водителя и обнаружения препятствий. При этом недостаточное внимание уделяется созданию устройств анализа действий пешеходов, а также обнаружению потенциально опасных объектов: в частности, общественного транспорта на остановке, грузовых автомобилей.

Известно, что основными причинами дорожно-транспортных происшествий являются несоблюдение водителем скоростного режима, несвоевременное обнаружение предупреждающей информации, несоблюдение правил дорожного движения пешеходами, например, переход дороги в неположенном месте, выбегание из-за общественного транспорта. Сокращение числа происшествий с участием пешеходов возможно за счет создания устройств их своевременного обнаружения посредством преобразования визуальной информации.

Анализ известных методов и средств распознавания выявил недостаточную для практической реализации проработку оптико-электронных устройств, обеспечивающих своевременное распознавание символьной информации. В частности, не решена задача распознавания информации на дорожном знаке в условиях сложного освещения, ограниченных вычислительных ресурсов вычислительного устройства. Анализ также показал, что методы и устройства обнаружения пешеходов около проезжей части отсутствуют, известны лишь устройства обнаружения человека непосредственно перед автомобилем.

Информатизация современного общества обуславливает наличие множества информационных табло. Водитель не всегда успевает получить информацию об указателях улиц, опасных участках трассы вследствие

насыщенности информационных табло символьной информацией различного рода. В этой связи, целесообразным является автоматическое распознавание размещенной на табло символьной информации и отображение ее на бортовом дисплее или звуковым сообщением. При этом обработка информации в реальном времени накладывает дополнительные требований на устройство распознавания информации о дорожной обстановке.

Таким образом, к настоящему времени объективно сложилось противоречие между необходимостью повышения безопасности дорожного движения и ограниченными возможностями методов и автоматических устройств соответствующего назначения.

В этой связи актуальной научно-технической задачей является разработка оптико-электронных устройств информирования водителя транспортного средства о потенциально опасных объектах по направлению движения и обеспечивающих автоматическое считывание символьной информации с информационных табло.

Диссертационная работа выполнена в рамках Федеральной Целевой Программы «Научные и научно-педагогические кадры инновационной России» по проекту НК-425П-59 «Создание интеллектуальной оптико-электронной системы для очувствления и управления транспортным роботом» и госбюджетной НИР 1.1.05 "Исследование теоретических основ, методов и алгоритмов повышения качества обработки изображений в системе технического зрения" (№ гос. регистрации 01200508819, 2005 г.) выполняемым в Юго-Западном государственном университете.

Целью работы является разработка метода, алгоритмов и многофункционального оптико-электронного устройства распознавания дорожной информации с повышенной дальностью, обеспечивающего своевременное информирование водителя о потенциально опасных объектах.

В соответствии с поставленной целью научно-техническая задача диссертационной работы декомпозирована на следующие основные задачи:

1. Анализ возможностей существующих методов и устройств предупреждения дорожных происшествий, изыскание путей и обоснование необходимости построения многофункционального оптико-электронного устройства распознавания дорожной ситуации, извлечения символьной информации из информационных табло и предотвращения происшествий с участием пешеходов.

2. Разработка математической модели многофункционального оптико-электронного устройства распознавания дорожной информации.

3. Разработка метода и аппаратно-ориентированных алгоритмов извлечения информации о дорожной обстановке.

4. Разработка структурно-функциональной организации многофункционального оптико-электронного устройства распознавания дорожной информации и проведение экспериментальных исследований.

Методы исследования. Для решения поставленных в работе задач использовались методы распознавания образов, теория проектирования устройств ЭВМ, методы обработки и анализа растровых изображений, статистической обработки результатов измерений.

Новыми научными результатами и положениями, выносимыми на защиту, являются:

1) Математическая модель обработки изображений в многофункциональном оптико-электронном устройстве, отличительной особенностью которой является комплексный анализ дорожной обстановки и символьной информации в реальном масштабе времени в условиях ограничений на вычислительную мощность оптико-электронного устройства распознавания дорожной информации;

2) Метод извлечения символьной информации из изображений информационных табло, характеризующийся возможностью распознавания малоразмерных символов, включающий этапы обнаружения информационного табло, определения его типа, распознавания символьной информации, обеспечивающий большую дальность получения информации;

3) Аппаратно-ориентированные алгоритмы обнаружения транспортных средств типа «общественный транспорт», «грузовой транспорт» и людей, находящихся вблизи проезжей части, позволяющие своевременно оповестить водителя о необходимости повышения внимания;

4) Структурно-функциональная организация многофункционального оптико-электронного устройства распознавания дорожной информации, отличительная новизна которой заключается во введении модулей обнаружения людей, общественного транспорта, информационных табло и связей между ними, позволяющая реализовать устройство с использованием программируемых логических интегральных схем, реконфигурируемых под решение задач повышения безопасности управления транспортным средством.

Объект исследований - средства автоматизации управления наземным транспортным средством.

Предмет исследований - процессы обработки изображений в вычислительном устройстве анализа внешней по отношению к транспортному средству визуальной обстановке.

Практическая ценность работы состоит в следующем:

- структурно-функциональная организация многофункционального ОЭУ РДИ обеспечивает возможность его реализации как в виде специализированного вычислительного устройства повышенной вибрационной стойкости и надежности, так и на базе мобильной ПЭВМ, что позволяет варьировать такие показатели как стоимость, надежность, функциональность;

- разработанное аппаратно-программное обеспечение автоматического извлечения полезной для водителя информации о дорожной обстановке, позволяет своевременно информировать о потенциальных опасностях,

регистрировать текстовую информацию с дорожных указателей и информационных табло;

- метод и алгоритмы извлечения текстовой и символьной информации из окружающей обстановки могут быть применены при построении систем управления роботизированными транспортными средствами.

Соответствие паспорту специальности. Содержание диссертации соответствует п.1 «Разработка научных основ создания и исследования общих свойств и принципов функционирования элементов, схем и устройств вычислительной техники и систем управления» и п.2 «Теоретический анализ и экспериментальное исследование функционирования элементов и устройств вычислительной техники и систем управления в нормальных и специальных условиях с целью улучшения технико-экономических и эксплуатационных характеристик» паспорта специальности 05.13.05 - Элементы и устройства вычислительной техники и систем управления.

Апробация работы. Основные положения диссертационной работы докладывались и получили положительную оценку на международных и российских конференциях, семинарах, симпозиумах: Международных научных конференциях «Распознавание», Курск, 2007, 2008, 2010гг; Всероссийской научно-технической конференции «Интеллектуальные и информационные системы», Тула, 2007-:-2010; «Математические методы распознавания образов», Москва, 2008, 2010; «Телевидение-2011», Санкт-Петербург, 2011г., на научно-технических семинарах кафедры «Вычислительная техника» Юго-западного государственного университета с 2005 по 2011гг.

Результаты работы внедрены во ФГУП «Курский НИИ» МО РФ, г. Курск (метод и устройство распознавания малоразмерных символов) и используются в учебном процессе Юго-западного государственного университета по учебной дисциплине «Структурно-топологическое проектирование ЭВМ» (принципы построения многофункциональных вычислительных устройств, аппаратно-ориентированные алгоритмы обработки изображений на современной элементной базе).

Публикации. Результаты проведенных исследований и разработок опубликованы в 8 печатных работах, в том числе 3 статьях в журналах, рекомендованных перечнем ВАК. Оригинальность технических решений защищена положительным решением о выдаче патента. Результаты апробированы на 9 российских и международных научно-технических конференциях.

В работах, опубликованных в соавторстве, лично соискателем разработаны: в [1,4] - метод обнаружения потенциально опасного транспортного средства; в [2,6] - подходы к автоматизации своевременного обнаружения снижения внимания водителя; в [3] - аппаратно-ориентированные алгоритмы обработки информации с учетом распределения загрузки и модульной архитектуры вычислительного средства оптико-электронного

устройства; в [5,7] - структурно-функциональная организация оптико-электронного устройств распознавания информации для систем управления транспортными средствами, метод анализа внешней по отношению к транспортному средству информации, в [8] - устройство обнаружения людей на пути движения.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, включающего 108 наименований, изложена на 121 странице и поясняется 48 рисунками и 5 таблицами.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, сформулированы цель и задачи исследований, научная новизна и положения, выносимые на защиту, практическая ценность, результаты реализации работы.

В первой главе проведен анализ известных методов, устройств оценивания внешней визуальной обстановки в робототехнических транспортных средствах и устройствах помощи водителю.

Установлено, что повышение безопасности и удобства управления транспортным средством возможно при реализации оптико-электронным устройством следующих операций: обнаружение людей на проезжей части и вблизи ее; распознавание символьной информации на информационных табло, расположенных вдоль дороги; распознавание дорожных указателей.

В результате анализа научно-технической и патентной литературы выявлено:

- обнаружение людей возле проезжей части, представляет собой задачу обнаружения в условиях сложного фона, которая в общем виде решена, однако, из-за особенностей функционирования оптико-электронного устройства при движении транспортного средства требует значительной доработки;

- алгоритмы распознавания символьной информации известны, например, номерных знаков подвижного состава железнодорожного транспорта, но они ориентированы на распознавание при строго фиксированном шаблоне расположения символов. Алгоритмы считывания текстовой информации с произвольным расположением строк и слов в недостаточной степени развиты.

Таким образом, нет ни удовлетворяющих требованиям решений перечисленных частных задач, ни комплексного подхода к повышению информативности и безопасности управления транспортным средством.

Отметим, что ввиду достаточной проработки в соответствующих системах НПО «Модуль», ОАО «ГОСНИИАС» решений в области обнаружения вероятных препятствий, определения их координат по ходу движения транспортного средства, данные вопросы в диссертации не рассматриваются.

Во второй главе разработана математическая модель ММ1Ъ{1) оптико-электронного устройства распознавания дорожной информации ОЭУ РДИ, составляющими которой являются частные математические модели:

- ввода изображения МВи(1), отличающаяся выборочным извлечением кадров Ik изображения I в зависимости от степени изменения очередного кадра относительно предыдущего и тем самым снижающая вычислительную нагрузку на аппаратно-программные модули ОЭУ РДИ;

- обнаружения транспортных средств типа «общественный транспорт», «грузовой транспорт» Мтс (Мви), отличительной особенностью которой является ограниченный набор векторных Ere vect и ввод дополнительных растровых ETCJex эталонов для распознавания общественного транспорта с приоритетом изображений их задних и боковых частей, позволяющая существенно сократить перебор эталонов при распознавании;

- оценки скорости Кот„(Мтс) движения впереди расположенного транспортного средства посредством анализа изменения его габаритных размеров;

- обнаружения дорожных знаков Мдз(МВи) и табло М(ь(Мви);

- распознавания Мр (Мм) символьной и текстовой Mp(Mtb) информации на знаках и табло, отличающейся достоверным распознаванием при малом размере символа на изображении;

- обнаружения и распознавания объекта типа «человек», «группа людей», «быстро идущий человек» Mpi(I).

Математическая модель МВи ввода последовательности <(Ik,tk)> изображений 1Ь полученных в моменты времени tk, записывается:

<(Ik,tk)|k.l..n> = MBH(<Md (1;,1;)>| М т), n<m, (1)

изображение (Ii.tj), поступившее с ОЭД, помещается в последовательность <(Ik,tk)lk-i..n> только, если оно отличается от предыдущего изображения (Iu,ti.i) на величину Д1, превышающую Д1е, определяющую степень различия.

Величина Д1 является абсолютной величиной нормированной поэлементной разности двух последовательных входных изображений (Ij,tj) и (I;. î.ti-iX уменьшенных по горизонтали и вертикали в s раз и вычисляется

А/ = ~ 7-4 xs= X/s, Ys = Y/s, (2)

XX

X, г, | I $-1 1-1 |

■ ЁЕ - , (3)

У, и=о 1-0 ]\

где Х,У - размер поступающего с ОЭД изображения.

Каждый вводимый кадр подвергается процедуре Ма коррекции искажений оптической системы посредством записи пикселей в их истинные позиции изображения с учетом однократно предварительно определенных корректирующих поправок и медианной фильтрации.

Математическая модель Мтс обнаружения транспортных средств типа «общественный транспорт», описываемых типом tp и координатами с на изображении записывается

<(tpp, Cp)[q=1Q > = MTC(M00(<(I|„tfc)]k,| n>),E Tc_vecti ETC tex), (4)

где q,Q - порядковый индекс и общее кол-во обнаруженных объектов, М(ю -функция обнаружения объектов на изображении, Етс vect, ETCJex - наборы векторных и растровых эталонов. Функция Мг подтверждения обнаружения транспортного средства записывается

j-17-1 [0, иначе

где M[i j]- среднее арифметическое значение яркостей соответствующей зоны для проекции эталона; N[i j]- среднее арифметическое яркостей соответствующей зоны для изображения объекта поданного на вход, Р - порог.

Обнаружение объектов (информационное табло, знак, автомобиль) основано на следующих особенностях: верхняя, нижняя и левая, правая границы объекта параллельны горизонтальной и вертикальной границам кадра (с небольшой погрешностью, определяемой искажениями ОЭД); вследствие движения на разностном изображении объекты видны как замкнутые прямоугольники пропорционально изменяющие свой размер и удаляющиеся от центра кадра.

Функция обнаружения объектов на изображении М(ю вычисляется посредством вычитания двух последовательных кадров изображения, пороговой обработки разностного изображения, обнаружения замкнутых прямоугольных объектов с границами, параллельными краям кадра и описываемых габаритным контейнером с отношением сторон коо_™п<коо^1

Moo (<(Ik,tk)|k.i..„>) = M„„(Mp(Ms(<(IkA)><(Iw,tk-i)>), Ps), коо^, (6) где Ms(<(ik,tk)>,<(Ilt.;,tjt.i)> - функция получения разностного изображения со сглаживанием, Мр - функция пороговой обработки изображения с порогом ps, koo_mm - минимальное отношение сторон габаритного контейнера объекта, при котором объект может принадлежать классу «транспорт», «табло», «знак», «человек».

Окончательное принятие решения об обнаружении объекта принимается посредством сопровождения объекта в течении двух последовательных кадров ИЗ <(Ik,tk)lk=l..„>-

Оценка относительной скорости движения Vm„ впереди расположенного ТС производится измерением изменения размера dIp q (Ij) и dtpq (In) посредством сопоставления размера транспортных средств на двух последовательных кадрах I;, 1М изображения при определенном по результатам распознавания габаритном размере с1етч ТС:

Д*ОЭД> X, ^хОЭд)" "ist

^ow /, Г7\

VOTH — "dim * V'/

Математические модели обнаружения знаков Mz и табло Mit являются модификацией модели Мш обнаружения объектов:

Мг= Mz(M00(<(Ibtk)|k=i..n>), Sp(M00«Ik,tk)|k=,.n>)eSp е z), 0,9<koo<l,0), (8) Ма= Mit(M„(<(Ik,tk)Un>), 0,2<koO<l,0). (9)

Математическая модель Mitdet получения детализированного изображения информационного табло основана на изменении фокусного расстояния и ориентации ОЭД на центр информационного табло так, чтобы табло занимало не менее 80% по длине кадра, аппаратного изменения яркости изображения и программного изменения контрастности полученного изображения ^оэд, кдоэд, Да, ДР> = Mi,_dtt ((Ik,tk),V, Да mv max> ДР_ШУ max)-Обнаружение строк текста производится посредством нахождения начальной и конечной группы пикселов, расположенных на одной строке изображения, разбиение на символы осуществляется посредством нахождения неразрывных областей и нахождения среднего размера символа

Математическая модель обнаружения людей представляет собой набор правил сравнения эталонного описания вертикально стоящего и идущего человека.

Полученные функциональные зависимости, описывающие процесс функционирования ОЭУ РДИ, позволили разработать метод и аппаратно-ориентированные алгоритмы обработки изображений в интересах повышения информативности и автоматизации управления транспортным средством.

В третьей главе представлен метод извлечения символьной информации из изображений информационных табло; частные и обобщенный алгоритмы преобразования изображений в ОЭУ РДИ.

Метод извлечения символьной информации из информационных табло основан на комплексном анализе внешних, по отношению к транспортному средству факторов на основе обработки поступающих изображений и заключается в:

- преобразовании поступающих с оптико-электронных датчиков изображений;

- обнаружении объектов с учетом относительного движения самого транспортного средства; • *

- предварительном отнесении объектов к классам «табло», «знак», «человек», «транспорт»;

- распознавании объектов указанных классов, извлечения дополнительной информации из объектов классов «табло», «знак» и оценки относительной скорости движения объектов классов «транспорт»;

- преобразовании и выдачи полученной информации. Отличительными особенностями метода, обеспечивающими

преобразование изображений и извлечение требуемой информации в ОЭУ РДИ в реальном времени, являются:

- передача на обработку только очередного изменившегося относительно предыдущего кадра изображения, что позволило снизить вычислительную нагрузку без потери информации;

- преобразование поступающей видеоинформации на основе комплексного подхода (аналогичные устройства обрабатывают лишь отдельные виды информации), заключающегося в едином алгоритме выделения объектов и последующем раздельном анализе объектов каждого обрабатываемого класса;

- использование дополнительного источника информации - оптико-электронного датчика с трансфокатором для получения изображений большей детализации, позволившим распознавать текстовую информацию на информационных табло;

- использование в большей части вычислений простых арифметических операций и операций побитового сдвига, что обеспечило перенос вычислений с центрального процессора на программируемые логические интегральные схемы;

- использование особенностей изображений, полученных при движении ОЭД, отличающихся высоким коэффициентом автокорреляции, что позволяет по их разностному изображению без ресурсоемких операций выделения контуров обнаружить движущиеся объекты и передать их на анализ;

использование беспроводной технологии передачи данных, позволяющее разместить ОЭУ РДИ в существующих транспортных средствах без изменения их конструкции.

Обобщенный алгоритм преобразования изображений при функционировании ОЭУ РДИ представлен на рис. 1. В соответствии с алгоритмом производится ввод и предварительная обработка изображения, обнаружение объектов на изображении, и, далее, в зависимости от типа обнаруженного объекта: извлечение информации из информационного табло, обнаружение транспортных средств типа «общественный транспорт», «грузовой транспорт», обнаружение людей с последующей их селекцией на неподвижные и движущиеся, регистрацию полученных данных. Отличительной особенностью алгоритма является предварительное обнаружение объектов на основе единого подхода и последующие дополнительные операции распознавания и извлечения символьной информации, что обеспечивает снижение вычислительной сложности процедур преобразования изображений и возможность реализации большей части вычислений на аппаратном уровне.

Основными операциями аппаратно-ориентированного алгоритма обнаружения людей и групп людей, близко расположенных к проезжей части, являются: обнаружение темных относительно фона объектов, расположенных близко к обочине и имеющих соответствующие габаритам человека размеры; распознавание посредством поэлементного сравнения предварительно приведенного к единому масштабу изображения анализируемого объекта с тремя множествами эталонных описаний «человек», «быстро идущий человек»,

«группа людей», позволяющего своевременно оповестить водителя о необходимости повышения внимания.

Отличительная особенность алгоритма заключается в том, что за счет малого размера элементов множеств эталонов и объема множеств эталонов, указанные операции могут быть реализованы на программируемой логической интегральной схеме, выполняются в реальном времени и допускают однокристальную реализацию. Разделение классов «человек», «быстро идущий человек» осуществляется за счет характерных особенностей быстро идущего человека - широкого положения ног.

Рис. 1 - Обобщенный алгоритм преобразования изображений при функционировании

ОЗУ РДИ

Основными операциями аппаратно-ориентированного алгоритма обнаружения транспортных средств типа «общественный транспорт» и «грузовой транспорт», является: выделение движущегося объекта на основе разностной обработки последовательных кадров изображения; приведение изображения анализируемого объекта к единому с эталонным описанием масштабу; сравнение текущего и эталонного изображений в векторном и растровом форматах; принятие решения об обнаружении объекта. Отличительными особенностями алгоритма является сокращение количества используемых эталонных описаний за счет априорной информации о расположении анализируемого объекта, что позволяет снизить время обнаружения, и использование дополнительных растровых эталонных описаний, обеспечивающих большую дальность обнаружения транспортных средств указных типов.

В своей совокупности метод и аппаратно-ориентированные алгоритмы извлечения информации о внешней по отношению к транспортному средству обстановке позволяют распределить вычисления между различными аппаратными элементами ОЭУ РДИ и обеспечить своевременное обнаружение факторов риска как вследствие параллельности выполнения, так и за счет аппаратной реализации на отдельных вычислительных модулях.

Полученная во второй главе математическая модель, описывающая процесс функционирования ОЭУ РДИ, и рассмотренные в третьей главе подходы к обработке изображений позволили разработать структурно-функциональную организацию ОЭУ РДИ (рис. 2).

ОЭУ РДИ представляет собой два отдельных блока - блока ввода, предобработки и передачи изображения и блока обработки изображения.

Основными модулями блока ввода, предобработки и передачи изображения являются два оптико-электронных датчика - широкоугольный ОЭД] и длиннофокусный ОЭДг с фокусными расстояниями 8мм и 24-36мм соответственно, блок вычисления и коррекции искажений, модуль сравнения кадров, блок управления, блок ориентации, а также вспомогательные блоки -контроллеры передачи данных, АЦП, радиоприемные устройства (РПУ).

Блок обработки изображения включает блок РПУ для получения изображения широкоугольного ОЭД| системный контроллер-вычислитель на базе микропроцессора, контроллер WiFi, совмещенный с РПУ для ввода детализированных изображений с ОЭДг, ОЗУ емкостью, достаточной для хранения трех кадров изображения и вспомогательных значительно меньших по объему данных, блоки обнаружения информационных табло и плакатов, масштабирования, считывания текста, обнаружения объектов, распознавания объектов, генерации проекции, оценки скорости объектов, обнаружения людей, обнаружения дорожных знаков, а также запоминающие устройства для хранения эталонных описаний объектов. Основная часть вычислений реализована на четырех программируемых логических интегральных схемах.

Отличительной особенностью функционирования ОЭУ РДИ является параллельное выполнение операций анализа дорожных знаков, информационных плакатов, обнаружения людей и анализа транспортных средств за счет использования независимых аппаратных модулей преобразования изображений и использования алгоритма управления маршрутизацией данных, что позволило реализовать комплексную обработку разнородной визуальной информации в реальном времени.

Функционально обособленный элемент ОЭУ РДИ - блок обнаружения людей из состава ОЭУ РДИ выделен в отдельное устройство - оптико-электронный датчик-обнаружитель людей на пути движения транспортного средства (положительное решение от 4.05.2011 о выдаче патента по заявке №2011111473). Отличительной новизной датчика-обнаружителя является низкая сложность его структурной организации, позволившая создать датчик в виде автономного быстродействующего устройства с возможностью однокристальной реализации.

и

Блок АЦП и синхронизац

и

Буферное

ОЗУ на одну

Блок вычисл, коррекции искажений

Блок "уменьшения размера

ОЗУ на 2 уменьшенных кадра

Модуль сравнения кадров

ы

ОЭДЬ

Блок ориентации

оэд

АЦП. контроллер ввода и передачи

[У

2.4 ГГц канал 2

о

Блок сравнения ум. кадров

Контроллер-передачи

11 2.4 ГГц канал 1

Блок управления

Контроллер с РПУ

Блок ввода предобработки и пердачи изображения

Дисплей

-----------.г___.4_ _.4.„.

Блох Блок

обнаружения обнаружения

людей знаков

¥ |

ЗУ эталонов Блок

людей распознава-

ния

ЗУ эталонов знаков

Блок обработки изображения

Рис. 2 - Структурно-функциональная организация ОЭУ РДИ

Модуль Модуль

ОЗУ-Э Сравниватсль оонаружения масштабирова

эталонов ооъектов нин

Г^ t . t. Г

оэд

Бннарюатор

тревоги

Контроллер

Рис. 3 - Структурно-функциональная организация датчика-обнаружителя (решение о выдаче патента по заявке №2011111473)

В четвертой главе приводится описание аппаратно-программного стенда для проверки адекватности полученной в результате теоретических исследований математической модели ОЭУ РДИ, а также результаты экспериментальных исследований.

В состав аппаратно-программного стенда, используемого для проведения испытаний ОЭУ РДИ входят оптико-электронные датчики 03fl!(WiFi камера WF204) и ОЭД2 (веб-камера Logitech Sphere) с блоком ориентации и блоком управления и ввода изображения, модуль ввода изображения OW-WM204M, ПЭВМ Dell XPS 1530, ОЭД3 (аналоговая видеокамера) и макет датчика-обнаружителя людей (рис. 4).

И

оэд,

IT

ь

ОЭД, _'

ориентации

Видеокамера ¡«Logitech Sphere»

управления и изображения

Сп ецнал ьное программное

ПЭВМ «Dell XPS»

□

ОЭДз I Л ЦП

!

f 5 В SB. !

акет датчика-

|м

рбнаружителя людей

Рис. 4 - Структурно-функциональная схема аппаратно-программного стенда для проведения

исследований ОЭУ РДИ Исследование параметров ОЭУ РДИ проводилось в соответствии с разработанной методикой проведения экспериментальных испытаний. Согласно методике испытания проводились с использованием изображений, полученных при движении транспортного средства с установленными в нем оптико-электронными датчиками (рис. 4, 5).

Для сравнительного анализа полученных в ходе испытаний характеристик выбраны ближайшие по назначению устройства повышения безопасности дорожного движения и автоматизации управления транспортным средством.

Рис. 5 - Фотографии элементов аппаратно-программного стенда: а) размещение ОЭДь ОЭДг в ходе эксперимента, б) макет датчика-обнаружителя людей и ОЭДз

Таблица 1

Сравнительная характеристика параметров РЭУ РДИ_

№ п.п. Выполняемая функция Наличие функции, значение технической характеристики

ОЭУ РДИ стз Медведева СТЗ «Модуль» Оайп1ег ¡РЬопе Opel Еуе Volvo ХС60

1. Обнаружение препятствия за пределами полосы движения - автомобиля - человека есть есть есть нет есть нет нет Нет Нет есть Есть есть

2. Дальность обнаружения препятствия за пределами полосы движения - общественный и грузовой транспорту - человека на трассе, м - человека в городе,м 140±12 70±8 46±5 120м нет нет 140м нет нет Нет Нет 10м 22 15 120 22 15

3. Частота обработки изображений 0-24Гц 24-30 Гц 10-30Гц неизвестно неизвестно неизв.

4. Размер кадра изобр ажения, пике. 720x576 640x480, 720x576 неизвестно 640x480 720x576

5. Расстояние считывания символьной информации, м 94±7 нет нет 25 40. 45

Анализ характеристик ОЭУ РДИ показывает, что оно превосходит количественные характеристики известных аналогичных устройств: дальность обнаружения человека в 3.1 раза, распознавания символьной информации в 2,1 раза. При этом набор выполняемых ОЭУ РДИ функций характеризует его как многофункциональное и обеспечивает комплексный учет факторов риска.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

При решении поставленной в диссертационной работе задачи были получены следующие результаты.

1. Основываясь на анализе существующих методов и устройств обработки и распознавания изображений вычислительными средствами систем

управления транспортных объектов, разработана математическая модель оптико-электронного устройства распознавания дорожной информации, отличительной особенностью которой является комплексный анализ внешней по отношению к транспортному средству символьной и визуальной информации в реальном масштабе времени, позволившая синтезировать структурно-функциональную организацию оптико-электронного устройства распознавания дорожной информации и выполнить теоретический анализ процесса его функционирования.

2. Предложен метод извлечения символьной информации о внешней обстановке из информационных плакатов, отличающийся использованием операций анализа малоразмерных символов и масштабирования изображения табло, обеспечивающий возможность распознавания символьной информации на большей в 2,1 раза дальности.

3. Создан аппаратно-ориентированный алгоритм обнаружения транспортных средств типа «общественный транспорт», «грузовой автомобиль», отличающийся снижением вычислительной сложности за счет исключения из обработки более 50% проекций эталонов при распознавании, позволяющий своевременно обнаруживать расположенный вблизи полосы движения грузовой и общественный транспорт.

4. Разработан аппаратно-ориентированный алгоритм обнаружения людей, близко расположенных к проезжей части, отличительной особенностью которого является большая в 3,1 раза дистанция обнаружения человека, позволяющий своевременно оповестить о необходимости снижения скорости.

5. Предложена структурно-функциональная организация многофункционального вычислительного устройства, отличающегося введением модулей обнаружения людей, общественного транспорта, информационных табло и связей между ними, обеспечивающая возможность реконфигурировать устройство под решение различных задач системы управления транспортным средством.

6. Сравнительный анализ разработанного многофункционального ОЭУ РДИ показал, что оно качественно отличается от аналогов возможностью обнаружения людей вблизи проезжей части, своевременным предупреждением водителя о потенциально опасном объекте, считыванием текстовой информации с плакатов и указателей; количественно - увеличением дальности обнаружения человека в 3.1 раза, расстояния распознавания символьной информации в 2,1 раза.

Список основных публикаций Статьи в журналах, входящих в перечень ВАК РФ

1. Прилуцкий, C.B. Метод обнаружения препятствий перед транспортным средством с использованием бинокулярной системы

технического зрения [Текст] /C.B. Прилуцкий, М.И. Труфанов // Изв. Вузов. Приборостроение. - 2010. - № 9. - С. 33- 37.

2. Прилуцкий, C.B. Способ предупреждения засыпания водителя транспортного средства [Текст] / C.B. Прилуцкий и др. // Биомедицинская радиоэлектроника. - 2010. - № 2. - С. 76- 80.

3. Прилуцкий, C.B. Распределённый алгоритм управления маршрутизацией пакетов в однокристальных матричных мультипроцессорах с автоматическим восстановлением искажённых маршрутов [Текст] / C.B. Прилуцкий, В.В.Сусин, И.В.Зотов, B.C. Титов // Нейрокомпьютеры: разработка, применение, №12, 2009. - С. 42-47.

Решение о выдаче патента

4. Прилуцкий, C.B. Оптико-электронный датчик-обнаружитель людей на пути движения транспортного средства. Решение о выдаче патента от 4.05.2011 по заявке №2011111473.

Материалы конференций

5. Прилуцкий, C.B. Оптико-электронное устройство распознавания типов транспортных средств / Вакун В.В., Прилуцкий C.B., Коростелев С.И. // Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации. Распознавание - 2010 [Текст]: сб. материалов IX Междунар. конф. ред. кол.: С.Г. Емельянов [и др.]; Курск, гос. техн. ун-т. Курск, 2010. -С. 267-268.

6. Прилуцкий, C.B. Метод предупреждения засыпания водителя [Текст] / B.C. Титов, М.И. Труфанов, А.И. Газов, C.B. Прилуцкий // Информационные технологии и математическое моделирование систем 20092010. Труды международной научно-технической конференции. - М.: Центр информационных технологий в проектировании РАН, 2010. - С. 312 -315.

7. Прилуцкий, C.B. Классификация движущихся объектов на основе сравнения с 3D эталоном / В.В.Вакун, С.В.Прилуцкий // Медико-экологические информационные технологии - 2011: сборник материалов XII НТК, Курск, гос. техн. ун-т. Курск, 2011. - С. 235 - 236.

8. Прилуцкий, C.B. Аппаратно-ориентированный алгоритм обнаружения людей вблизи проезжей части и оптико-электронный датчик-обнаружитель на его основе / С.ВЛрилуцкий // Медико-экологические информационные технологии - 2011: сборник материалов XII НТК, Курск, гос. техн. ун-т. Курск, 2011. - С. 237 - 238.

Соискатель Ц^^у- С.В. Прьлуцкий

ИД №06430 от 10.12.01

Подписано к печати /т. оГ. /{_. Формат 60x84 1/16.

Печатных листов 1 Тираж 100 экз. Заказ /У . Юго-западный государственный университет. 305040, г. Курск, ул. 50 лет Октября, 94.

ВВЕДЕНИЕ.

1 АНАЛИЗ МЕТОДОВ И УСТРОЙСТВ РАСПОЗНАВАНИЯ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ • ПРИ ДВИЖЕНИИ ТРАНСПОРТНОГО СРЕДСТВА.

2 МАТЕМАТИЧЕСКАЯ МОДЕЛЬ МНОГОФУНКЦИОНАЛЬНОГО ОПТИКО-ЭЛЕКТРОННОГО УСТРОЙСТВА РАСПОЗНАВАНИЯ ДОРОЖНОЙ ИНФОРМАЦИИ.

2.1 Математическая модель ввода изображения.

2.1.1 Снижение уровня пространственных шумов.

2.2 Математическая модель обнаружения объекта.

2.2.1 Выделение контуров объектов.

2.2.2 Повышение контраста изображений.

2.3 Математическая модель обнаружения транспортных средств типа «общественный транспорт», «грузовой транспорт».

2.4 Математическая модель оценки скорости транспортного средства

2.5 Математическая модель обнаружения информационного табло и извлечения символьной информации.

2.6 Математическая модель обнаружения и распознавания объектов типа «человек», «группа людей», «быстро идущий человек».

3 АЛГОРИТМЫ ОБРАБОТКИ ИЗОБРАЖЕНИЯ И СИНТЕЗ ОПТИКО-ЭЛЕКРОННОГО УСТРОЙСТВА РАСПОЗНАВАНИЯ ДОРОЖНОЙ ИНФОРМАЦИИ.

3.1 Метод извлечения символьной информации из информационных табло.

3.2 Аппаратно-ориентированный алгоритм обнаружения людей и групп людей.

3.3 Аппаратно-ориентированный алгоритм обнаружения транспортных средств типа «общественный транспорт» и «грузовой транспорт».

3.4 Считывание символьной информации с информационных табло.

3.5 Настройка оптико-электронного устройства распознавания дорожной информации перед началом работы.

3.6 Анализ параметров оптико-электронного устройства распознавания дорожной информации.

3.7 Синтез структурно-функциональной организации оптико-электронного устройства распознавания дорожной информации.

Выводы.

4 ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ МНОГОФУНКЦИОНАЛЬНОГО ОПТИКО-ЭЛЕКТРОННОГО УСТРОЙСТВА РАСПОЗНАВАНИЯ ДОРОЖНОЙ ИНФОРМАЦИИ.

4.1 Аппаратно-программный стенд для проведения испытаний.

4.2 Методика проведения испытаний оптико-электронного устройства распознавания дорожной информации.

Актуальность темы. Рост интереса к использованию оптико-электронных устройств обработки и распознавания изображений, входящих в состав систем управления различного назначения, обусловлен рядом причин, к основным из которых относятся высокая информативность получаемой по изображению информации и доступность оптико-электронных устройств для массового потребителя. Не исключением являются системы управления транспортными средствами на основе информации о дорожной обстановке, получаемой посредством преобразования изображений от установленных на транспортном средстве оптико-электронных датчиков.

К настоящему времени разработан ряд методов обработки и распознавания изображений о дорожной обстановке, серийно производится значительное число бортовых автомобильных оптико-электронных устройств, обеспечивающих обнаружение препятствий на пути движения транспортного средства, предупреждение столкновений, предотвращение засыпания водителя.

Анализ показывает, что среди созданных подходов основное внимание уделено методам и устройствам предотвращения засыпания водителя и обнаружения препятствий. При этом недостаточное внимание уделяется созданию устройств анализа действий пешеходов, а также обнаружению потенциально опасных объектов: в частности, общественного транспорта на остановке, грузовых автомобилей.

Известно, что основными причинами дорожно-транспортных происшествий являются несоблюдение водителем скоростного режима, несвоевременное обнаружение предупреждающей информации, несоблюдение правил дорожного движения пешеходами, например, переход дороги в неположенном месте, выбегание из-за общественного транспорта.

Сокращение числа происшествий с участием пешеходов, возможно за счет создания устройств их своевременного- обнаружения посредством преобразования визуальной информации.

Анализ известных методов; иг средств распознавания* выявил недостаточную для практической реализации проработку оптико-электронных устройств, обеспечивающих своевременное распознавание символьной информации. В' частности, не решена задача распознавания информации на дорожном знаке в условиях сложного освещения, ограниченных вычислительных ресурсов вычислительного устройства. Анализ также показал, что методы- и устройства обнаружения пешеходов около проезжей части отсутствуют, известны лишь устройства обнаружения человека непосредственно перед автомобилем.

Информатизация современного общества обуславливает наличие множества информационных табло. Водитель не всегда успевает получить информацию об указателях улиц, опасных участках трассы вследствие насыщенности информационных табло символьной информацией различного рода. В этой связи, целесообразным является автоматическое распознавание размещенной на табло символьной информации и отображение ее на бортовом дисплее или звуковым сообщением. При этом обработка информации в реальном времени' накладывает дополнительные требования на устройство распознавания информации о дорожной обстановке.

Таким образом, к настоящему времени объективно сложилось противоречие между необходимостью повышения безопасности дорожного движения и ограниченными возможностями методов и автоматических устройств соответствующего назначения.

В этой связи актуальной научно-технической задачей является разработка оптико-электронных устройств информирования, водителя транспортного средства о потенциально опасных объектах по направлению движения и обеспечивающих автоматическое считывание символьной информации,с информационных табло.

Диссертационная работа выполнена в рамках Федеральной * Целевой Программы «Научные и научно-педагогические кадры инновационной России» по проекту НК-425П-59 «Создание интеллектуальной оптико-электронной системы для очувствления и управления транспортным роботом» и госбюджетной НИР 1.1.05 "Исследование теоретических основ, методов и алгоритмов повышения качества обработки изображений в системе технического зрения" (№ гос. регистрации 01200508819, 2005 г.) выполняемым в Юго-Западном государственном университете.

Целью работы является разработка метода, алгоритмов и многофункционального оптико-электронного устройства распознавания дорожной информации с повышенной дальностью, обеспечивающего своевременное информирование водителя о потенциально опасных объектах.

В соответствии с поставленной целью научно-техническая задача диссертационной работы декомпозирована на следующие основные задачи:

1. Анализ возможностей существующих методов и устройств предупреждения дорожных происшествий, изыскание путей и обоснование необходимости построения многофункционального оптико-электронного устройства распознавания дорожной ситуации, извлечения символьной информации из информационных табло и предотвращения происшествий с участием пешеходов.

2. Разработка математической модели многофункционального оптико-электронного устройства распознавания дорожной информации.

3. Разработка метода и аппаратно-ориентированных алгоритмов извлечения информации о дорожной обстановке.

4. Разработка структурно-функциональной организации многофункционального оптико-электронного устройства распознавания дорожной информации и проведение экспериментальных исследований.

Методы исследования. Для решения поставленных в, работе задач использовались методы распознавания образов, теория проектирования устройств ЭВМ, методы обработки и анализа растровых изображений, статистической обработки результатов измерений.

Новыми научными результатами и положениями, выносимыми на защиту, являются:

1) Математическая модель обработки изображений в многофункциональном оптико-электронном устройстве, отличительной особенностью* которой является комплексный анализ дорожной обстановки и символьной информации в реальном масштабе времени в условиях ограничений на вычислительную мощность оптико-электронного устройства распознавания дорожной информации;

2) Метод извлечения символьной информации из изображений информационных табло, характеризующийся возможностью распознавания малоразмерных символов, включающий этапы обнаружения информационного табло, определения его типа, распознавания символьной информации, обеспечивающий большую дальность получения информации;

3) Аппаратно-ориентированные алгоритмы обнаружения транспортных средств типа «общественный транспорт», «грузовой транспорт» и людей, находящихся вблизи проезжей части, позволяющие своевременно оповестить водителя о необходимости повышения внимания;

4) Структурно-функциональная организация многофункционального оптико-электронного устройства распознавания дорожной информации, отличительная новизна которой заключается во введении модулей обнаружения людей, общественного транспорта, информационных табло, и связей между ними, позволяющая реализовать устройство с использованием программируемых логических интегральных схем, реконфигурируемых под решение задач повышения безопасности управления транспортным средством. '

Объект исследований - средства автоматйзации управления наземным» транспортным средством.

Предмет исследований - процессы обработки изображений в вычислительном устройстве анализа внешней по отношению к транспортному средству визуальной обстановке.

Практическая ценность работы состоит в следующем:

- структурно-функциональная организация многофункционального ОЭУ РДИ обеспечивает возможность его реализации как в виде специализированного вычислительного устройства повышенной вибрационной стойкости и надежности, так и на базе мобильной ПЭВМ, что позволяет варьировать такими показателями как стоимость, надежность, функциональность;;

- разработанное аппаратно-программное обеспечение автоматического извлечения полезной для водителя информации о дорожной обстановке, позволяет своевременно информировать о потенциальных опасностях, регистрировать текстовую информацию с дорожных указателей и информационных табло;

- метод и алгоритмы извлечения текстовой и символьной информации из окружающей обстановки могут быть применены при построении систем управления роботизированными транспортными средствами.

Соответствие паспорту специальности. Содержание диссертации соответствует п. 1 «Разработка научных основ создания и исследования общих свойств и принципов функционирования элементов, схем и устройств вычислительной техники и систем управления» и п.2 «Теоретический анализ и экспериментальное исследование функционирования элементов и устройств вычислительной техники и. систем управления в нормальных и специальных условиях, с целью улучшения технико-экономических и эксплуатационных характеристик» паспорта специальности 05.13.05 -Элементы и устройства вычислительной техники и систем управления.

Апробация работы. Основные положения диссертационной работы докладывались и получили положительную оценку на международных и российских конференциях, семинарах, симпозиумах: Международных научных конференциях «Распознавание», Курск, 2007, 2008, 201 Orr; Всероссийской научно-технической конференции «Интеллектуальные и информационные системы», Тула, 2007-:-2010; Всероссийской научно-технической конференции «Математические методы распознавания образов», Москва, 2008, 2010; Всероссийской научно-технической конференции «Телевидение-2011», Санкт-Петербург, 2011г., на научно-технических семинарах кафедры «Вычислительная техника» Юго-западного государственного университета с 2005 по 2011гг.

Результаты работы внедрены во ФГУП «Курский НИИ» МО РФ, г. Курск (метод и устройство распознавания малоразмерных символов) и используются- в учебном процессе Юго-западного государственного университета по учебной дисциплине «Структурно-топологическое проектирование ЭВМ» (принципы построения многофункциональных вычислительных устройств, аппаратно-ориентированные алгоритмы обработки изображений на современной элементной базе).

Публикации. Результаты проведенных исследований и разработок опубликованы в 8 печатных работах, в том числе 3 статьях в журналах, рекомендованных перечнем ВАК. Оригинальность технических решений защищена положительным решением о выдаче патента. Результаты апробированы на 9 российских и международных научно-технических конференциях.

В работах, опубликованных в соавторстве, лично соискателем разработаны: в [69, 72] - метод обнаружения потенциально опасного транспортного средства; в [74, 75] - подходы к автоматизации своевременного обнаружения снижения внимания водителя; в [84] -аппаратно-ориентированные алгоритмы обработки информации с учетом распределения загрузки и модульной архитектуры вычислительного средства оптико-электронного устройства; в [103] - структурно-функциональная организация оптико-электронного устройства распознавания информации для систем управления транспортными средствами, метод анализа внешней по отношению к транспортному средству информации, в [8] - устройство обнаружения людей на пути движения.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, включающего 108 наименований, изложена на 121 странице и поясняется 48 рисунками и 5 таблицами.

ввода изображения

OW-WM204

USB

Специальное программное обеспечение

USB

Системное программное обеспечение

ПЭВМ «Dell XPS» обнаружителя людей

ОЭДз АЦП ПЛИС

Virtex2PRO

5В 5В,

БП 12В ОЗУ

Макет датчика- П

Рис. 4.1 - Структурно-функциональная схема аппаратно-программного стенда для проведения исследований ОЭУ РДИ

Исследование параметров ОЭУ РДИ проводилось в соответствии с разработанной методикой проведения экспериментальных испытаний. Согласно методике испытания проводились с использованием изображений, полученных при движении транспортного средства с установленными в нем оптико-электронными датчиками (рис. 4.2), и искусственно созданных изображений на имитационной программной модели синтеза динамической трехмерной рабочей сцены.

Для сравнительного анализа полученных в ходе испытаний характеристик выбраны ближайшие по назначению устройства повышения безопасности дорожного движения и автоматизации управления транспортным средством.

Рис. 4.2 - Размещение элементов аппаратно-программного стенда: а) размещение ОЭДь ОЭДг в ходе эксперимента, б) макет датчика-обнаружителя людей и ОЭДз

В ходе проведения испытаний АПС функционирует следующим образом. Изображение рабочей сцены, сфокусированное объективами ОЭД, направляется на МПИ, который преобразует энергию излучения в видимом диапазоне длин волн в непрерывный сигнал, характеризующий изображение рабочей сцены. Устройства ввода изображения осуществляют ввод искаженного объективом ОЭД изображения, предварительно корректирует искажения изображения, вызванные случайными и систематическими погрешностями, и затем вводит исправленное изображение в ПЭВМ [106].

Для проведения испытаний ОЭУ разработан пакет специального программного обеспечения, содержащий программы, реализующие алгоритмы обработки изображений ОЭУ РДИ, и имитационную модель, обеспечивающую синтез трехмерной рабочей сцены. Имитационная модель создана для расширения диапазона исследуемых параметров, влияющих на точностные характеристики ОЭУ, которые не могут быть исследованы с использованием только аппаратных средств. Пакет специального программного обеспечения написан на языке «С» в среде «Visual С++ 2010» с использованием открытых библиотек создания трехмерной графики «Open Graphics Library» и анализа изображений «Open Computer Vision»[107].

4.2 Методика проведения испытаний оптико-электронного устройства распознавания дорожной информации

При проведении испытаний определялись погрешности параметров ОЭУ РДИ и возможность выполнения заданных функций:

- проверка обнаружения объекта типа «грузовой транспорт» и «общественный транспорт»;

- проверка обнаружения людей;

- проверка считывания символьной информации с информационных табло;

- оценка погрешности измерения координат объектов [108]. Рассмотрим методику проведения испытаний ОЭУ РДИ.

Методика проведения испытаний ОЭУ РДИ

1. Обнаружение объекта типа «грузовой транспорт» и «общественный транспорт».

1.1 На имитационной модели задавались следующие параметры рабочей сцены (рис. 4.3): единственная прямая дорога, скорость движения ОЭУ РДИ 40 км/ч, количество встречных объектов, движущихся на ОЭУ РДИ, - 2, скорости движения встречных объектов - 90 и 40 км/ч, начальные расстояния между ОЭУ РДИ и объектами - 200м.

1.2 Определялись расстояния, на которых ОЭУ обнаруживал встречные объекты.

X ' к Грузовой

Устз ^ - Грузовой / транспорт лС ОСТ"1 транспорт СО-'

0 г

Рис. 4.3 Расположение объектов для проверки п. 2.1

1.3 Обнаружение препятствия за пределами полосы движения

1.3.1 На имитационной модели задавалибсь следующие параметры рабочей сцены (рис. 4.4): две прямые дороги, расположенные взаимно перпендикулярно, по одной из которых движется ОЭУ, а по другой два транспортных средства, один из которых столкнется с ОЭУ РДИ, скорости движения всех объектов - 50км/ч, начальные расстояния между ОЭУ РДИи встречными объектами до точки пересечения дорог - 200м.

1.3.2 Определялось расстояние, на котором ОЭУ обнаруживался опасный объект.

1.3.3 Подтверждался факт несигнализвации о безопасном объекте.

Транспор на обочине

Транспорт на обочине

СР

--Устз У 0 7

Рис. 4.4 Расположение объектов для проверки п. 2.1

2. Определение погрешности измерения координат объектов. 2.1 Выполнялся пункт 2.1.

2.2 При известных траекториях движения объектов по ходу движения ОЭУ РДИ рассчитывались средние погрешности определения координат в зависимости от дальности до объекта.

3. Проверка обнаружения людей

3.1 Записывалась видеопоследовательность при движении транспортного средства с макетом датчика-обнаружителя людей.

3.2 Посредством определения расстояния дополнительными средствами (по карте участка улицы) определялось расстояние до человека или группы людей.

4. Проверка считывания символьной информации с информационных плакатов.

4.1 При движении транспортного средства проверялось определение

Заключение

При решении, поставленной' в диссертационной работе задачи были получены следующие результаты.

1. Основываясь на анализе существующих методов- и устройств обработки и распознавания изображений вычислительными средствами систем управления транспортных объектов, разработана математическая модель оптико-электронного устройства распознавания дорожной информации, отличительной особенностью которой является комплексный анализ внешней по отношению к транспортному средству символьной и визуальной информации в реальном масштабе времени, позволившая синтезировать структурно-функциональную организацию оптико-электронного устройства распознавания дорожной информации и выполнить теоретический анализ процесса его функционирования.

2. Предложен метод извлечения символьной информации» о внешней обстановке из информационных плакатов, отличающийся использованием операций анализа малоразмерных символов и масштабирования изображения табло, обеспечивающий возможность распознавания символьной информации на большей в 2,1 раза дальности.

3. Создан аппаратно-ориентированный алгоритм обнаружения транспортных средств типа «общественный транспорт», «грузовой автомобиль», отличающийся снижением вычислительной сложности за счет исключения из обработки более 50% проекций эталонов при распознавании, позволяющий своевременно обнаруживать расположенный вблизи полосы движения грузовой и общественный транспорт.

4. Разработан аппаратно-ориентированный алгоритм обнаружения людей, близко расположенных к проезжей части, отличительной особенностью которого является большая в 3,1 раза дистанция обнаружения человека, позволяющий своевременно оповестить о необходимости снижения скорости.

5. Предложена структурно-функциональная организация многофункционального вычислительного устройства, отличающегося введением модулей обнаружения людей, общественного транспорта, информационных табло и связей между ними, обеспечивающая возможность реконфигурировать устройство под решение различных задач системы управления транспортным средством.

6. Сравнительный анализ разработанного многофункционального ОЭУ РДИ показал, что оно качественно отличается от аналогов возможностью обнаружения людей вблизи проезжей части, своевременным предупреждением водителя о потенциально опасном объекте, считыванием текстовой информации с плакатов и указателей; количественно -увеличением дальности обнаружения человека в 3.1 раза, расстояния распознавания символьной информации в 2,1 раза.

1. Goerick, С. Artificial Neural Networks in Real-Time Car Detection and Tracking Applications Text. / C. Goerick, D. Noll, M. Werner // Pattern Recognition Letters. 17:4. 1996. P. 335-343.

2. Катыс, П.Г. Системы машинного видения с интеллектуальными видеодатчиками / Катыс П.Г., Катыс Г.П // Информационные технологии: -2001 -№ 10.-С. 28-33.

3. Nquyen, М. С. Visual recognition of objects for manipulating by calibration-free robots /Nquyen M., Graefe V. // Proc. SPIE. 2000. - vol. 3966. P. 290—298.

4. Meitzler, T.J. Predicting the probability of target detection in static infrared and visual scenes using the fuzzy logic approach. / Meitzler, T.J., Singh H., Arefeh L., Sohn E., Gerhart G.R. // Opt. Eng. 1998. - vol. 37. - no. 1. - PP. 10-17.

5. Papageorgiou, С. «А Trainable Object Detection System: Car Detection in Static Images» MIT AI Memo No. 180. October, 1999.

6. Intelligent Cruise Control Электронный ресурс./ http://techon.nikkeibp.co.jp/english/NEWS EN/20071214/144251.

7. Volvo XC60 Электронный ресурс./ http://www.xc60.org/

8. Обнаружение пешеходов Электронный pecvpc./http://www.volvocars.com/by/top/about/news-events/pages/default.aspx?itemid= 15.

9. Пат. №7436430 США, H04N 7/18. Obstacle detection apparatus and method / Takeda, Nobuyuki, Hattori, Hiroshi. 10/923,048; заявл. 23.08.04; опубл. 14.10.08. - 13c.

10. Пат. 7410266 США, G02B 5/08. Three-dimensional imaging system for robot vision / Seo, Cheong S., Baek, Sang H. 11/319,987; заявл. 28.10.0; опубл. 12.08.08. - 11c.

11. Пат. 7400266 США, G08G 1/16 . Method for improving vision in a motor vehicle / Haug, Karsten 10/572,542; заявл. 31.03.05; опубл. 15.07.08.1. Юс.

12. Пат. №7389171 США, В60К 31/00. Single vision sensor object detection system I Rupp, Jeffrey. 10/572,542; заявл. 22.12.03; опубл. 17.07.08. - 11c.

13. Сырямкин, В.И. Системы технического зрения: Справочник Текст./ В.И. Сырямкин, B.C. Титов, Ю.Г. Якушенков и др. // Под общей редакцией В.И. Сырямкина, B.C. Титова. Томск: МГП "РАСКО". - 1993. - 367 с.

14. Пат. № 2299521 РФ, МКИ H04N3/14. Однокристальный адаптивный видеодатчик / В.С.Яковлева, М.И. Труфанов, B.C. Титов. №2005132710/09; заявлено 24.10.2005; опубл. 20.05.2007, Бюл. № 14.- 8с.

15. Пат. 7386163 США, G06K 9/00. Obstacle recognition apparatus and method, obstacle recognition program, and mobile robot apparatus / Sabe, Kohtaro, Kawamoto, Kenta, Ohashi S. 10/387,647; заявл. 13.03.03; опубл. 10.06.08.29c.

16. Пат. 7372055 США, A61N 5/06 . Night vision infrared illuminator / Harter Jr., Joseph E., Gregory K.l 1/171,069; заявл. 30.06.05; опубл. 13.05.08. 5c.

17. Пат. 7358496 США, H01L 25/00 . Infrared night vision system, in colour /Fleury В., Hidden P. 10/888,812; заявл. 9.07.04; опубл. 15.04.08. - 7c.

18. Пат. 7312723 США, G08G 1/017 Automobile infrared night vision device Eggers; Helmuth, Kurz; Gerhard, Seekircher 10/493,530; заявл. 7.08.03; опубл. 25.12.07. - 6c.

19. Пат. 7306331 США, G02C 7/16 .Vision protection device for night driving / Tigert; Alan Tigert 11/244,922; заявл. 6.10.05; опубл. 11.12.07. - 5c.

20. Пат. США 7366325, G06K 9/00 Moving object detection using low illumination depth capable computer vision / Fujimura; Kikuo, Liu 11/244,922; заявл. 6.10.05; опубл. 11.12.07. - 5c.

21. Z. Gigus, J. Efficiently Computing and Representing Aspect Graphs of Polyhedral Objects/ Z. Gigus, J. Canny, R. Seidel. // PAMI 13:6. pp. 542-551. June 1991.

22. Пат. 7344261 США, G02B 5/08. Vehicular vision system / Schofield Kenneth, Larson, MarkL. 11/246,593; заявл. 6.10.05; опубл. 18.03.08. - 40c.

23. Пат. 2157769 РФ, B60Q9/00, B62D41/00. Устройство для оповещения об аварийной ситуации на дороге / Богатырев П.И.; Герцеков М.М. -98113381/28, заявл. 6.07.08; опубл. 20.10.00. Юс.

24. Пат. 2116208 РФ, B60Q9/00. Устройство для контроля соблюдения водителем правил дорожного движения / Сташевский И.И. 96118469/28, заявл. 17.09.96; опубл. 27.07.98. - 22с.

25. Пат. 2050561 РФ, GO IS 17/93. Способ предотвращения столкновений автомобиля и устройство для его осуществления / Турченев Б. П. -5044239/09, заявл. 26.05.92; опубл. 20.12.95. 22с.

26. Crash Avoidance Robotic Car Inspired by Flight of the Bumblebee Электронный. ресурс. / http://www.nissan-global.com/ EN/NEWS/2008/STORY/080926-01-e.html.

27. Новые технологии в автомобильной сфере http://avtomaniva.com/site/publication-full/717 Электронный ресурс.

28. Система обнаружения пешеходов / http://avtomaniya.com/site/publication-full/295 Электронный ресурс.

29. Traffic Light Detection Using Rotated Principal Component Analysis for Video-Based Car Navigation System Электронный ресурс. http://www.istage.ist.go.jp/article/transinf7E9LD/12/E91 .D 2884/ article

30. Пат. РФ 2409854 Оценка трехмерной топологии дороги на основе видеопоследовательностей посредством отслеживания пешеходов / БовыринА.В., Родющкин К.В //2007142371/08, 18.04.2005,20.01.2011.

31. Пат. США 7425076 Vision system for a vehicle Schofield; Kenneth (Holland, MI), Larson; Mark L, 16.07.2008

32. Lilas, T. An active 3D robot vision system for robotic welding applications Text. / T. Lilas, S. Kollias // Machine Graphics and Vision. -2000. -Vol. 9, №. 4. P. 743 - 762.

33. Пат. США №7860313 Methods and apparatuses for extending dynamic handwriting recognition to recognize static handwritten and machine generated text / Walch; Mark A, 10.12.2010.

34. Пат. США 7792363 Use of level detection while capturing and presenting text with optical character recognition Foss; Benjamin Perkins, 7.09.2010.

35. Пат. 4435837 США, МКИ G 06 К 9/32. Pattern recognition and orientation system Text. / H. Frederick. №240878; заявлено 5.03.81; опубл.6.03.84. - 5c., Бюл. № 9.

36. Пат. США 7769235 Text recognition method using a trainable classifier Anisimovich; Konstantin 3.08.2010.

37. Stapor K. A vectorized thinning algorithm for handwrittin symbols recognition//Machine Graphics&Vision. 1999. Vol. 8, №. 3. P. 341-352.

38. Пат. США 7865355 Fast text character set recognition Xu; Ming, 4.01.2011.

39. S. Satoh, J. Kuroiwa, H. Aso and S. Miyake, "Pattern Recognition System with Top-Down Process of Mental Rotation," Proc. of IWANN'99, 1, pp. 816-825, 1999.

40. Методы компьютерной обработки изображений Текст. / Под ред. В.А. Сойфера. М.: Физматлит. - 2001. - 784 с.

41. Сырямкин, В.И. Системы технического зрения: Справочник Текст./ В.И. Сырямкин, B.C. Титов, Ю.Г. Якушенков и др. // Под общей редакцией В.И. Сырямкина, B.C. Титова. Томск: МГП "РАСКО". - 1993. - 367 с.

42. Janesick, J. CCD charge collection efficiency and the photon transfer technique Text. / Janesick J., Klaasen K., Elliott T. // Proc. SPIE. 1985. - Vol. 570.-P. 7-19.

43. Zhuang, X. Two-view motion analysis: a unified algorithm Text. / X. Zhuang, R. Haralick, T. Huang // Opt. Soc. Am. 1986. - Vol. 3, № 9. - P. 1492 -1450.

44. Пат. №2351983РФ, МКИ G06K9/32. Устройство ввода изображения в ЭВМ и коррекции дисторсии Текст. / Д.В. Титов, М.И. Труфанов. -№2007140622 заявл. 1.11.2007; опубл. 10.04.09, Бюл. № 10. 8 с.

45. S. J. Wan, S. К. М. Wong. "A Measure for Concept Dissimilarity and Its Applications in Machine Learning." Proceedings of the International Conference on Computing and Information. P. 267-273.

46. Путятин Е.П., Аверин С.И. Обработка изображений в робототехнике. М.: Машиностроение, 1990. 320 с.

47. The calibration method for stereoscopic vision system text. / V. Titov, S. Degtiarev, M. Truphanov // Machine graphics and vision. Poland, Vol. 17, No. 4,2008.-PP. 373 -387.

48. Титов, B.C. Предварительная обработка изображений в системах распознавания Текст. / B.C. Титов, М.И. Труфанов // Вестник ТулГУ. Серия Радиотехника и радиоэлектроника. Т. IX. Тула: Изд-во ТулГУ, 2007. - С. 175181.

49. Т. D. Rikert, М. J. Jones, P. Viola. "A Cluster-Based Model for Object Detection." ICCV 1999. pp. 1046 1053.

50. Penna, М. Determing camera parameters from the perspective projection of a quadrilaterial Text. / M. Penna // Pattern Recognition. 1991. -Vol. 24, № 6. -P. 533 - 541.

51. Haralick, R. Pose estimation from corresponding point data Text. / R.Haralick, H.Joo, C.Lee, X. Zhuang, V.Vaidya, M. Kim. // IEEE computer society workshop on computer vision, Miami Beach. 1987. - P. 258 - 263.

52. Титов, B.C. Математическая модель распознавания многоконтурных объектов на основе нечеткой логики Текст. / B.C. Титов, М.И. Труфанов // Вестник ТулГУ. Серия Радиотехника и радиоэлектроника. Т. IX. Тула: Изд-во ТулГУ, 2007.-С. 133- 138.

53. Шапиро, Л. Компьютерное зрение Текст. / Л.Шапиро, Дж. Стокман; Пер. с англ. М.: Бином. Лаборатория знаний, 2006. - 752 с.

54. Marr, D. Theory of edge detection Text./ D. Marr, E. Hiloreth. // in Proc. Royal Sosiety of London. 1980. - Vol. 207. - P. 187 - 217.

55. Архипов A.E. Быстродействующее устройство ввода и предварительной обработки изображений в системе распознавания видеоинформации. Дисс на соияскание ученой степени к.т.н., Курск., курск гос. техн. ун-тет 2002г.

56. Gridin, V. Vision system for image recognition based on three-dimensional vector patterns- text. / V.Gridin, V. Titov, M. Truphanov, S. Korostelev // Machine graphics and vision. Poland, Vol. 18, No. 2,2009. PP. 175 - 186.

57. Титов, B.C. Оптико-электронные системы распознавания и анализа трехмерных динамических объектов Текст.: Монография / B.C. Титов, С.С. Тевс, М.И. Труфанов. Курск: Курск, гос. тех. ун-т., 2008. - 142 е.: ил.

58. Прилуцкий, С. В. Классификация движущихся объектов на основе сравнения с 3D эталоном / В.В.Вакун, С.В.Прилуцкий // Медико-экологические информационные технологии 2011: сборник материалов XII НТК, Курск, гос. техн. ун-т. Курск, 2011. - С. 235 - 236.

59. Коростелев, С.И. Метод распознавания изображений объектов с использованием трехмерных векторных эталонов и программа для его реализации Текст. / С.И. Коростелев, B.C. Титов, B.C. Панищев [и др.] // Телекоммуникации. 2007. № 9. С. 10-14.

60. Murase, Hiroshi, and Shree К. Nayar, "Visual learning and recognition of 3-D objects from appearance," International Journal of Computer Vision,14, 1 (1995),pp. 5-24.

61. P. A. Viola. "Complex Feature Recognition: A Bayesian Approach for Learning to Recognize Objects." AI Memo No. 1591. November, 1996.

62. Прилуцкий, C.B. Способ обнаружения препятствий перед транспортным средством с использованием бинокулярной системы технического зрения / М. И. Труфанов, С. В. Прилуцкий // Изв. Вузов. Приборостроение. 2010.9. С. 33- 37.

63. Прилуцкий, С.В. Аособ предупреждения засыпания водителя транспортного средства Текст. / С.В. Прилуцкий и др. // Биомедицинская радиоэлектроника. 2010. - № 2. - С. 76- 80.

64. Lowe, David G., "Three-dimensional object recognition from single two-dimensional images," Artificial Intelligence, 31, 3 (1987), pp. 355-395.

65. Penna, M. Determing camera parameters from the perspective projection of a quadrilaterial Text. / M. Penna // Pattern Recognition. 1991. -Vol. 24, № 6.1. P. 533-541.

66. William М. Wells III. "Statistical Approaches to Feature-Based Object Recognition." International Journal of Computer Vision. 21(1/2), pp. 63-98, 1997.

67. Дегтярев, C.B. Метод распознавания символьной информации автомобильного бортового компьютера / C.B. Дегтярев, М.И. Труфанов, С.И. Коростелев, A.B. Медведев // Датчики и системы. №5. 2008. С. 5-8:

68. Baraldi A. et al. Contextual'clustering for image segmentation // Opt: Eng. -2000. vol.39: N 4. P. 907-923.

69. Архипов A.E. Быстрая сегментация текстовых* строк при распознавании изображений // Распознавание-99: Сб. материалов 4 Международной конференции. Курск, 1999. - С. 58-60.

70. Архипов А.Е. Система технического зрения для распознавания текста (символов) // Распознавание оптических изображений. / Под общей ред. Ю.С. Сагдулаева, B.C. Титова. Ташкент: ТЭИС, 2000. - 313 с.

71. Chen, S.Y. Robot location using surface patches of curved objects Text. / S.Y. Chen, W.H. Tsai // International Journal of Robotics and Automation. 1989. -Vol. 4, № 3. - P. 123 -133.

72. Сизов, A.C. Модульная встраиваемая интеллектуальная оптико-электронная система видеонаблюдения / А. С. Сизов, Д. В. Титов, М. И. Труфанов // Изв. Вузов. Приборостроение. 2010. № 9. С. 52- 57.

73. Fung, G. Camera calibration from road lane markings Text. / G. Fung, N. Yung, G. Pang // Optical Engineering. 2003. - Vol. 42, №. 10. - P. 2967-2977.

74. Titov, V. The calibration method for stereoscopic vision system-text. / V. Titov, S. Degtiarev, M. Truphanov // Machine graphics and vision. Poland, Vol. 17, No. 4, 2008.-PP. 373 -387.

75. Heikkila, J. Calibration procedure for short focal length off-the-shelf CCD cameras Text. / J.Heikkila, O.Silven // Proc. 13th International Conference on Pattern Recognition, Vienna, Austria. 1996. - P. 166-170.

76. Пат. №2351983РФ, МКИ G06K9/32. Устройство ввода изображения в ЭВМ и коррекции дисторсии Текст. / Д.В. Титов, М.И. Труфанов. -№2007140622 заявл. 1.11.2007; опубл. 10.04.09, Бюл. № 10. 8 с.

77. Zhang, Z. A robust technique for matching two uncalibrated images through* the recovery of the unknown epipolar geometry / Zhang, Z., R. Deriche, O. Faugeras, Q.T. Luong //Artificial Intelligence, 78, 1995, pp. 87-119.

78. Izaguirre, A. A new development in camera calibration calibrating a pair of mobile cameras Text. / A. Izaguirre, P. Pu, J.Summers // IEEE int. conf. rob. and autom., St. Louis. 1985. - P. 74 - 79.

79. J. Shi and C. Tomasi. "Good Features to Track." CVPR '94. pp. 593-600. June, 1994.

80. Сырямкин, В.И. Системы технического зрения: Справочник Текст./ В.И. Сырямкин, B.C. Титов, Ю.Г. Якушенков и др. // Под общей редакцией В.И. Сырямкина, B.C. Титова. Томск: МГП "РАСКО". - 1993. - 367 с.

81. Treisman, Anne М., and Nancy G. Kanwisher, "Perceiving visually presented objects: recognition, awareness, and modularity," CurrentOpinion in Neurobiology,8, 1998, pp. 218-226.

82. David, I.Visual recognition based on temporal cortex cells: viewer-centered processing of pattern configuration / David I., W. Oram. // Zeitschrift fur Naturforschung C, 1998, pp. 518-541.

83. Титов, B.C. Аппаратно-ориентированные алгоритмы и устройства обработки изображений на ПЛИС для распознающих систем технического зрения / Титов В. С., М.И. Труфанов // Датчики и системы. №8.2009. С. 72-75.

84. Farroha В. S., Deshmukh R. G. A novel high-speed architecture for machine vision application//Proc. SPIE. 1996. - vol. 2908, P. 43-49.

85. Прилуцкий, C.B. Оптико-электронный дачтик-обнаружитель людей на пути движения транспортного средства /С.В. Прилуцкий, М.И. Труфанов// Положительное решение от 4.05.2011 о выдаче патента по заявке №2011111473.

86. Goulermas J. J. et al. Real-time intelligent vision systems for process control // Proc. 4th Ichem. E. Conf. Advances in process control. 1995. - Sep. 27,28. P. 69-76.

87. Точность (правильность и прецизионность) методов и результатов измерений Текст.: ГОСТ Р ИСО 5725-1-2002. Введ. 2002-11-01.- М.: Изд-во стандартов, 2002. - 31 с.