автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.05, диссертация на тему:Методы и алгоритмы адаптации и обеспечения многофункциональности системы технического зрения наземных подвижных объектов

На правах рукописи УДК 681.5.01

МЕДВЕДЕВ АРТЕМ ВИКТОРОВИЧ

МЕТОДЫ И АЛГОРИТМЫ АДАПТАЦИИ И ОБЕСПЕЧЕНИЯ МНОГОФУНКЦИОНАЛЬНОСТИ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ НАЗЕМНЫХ ПОДВИЖНЫХ ОБЪЕКТОВ

Специальность: 05.13.05 - Элементы и устройства вычислительной техники и систем упра&1ения

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Курск - 2008

003455921

Работа выполнена на кафедре «Информационные системы и технологии» Курского государственного технического университета

Научный руководитель: доктор технических наук, доцент

Дегтярев С.В.

Официальные оппоненты: доктор технических наук, профессор

Бурковский В.Л.

кандидат технических наук, доцент Стребков Д.А.

Ведущая организация: Московский институт электроники и математики (технический университет)

Защита состоится «25» декабря 2008 г. в 'О часов на заседании диссертационного совета Д 212.105.02 при Курском государственном техническом университете по адресу: 305040, Курск, ул. 50 лет Октября, 94.

С диссертацией можно ознакомиться в библиотеке университета.

Автореферат разослан « // 2008 г.

Отзывы на автореферат в двух экземплярах, заверенные печатью, просим направлять по адресу: 305040, Курск, ул. 50 лет Октября, 94, КГТУ, ученому секретарю диссертационного совета Д 212.105.02.

Ученый секретарь диссертационного совета, У

кандидат технических наук —>

1Су*^ Титснко Е.А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Одной из актуальных задач в условиях постоянного роста количества наземных подвижных объектов (НПО), в частности автомобилей, является развитие вычислительной техники и средств обработки изображений в составе систем технического зрения. В условиях постоянного увеличения плотности автомобилей особую актуальность приобретает создание автоматических средств достоверной оценки расстояния между автомобилем и препятствием в процессе движения или парковки.

Серийно выпускаемые технические средства обеспечивают частичное решение указанной задачи или характеризуются ограниченными функциональными возможностями. Так, известны ультразвуковые радары и системы предупреждения столкновений, применяемые для оценки расстояния до препятствия при парковке, недостатками которых является возможность обнаружения только объемных препятствий, низкая селективность. Известны также системы технического зрения для предупреждения столкновений, характеризуемые возможностью работы только в условиях хорошей освещенности и не обеспечивающие своевременное обнаружение встречного подвижного объекта при высокой скорости движения.

Другим важным фактором в условиях большой плотности дорожного потока существенную роль приобретают технические средства оценки состояния водителя. Вместе с тем анализ зарубежных систем распознавания состояния водителя выявляет избыточную вычислительную сложность алгоритмов, затрудняющую использование стандартных вычислительных средств для построения таких систем.

Таким образом, объективно имеет место противоречие между необходимостью повышения безопасности дорожного движения путем снижения рисков, связанных с действиями водителя, а также рисков, обусловленных внешними факторами, и ограниченными функциональными возможностями существующих средств соответствующего назначения вследствие их узкой специализации.

В этой связи актуальной научно-технической задачей является повышение точности и дальности обнаружения препятствий на пути движения наземного подвижного объекта и оценка состояния глаз водителя на основе разработки многофункциональной системы технического зрения подвижного объекта, обеспечивающей повышение безопасности участников дорожного движения.

Диссертационная работа выполнена в рамках фундаментальных исследований с госбюджетным финансированием, которые велись и ведутся в Курском государственном техническом университете (госбюджетная НИР: 11.1.05 «Исследование теоретических основ, методов и алгоритмов повышения

качества обработки изображений в системе технического зрения» (№ гос. регистрации 01200508819,2005 г.).

Целью работы является разработка адаптивной многофункциональной системы технического зрения, повышающей безопасность дорожного движения за счет анализа ситуации на дороге и состояния водителя.

В соответствии с указанной целью в работе решаются следующие основные задачи:

1) анализ существующих методов и алгоритмов обработки изображений в современных СТЗ НПО;

2) разработка математической модели многофункциональной СТЗ НПО с учетом изменения характеристик внешних условий (освещенность, визуальные помехи) и параметров движения объекта;

3) разработка методов адаптации и обнаружения движущихся объектов многофункциональной СТЗ подвижного объекта, с учетом изменения освещенности и компенсации размытости изображения, а также аппаратно-ориентированного алгоритма оценки состояния глаз водителя;

4) разработка структурно-функциональной организации многофункциональной адаптивной СТЗ подвижного объекта;

5) экспериментальная оценка качества функционирования СТЗ по реальным изображениям и путем имитационного моделирования.

Методы исследования. Для решения поставленных в работе задач используются теория распознавания образов, теория проектирования устройств ЭВМ, теория нечеткой логики, методы обработки и анализа дискретных изображений.

Новыми научными результатами и положениями, выносимыми на защиту, являются:

1) математическая модель многофункциональной СТЗ подвижного объекта, особенностью которой является комплексный учет влияния внешней среды, параметров движения объектов и признака состояния водителя, позволившая синтезировать структурно-функциональную организацию СТЗ;

2) метод адаптации СТЗ, особенностью которого является использование логико-лингвистического описания характеристик внешней среды, позволяющий учесть влияние визуальных помех;

3) метод и аппаратно-ориентированный алгоритм обнаружения движущихся объектов, особенностью которых является компенсация размытости изображения, обусловленной движением объектов, обеспечивающие повышение точности определения его трехмерных координат;

4) аппаратно-ориентированный алгоритм оценки состояния водителя по признаку «открытые/закрытые» глаза, особенностью которых является обработка изображений лица водителя в различных спектральных диапазонах излучения, позволяющие обнаружить закрытие глаз водителем;

5) структурно-функциональная организация СТЗ подвижного объекта, особенностью которой является разработка и введение специализированных вычислительных устройств и связей с другими элементами системы, обеспечивающая требуемую точность обнаружения препятствий на пути движения объекта и оценка состояния водителя.

Объект исследований - автоматические средства повышения точности функционирования СТЗ НПО.

Предмет исследований - процессы обработки изображений СТЗ подвижных объектов.

Практическая ценность работы состоит в следующем:

- разработан метод компенсации эффекта размытия изображения и предложена его схемотехническая реализация при движении объектов, отличающийся возможностью его исполнения на ПЛИС и создания однокристальных средств повышения точности изображений;

- разработана адаптивная многофункциональная система технического зрения, повышающая безопасность дорожного движения посредством одновременного анализа нескольких факторов риска.

Основные результаты, полученные в теоретической части диссертации, доведены до уровня инженерных формул, алгоритмов и методик, что позволяет их использовать при проектировании систем технического зрения различного назначения.

Апробация работы. Основные положения диссертационной работы докладывались и получили положительную оценку на международных и российских конференциях, семинарах, симпозиумах: 7-ой, 8-ой Международных конференциях «Распознавание», Курск, 2005, 2008; 4-th International Conference «information and Telecommunication Technologies in Intelligent Systems», Katania, Italy, 2006; Всероссийской научно-технической конференции «Интеллектуальные и информационные системы», Тула, 2007; Международном симпозиуме «Новые информационные технологии и менеджмент качества)), Турция, 2008; на научно-технических семинарах кафедры «Вычислительная техника» Курского государственного технического университета с 2005 по 2008 гг.

Результаты работы внедрены в ОАО «Счетмаш» г. Курска и используются в учебном процессе Курского государственного технического университета.

Публикации. Результаты проведенных исследований и разработок опубликованы в 9 печатных работах, в том числе 3 статьи в журналах, рекомендованных перечнем ВАК. Получено свидетельство на регистрацию программы для ЭВМ.

В работах, опубликованных в соавторстве, лично соискателем разработаны: в [I J - метод обнаружения глаз на изображении лица; в [2] - метод устранения шумов на изображении; в [3, 4] - алгоритм выделения контуров на изображении; в [5, 6, 7] - математические модели ввода изображения рабочей

сцены, адаптации к изменению освещенности; в [8, 9] - методика проведения диагностики бортового компьютера наземного подвижного объекта

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, включающего наименований, изложена на страницах и поясняется рисунками и таблицами.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, сформулированы цель и задачи исследований, научная новизна и положения, выносимые на защиту, практическая ценность, результаты реализации работы.

В первом разделе проведен анализ методов и средств расширения функциональных возможностей СТЗ наземного подвижного объекта и средств обеспечения безопасности дорожного движения. Обоснована актуальность разработки СТЗ НПО с учетом возможностей современных вычислительных средств обработки изображений и определен перечень решаемых на их основе задач.

Безопасность движения определяется факторами риска, к которым относятся столкновение со встречным НПО или неподвижным объектом, засыпание водителя за рулем.

Установлено, что существующие средства обеспечения безопасности движения НПО характеризуются недостаточной точностью в условиях зашумленности изображений и темное время суток, имеют избыточную вычислительную сложность, приводящую к удорожанию средств повышения безопасности движения; обеспечивают решение лишь частных задач.

Перечень выполняемых многофункциональной адаптивной СТЗ НПО задач: предупреждение столкновения с сзади расположенным препятствием и с встречным объектом; сигнализацию о возможном засыпании водителя; запись поступающих с видеокамер СТЗ изображений в случае возможного возникновения дорожно-транспортного происшествия.

Во втором разделе разработана математическая модель многофункциональной адаптивной СТЗ НПО, позволяющая автоматически выбирать рациональные параметры методов выделения контуров и яркостной нормализации и этим обеспечивать адаптацию к погодным условиям; обнаруживать движущиеся объекты и препятствия, распознавать состояние глаз водителя.

Общая математическая модель СТЗ НПО включает частные математические модели ввода изображения рабочей сцены, выделения контуров, адаптации СТЗ к изменяющимся погодным условиям, компенсации размытости изображения объекта и обнаружения движущегося объекта, определения трехмерных координат объектов бинокулярной СТЗ, обнаружения препятствия, обнаружения глаз водителя.

В соответствии с математической моделью производится обработка монохроматического изображения. При использовании «цветных» оптико-электронных датчиков получаемое ими изображение в соответствии с известным преобразованием приводится к монохроматическому изображению. Под изображением понимается двумерная матрица

где / - яркость пикселя в точке с координатами (х, у), X, У - размеры кадра изображения.

Математическая модель выделения контуров основана на известных дифференциальных методах выделения контуров и позволяет определить множество контуров К, состоящее из Л* элементов А", : К = {А'/}|/--,. Под контуром Кг понимается совокупность отличных от фона изображения точек, таких, что для каждой точки (х,,у,) найдется не менее одной соседней точки (х^у,), расположенной на расстоянии 1 пиксел:

У(х„у1)еК,Л=\,Ж~, -.3(хру) еЛУ = ГЖ• ™-*,)2 +<У. =1 •

Математическая модель адаптации СТЗ к погодным условиям заключается в выборе метода тк выделения контуров и его рациональных параметров </?*,> и в зависимости от уровня кр визуальных помех на изображении, определяемых по количеству п^,точечных объектов

<р\> = <р\> (т\ г/р(»ра(1(х,у)1д=— )) (2)

и приведении средней яркости 1ср и контрастности изображения к эталонным значениям.

Для управления яркостью 1ср введена лингвистическая переменная (ЛП) «изменение яркости». Нечеткое отношение /•", используемое для расчета управляющего воздействия Л1, определяется логико-лингвистической моделью

5

^ | ^яркость ^ Мизменение яркости <

(3)

где I - номер правила логико-лингвистической модели, /Яркость - текущее значение яркости, яв,ме„„„рКОст„.

Значение ЛП «изменение яркости» определяется

Мигченение яркости № яркость

(4)

где //яркость - текущее нечеткое значение яркости изображения.

Дефазификация значения ЛП «изменение яркости» осуществляется методом весового осреднения

= .......„('))/(2>„-. .,.....(')), (5)

где АГ0, - значение используемого терма ЛП «изменение яркости» в опорной точке.

Адаптация к визуальным помехам заключается в выборе метода выделения контуров (метод, основанный на получении первой или второй производной) и его параметров, а также повышении точности выделения контуров путем анализа координат точек, составляющих контур, на д кадрах изображения путем расчета значения ЛП «принадлежность контуру» для каждого пикселя, определяемой функцией принадлежности (ФП) Цц

где к - номера кадра; ¿¡экст ~ ФП, определяющие степень принадлежности анализируемой точки контуру по ее удалению от ближайшей точки анализируемого контура и удалению от экстраполируемой точки контура.

При движении НПО вследствие конечного времени получения кадра изображения возникает «смаз» изображения, обусловленный как движением НПО, на котором установлена СТЗ, так и движением встречных ему транспортных средств.

Математическая модель Л/ту() компенсации размытости изображения объекта позволяет обнаружить на изображении движущиеся объекты <£>'„„->, (/ = О../?,,™-, - номер объекта, У = {I, 2} - номер ОЭД), представляющие собой совокупность составляющих его точек изображения, и повысить их четкость для повышения точности последующих операций обработки изображений путем изменения выходных значений яркости изображения 1ч(х,у) текущего кадра в зависимости от входных значений функций яркости изображения текущего 1(х,у) и предыдущего кадра 1_,(х.у)

!„(х,У)= Л/ту„ (Цх,у), ■ (7)

Математическая модель Л/)п определения трехмерных координат основана на выделении одного и того же объекта Qmv на стереопарах изображений 1ч'(х.у), 1<,"(х,у), поступающих с бинокулярной СТЗ, определении двухмерных координат объекта (х1^, у1с?га„), (х'с;ту, у%,У) на каждом изображении и расчете пространственных координат объекта (Х0ту, у2тУ, г^тУ)

ч'(х,у)),х"с,тУ(1ч1[(х,у)),уйет'(1ч"(х,у)))-

Отличительной особенностью математической модели является логико-лингвистическое описание объектов изображения, позволяющее за более короткое время найти один и тот же объект на разных кадрах путем направленного перебора групп пикселей в направлении движения объектов. Сопоставление объектов осуществляется на основе расчета функции принадлежности ¿/„„.для каждой пары сопоставляемых объектов (У„н,, (У'

)> (8)

где //„а, //„<)в„. ¡л^ - функции принадлежности термам «внутренняя идентичность», «внешняя идентичность», «идентичность гистограмм»,

и выбора пары для каждого объекта (/„,„ с максимальным значением функции

//„,,у = тах(//ш„,.,)и = 1..Я(2гау. (9)

Математическая модель Л/а|гт обнаружения препятствия позволяет для каждого движущегося объекта Qmv определить, может ли траектория его движения пересечь область, соответствующую текущему положению НПО, для сигнализации о возможном столкновении. Траектории движений, как НПО, так и движущегося объекта, считаются прямолинейными. Математическая модель обнаружения препятствия включает в себя выражения для определения направления и текущей скорости движения объекта в трехмерной системе координат и оценки времени 1г1тт_, возможного столкновения:

_,)• (Ю)

Обнаружение зрачка на изображении производится в соответствии с математической моделью Л/е, состоящей из математических моделей обнаружения лица на изображении посредством анализа кадра изображения в обычном 1(х,у)|(_— и инфракрасном диапазонах,

математической модели Л/Ге обнаружения участков лица, предположительно содержащих глаза и математической модели Л/рр обнаружения зрачков.

ЛГе=Л/е(Л/РР(Л^(Щ1(х,у)>1ж(х,у))))) 1х=^3,=Пг (")

Полученные функциональные зависимости, описывающие процесс функционирования многофункциональной адаптивной СТЗ НПО, позволили разработать методы и аппаратко-ориентированные алгоритмы обработки изображений в интересах повышения точности измерения координат препятствий и подвижных объектов, определить точностные характеристики СТЗ.

В третьем разделе рассмотрены вопросы повышения точности функционирования СТЗ НПО посредством калибровки, коррекции дисторсии оптических систем оптико-электронных датчиков (ОЭД) и калибровки фокусных расстояний ОЭД; выполнен аналитический анализ точностных характеристик разрабатываемой СТЗ и времени обработки изображений; разработаны метод адаптации СТЗ, метод и аппаратно-ориентированные алгоритмы обнаружения движущихся объектов и состояния глаз водителя; представлен обобщенный алгоритм функционирования СТЗ.

Калибровка СТЗ позволяет определить и привести к заданным угловые и линейные отклонения установочного положения ОЭД: угол у вращения ОЭД вокруг главной оптической оси ОЭД, углы Да, Д0 между главными оптическими осями в горизонтальной и вертикальной плоскостях, разность Э глубин установки ОЭД, разность Н высот установки ОЭД, расстояние Ь между ОЭД. Коррекция радиальной дисторсии позволяет получить неискаженное аберрацией оптической системы ОЭД изображение переносом пикселей в их истинные позиции. Калибровка фокусных расстояний производится известным

методом путем определения резкости и изменения расстояния между ОС и матричным приемником изображения ОЭД.

Метод обнаружения движущихся объектов основан на вычислении межкадровой разности текущего и предыдущего изображений, последующих определения направлений смещения пикселей и группирования пикселей в объекты. Аппаратно-ориентированный алгоритм обнаружения движущихся объектов базируется на операциях сложения, умножения, вычитания, что позволяет реализовать его на ПЛИС без использования микропроцессорных устройств, и тем самым обеспечить своевременное обнаружение движущихся встречных объектов в реальном времени.

Аппаратно-ориентированный алгоритм оценки состояния глаз водителя также характеризуется использованием в основном только арифметических операций и операций сдвига и ориентирован на его реализацию в ПЛИС. Алгоритм включает операции анализа изображений лица водителя, полученных в различных спектральных диапазонах излучения и последующего обнаружения изображения лица и зрачков на основе следующих особенностей изображения лица: яркость фона в некотором диапазоне остается неизменной в независимости от ИК подсветки, яркость кожи лица значительно возрастает при включении ИК осветителя, а яркость зрачков, представляющих собой темные круги неизменна.

В своей совокупности методы и алпаратно-ориентированные алгоритмы обнаружения движущихся объектов и глаз водителя позволяют параллельно распределить вычисления между различными устройствами СТЗ и повысить скорость обработки изображений, что, в конечном счете, обеспечивает своевременное обнаружение факторов риска при движении НПО.

Полученные во второй главе функциональные зависимости, описывающие процесс функционирования СТЗ, и рассмотренные в третьей главе принципы повышения точности изображения и методы обработки изображений позволили разработать обобщенный алгоритм функционирования СТЗ (рис. 2) и ее структурно-функциональную организацию (рис. 3).

Рис. 2 - Обобщенный алгоритм функционирования адаптивной многофункциональной СТЗ НПО, двойкой линией выделены аппаратно выполняемые операции

СТЗ НПО содержит две оптико-электронные системы, состоящие из двух ОЭД, для получения изображений спереди и сзади НПО; устройство оценки состояния глаз водителя, содержащий ОЭД, устройство ввода изображения и устройство обнаружения зрачков; устройства компенсации размытости изображения и обнаружения движущихся объектов; системный контроллер и средства ввода и вывода данных.

Новизна предлагаемой СТЗ заключается во введении устройств компенсации размытости изображения, устройства оценки состояния водителя, и связей между указанными устройствами и системным контроллером, обеспечивающих параллельное выполнение операций обнаружения объектов и

повышение точности измерения координат препятствий, что в целом обеспечивает повышение безопасности движения.

Рис. 3 - Структурно-функциональная организация СТЗ НПО

Устройство компенсации размытости, в котором аппаратно реализован алгоритм детектирования движения, обнаружения объектов и повышения четкости изображения движущихся объектов, изображено на рис. 4.

Рис. 4 - Схемаустройства компенсации размытости изображения

Устройство компенсации размытости состоит из модуля формирования адреса, модуля детекции движения, модуля формирования объектов, модуля компенсации размытости, контроллера-арбитра, ОЗУ и контроллера шины.

В процессе функционирования на вход модуля записи изображения поступает исходное изображение. Контроллер-арбитр записывает текущий кадр изображения в ОЗУ и затем выделяет окна обработки размером 3x3 на текущем и предыдущем кадрах для анализа каждого пикселя текущего кадра и

последовательно передает данные окна обработки в модуль детекции движения. Для каждого пикселя модуль детекции движения определяет направление перемещения и через контроллер-арбитр записывает коды направления движения для каждого пикселя в ОЗУ. Модуль формирования объектов сравнивает направления движения пикселей и для смежных пикселей формирует движущиеся объекты. Контроллер-арбитр передает в модуль компенсации размытости области изображения, принадлежащие движущимся обьектам, которые после коррекции вновь записываются в ОЗУ. Контроллер шины считывает изображение и параметры обнаруженных объектов из ОЗУ, передает их в вышестоящее устройство обработки изображения и ожидает завершения обработки очередного кадра, после чего цикл обработки изображения повторяется.

Устройство ввода изображения (рис. 5) кроме ввода изображения в системный контроллер реализует функцию коррекции дисторсии ОС ОЭД посредством расчета корректирующих поправок для каждого пикселя изображения.

Рис. 5 - Структурная схема устройства ввода изображения Устройство компенсации размытости изображения (рис. 4), устройство обнаружения зрачков и устройство ввода изображения (рис. 5) реализованы на базе ПЛИС-устройство обработки изображений ХШпх «Н^/ЛМЗХЗб-УШЕО» (рис. 6).

Рис. 6 - ПЛИС-устройство обработки изображений СТЗ

В четвертом разделе приводится описание аппаратно-программного стенда (АПС) для проверки адекватности полученной в результате теоретических исследований математической модели СТЗ, а также результаты имитационного моделирования процесса синтеза изображений трехмерной динамической рабочей сцены. В состав АПС (рис. 6) входят оптико-электронные датчики, устройство ввода изображения с функцией коррекции дисторсии, ПЭВМ.

Рис. 7 - Структурно-функциональная схема аппаратно-программного стенда для проведения исследований СТЗ

Исследование параметров адаптивной СТЗ проводилось в соответствии с разработанной методикой проведения экспериментальных испытаний. Согласно методике испытания проводились с использованием реальных изображений, полученных при движении НПО, и искусственно созданных изображений на имитационной программной модели синтеза динамической трехмерной рабочей сцены.

Для сравнительного анализа полученных в ходе испытаний точностных характеристик выбрана система технического зрения, разработанная в НИИ «ГОСНИИАС» и НТЦ «Модуль», как имеющая лучшие характеристики из известных устройств и близкая по своему назначению к разработанной СТЗ. В таблице 1 приведена сравнительная характеристика разработанной и известной систем технического зрения.

Таблица 1

Параметры адаптивной многофункциональной СТЗ НПО и СТЗ-анапога

№ п п Выполняемая функция Наличие функции, значение технической характеристики

СТЗ НПО СТЗ-аналог

И_ Обнаружение встречного НПО есть есть

2 Обнаружение препятствия сзади есть нет

3 Сигнализация о засыпании водителя есть нет

4 Обнаружение препятствия за пределами полосы движения есть нет

5 Обнаружение препятствия 8 пределах полосы движения есть, дальность до 130 м есть, дальность до 100 м

6 Погрешность определения координат на дальности 10 и 100 м, м 0,09 2,9 0,12 3,5

7 Частота обработки изображений 24-30 Гц Ю-ЗОГц

8 Размер кадра изображения, пике 640x480, 720x576 неизвестно

9 Учет траектории движения объекта есть нет

Анализ характеристик СТЗ показывает, что разработанная адаптивная многофункциональная СТЗ обладает существенно большим набором выполняемых функций и превосходит известную СТЗ по точности и дальности обнаружения движущихся встречных НПО.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработана математическая модель адаптивной многофункциональной адаптивной СТЗ подвижного объекта, отличающаяся комплексным анализом факторов риска при движении объекта и позволяющая синтезировать методы и аппаратно-ориентированные алгоритмы обработки изображений с целью адаптации к внешним условиям, обнаружения препятствий и закрытых длительное время глаз водителя.

2. Разработан метод и аппаратно-ориентированный алгоритм обнаружения движущихся объектов, основанный на вычислении межкадровой разности, позволяющий компенсировать искажения изображения движущихся объектов на аппаратном уровне и обеспечивающий своевременное обнаружение движущихся встречных объектов в реальном времени.

3. Разработан метод адаптации СТЗ к характеристикам внешней среды,

основанный на логико-лингвистическом описании характеристик внешней среды, учитывающий изменение внешней освещенности и влияние визуальных помех, позволяющий в 1,3 раза повысить дальность обнаружения движущихся объектов.

4. Разработан аппаратно-ориентированный алгоритм обнаружения глаз водителя, основанный на анализе изображений лица водителя, полученных в различных спектральных диапазонах излучения, обеспечивающий определение состояния глаз водителя (открыты, закрыты) в ночное и дневное время, и позволяющий повысить безопасность движения наземного подвижного объекта.

5. Разработана структурно-функциональная организация многофункциональной адаптивной системы технического зрения подвижного объекта, отличающаяся введением специализированных вычислительных устройств обнаружения движущихся объектов и глаз водителя, обеспечивающая комплексный учет факторов, снижающих безопасность дорожного движения, а также возможность конфигурирования системы в зависимости от выполняемых функций и стоимости.

6. Проведены экспериментальные исследования, подтверждающие адекватность разработанной математической модели СТЗ, что позволяет использовать математическую модель для теоретических исследований при решении других связанных с анализом движущихся объектов задач. Сравнительный анализ СТЗ свидетельствует о повышении точности обнаружения встречного препятствия при большой скорости движения в 1,2 раза, а также большем перечне выполняемых СТЗ функций.

Список основных публикаций Статьи в журналах, входящих в перечень ВАК РФ

1. Медведев, A.B. Метод автоматического кадрирования цифровых портретных изображений для цифровых фотоаппаратов [Текст] / A.B. Медведев, C.B. Дегтярев, С.Ю. Мирошниченко // Известия ВУЗов. Приборостроение. -2008.2.-С. 5-9.

2. Медведев, A.B. Помехоустойчивое интерференционное устройство для измерения малых угловых перемещений [Текст] / A.B. Медведев, C.B. Дегтярев, A.A. Аль-Ядуми // Известия ВУЗов. Приборостроение. -2008. -№ 2. - С. 65-68.

3. Медведев, A.B. Метод распознавания символьной информации автомобильного бортового компьютера [Текст] / A.B. Медведев, C.B. Дегтярев и др. // Датчики и системы. - 2008. - № 5. - С. 5-7.

Статьи

4. Медведев, A.B. Оптико-электронное устройство для измерения объема объекта [Текст] / A.B. Медведев, С.Ю. Мирошниченко, B.C. Титов // Оптико-электронные системы визуализации и обработки оптических изображений: сб. статей. - М - 2007. - Выпуск №2. - С. 96-100.

Материалы конференций

5. Медведев, Л.В. Оптико-электронная система контроля эксплуатационной надежности деревянных конструкций со значительной площадью остекленения [Текст] / A.B. Медведев, Д.В. Авдяков и др. // Распознавание - 2003: сб. материалов VII Международной конференции. -Курск,-2005.-С. 31-32.

6. Medvedev, A.V. Machine vision system based on infrared sensor [Text] / A.V. Medvedev, V.S. Tiíov И Information and Telecommunication Technologies in Intelligent Systems: proceedings of the 4-th International Conference. - Katania, Italy. - 2006. - P. 47-49.

7. Медведев, A.B. Использование графа потоков управления [Текст] / A.B. Медведев, A.A. Абезяев // Интеллектуальные и информационные системы: сб. материалов Всероссийской научно-технической конференции, - Тула. -2007. - С. 67-69.

8. Медведев, A.B. Стенд для диагностирования автомобильного бортового компьютера [Текст] / A.B. Медведев, Е.В. Головенков // Распознавание - 2008: сб. материалов VIII Международной конференции. Часть 1,-Курск.-2008.-С. 103-104.

9. Медведев, A.B. Оптико-электронная система для диагностирования автомобильного бортового компьютера [Текст] / A.B. Медведев, C.B. Дегтярев, Е.В. Головенков // Новые информационные технологии и менеджмент качества: сб. материалов Международного симпозиума. - Турция. - 2008. - С. 258-259.

Свидетельство об официальной регистрации программы для ЭВМ

(0. Свидетельство об официальной регистрации программы для ЭВМ 2008611661 Российская Федерация. Программа визуального контроля работоспособности бортового компьютера / A.B. Медведев, Е.В. Головенков, C.B. Дегтярев.; Правообладатель КурскГТУ. № 2008610758; заявл. 26.02.2008; зарегистрировано 31.03.2008.

\у

Соискатель Медведев А.В.

ИД N»06430 от ЮЛ 2.01

Подписано к печати_. Формат 60x84 1/16.

Печатных листов 1 Тираж 100 экз. Заказ Курский государстве!"" 'й технический университет. 305040, г. Курс ,, л. 50 лет Октября, 94.

ВВЕДЕНИЕ.

1 АНАЛИЗ МЕТОДОВ И СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ ОБЕСПЕЧЕНИЯ БЕЗОПАСНОСТИ ДОРОЖНОГО ДВИЖЕНИЯ НАЗЕМНЫХ ПОДВИЖНЫХ ОБЪЕКТОВ.

2 МАТЕМАТИЧЕСКАЯ МОДЕЛЬ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ НАЗЕМНЫХ ПОДВИЖНЫХ ОБЪЕКТОВ.

2.1 Математическая модель ввода изображения.

2.2 Математическая модель выделения контуров объектов.

2.3 Математическая модель адаптации системы технического зрения наземного подвижного объекта к изменяющимся погодным условиям.

2.4 Математическая модель компенсации размытости изображения и обнаружения движущихся объектов.

2.5 Математическая модель определения пространственных координат объектов системой технического зрения наземного подвижного объекта.

2.6 Математическая модель обнаружения препятствия перед наземным подвижным объектом.

2.7 Математическая модель идентификации объекта на различных кадрах изображения.

2.8 Математическая модель обнаружения глаз водителя и определения их состояния.

2.9 Обобщенный алгоритм функционирования системы технического зрения наземного подвижного объекта.

3 АЛГОРИТМЫ ОБРАБОТКИ ИЗОБРАЖЕНИЯ И СИНТЕЗ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ НАЗЕМНОГО ПОДВИЖНОГО ОБЪЕКТА.

3.1 Калибровка системы технического зрения наземного подвижного объекта.

3.1.1 Калибровка фокусных расстояний системы технического зрения наземного подвижного объекта.

3.1.2 Коррекция оптических искажений оптико-электронного датчика

3.1.3 Калибровка положения оптико-электронных датчиков системы технического зрения наземного подвижного объекта.

3.1.4 Алгоритм калибровки системы технического зрения наземного подвижного объекта.

3.2 Метод и аппаратно-ориентированный алгоритм компенсации размытости изображения и обнаружения движущихся объектов.

3.3 Метод адаптации системы технического зрения наземных подвижных объектов.

3.4 Аппаратно-ориентированный алгоритм обнаружения глаз водителя

3.5 Анализ точности обнаружения и определения координат объектов системой технического зрения наземного подвижного объекта.

3.5.1 Точность калибровки фокусных расстояний.

3.5.2 Точность калибровки угловых отклонений оптико-электронных датчиков системы технического зрения наземного подвижного объекта.

3.5.3 Точность коррекции радиальной дисторсии оптической системы оптико-электронного датчика.

3.5.4 Оценка погрешности измерения пространственных координат объектов.

3.6 Синтез структуры адаптивной многофункциональной системы технического зрения наземного подвижного объекта.

3.6.1 Модуль компенсации размытости изображения и обнаружения объектов.

3.6.2 Модуль определения состояния водителя по изображению глаз

3.6.3 Устройство ввода изображения в систему технического зрения наземного подвижного объекта.

3.6.4 Структурно-функциональная организация системы технического зрения наземного подвижного объекта.

3.7 Инженерная методика выбора параметров системы технического зрения наземного подвижного объекта.

Выводы.

4 ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ АДАПТИВНОЙ МНОГОФУНКЦИОНАЛЬНОЙ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ НАЗЕМНОГО ПОДВИЖНОГО ОБЪЕКТА.

4.1 Аппаратно-программный стенд для проведения испытаний.

4.2 Методика проведения испытаний адаптивной многофункциональной системы технического зрения наземного подвижного объекта.

Актуальность темы. Одной из актуальных задач в условиях постоянного роста количества наземных подвижных объектов (НПО), в частности автомобилей, является развитие вычислительной техники и средств обработки изображений в составе систем технического зрения. В условиях постоянного увеличения плотности автомобилей особую актуальность приобретает создание автоматических средств достоверной оценки расстояния между автомобилем и препятствием в процессе движения или парковки.

Серийно выпускаемые технические средства обеспечивают частичное решение указанной задачи или характеризуются ограниченными функциональными возможностями. Так, известны ультразвуковые радары и системы предупреждения столкновений, применяемые для оценки расстояния до препятствия при парковке, недостатками которых является возможность обнаружения только объемных препятствий, низкая селективность. Известны также системы технического зрения для предупреждения столкновений, характеризуемые возможностью работы только в условиях хорошей освещенности и не обеспечивающие своевременное обнаружение встречного подвижного объекта при высокой скорости движения.

В условиях большой плотности дорожного потока существенную роль приобретают технические средства оценки состояния водителя. Анализ зарубежных систем распознавания состояния водителя выявляет избыточную вычислительную сложность алгоритмов, затрудняющую использование стандартных вычислительных средств для построения таких систем.

Таким образом, объективно имеет место противоречие между необходимостью повышения безопасности дорожного движения путем снижения рисков, связанных с действиями водителя, а также рисков, обусловленных внешними факторами, и ограниченными функциональными возможностями существующих средств соответствующего назначения вследствие их узкой специализации.

В этой связи актуальной научно-технической задачей является повышение точности и дальности обнаружения препятствий на пути движения наземного подвижного объекта и оценка состояния глаз водителя на основе разработки многофункциональной системы технического зрения подвижного объекта, обеспечивающей повышение безопасности участников дорожного движения.

Диссертационная работа выполнена в рамках фундаментальных исследований с госбюджетным финансированием, которые велись и ведутся в Курском государственном техническом университете (госбюджетная НИР: 11.1.05 «Исследование теоретических основ, методов и алгоритмов повышения качества обработки изображений в системе технического зрения» (№ гос. регистрации 01200508819, 2005 г.).

Целью работы является разработка адаптивной многофункциональной системы технического зрения, повышающей безопасность дорожного движения за счет анализа ситуации на дороге и состояния водителя.

В соответствии с указанной целью в работе решаются следующие основные задачи:

1) анализ существующих методов и алгоритмов обработки изображений в современных СТЗ НПО;

2) разработка математической модели многофункциональной СТЗ НПО с учетом изменения характеристик внешних условий (освещенность, визуальные помехи) и параметров движения объекта;

3) разработка методов адаптации и обнаружения движущихся объектов многофункциональной СТЗ подвижного объекта с учетом изменения освещенности и компенсации размытости изображения, а также аппаратно-ориентированного алгоритма оценки состояния глаз водителя;

4) разработка структурно-функциональной организации многофункциональной адаптивной СТЗ подвижного объекта;

5) экспериментальная оценка качества функционирования СТЗ по реальным изображениям и путем имитационного моделирования.

Методы исследования. Для решения поставленных в работе задач используются теория распознавания образов, теория проектирования устройств ЭВМ, теория нечеткой логики, методы обработки и анализа дискретных изображений.

Новыми научными результатами и положениями, выносимыми на защиту, являются:

1) математическая модель многофункциональной СТЗ подвижного объекта, особенностью которой является комплексный учет влияния внешней среды, параметров движения объектов и признака состояния водителя, позволившая синтезировать структурно-функциональную организацию СТЗ;

2) метод адаптации СТЗ, особенностью которого является использование логико-лингвистического описания характеристик внешней среды, позволяющий учесть влияние визуальных помех;

3) метод и аппаратно-ориентированный алгоритм обнаружения движущихся объектов, особенностью которых является компенсация размытости изображения, обусловленной движением объектов, обеспечивающие повышение точности определения его трехмерных координат;

4) аппаратно-ориентированный алгоритм оценки состояния водителя по признаку «открытые/закрытые» глаза, особенностью которого является обработка изображений лица водителя в различных спектральных диапазонах излучения, позволяющий обнаружить закрытие глаз водителем;

5) структурно-функциональная организация СТЗ подвижного объекта, особенностью которой является разработка и введение специализированных вычислительных устройств и связей с другими элементами системы, обеспечивающая требуемую точность обнаружения препятствий на пути движения объекта и оценка состояния водителя.

Объект исследований - автоматические средства повышения точности функционирования СТЗ НПО.

Предмет исследований - процессы обработки изображений СТЗ подвижных объектов.

Практическая ценность работы состоит в следующем:

- разработан метод компенсации эффекта размытия изображения и предложена его схемотехническая реализация при движении объектов, отличающийся возможностью его исполнения на ПЛИС и создания однокристальных средств повышения точности изображений;

- разработана адаптивная многофункциональная система технического зрения, повышающая безопасность дорожного движения посредством одновременного анализа нескольких факторов риска.

Основные результаты, полученные в теоретической части диссертации, доведены до уровня инженерных формул, алгоритмов и методик, что позволяет их использовать при проектировании систем технического зрения различного назначения.

Апробация работы. Основные положения диссертационной работы докладывались и получили положительную оценку на международных и российских конференциях, семинарах, симпозиумах: 7-ой, 8-ой Международных конференциях «Распознавание», Курск, 2005, 2008; 4-th International Conference «Information and Telecommunication Technologies in Intelligent Systems», Katania, Italy, 2006; Всероссийской научно-технической конференции «Интеллектуальные и информационные системы», Тула, 2007; Международном симпозиуме «Новые информационные технологии и менеджмент качества», Турция, 2008; на научно-технических семинарах кафедры «Вычислительная техника» Курского государственного технического университета с 2005 по 2008 гг.

Результаты работы внедрены в ОАО «Счетмаш» г. Курска и используются в учебном процессе Курского государственного технического университета.

Публикации. Результаты проведенных исследований и разработок опубликованы в 9 печатных работах, в том числе 3 статьи в журналах, рекомендованных перечнем ВАК. Получено свидетельство на регистрацию программы для ЭВМ.

В работах, опубликованных в соавторстве, лично соискателем разработаны: в [1] - метод обнаружения глаз на изображении лица; в [2] - метод устранения шумов на изображении; в [3, 4] - алгоритм выделения контуров на изображении; в [5, 6, 7] - математические модели ввода изображения рабочей сцены, адаптации к изменению освещенности; в [8, 9] - методика проведения диагностики бортового компьютера наземного подвижного объекта.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, включающего 76 наименований, изложена на 126 страницах и поясняется 32 рисунками и 3 таблицами.

ввода июбоажения

I] Оптико-электронный датчик

Объектив

II Опшко-электронный датчик

МПИ

Устройство ввода изображения I

Блок Б

ИК осветитель ПИК-42

Видео- Устройство детекции глаз камера Hvv-Video

Блок А

Jtag-программатор

USB- ПЭВМ пор г [Модуль 1 Модуль | коррекции ] щисгорсии \ [предупреждения i [столкновения [

Модуль 1

USB- 'выделения , порт ■объектов i

USB-порт [Модуль 1 расчета ! 1Коораинах J 'Модуль [ ■обнаружения 1 IfUUIil 1

LPT- иорт

Рис. 4.1 - Структурно-функциональная схема аппаратно-программного стенда для проведения исследований СТЗ

Исследование параметров адаптивной СТЗ проводилось в соответствии с разработанной методикой проведения экспериментальных испытаний. Согласно методике испытания проводились с использованием реальных изображений, полученных при движении НПО, и искусственно созданных изображений на имитационной программной модели синтеза динамической трехмерной рабочей сцены.

В ходе проведения испытаний АПС функционирует следующим образом. Изображение рабочей сцены, сфокусированное объективами ОЭД, направляется на МПИ, который преобразует энергию излучения в видимом диапазоне длин волн в непрерывный сигнал, характеризующий изображение рабочей сцены.

Устройства ввода изображения осуществляют ввод искаженного объективом ОЭД изображения или предварительно корректирует искажения изображения, вызванные влиянием радиальной дисторсии, и затем вводит исправленное изображение в ПЭВМ.

Считанный в ПЭВМ кадр изображения запоминается в ОЗУ ПЭВМ, после чего осуществляется получение кадра изображения с другого ОЭД. ПЭВМ в соответствии со способом адаптивной калибровки производит расчеты и определяет погрешности установочного положения ОЭД. Определенные погрешности установочного положения ОЭД отображаются на дисплее ПЭВМ. Микрометрическими винтами устройства ориентации производится изменение установочного положения ОЭД на рассчитанные значения погрешностей, после чего вновь осуществляется ввод изображения с ОЭД в ПЭВМ.

Для проведения испытаний СТЗ разработан пакет специального программного обеспечения, содержащий программы, реализующие алгоритмы обработки изображений СТЗ, и имитационную модель, обеспечивающую синтез трехмерной рабочей сцены [77, 78]. Имитационная модель создана для расширения диапазона исследуемых параметров, влияющих на точностные характеристики СТЗ, которые не могут быть исследованы с использованием только аппаратных средств. Пакет специального программного обеспечения написан на языке «С» в среде «Visual С++ 6.0» с использованием открытых библиотек создания трехмерной графики «Open Gra phics Lib гагу» и анализа изображений «Open Computer Vision» [79].

Исследование параметров СТЗ проводилось в соответствии с разработанной методикой проведения испытаний.

4.2 Методика проведения испытаний адаптивной многофункциональной системы технического зрения наземного подвижного объекта

При проведении испытаний определялись погрешности параметров СТЗ НПО и возможность выполнения заданных функций:

- погрешность калибровки, являющаяся комплексным показателем, характеризующим точность СТЗ НПО;

- проверка обнаружения закрытия глаз водителем;

- проверка обнаружения встречного НПО;

- обнаружение препятствия сзади;

- обнаружение препятствия за пределами полосы движения;

- погрешности измерения координат объектов.

1 Проверка обнаружения закрытия глаз водителем

1.1 Собиралась установка по схеме блока А на рис. 4.1.

1.2 Устанавливалась видеокамера Logitech 9000 напротив лица человека на расстоянии 20 см и на высоте 30 см относительно глаз.

1.3 Видеокамера ориентировалась так, что в кадр попадало лицо целиком.

1.4 Напротив лица устанавливался осветитель ПИК 42.

1.5 Человек через каждые 30 секунд закрывал глаза на 5 секунд. При этом во время открытых глаз человек незначительно вращал головой и наклонял ее.

1.6 Испытания по п. 1.5 проводились в затемненном помещении и затем при ярком источнике света в виде лампы мощностью 200Вт, расположенной на расстоянии 1м от лица.

1.7 Испытания считаются пройденными успешно, если модуль обнаружения закрытых глаз сигнализирует о закрытии глаз.

2 Обнаружение встречного НПО.

2.1 На имитационной модели задавалось следующие параметры рабочей сцены (рис. 4.2): единственная прямая дорога, скорость движения СТЗ НПО 40 км/ч, количество встречных объектов, движущихся на СТЗ НПО, - 2, скорости движения встречных объектов - 90 и 40 км/ч, начальные расстояния между СТЗ НПО и встречными объектами - 200м.

2.2 Определялись расстояния, на которых СТЗ обнаруживала встречные объекты.

X ■ L Вероятное

Устз -ь- Вероятное { препятствие СО 1 препятствие СО 1

0 Z

Рис. 4.2 Расположение объектов для проверки п. 2.1

3 Обнаружение препятствия сзади.

3.1 На имитационной модели имитировалось приближение НПО.

3.2 Определялось расстояние, на котором СТЗ НПО обнаруживала объект сзади.

4. Обнаружение препятствия за пределами полосы движения 4.1 На имитационной модели задавалось следующие параметры рабочей сцены (рис. 4.3): две прямые дороги, расположенные взаимно перпендикулярно, по одной из которых движется СТЗ, а по другой два НПО, один из которых столкнется с СТЗ НПО, скорости движения всех объектов - 50км/ч, начальные расстояния между СТЗ НПО и встречными объектами до точки пересечения дорог - 200м.

4.2 Определялось расстояние, на котором СТЗ обнаруживался опасный объект.

4.3 Подтверждался факт несигнализвации о безопасном объекте.

X ■ к Вероятное ~препятствие J ОВероятное препятствие 1

Устз -^ 1

0 Z

Рис. 4.3 Расположение объектов для проверки п. 2.1

5. Определение погрешности измерения координат объектов.

5.1 Выполнялся пункт 2.1.

5.2 При известных траектория движения встречных НПО рассчитывались средние погрешности определения координат в зависимости от дальности до объекта.

6. Проверка по реальным изображениям.

6.1 Проводилась калибровка СТЗ.

6.1.1 Оптико-электронные датчики закреплялись на устройстве ориентации так, что их главные оптические оси располагались параллельно, и параметры II, D, определяющие линейное положение ОЭД, были близки к нулю, величина базы L устанавливалась равной 90мм.

6.1.2 Оптико-электронные датчики, в соответствии со схемой на рис. 4.1, подключались к ПЭВМ через устройство коррекции радиальной дисторсии и ввода изображения.

6.1.3 В ПЭВМ запускалась программа, реализующая алгоритм адаптивной калибровки, которая по изображению рабочей сцены автоматически выбирала калибровочный объект и по изображению калибровочного объекта рассчитывала значения калибруемых параметров.

6.1.4 В процессе калибровки на дисплее ПЭВМ отображались команды устройству ориентации, содержащие информацию о необходимых изменениях, линейных и угловых величин, определяющих установочное положение ОЭД.

6.1.5 Устройством ориентации производилось изменение параметров установочного положения ОЭД на рассчитанные ПЭВМ величины.

6.1.6 П.п. 1.4, 1.5 повторялись до тех пор, пока программа калибровки не формировала сообщение о проведении калибровки.

6.2 Проводилась запись и обработка реальных изображений

6.2.1 Собиралась система из двух видеокамер по схеме блока Б на рисунке

4.1.

6.2.2 Видеокамеры располагались на расстоянии 90 см и закреплялись на лобовом стекле автомобиля.

6.2.3 В течении 60 секунд при движении автомобиля с переменной скоростью от 20 до 40 км/ч записывались изображения с видеокамер.

6.2.4 В соответствии с алгоритмами по записанным изображениям определялись расположенные спереди объекты, с которыми мог столкнуться НПО с СТЗ.

На рисунках 4.4 - 4.8 представлены результаты экспериментальных исследований

AS,

Рис. 4.4 - Абсолютная средняя суммарная погрешность As калибровки бинокулярной СТЗ при разрешающей способности X ОЭД

Рис. 4.5 - Погрешность А определения координат от расстояния d при нормальных условиях, 1 - теоретическая, 2 - экспериментальная ш

40

60

80 d

Рис. 4.6 - Погрешность Д определения координат от расстояния d при дожде, 1 - теоретическая, 2 - экспериментальная

Рис. 4.7 - Погрешность Д определения координат от расстояния d в ночных условиях, 1 - теоретическая, 2 - экспериментальная

Рис. 4.8 - Изображение рабочей сцены при нормальных условиях

Рис. 4.9 - Изображение рабочей сцены при дожде

Рис. 4.10 - Стереопара изображений рабочей сцены

Для сравнительного анализа полученных в ходе испытаний точностных характеристик выбрана система технического зрения, разработанная в НИИ «ГОСНИИАС» и НТЦ «Модуль», как имеющая лучшие характеристики из известных устройств и близкая по своему назначению к разработанной СТЗ. В таблице 4.1 приведена сравнительная характеристика разработанной и известной систем технического зрения.

Заключение

1. Разработана математическая модель адаптивной многофункциональной адаптивной СТЗ подвижного объекта, отличающаяся комплексным анализом факторов риска при движении объекта и позволяющая синтезировать методы и аппаратно-ориентированные алгоритмы обработки изображений с целью адаптации к внешним условиям, обнаружения препятствий и закрытых длительное время глаз водителя.

2. Разработан метод и аппаратно-ориентированный алгоритм обнаружения движущихся объектов, основанный на вычислении межкадровой разности, позволяющий компенсировать искажения изображения движущихся объектов на аппаратном уровне и обеспечивающий своевременное обнаружение движущихся встречных объектов в реальном времени.

3. Разработан метод адаптации СТЗ к характеристикам внешней среды, основанный на логико-лингвистическом описании характеристик внешней среды, учитывающий изменение внешней освещенности и влияние визуальных помех, позволяющий в 1,3 раза повысить дальность обнаружения движущихся объектов.

4. Разработан аппаратно-ориентированный алгоритм обнаружения глаз водителя, основанный на анализе изображений лица водителя, полученных в различных спектральных диапазонах излучения, обеспечивающий определение состояния глаз водителя (открыты, закрыты) в ночное и дневное время, и позволяющий повысить безопасность движения наземного подвижного объекта.

5. Разработана структурно-функциональная организация многофункциональной адаптивной системы технического зрения подвижного объекта, отличающаяся введением специализированных вычислительных устройств обнаружения движущихся объектов и глаз водителя, обеспечивающая комплексный учет факторов, снижающих безопасность дорожного движения, а также возможность конфигурирования системы в зависимости от выполняемых функций и стоимости.

6. Проведены экспериментальные исследования, подтверждающие адекватность разработанной математической модели СТЗ, что позволяет использовать математическую модель для теоретических исследований при решении других связанных с анализом движущихся объектов задач. Сравнительный анализ СТЗ свидетельствует о повышении точности обнаружения встречного препятствия при большой скорости движения в 1,2 раза, а также большем перечне выполняемых СТЗ функций.

1. Школа профессора Аркадия Александровича Юрчевского Электронный ресурс. / http://auto.madi.ru/index.php?page=school6.

2. Система Attention Assist Электронный ресурс. / http://mb-market.ru/content/view/437/129.

3. Eye Alert Fatigue Warning System Электронный ресурс. / http://www.eyealert.com.

4. Nissan to Equip 'Fuga' w/ 'Intelligent Pedal,' 'Intelligent Cruise Control' Электронный ресурс. / http://techon.nikkeibp.co.jp/english/NEWSEN/20071214/144251/ Nissan to Equip 'Fuga' w/ 'Intelligent Pedal,' 'Intelligent Cruise Control'.

5. Пат. №7436430 США, H04N 7/18. Obstacle detection apparatus and method / Takeda, Nobuyuki, Hattori, Hiroshi. 10/923,048; заявл. 23.08.04; опубл. 14.10.08.- 13c.

6. Пат. 7425076 США, G02B 5/08. Vision system for a vehicle / Schofield, Kenneth, Larson, MarkL. 11/958,916; заявл. 18.10.07; опубл. 16.09.08. - 60c.

7. Пат. 7410266 США, G02B 5/08. Three-dimensional imaging system for robot vision / Seo, Cheong S., Baek, Sang H. 11/319,987; заявл. 28.10.0; опубл. 12.08.08.- 11c.

8. Пат. 7400266 США, G08G 1/16 . Method for improving vision in a motor vehicle / Haug, Karsten 10/572,542; заявл. 31.03.05; опубл. 15.07.08. - Юс.

9. Пат. №7389171 США, В60К 31/00. Single vision sensor object detection system / Rupp, Jeffrey. 10/572,542; заявл. 22.12.03; опубл. 17.07.08. - 11c.

10. Пат. 7386163 США, G06K 9/00. Obstacle recognition apparatus and method, obstacle recognition program, and mobile robot apparatus / Sabe, Kohtaro, Kawamoto, Kenta, Ohashi S. 10/387,647; заявл. 13.03.03; опубл. 10.06.08. - 29c.

11. Пат. 7372055 США, A61N 5/06 . Night vision infrared illuminator / Harter Jr., Joseph E., Gregory K. 11/171,069; заявл. 30.06.05; опубл. 13.05.08. -5c.

12. Пат. 7358496 США, H01L 25/00 . Infrared night vision system, in colour / Fleury В., Hidden P. 10/888,812; заявл. 9.07.04; опубл. 15.04.08. - 7c.

13. Пат. 7312723 США, G08G 1/017 Automobile infrared night vision device Eggers; Helmuth, Kurz; Gerhard, Seekircher 10/493,530; заявл. 7.08.03; опубл. 25.12.07.-6c.

14. Пат. 7306331 США, G02C 7/16 .Vision protection device for night driving / Tigert; Alan Tigert 11/244,922; заявл. 6.10.05; опубл. 11.12.07. - 5c.

15. Пат. США 7366325, G06K 9/00 Moving object detection using low illumination depth capable computer vision / Fujimura; Kikuo, Liu 11/244,922; заявл. 6.10.05; опубл. 11.12.07. - 5c.

16. Пат. 7,344,261 США, G02B 5/08. Vehicular vision system / Schofield Kenneth, Larson, Mark L. 11/246,593; заявл. 6.10.05; опубл. 18.03.08. - 40c.

17. Пат. 2157769 РФ, B60Q9/00, B62D41/00. Устройство для оповещения об аварийной ситуации на дороге / Богатырев П.И.; Герцеков М.М. -98113381/28, заявл. 6.07.08; опубл. 20.10.00. Юс.

18. Пат. 2116208 РФ, B60Q9/00. Устройство для контроля соблюдения водителем правил дорожного движения / Сташевский И. И. 96118469/28, заявл. 17.09.96; опубл. 27.07.98. - 22с.

19. Пат. 2050561 РФ, GO IS 17/93. Способ предотвращения столкновений автомобиля и устройство для его осуществления / Турченев Б. П. 5044239/09, заявл. 26.05.92; опубл. 20.12.95. - 22с.

20. Crash Avoidance Robotic Car Inspired by Flight of the Bumblebee Электронный ресурс. / http://www.nissan-global.com/ EN/NEWS/2008/STORY/080926-01-e.html.

21. Заявка на патент 2007107099 РФ, G06K9/00. Способ автоматического обнаружения закрытых глаз на фотографии / Шакенов А. К., Рычагов М. П. -заявл. 27.02.07; опубл. 10.09.08. 2с.

22. Пат. 2331107 РФ, G06K9/00. Способ опознавания по радужной оболочке глаза и устройство для его осуществления / РЮЛЬ Франсуа , КОТТАР Мартен, БУАТУ Венсан, МОРЕН Орели 2006125736/09, заявл. 14.12.04; опубл. 10.08.08.- 12с.

23. Пат. 2324225 РФ, G06K9/00. Способ автоматической коррекции эффекта красных глаз / Сафонов И. В. 2006132154/09, заявл. 7.09.06; опубл. 10.05.08.- 11с.

24. Пат. №6130617 США, G08B 21/06. Driver's eye detection method of drowsy driving warning system / Yeo J. 09/328,774, заявл. 9.06.99; опубл. 10.10.00.-5c.

25. Пат. №7130453 США, G06K 9/00. Eye position detection method and device / Kondo, Kenji, Uomori, Kenya. 10/028,456, заявл. 20.12.01; опубл. 31.10.06,- 19c.

26. Пат. США №7336821, G06K 9/00. Automatic detection and correction of non-red eye flash defects / Ciuc, Mihai, Nanu, Florin, Petrescu. 11/674,633, заявл. 13.02.07; опубл. 26.12.08. - 12c.

27. Пат. №7430365 США, G03B 17/00. Safe eye detection / Ng, Kee Y., Fouquet J.- 11/095,959, заявл. 31.03.05; опубл. 30.09.08. 6c.

28. Пат. 2223516 РФ, G01S17/06. Способ обнаружения глаз людей и животных / Барышников Ф.Ф., Дубов В.В., Перебейнос В.В. 2002117462/09, заявл. 2.07.02; опубл. 10.02.04. - 6с.

29. Методы компьютерной обработки изображений Текст. / Под ред. В.А. Сойфера. М.: Физматлит. - 2001. - 784 с.

30. Сырямкин, В.И. Системы технического зрения: Справочник Текст./ В.И. Сырямкин, B.C. Титов, Ю.Г. Якушенков и др. // Под общей редакцией В.И. Сырямкина, B.C. Титова. Томск: МГП "РАСКО". - 1993. - 367 с.

31. Janesick, J. CCD charge collection efficiency and the photon transfer technique Text. / Janesick J., Klaasen K., Elliott T. // Proc. SPIE. 1985. - Vol. 570. -P. 7-19.

32. Шапиро, Л. Компьютерное зрение Текст. / Л.Шаииро, Дж. Стокмап; Пер. с англ. М.: БИНОМ. Лаборатория знаний, 2006. - 752 с.

33. Нечеткие множества и теория возможностей. Последние достижения Текст.: Пер. с англ./Под ред. P.P. Ягера. М.: Радио и связь. - 1986. - 408 с.

34. Труфанов, М.И. Нечеткая математическая модель адаптивной предобработки изображений при калибровке бинокулярной системы технического зрения Текст. / М.И. Труфанов, С.Ю. Мирошничеико, B.C. Титов. // Телекоммуникации. 2004. - J№8. - С. 37 - 40.

35. Труфанов, М.И. Нечеткая математическая модель восстановления и скелетезации контуров Текст. / М.И. Труфанов // Молодежь и XXI век: Материалы XXXI научной конференции. Ч. 1. Курск. - 2003. - С. 34-35.

36. Труфанов, М.И. Повышение качества изображения жидкокристаллических дисплеев Текст. / М.И. Труфанов, B.C. Яковлева // Тез. докл. XLII Всероссийской конференции по проблемам математики, информатики, физики и химии. Москва: РУДН, 2006, С. 145.

37. Претт, У. Цифровая обработка изображений. В 2 т.: Пер. с англ. Текст. / У. Претт М.: Мир, 1982. -2 т. - 370 с.

38. Титов, B.C. Адаптивная калибровка систем технического зрения Текст.: Монография / B.C. Титов, М.И. Труфанов. Курск: Курск, гос. тех. унт., 2007. - 147 е.: ил

39. Гридин, В.Н. Принципы функционирования бинокулярного оптико-электронного устройства для диагностики отклонений глазодвигательногоаппарата Текст. / В.Н. Гридин, B.C. Титов, М.И. Тру фанов // Известия вузов. Приборостроение. 2008г. - №2. - С. 48-53.

40. Титов, B.C. Метод автоматической калибровки бинокулярной оптико-электронной системы Текст. / B.C. Титов, М.И. Труфанов // Датчики и системы. 2003. - №8. - С. 10-12.

41. Титов, B.C. Оптико-электронные устройства обработки и распознавания изображений Текст. / B.C. Титов, М.И. Труфанов., Е.А. Макарецкий, А .Я. Паринский. Тула: Изд-во ТулГУ, 2008. - 121 с.

42. Медведев, А.В. Метод автоматического кадрирования цифровых портретных изображений для цифровых фотоаппаратов Текст. / А.В. Медведев, С.В. Дегтярев, С.Ю. Мирошниченко // Известия ВУЗов. Приборостроение. -2008.-№2.-С. 5-9.

43. Пат. № 2286598 РФ, МКИ G09K32. Способ внешней калибровки бинокулярной системы технического зрения Текст. / С.В. Дегтярев, B.C. Титов, М.И. Труфанов, В.А. Денисюк. №2005105716/09; заявлено 1.03.2005; опубл. 27.10.2006, Бюл. №30.-15с.

44. Алтунин, А.Е. Модели и алгоритмы принятия решений в нечетких условиях Текст.: Монография / А.Е. Алтунин, М.В. Семухип / Тюмень: Издательство Тюменского государственного университета, 2000. 352 с.

45. Дегтярев, С.В. Методы цифровой обработки изображений Текст.: учебное пособие Ч.З. Гриф УМО / С.В. Дегтярев, А.А. Орлов, С.С. Садыков, И.И. Сальников, B.C. Титов, М.И. Труфанов, Т.А. Ширабакина. Курск: Курск, гос. тех. ун-т., 2004. - 216 с.

46. Бегунов, Б.Н. Теория оптических систем. Учебник для вузов Текст. / Б.Н.Бегунов, Н.П.Заказнов, С.И.Кирюшин, В.И.Кузичев; 2-е изд., перераб. и доп. -М.: Машиностроение. 1981. - 158 с.

47. Chen, S.Y. Robot location using surface patches of curved objects Text. / S.Y. Chen, W.H. Tsai // International Journal of Robotics and Automation. 1989. -Vol. 4, №3.-P. 123 -133.

48. Титов, B.C. Метод автоматической калибровки радиальной дисторсии линз системы технического зрения Текст. / B.C. Титов, М.И. Труфанов // Датчики и системы. 2004. - №6. - С.63-65.

49. Ширабакина, Т. А. Нечеткая математическая модель автофокусирующейся системы обработки изображений Текст. / Т.А. Ширабакина, М.И. Труфанов // Известия вузов. Приборостроение. 2003. - Т.46, №11. - С. 12-16.

50. Fung, G. Camera calibration from road lane markings Text. / G. Fung, N. Yung, G. Pang // Optical Engineering. 2003. - Vol. 42, №. 10. - P. 2967-2977.

51. Медведев, A.B. Помехоустойчивое интерференционное устройство для измерения малых угловых перемещений Текст. / А.В. Медведев, С.В. Дегтярев, А.А. Аль-Ядуми // Известия ВУЗов. Приборостроение. 2008. - № 2. -С. 65-68.

52. Faugueras, О. The calibration problem for stereoscopic vision Text. / O.Faugueras, G. Toscani. // NATO ASI Series. 1989. - Vol. F52. - P. 195-211.

53. Дегтярев, С.В. Методы цифровой обработки изображений Текст.: учебное пособие 4.1. Гриф УМО / Дегтярев С.В., Садыков С.С., Тевс С.С., Ширабакина Т.А. Курск: Курск, гос. тех. ун-т., 2001. - 167 с.

54. Гридин, В.Н. Принципы функционирования бинокулярного оптико-электронного устройства для диагностики отклонений глазодвигательного аппарата Текст. / В.Н. Гридин, B.C. Титов, М.И. Труфанов // Известия вузов. Приборостроение. 2008г. - №2. - С. 48-53.

55. Medvedev, A.V. Machine vision system based on infrared sensor Text. / A.V. Medvedev, V.S. Titov // Information and Telecommunication Technologies in Intelligent Systems: proceedings of the 4-th International Conference. Katania, Italy.-2006.-P. 47-49.

56. Методы компьютерной обработки изображений Текст. / Под ред. В.А. Сойфера. -М.: Физматлит. 2001. - 784 с.

57. Юдин, М.Ф. Основные термины в области метрологии Текст.: Словарь-справочник / Юдин М.Ф., Селиванов М.Н., О.Ф. Тищенко, А.И. Скороходов; Под ред. Ю.В. Тарбеева. М.: Издательство стандартов. - 1989.

58. Вентцель, Е.С. Теория вероятностей Текст. М.: Наука, 1969. - 567 с.

59. Пискунов, Н.С. Дифференциальное и интегральное исчисления Текст. / Н.С. Пискунов / Для втузов. Т. 2. - М.: Наука. - 1970. - 576 с.

60. Апенко, М.И. Прикладная оптика Текст. / Апенко М.И., Дубовик А.С. М.: Издательство «Наука», Главная редакция физико-математической литературы. - 1971. - 392 с.

61. Сырямкин, В.И. Системы технического зрения: Справочник Текст./

62. B.И. Сырямкин, B.C. Титов, Ю.Г. Якушенков и др. // Под общей редакцией В.И. Сырямкина, B.C. Титова. Томск: МГП "РАСКО". - 1993. - 367 с.

63. Медведев, А.В. Использование графа потоков управления Текст. / А.В. Медведев, А.А. Абезяев // Интеллектуальные и информационные системы: сб. материалов Всероссийской научно-технической конференции. Тула. -2007. - С. 67-69.

64. Xilinx products and solutions Электронный ресурс. / http://www.xilinx.com/products/devkits/hw-v4sx35-video-sk-us.htm.

65. Медведев, А.В. Стенд для диагностирования автомобильного бортового компьютера Текст. / А.В. Медведев, Е.В. Головенков // Распознавание 2008: сб. материалов VIII Международной конференции. Часть 1. - Курск — 2008. - С. 103-104.

66. Свидетельство об официальной регистрации программы для ЭВМ 2008611661 Российская Федерация. Программа визуального контроля работоспособности бортового компьютера / А.В. Медведев, Е.В. Головенков,

67. C.В. Дегтярев.; Правообладатель КурскГТУ. № 2008610758; заявл. 26.02.2008; зарегистрировано 31.03.2008.1. ИЗ с.