автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка и исследование моделей поведения динамических объектов на основе интеллектуального анализа видеопотоков данных

На правах рукописи УДК 004.89

Целых Юлия Александровна 004697314

РАЗРАБОТКА И ИССЛЕДОВАНИЕ МОДЕЛЕЙ ПОВЕДЕНИЯ ДИНАМИЧЕСКИХ ОБЪЕКТОВ НА ОСНОВЕ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ВИДЕОПОТОКОВ ДАННЫХ

Специальность: 05.13.18 - Математическое моделирование, численные

методы и комплексы программ 05.13.17 -Теоретические основы информатики

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2ИВГ20Ю

Таганрог-2010

004607314

Работа выполнена на кафедре прикладной информатики Технологического института Южного федерального университета в г. Таганроге

Научный руководитель: доктор технических наук, доцент

Сергеев Николай Евгеньевич (ТТИ ЮФУ, г. Таганрог)

Официальные оппоненты: доктор технических наук, профессор

Ромм Яков Евсеевич (Таганрогский государственный педагогический институт, г. Таганрог)

доктор технических наук, профессор Гуда Александр Николаевич (Ростовский государственный университет путей сообщения, г. Ростов-на-Дону)

Ведущая организация: Федеральное государственное унитарное

предприятие научно-исследовательский институт «Спецвузавтоматика», г. Ростов-на-Дону

Защита диссертации состоится _ в 14.20 на заседании

диссертационного совета Д 212.208.22 при Южном федеральном университете по адресу: 347928, ГСП-17 А, Ростовская область, г. Таганрог, пер. Некрасовский, 44, ауд. Д-406.

С диссертацией можно ознакомиться в Зональной научной библиотеке Южного федерального университета по адресу. 344000, Ростов-на-Дону, ул. Пушкинская, 148.

Автореферат разослан «_»_2010 г.

Учёный секретарь диссертационного совета д.т.н., профессор

Лебедев Б.К.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования обусловлена стремительным ростом объемов видеоинформации, которая нуждается в оперативном анализе. По прогнозам специалистов, мировой рынок средств видеоаналитики в 2010 году составит 600 млн. долларов.

Особую актуальность данная тема приобретает в связи с участившимися случаями террористических актов. Так, Правительство РФ приняло решение о разработке проекта централизованной системы видеонаблюдения в реальном времени для Московского метрополитена с возможностью автоматического анализа видеоизображений.

Современные средства видеоаналитики должны совмещать в себе высокую эффективность оперативного видеоконтроля, комплексный анализ сцены и расширенные возможности автоматической индексации потока видеоизображений.

Решать подобные задачи возможно с помощью классической теории распознавания образов. Однако современные достижения этой теории не всегда применимы в силу больших затрат вычислительных ресурсов и времени. Поэтому предлагается использовать основные положения теории искусственного интеллекта с выделением характеризующих признаков и получением их значений, достаточных для описания сцен по видео- и фотоизображениям. Это значительно упрощает анализ действий объекта на кадрах видеоизображения. Примером такого подхода является представление объекта в виде фантома и выделение основных точек на теле человека. Предлагаемая модель может служить как воспринимающим аппаратом, так и инструментом моделирования действий человека и дальнейшего анализа.

Основная проблема при создании архива появлений объекта, например, лица человека, в поле зрения видеокамеры состоит, во-первых, в сильной избыточности информации, а во-вторых, в необходимости определения объекта на каждом кадре. Идеально это может делать человек, однако он имеет ограниченные возможности и не в состоянии следить за большим количеством объектов одновременно. А зачастую присутствие человека невозможно. Поэтому требуется помощь компьютера и возникает необходимость в использовании интеллектуальных систем видеонаблюдения.

Характерными особенностями видеоданных являются гигантский объем и высокая размерность, подверженность ошибкам и пропускам, неполнота и неточность. Эти сложности в полной мере учитывают современные методы и алгоритмы интеллектуального анализа данных - междисциплинарного направления исследований по выявлению в больших объемах сырых данных практически полезных и доступных интерпретации знаний, необходимых для принятия качественных решений.

Системы, основанные на знаниях, используются при решении следующих задач обработки видеоизображений:

• выделение отдельных смысловых важных фрагментов сцен;

• интерпретация символов и сигналов;

• анализ переднего и заднего плана видеокадра;

• принятие решений в условиях неопределенности.

О важности использования методов интеллектуальной обработки видеоизображений также свидетельствует распространение систем мониторинга «Безопасный город» и разработка и опубликование проекта Федерального закона Российской Федерации «О технических средствах обеспечения противокриминальной защиты объектов и имущества». Закон определяет основные положения технического регулирования в области криминальной безопасности и устанавливает общие требования к техническим средствам обеспечения противокриминальной защиты объектов и имущества.

В соответствии с основными положениями закона, под системой охраны и мониторинга понимается совокупность технических средств, связанных между собой каналами передачи данных, использующих систему для определения параметров пространственно-временного положения подвижных объектов и предназначенных для противодействия преступным посягательствам.

Целью диссертационной работы является разработка и исследование моделей поведения динамических объектов при обработке видеоизображений для решения задач анализа данных и распознавания сцен.

Поставленная цель определяет следующие основные задачи диссертационного исследования:

1. Исследовать и разработать нечеткие модели представления пространственно-временных знаний и данных для задач обработки видеоизображений.

2. Разработать алгоритм распознавания сцен для моделей поведения динамических объектов.

3. Разработать систему распознавания сцен и анализа действий объектов на видеокадре.

4. Реализовать практическое решение задачи интеллектуального анализа данных и распознавания сиен в виде программного комплекса.

Методы исследования основаны на использовании теории нечетких множеств и нечеткой логики, теории графов и гиперграфов, моделей искусственного интеллекта, методов интеллектуального анализа данных.

Достоверность полученных в диссертации результатов подтверждается корректными математическими доказательствами и аналитическими оценками, результатами программного и численного эксперимента на ЭВМ, практическим использованием разработанных в диссертации моделей, методов и алгоритмов.

Основные положения диссертации, выносимые на защиту:

1. Разработка и исследование нечетких моделей представления пространственно-временных данных для задач обработки видеоизображений.

2. Алгоритм распознавания сцен при обработке видеоизображений.

3. Информационная система автоматического распознавания сцен и анализа действий объектов на видеокадре.

4. Модель обобщенного гиперграфа для описания сцен.

5. Результаты экспериментов с использованием методов интеллектуального анализа данных и разработанного программного комплекса.

Научная новизна диссертационной работы:

1. Разработаны и исследованы математические модели для описания положения объектов на видеокадре, отличающиеся от известных использованием нечетких пространственно-временных атрибутов и лингвистических переменных, что позволяет на основе моделирования нечетких рассуждений вырабатывать компетентные решения в условиях неопределенности и сложной пространственно-временной обстановки.

2. Разработаны вычислительные методы и алгоритмы анализа видеокадров, отличающиеся возможностью реализации нечетких процедур поиска и слежения за компонентами объекта, что позволяет оперативно и адекватно формировать сценарии и описания ситуаций в системах анализа видеоизображений.

3. Разработана графово-гиперграфовая модель описания сцен и ситуаций, отличающаяся использованием понятия обобщенного гиперграфа, что позволяет с высокой степенью достоверности имитировать процедуры получения экспертных решений.

4. Разработан программный комплекс «Система мониторинга динамических объектов», предназначенный для анализа видеокадров и распознавания сцен, позволяющий определить требования к основным параметрам и характеристикам таких систем и предложить принципы создания интеллектуальных систем обработки видеоизображений, отличающиеся возможностью принятия решений в условиях неполноты и противоречивости исходной информации.

Практическая значимость.

1. Разработанные модели и методы обработки видеоизображений могут быть использованы для создания систем мониторинга сложных объектов с возможностью анализа видеоизображений.

2. Предложенные принципы создания адаптивной интеллектуальной системы могут быть применены для создания систем принятия решений в сложной пространственно-временной обстановке.

3. Разработанная система распознавания сцен и анализа действий объекта на кадрах видеоизображения, реализованная в виде программного

комплекса, может служить инструментом для моделирования действий человека в информационных системах искусственного интеллекта.

Реализация результатов работы.

Диссертация выполнена в соответствии с основным направлением научно-исследовательской работы Технологического института Южного Федерального университета в г. Таганроге «Формальные системы, искусственный интеллект и системы принятия решений».

Основные результаты диссертационной работы использованы при выполнении научно-исследовательских работ, в том числе:

- при выполнении НИР№ 15551 «Разработка теории, моделей и методов принятия решений в интегрированных интеллектуальных системах на основе нечетких знаний и смешанного представления атрибутов», при выполнении НИР № 15552 «Разработка теории, моделей и методов, основанных на использовании нечетких ситуационных систем и нечетких классификационных моделей для целей принятия решений в сложной пространственно-временной обстановке», выполняемых на кафедре прикладной информатики Таганрогского технологического института Южного федерального университета в 2006-2010 г.г.;

- при выполнении хоздоговорных НИР, выполняемых Ростовским областным центром новых информационных технологий (РОЦ НИТ) при Южном федеральном университете в 2007-2010 г.г.;

- в учебном процессе кафедры прикладной информатики ТТИ ЮФУ при чтении лекций, проведении практических и лабораторных занятий, а также при выполнении студентами курсовых и дипломных работ.

Использование результатов диссертационной работы подтверждается соответствующими актами.

Апробация работы.

Основные результаты диссертационной работы докладывались и обсуждались на международных научно-технических конференциях и молодежных научных конференциях: «Интеллектуальные системы 2009. Интеллектуальные САПР 2009». (Дивноморск, 2007-2009 г.г.); VIII, IX, X Всероссийских научных конференциях студентов и аспирантов "Техническая кибернетика, радиоэлектроника и системы управления" (Таганрог, 2007, 2008,2009 г.г.); III Межгосударственной научно-практической конференции "Экономико-организационные проблемы проектирования и применения информационных систем" (Ростов-на-Дону, 2008 г.), XII Всероссийской научной конференции молодых ученых и аспирантов "Новые информационные технологии. Разработка и аспекты применения" (Таганрог, 2009 г.); на ежегодных научно-технических конференциях профессорско-преподавательского состава, аспирантов и сотрудников ТТИ ЮФУ.

Публикации. Результаты диссертации отражены в 10-ти печатных работах, в том числе в 5-ти работах, опубликованных в изданиях, рекомендованных ВАК.

Структура и объем работы. Диссертационная работа состоит из введения, трех глав, заключения, списка использованной литературы (96 наименований) и 3-х приложений. Диссертация содержит 203 страницы машинописного текста, включая 69 рисунков, 15 таблиц, 37 страниц приложений.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, сформулированы цель и задачи исследования, охарактеризованы научная новизна работы, ее практическая ценность, реализация и апробация результатов работы, дано краткое содержание структуры диссертации.

В первой главе дана формальная постановка задач и определены общие принципы формирования моделей предметной области. Представлены нечеткие пространственно-временные атрибуты для описания положения объектов на видеокадре. Дается интерпретация понятия нечеткого множества исходя из процессов, лежащих в основе формирования значений описываемых атрибутов. Введены специальные типы лингвистических переменных (ЛП), каждая из которых содержит в своей структуре элементы логического вывода, что позволяет проектировать эффективное представление предметной области для динамических систем:

Составная ЛП < /V. (Т1, Т2)(Х1,Х2), С, М, К > определена на предметных шкалах и непересекающихся подмножествах термов.

Сдвоенная ЛП < Рщ, Т, (Х1,Х2), С, М, 1У > использовалась при описании атрибутов, плохо определенных на одной шкале при наличии информации от нескольких сенсоров.

Сложная ЛП < ри, Т, Х,С,М > определена на множестве термов, где каждый терм представляет самостоятельную переменную, которая и в дальнейшем может использоваться самостоятельно или в качестве элемента терм-множества другой переменной. Сложные ЛП имеют трехмерные функции принадлежности, получаемые путем вращения симметричных функций принадлежности. При переходе к треугольным/трапециевидным функциям поверхности, функции принадлежности приобретают формы конусов, усеченных конусов и четвертьконусов.

Пространственное положение объекта определяется как значение лингвистической переменной по изображениям, последовательно полученным через равные промежутки времени. От трехмерных функций принадлежности мы переходим к проекциям сечений, параллельных основанию (рисунок /). Эллиптическая форма проекций объясняется разными размерами изображения по вертикали и горизонтали.

If. МП I. MI I Mi 1R "IK

HL МИШ. МИН ' MBBR Hit

Рас. I. Схематическое изображение положения объекта на предметной

плоскости

Предложен порядок учета временных факторов восприятия внешней обстановки и предсказания движений оператора. Введены темпоральные отношения и описана взаимосвязь объектов темпоральных отношений.

Предложен способ представления знаний в моделях поведения оператора с помощью продукций и фреймов. Перечислены требования, которым должен удовлетворять набор процедур фреймовой сети.

Во второй главе рассматриваются особенности применения методов интеллектуального анализа данных для обработки видеоизображений. Разработаны концепция и методика создания интеллектуальной системы автоматического описания сцен по видеоизображениям.

На основе нечетких пространственно-временных атрибутов разработан алгоритм анализа видеоизображений, который реализован программно на языке С++ и в совокупности с комплексом аппаратных средств составляет систему мониторинга динамического объекта (СМДО).

Для анализа функционирования разработанной системы мониторинга динамических объектов был проведен эксперимент с использованием технических и программных средств обработки видеоизображений.

В ходе проведенного эксперимента задача идентификации положения объекта на видеокадре была представлена как задача классификации. Системе было предложено провести классификацию одной тысячи видеокадров с различными положениями рук. В качестве исходных данных были использованы значения углов, полученные от сенсоров. Предварительная обработка данных была произведена в программной среде SAS Enterprise Miner. Прогнозная модель построена на основе ряда известных алгоритмов, применяемых в интеллектуальном анализе данных (рисунок 2).

Assessment

Рис.2. Построение прогнозных моделей в SAS Enterprise Miner

На диаграмме роста (рисунок 3) видно, что по результатам эксперимента наибольшую эффективность показала ансамблированная модель. Она в 1,6 раза превосходит модель, не использующую знаний, извлеченных из данных. Точность прогнозов составила 97%.

UlVaiuE

—Tool Name---

@fiase!ire Qlfifg QNeuel Qiiee ЩРпшЫ

Рис.3. Оценка эффективности и сравнение моделей

В работе показано, что используемый подход имеет и свои недостатки: длительность процесса обучения, загрубление результатов, сложность

настройки и отладки моделей, а также то, что эти алгоритмы работают по принципу «черного ящика».

В третьей главе предложена модель системы анализа видеоизображений, которая может быть использована как самостоятельный продукт, так и в качестве составного элемента более сложных программно-аппаратных комплексов. Описан алгоритм функционирования системы анализа видеоизображений. Приводится алгоритмическая и программная реализация системы распознавания сцен и поведения объекта, которая позволила осуществлять анализ видеоизображений большого объема и сложной структуры.

На рисунке 4 представлен алгоритм системы мониторинга динамических объектов, описывающий работу системы поиска и слежения за компонентами объекта на видеоизображениях. На схеме присутствуют три основных элемента: это оператор, СМДО и фантом. СМДО - это подсистема, которая управляет всеми действиями, выполняет основные операции и обновляет данные, которые использует для своего отображения фантом. Фантом является графическим представлением объекта в кадре. Он повторяет действия объекта находящегося перед камерой.

Оператор

1.. Акшааши! соединения

; 1Л..........

;смдо |

"п

й

4. Выделать контура объекта

п* г.

Г

Запуск агентов слежения га расположение контрольных точек

9. Размещение¿-го пояоаквтх фантома на контрольных точках

10, Сравнение даух млн нескольких. пояоженю! фантома

11. Вывод результатов

"О

Рис.4. Алгоритм системы мониторинга динамических объектов

Рассмотрим представленный выше алгоритм поэтапно.

Анализ сцен начинается' с выделения отдельных стационарных и динамических объектов на видеокадре. С каждым изображением объекта производится следующая последовательность действий:

1. Первоначально система получает кадр от видеокамеры и передает его на обработку.

2. Затем осуществляется темпоральная привязка видеокадра.

3. На следующем этапе осуществляется процесс поиска объекта и выделение его контура на видеокадре, который необходим для дальнейшего распознавания, а именно для разбиения контура на последовательность контрольных точек.

4. Процесс поиска контрольных точек заключается в нахождении на некотором контуре набора характерных точек, каждая из которых четко позиционирует отдельную часть объекта. Контрольные точки могут быть следующих типов: кисти рук, плечевые и локтевые суставы, голова, суставы ног, ступни ног.

5. Далее контрольные точки соединяются характеризующими линиями, которые с некоторой достоверностью определяют положение интересующих частей объекта. По изменению углов таких линий мы будем характеризовать динамику объекта.

6. После первоначального размещения контрольных точек на наблюдаемую часть объекта накладываются контрольные интервалы (рисунок 5). Смещение объекта или изменение формы объекта определяется заполнением контрольных интервалов точками цели с одной стороны и точками фона с другой. При этом предполагается, что изображение объекта отличается от фона цветом или интенсивностью. Контрольные интервалы выбираются в следующих основных направлениях: северное, южное, восточное и западное.

\л/

>

Цел

Маскирующий объект

Рис.5. Расположение контрольных интервалов

При перемещении объекта атрибуты объекта описываются нечеткими лингвистическими переменными. Наблюдателю предоставляется возможность изменять формы функций принадлежности в реальном времени и наблюдать за изменением получаемых решений.

Атрибут «Сенсор правой руки» описывается лингвистическими переменными с терм-множествами:

Т right hand = {«СЛЕГКА ПОДНЯТА», «ПОДНЯТА», «СИЛЬНО ПОДНЯТА»} Тright hand ~ {«СЛЕГКА СОГНУТА», «СОГНУТА», «СИЛЬНО СОГНУТА»}

Атрибут «Сенсор левой руки» описывается лингвистическими переменными с терм-множествами:

^ left hand ~ {«СЛЕГКА ПОДНЯТА», «ПОДНЯТА», «СИЛЬНО ПОДНЯТА»} Tief, hand= {«СЛЕГКА СОГНУТА», «СОГНУТА», «СИЛЬНО СОГНУТА»}

Функция принадлежности термов Т nght hand, Т icft hmi будет иметь следующий вид (рисунок б):

Рис. 6. Функция принадлежности термов «Положение правой руки»

Лингвистическая переменная описывает статическое положение отдельных частей тела (рука, нога, кисть, ступня и т.д.) по результатам размещения контрольных точек объекта. Значения ЛП образуют описание сцен. Представим описание сцен в виде графов следующего вида (рисунок 7):

где й;, - сенсор правой руки; - сенсор левой руки; - сенсор правой ноги; £г - сенсор левой ноги.

Лингвистическая переменная /З^1^ (положение сенсора правой руки) описывает статическое положение точек объекта, ф е (1,п);

Лингвистическая переменная Р^п^ имеет базовое терм-множество Каждый терм описывается нечетким подмножеством множества значений и некоторой базовой переменной <(1,Т(х),Х>, где /3 - имя лингвистической переменной, Т(х) - множество значений лингвистической переменной, А'- интервал числовых значений переменной.

7. После того как контрольные точки размещены на объекте, производится замена изображения объекта упрощенным макетом - фантомом и привязка «фантома» к изображению. Графическое представление объекта и соответствующее ему изображение фантома представлено на рисунке 8.

Рис. 8. Описание положения объекта по положению фантома

Осуществляется процедура нечеткой классификации различных положений объекта: стационарного положения «фантома», изменения положения объектов и классификация сцен.

I 8. Далее происходит запуск агентов слежения за расположение

контрольных точек. На рисунке 9 представлена структурная схема алгоритма управления агентами слежения. В соответствии с терминологией теории агентов, миссией агента является слежение за компонентами объекта, средой агента - адресное пространство видеокадра. Рецепторами агента - контроль-

13

ные интервалы, расположенные вокруг наблюдаемой части объекта. Агент имеет два типа эффекторов: одни обеспечивают перемещение самого агента в пространстве видеокадра и перемещение контрольных интервалов, другие сообщают данные о расположении компонентов объекта.

Воздействие па среду -перемещение

области видеокадра (контрольных интервалов)

Рецепторы

Среда - область видеокадра

Общение с агентом-планировщиком -передача данных о расположении компонента объекта сообщение о потери компонента

другими агентами слежения - предоставление

данных о расположении компонента объект.

Миссия

Общение с агентом-планировщиком -локализация агента

АГЕНТ СЛЕЖЕНИЯ - слежение за компонентами объекта

Рис.9. Схема управления агентами слежения

9. Минимальное темпоральное расстояние между видеокадрами ограничено максимальной частотой видеокамеры. Число пропущенных видеокадров зависит от скорости движения объекта и от наличия движущихся объектов. Для решения задачи описания сцен могут не потребоваться все видеокадры. В этом случае осуществляется «прореживание» видеокадров.

10. Новое размещение фантома для следующего кадра производится в случае потери объекта. В случае сохранения объекта в кадре, производится корректировка положения характеризующих линий и последующего движения фантома.

И. Запись данных с системы ведется в специальный файл (протокол). В результате система выдает команду для реагирования на ситуацию, например сигнал тревоги.

Представлена графово-гиперграфовая модель описания сцен по видеоизображениям. Такие графы составлены на основе классификации двигательных действий и сцен. Окончанием маршрута является вершина,

которая соответствует данному положению, перемещению или сцене. Кодом или индексом видеокадра или последовательности видеокадров является перечисление числовых обозначений вершин маршрута.

Введено понятие и исследованы свойства гиперграфа специального вида - обобщенного гиперграфа. Такая модель может отображать как отношения целых групп элементов, так и отношения между отдельными элементами. Предложенная модель используется для описания функционирования систем анализа видеоизображений.

На рисунке 10 показан пример обобщенного гиперграфа, в котором вершины задаются лингвистическими переменными.

Обобщенным гиперграфом назовем тройку следующего вида:

Нх=(Х, Е, СА (X)), Х={х,, х2.....х„},

Е={Е,,Е3,....Ет}. Е1,Е2,...,ЕтсХ,

СЛ (Х)-(Х,и), и~{и,,и2.....и,,...,и,}, и/=(х,, х^ X,, х, е X.

Такое определение оставляет возможность представления отношений между вершинами разных ребер гиперграфа.

Частный случай обобщенного гиперграфа определяет графовые отношения только внутри рёбер гиперграфа:

Нх=(Х,Ех), Х={х,, х2.....х„}, Ех = {(Е^с), (Е^.....(ЕпС^,...,(ЕтОЕй)},

Е¡, Е,,..., £,,..., Е„, &Х, Ояг =(Епиг),иг={и1,и2,...,и1,...,ик}, и,=(х„ х*), х„ х] € £г

В таблице 1 представлена смежность вершин гиперграфа Нх,, изображенного на рисунке 10. Отношения в гиперграфе НХ/ вершин х2, хб описаны парой (1/Ез). Это означает, что существует ребро (х2, х6) - "1" и они обе связаны ребром Е2. Пара х4, х3 (0/Е2,Ез) непосредственно ребром (х4,х3) не связана, но входит в ребра Е2 и Е3.

Нетрудно предположить, каким образом будет выглядеть таблица смежности нечеткого обобщенного гиперграфа. В ней должны присутствовать элементы следующих видов <ри(*ь <у.х(х,)/(х)>, <Ир/х,)/(х)>.

Рис. 10. Пример обобщенного гиперграфа Нх

Таблица 1. Смежность вершин гиперграфа Нуп

х: X. X, X, х- XI г.л Т;; Хц

т,- ОЕ; 0/Е; 0 Е- О'Е: О'Е: ОЕ: 0/Е: 0/Е: 0 0 0 0 0 0

Г; ОЕ; ОЕ: ¿' £; 0£: ОЕ: ' Е- ОЕ: 0/Е: 0 0 0 0 0 0

Ч 0/Е; О'Е; ОЕ: ОС, О'Е: О'Е, О'Е: О'Е: V.Е: О'Е: 0 О 0 0 0 0

V Г; 0 Е- ОЕ-ОЕ, О'Е: 0/Е, О'Е; О'Е; О'Е; О/Е: 0 О 0 0 0 0

0 0 0 0 0 0

Г;' О'Е; 1.Е.- ОЕ: ОЕ: 0/Е: О'Е: О'Е, О'Е: О'Е; 0 0 0 0 0 0

Гц О 0 0 0 0 0 0 0 О/С. 0/Е, 0/Е. 1/Е, 0/Е, 0/Е, 0/Е, О'Е, 0/Е,

Т;; 0 0 0 0 0 0 0 0 0/Е. 1/Е, 0.Е, 0/Е, 0/Е, 0/Е, 0/Е, 0/Е. О/Е,

Т1: 0 0 0 0 0 0 0 0 0/Е, 0/Е, ОТ, 0/Е, 0/Е, 0/Е,

о 0 0 0 0 0 0 0 0/Е, ОЕ, 0!Е, 0/Е, 1/Е, О'Е,

0 0 0 0 0 0 0 0 0/Е, 0/Е, О'Е, !'Е, О'Е, О'Е,

т.-г О О 0 0 0 0 0 О 0/Е. 0/Е, О'Е. 0/Е, 0/Е, 0/Е, ОЕ, О'Е. 0/Е,

На рисунке II предлагается пример представления обобщенного гиперграфа Нхь На представление гиперграфа Я/двудольным графом Ок~(Х ИЕХ, V) наложены "графовые" связи вершин:

Рис.11. Обобщенный гиперграф НХ!

С математической точки зрения, понятие обобщенного гиперграфа отличается от классического гиперграфа тем, что отношения между вершинами внутри ребра могут описываться неполным графом. Такая модель позволяет отображать сложные функциональные и смысловые связи.

Приведены результаты эксперимента по решению задачи определения положения объекта на видеокадре с помощью системы интеллектуального анализа видеоизображений. Результаты эксперимента позволили сделать следующие выводы:

1. Непосредственное применение традиционных методов систем интеллектуального анализа данных (СИАД) для анализа видеопотоков данных невозможно, поскольку входные данные для такой системы должны

16

быть представлены в текстовом (буквенно-цифровом) виде, а получить такие данные из видеопотоков можно лишь с применением методов СМДО, где эти функции выполняют многоагентные компоненты.

2. Для отладки и обеспечения корректного функционирования систем анализа данных необходимо иметь возможность объяснения, каким образом были получены те или иные результаты. Большинство методов и алгоритмов, реализованных в СИАД, работают по принципу «черного ящика».

3. Для работы системы интеллектуального анализа данных необходимо предоставить обучающие примеры. Для сложных сцен может потребоваться несколько тысяч примеров. При этом для каждого примера эксперт должен сделать свое заключение. Для работы СМДО необходимо только построить функции принадлежности лингвистических переменных.

4. СМДО дает результат, начиная от нижнего уровня иерархии сцены (например, поднятая рука) до описания сцены в целом. Систему интеллектуального анализа данных необходимо заново обучать на каждом уровне и независимо от других уровней.

В заключении перечислены основные результаты работы.

В приложении 1 представлены примеры работы системы мониторинга динамических объектов на видеоизображении.

В приложении 2 приведен листинг программного кода, реализующего работу системы автоматического описания сцен по видеоизображениям.

В приложении 3 представлены акты об использовании результатов работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ПО ТЕМЕ ДИССЕРТАЦИОННОЙ

РАБОТЫ

В ходе проведенных исследований получены следующие основные научные и практические результаты:

1. Разработаны и исследованы нечеткие модели на основе пространственно-временных атрибутов для описания положения объектов на видеокадре, использование которых позволило проводить интеллектуальный анализ видеопотоков данных, аналогичный деятельности человека-оператора.

2. Предложены принципы создания интеллектуальных систем обработки изображений и определены требования к основным параметрам и характеристикам таких систем, что позволило разработать комплексную систему мониторинга динамических объектов и осуществить ее практическое применение в задачах обработки видеоизображений.

3. Введено понятие гиперграфа специального вида - обобщенного гиперграфа. Такая модель может отображать как отношения целых групп элементов, так и отношения между отдельными элементами. Предложенная модель использовалась для описания сцен при формировании сценариев и ситуаций в системах анализа видеоизображений.

4. Разработан алгоритм работы системы мониторинга динамических объектов и программный комплекс, реализующий поиск и слежение за компонентами объекта для анализа видеокадров и распознавания сцен, что позволило получить достоверные результаты при анализе видеоизображений большого объема и сложной структуры.

Основные результаты диссертационной работы использованы при выполнении научно-исследовательских работ и в учебном процессе вуза, что подтверждается соответствующими актами.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИОННОЙ РАБОТЫ

Публикации в ведущих рецензируемых изданиях, рекомендованных ВАК РФ

1. Целых Ю.А. Мультиагентная реализация описания сложных сцен по видеоизображениям // Известия ЮФУ. Технические науки. Тематический выпуск «Интеллектуальные САПР». - Таганрог: Изд-во ТТИ ЮФУ, 2009,

№ 12(101).-С.149-153.

2. Сергеев Н.Е., Целых Ю.А. Информационная система автоматического описания сцен по видеоизображениям // Известия ЮФУ. Технические науки. №3. - Таганрог: ЮФУ, 2009. С. 253-259.

3. Сергеев Н.Е., Целых Ю.А. GH-модели социальных сетей // Известия ЮФУ. Технические науки. № 1. - Таганрог: ЮФУ, 2009. С. 90-95.

4. Целых Ю.А. Теоретико-графовые методы анализа нечетких социальных сетей // Программные продукты и системы. №2 (82), 2008. С. 48-50.

5. Сергеев Н.Е., Целых Ю.А. Использование темпоральных отношений при описании сложных сцен по видеоизображениям // Известия ЮФУ. Технические науки. Тематический выпуск «Интеллектуальные САПР». -Таганрог: Изд-во ТТИ ЮФУ, 2009, № 12(101). -С.134-142.

Публикации в других изданиях

6. Tselykh J.A. Decision Search Methods in a Fuzzy Semantic Network // Proceedings of International Conference «Intelligent Systems (IEEE AIS'04)». Scientific publication in 3 volumes. Vol. 3. - Moscow. "Fizmatlit", 2004. P. 18-21.

7. Целых Ю.А. Особенности моделирования процедур принятия решений в интегрированных интеллектуальных системах // Перспективные информационные технологии и интеллектуальные системы. 2/2004 (18). -Таганрог, Изд-во ТРТУ. С. 11 -14.

8. Целых Ю.А. Нечеткие модели поиска информации в гипертекстовой среде // Перспективные информационные технологии и интеллектуальные системы. - № 4/2004 (20). - Таганрог, Изд-во ТРТУ. С.57-61.

9. Tselykh J.A. Decision Search Methods in Fuzzy Situational Systems // Proceedings of XIII International Scientific and Technical Conference «Mathematical Methods and Information Technologies in Economy, Sociology and Education» (MK-36-94). - Penza, 2004. P. 74-76.

10. Сергеев H.E., Целых Ю.А. Использование гиперграфов специального вида для некоторых задач моделирования // Конгресс «AIS-IT 2009» по интеллектуальным системам и информационным технологиям. Интеллектуальные системы 2009. Интеллектуальные САПР 2009. Труды конгресса. Том 1. - Дивноморское, 2009. С. 553.

Личный вклад автора в работах, опубликованных в соавторстве:

[2, 5] - разработана система поиска и слежения за компонентами объекта для анализа видеокадров и распознавания образов;

[3] - предложена графово-гиперграфовая модель;

[10] - введено понятие обобщенного гиперграфа для описания функционирования систем анализа видеоизображений.

Соискатель

Ю.А. Целых

Тип.ТТИ ЮФУ Заказ №245тир./00экз.

Введение.

Глава 1. Модели представления нечетких данных и знаний в задачах анализа видеоизображений.

1.1. Представление и использование пространственно-временных нечетких атрибутов для анализа видеоизображений.

1.1.1. Использование пространственных атрибутов для анализа видеоизображений

1.1.2. Уточнение описания пространственного расположения объектов нечеткими атрибутами.

1.1.3. Использование темпоральных атрибутов для описания сцен

1.2. Нечеткие модели представления знаний для анализа видеоизображений

1.2.1. Представление информационных атрибутов с помощью нечетких продукций.

1.2.2. Фреймовое представление нечетких атрибутов.

1.3. Выводы по первой главе.

Глава 2. Моделирование двигательных действий объекта на основе методов интеллектуального анализа данных.

2.1. Основные подходы к использованию методов интеллектуального анализа данных для обработки видеоизображений

2.2. Методы и алгоритмы машинного обучения в системах интеллектуального анализа данных.

2.3. Особенности применения методов интеллектуального анализа данных для обработки видеоизображений.

2.3.1. Система мониторинга динамических объектов на видеоизображениях

2.3.2. Методология обнаружения знаний в базах данных.

2.3.3. Идентификация положения объекта на видеокадре программными средствами интеллектуального анализа данных.

2.3.3.1. Предобработка данных.

2.3.3.2. Построение прогнозных моделей.

2.3.3.3. Оценка эффективности и сравнение моделей.

2.4. Выводы по второй главе.

Глава 3. Модель описания сцен по результатам обработки видеоизображений.

3.1. Алгоритмы локальной обработки видеоизображений для описания положения объекта.

3.2. Мониторинг статического положения объекта на видеокадре

3.2.1. Алгоритм поиска контрольных точек.

3.2.2. Анализ сцен с помощью агентов и многоагентных систем

3.2.3. Реализация мониторинга компонентов управления информационными агентами слежения.

3.2.4. Алгоритм управления фантомом.

3.3. Мониторинг динамики объекта на видеокадре.

3.3.1. Означивание лингвистической переменной, описывающей движения объекта.

3.4. Использование гиперграфов специального вида для анализа сложных сцен

3.5. Представление графово-гиперграфовой модели описания сцен

3.6. Выводы по третьей главе.

Актуальность исследования обусловлена стремительным ростом объемов видеоинформации, которая нуждается в оперативном анализе. По прогнозам специалистов, мировой рынок средств видеоаналитики в 2010 году составит 600 млн. долларов. Особую актуальность данная тема приобретает в связи с участившимися случаями террористических актов. Так, Правительство РФ приняло решение о разработке проекта централизованной системы видеонаблюдения в реальном времени для Московского метрополитена с возможностью автоматического анализа видеоизображений.

Современные средства видеоаналитики должны совмещать в себе высокую эффективность оперативного видеоконтроля, комплексный анализ сцены и расширенные возможности автоматической индексации потока видеоизображений.

Решать подобные задачи возможно с помощью классической теории распознавания образов. Однако современные достижения этой теории не всегда применимы в силу больших затрат вычислительных ресурсов и времени. Поэтому предлагается использовать основные положения теории искусственного интеллекта с выделением характеризующих признаков и получением их значений, достаточных для описания сцен по видео- и фотоизображениям. Это значительно упрощает анализ действий объекта на кадрах видеоизображения. Примером такого подхода является представление объекта в виде фантома и выделение основных точек на теле человека. Предлагаемая модель может служить как воспринимающим аппаратом, так и инструментом моделирования действий человека и дальнейшего анализа.

Основная проблема при создании архива появлений объекта, например лица человека, в поле зрения видеокамеры состоит, во-первых, в сильной избыточности информации, а во-вторых, в необходимости определения объекта на каждом кадре. Идеально это может делать человек, однако он имеет ограниченные возможности и не в состоянии следить за большим количеством объектов одновременно. А зачастую присутствие человека невозможно. Поэтому требуется помощь компьютера и возникает необходимость в использовании интеллектуальных систем видеонаблюдения.

Характерными особенностями видеоданных являются гигантский объем и высокая размерность, подверженность ошибкам и пропускам, неполнота и неточность. Эти сложности в полной мере учитывают современные методы и алгоритмы интеллектуального анализа данных — междисциплинарного направления исследований по выявлению в больших объемах сырых данных практически полезных и доступных интерпретации знаний, необходимых для принятия качественных решений.

Системы, основанные на знаниях, используются при решении следующих задач обработки видеоизображений:

• Выделение отдельных смысловых важных фрагментов сцен

• Интерпретация символов и сигналов

• Анализ переднего и заднего плана видеокадра

• Принятие решений в условиях неопределенности

О важности использования методов интеллектуальной обработки видеоизображений также свидетельствует распространение систем мониторинга «Безопасный город» и разработка и опубликование проекта Федерального закона Российской Федерации «О технических средствах обеспечения противокриминальной защиты объектов и имущества». Закон определяет основные положения технического регулирования в области криминальной безопасности и устанавливает общие требования к техническим средствам обеспечения противокриминальной защиты объектов и имущества.

В соответствии с основными положениями закона, под системой охраны и мониторинга понимается совокупность технических средств, связанных между собой каналами передачи данных, использующих систему для определения параметров пространственно-временного положения подвижных объектов и предназначенных для противодействия преступным посягательствам.

Таким образом, разработка и исследование моделей поведения объекта при обработке видеоизображений с целью решения задач анализа данных и распознавания сцен является актуальной научной проблемой.

Теоретические и практические предпосылки настоящего исследования составили фундаментальные и прикладные работы ученых в следующих областях:

• представление и использование нечеткоопределенных знаний и данных (Заде JI.A. [Заде, 1974, 1976, 1980], Берштейн JI.C. [Берштейн и др., 1990, 1991, 2003а, Ь, с], Борисов А.Н. [Борисов и др., 1982, 1989], Кофман А. [Кофман, 1982], Сергеев Н.Е., Уэно X., Togai М. [Togai, Watanabe, 1986а, b]);

• представление структур данных и знаний с помощью графов и гиперграфов (Оре О., Берж К., Берштейн Л.С., Ахо А., Гётчел Р.Х., Зыков А.А. [Зыков, 1974, 1987], Касьянов В.Н., Евстигнеев В.А. [Касьянов и др., 2003], Кристофидис Н., Свами М., Татт У., Хопкрофт Д.);

• представление знаний о пространстве и времени (Кандрашина Е.Ю., Литвинцева Л.В., Поспелов Д.А. [Кандрашина и др., 1989], Ковалев С.М. [Ковалев, 2001а, Ь], Еремеев А.П. [Еремеев и др., 2000]);

• методы интеллектуального анализа данных (Пиатецкий-Шапиро Г., Wasserman S. [Wasserman, Faust, 1994]);

• агенты и многоагентные системы (Рассел С., Норвиг П. [Рассел, Норвиг, 2006], Поспелов Д.А. [ Поспелов, 19 86, 1997, 1998], Тарас ов В.Б. [Тарасов, 1998, 2002]).

Цель работы и задачи исследования. Целью диссертационной работы является разработка и исследование моделей поведения динамических объектов при обработке видеоизображений для решения задач анализа данных и распознавания сцен.

Поставленная цель определяет следующие основные задачи диссертационного исследования:

1. Исследовать и разработать нечеткие модели представления пространственно-временных знаний и данных для задач обработки видеоизображений.

2. Разработать алгоритм распознавания сцен для моделей поведения динамических объектов.

3. Разработать систему распознавания сцен и анализа действий объектов на видеокадре.

4. Реализовать практическое решение задачи интеллектуального анализа данных и распознавания сцен в виде программного комплекса.

Методы проведения исследований основаны на использовании теории нечетких множеств и нечеткой логики, теории графов и гиперграфов, моделей искусственного интеллекта, методов интеллектуального анализа данных.

Научная новизна работы заключается в следующем:

1. Разработаны и исследованы математические модели для описания положения объектов на видеокадре, отличающиеся от известных использованием нечетких пространственно-временных атрибутов и лингвистических переменных, что позволяет на основе моделирования нечетких рассуждений вырабатывать компетентные решения в условиях неопределенности и сложной пространственно-временной обстановки.

2. Разработаны вычислительные методы и алгоритмы анализа видеокадров, отличающиеся возможностью реализации нечетких процедур поиска и слежения за компонентами объекта, что позволяет оперативно и адекватно формировать сценарии и описания ситуаций в системах анализа видеоизображений.

3. Разработана графово-гиперграфовая модель описания сцен и ситуаций, отличающаяся использованием понятия обобщенного гиперграфа, что позволяет с высокой степенью достоверности имитировать процедуры получения экспертных решений.

4. Разработан программный комплекс «Система мониторинга динамических объектов», предназначенный для анализа видеокадров и распознавания сцен, позволяющий определить требования к основным параметрам и характеристикам таких систем и предложить принципы создания интеллектуальных систем обработки видеоизображений, отличающиеся возможностью принятия решений в условиях неполноты и противоречивости исходной информации.

Практическая ценность результатов исследования заключается в следующем:

1. Разработанные модели и методы обработки видеоизображений могут быть использованы для создания систем мониторинга сложных объектов с возможностью анализа видеоизображений.

2. Предложенные принципы создания адаптивной интеллектуальной системы могут быть применены для создания систем принятия решений в сложной пространственно-временной обстановке.

3. Разработанная система распознавания сцен и анализа действий объекта на кадрах видеоизображения, реализованная в виде программного комплекса, может служить инструментом для моделирования действий человека в информационных системах искусственного интеллекта.

Достоверность полученных в диссертации результатов подтверждается математическими и аналитическими доказательствами и оценками, проведением экспериментов на ЭВМ, результатами практического использования предложенных в диссертации моделей, методов и алгоритмов, что подтверждено актами и справками о внедрении, а также апробацией результатов на научно-технических конференциях различного уровня.

Реализация результатов работы. Диссертация выполнена в соответствии с основным направлением научно-исследовательской работы Таганрогского технологического института Южного Федерального Университета «Формальные системы, искусственный интеллект и системы принятия решений».

Основные результаты диссертационной работы использованы при выполнении научно-исследовательских работ, в том числе:

- в рамках выполнения НИР № 15551 «Разработка теории, моделей и методов принятия решений в интегрированных интеллектуальных системах на основе нечетких знаний и смешанного представления атрибутов» и № 15552 «Разработка теории, моделей и методов, основанных на использовании нечетких ситуационных систем и нечетких классификационных моделей для целей принятия решений в сложной пространственно-временной обстановке», выполняемых на кафедре прикладной информатики Таганрогского технологического института Южного федерального университета в 2006-2010 г.г.;

- при выполнении хоздоговорных НИР, выполняемых Ростовским областным центром новых информационных технологий (РОЦ НИТ) при Южном федеральном университете в 2007-2010 г.г.

Использование результатов диссертационной работы подтверждаются соответствующими актами.

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на международных научно-технических конференциях и молодежных научных конференциях "Интеллектуальные САПР" (Дивн оморск, 2007-2009 г.г.); VIII, IX , X Всеро ссийских научных конференциях студентов и аспирантов "Техническая кибернетика, радиоэлектроника и системы управления" (Таганрог, 2007, 2008, 2009 г.г.); III Межгосударственной научно-практической конференции "Экономико-организационные проблемы проектирования и применения информационных систем" (Ростов-на-Дону, 2008 г.), XII Всероссийской научной конференции молодых ученых и аспирантов "Новые информационные технологии. Разработка и аспекты применения" (Таганрог, 2009 г.); на ежегодных научно-технических конференциях профессорско-преподавательского состава, аспирантов и сотрудников ТТИ ЮФУ.

Публикации. Результаты диссертации отражены в 10 печатных работах, в том числе в 5-ти, рекомендованных ВАК.

Основные положения диссертации, выносимые на защиту:

1. Разработка и исследование нечетких моделей представления пространственно-временных данных для задач обработки видеоизображений.

2. Алгоритм распознавания сцен при обработке видеоизображений.

3. Информационная система автоматического распознавания сцен и анализа действий объектов на видеокадре.

4. Модель обобщенного гиперграфа для описания сцен.

5. Результаты экспериментов с использованием методов интеллектуального анализа данных и разработанного программного комплекса.

Структура и объем работы. Диссертационная работа состоит из введения, 3 основных глав, заключения, списка использованной литературы и 3 приложений.

Основные результаты диссертационной работы использованы и при выполнении научно-исследовательских работ и в учебном процессе вуза, что подтверждается соответствующими актами.

ЗАКЛЮЧЕНИЕ

В ходе проведенных исследований получены следующие основные научные и практические результаты:

1. Разработаны и исследованы нечеткие модели на основе пространственно-временных атрибутов для описания положения объектов на видеокадре, использование которых позволило проводить интеллектуальный анализ видеопотоков данных, аналогичный деятельности человека-оператора.

2. Предложены принципы создания интеллектуальных систем обработки изображений и определены требования к основным параметрам и характеристикам таких систем, что позволило разработать комплексную систему мониторинга динамических объектов и осуществить ее практическое применение в задачах обработки видеоизображений.

3. Введено понятие гиперграфа специального вида — обобщенного гиперграфа. Такая модель может отображать как отношения целых групп элементов, так и отношения между отдельными элементами. Предложенная модель использовалась для описания сцен при формировании сценариев и ситуаций в системах анализа видеоизображений.

4. Разработан алгоритм работы системы мониторинга динамических объектов, реализующий поиск и слежение за компонентами объекта для анализа видеокадров и распознавания сцен, что позволило получить достоверные результаты при анализе видеоизображений большого объема и сложной структуры.

1. Анисов, 2001. Анисов A.M. Свойства времени // Логические исследования. Выпуск 8. М.: Наука, 2001. - 320 е.; С.5-25.

2. Байгарова и др., 2002. Байгарова Н.С., Бухштаб Ю.А., Евтеева Н.Н., Корягин Д.А. Некоторые подходы к организации содержательного поиска изображений и видеоинформации/ Институт прикладной математики им. М. В. Келдыша РАН. Москва, 2002.

3. Барсегян и др., 2004. Барсегян А., Куприянов М., Степаненко В., Холод И. Методы и модели анализа данных: OLAP и Data Mining. Учебное пособие. -СПб.: БХВ-Петербург, 2004.

4. Беллман, Заде, 1976. Беллман Р., Заде J1. Принятие решений в расплывчатых условиях. В. кн.: Вопросы анализа и процедуры принятия решений. — М.: Мир, 1976. С. 172-215.

5. Берж, 1962. Берж К. Теория графов и ее применения. — М.: Иностранная литература, 1962. 320 с.

6. Берштейн, Мелихов, 1980. Берштейн J1.C., Мелихов А.Н. Конечные четкие и расплывчатые множества. Часть 1. Четкие множества. — Таганрог: ТРТИ, 1980.

7. Берштейн, Мелихов, 1981. Берштейн J1.C., Мелихов А.Н. Конечные четкие и расплывчатые множества. Часть 2. Расплывчатые множества. Таганрог: ТРТИ, 1981.

8. Берштейн и др., 1990. Берштейн J1.C., Мелихов А.Н., Коровин С .Я. Ситуационные советующие системы с нечеткой логикой. — М.: Наука, 1990. — 272 с.

9. Берштейн и др., 1991. Берштейн J1.C., Боженюк А.В., Малышев Н.Г. Нечеткие модели для экспертных систем в САПР. М.: Энергоатомиздат, 1991.- 136 с.

10. Берштейн, Сергее в, 20 ОЗЬ. Б ерштейн Л.С., Сергеев Н.Е. Использование составных и усеченных лингвистических переменных. Труды IEEE AIS'03. — М.: Издательство Физико-математической литературы, 2003 — С. 130-137.

11. Берштейн, Сергеев, 2003с. Берштейн JI.C., Сергеев Н.Е. Использование нечетких множеств (переменных) третьего порядка для мониторинга подвижного объекта. Труды IEEE AIS'03. М.: Издательство Физико-математической литературы, 2003. С.141-146.

12. Берштейн, Боженюк, 2005. Берштейн JI.C., Боженюк А.В. Нечеткие графы и гиперграфы. М.: Научный мир, 2005. - 256 с.

13. Боженюк и др., 2009. Боженюк А.В., Котов Э.М., Целых А.А. Интеллектуальные Интернет-технологии. — Учебник для ВУЗов. — Издательство Феникс, 2009. — 382 с.

14. Борисов и др., 1982. Борисов А.Н., Алексеев А.В., Крумберг и др. Модели принятия решений на основе лингвистической переменной. — Рига: Знание, 1982.-256 с.

15. Борисов и др., 1989. Борисов А.Н., Алексеев А.В., Меркурьева Г.В. и др. Обработка нечёткой информации в системах принятия решений. М.: Радио и связь, 1989.-304 с.

16. Варосян, Поспелов, 1982. Варосян С.О., Поспелов Д.А. Неметрическая пространственная логика. / Известия АН СССР. Техническая кибернетика. 1982, № 5. С.86-89.

17. Вежвенец, Баринова, 2006. Вежневец А., Баринова О. Методы сегментации изображений: автоматическая сегментация, Выпуск №4, 2006.

18. Вишняков, 1989. Вишняков Ю.С., Сулейманов Б.С. Построение алгоритмов распознавания для обработки видеоизображении, корректных для заданной контрольной выборки М.: Наука, 1989. — 126 с.

19. Гаврилова, Хорошевский, 2001. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. СПб.: Питер, 2001. — 384 с.

20. Городецкий и др., 1998. Городецкий В.И., Грушинский М.С., Хабалов А.В. Многоагентные системы (обзор) // Новости искусственного интеллекта. — 1998.-№2. С.64-116.

21. Домбровский, 2007. Домбровский Б. Каким временем мы пользуемся? (Этическая концепция времени) — философско-литературный журнал Логос. -2007.-№2. С.75-97.

22. Дюк, Самойленко, 2001. Дюк В.А., Самойленко А.П. Data Mining: учебный курс. — Изд-во «Питер», 2001. 368 с.

23. Ежкова, Поспелов, 1977. Ежкова И.В., Поспелов Д.А. Принятие решений при нечетких основаниях: Универсальная шкала. Известия АН СССР. Серия «Техническая кибернетика», №6. 1977.

24. Заде, 1974. Заде JI.A. Основы нового подхода к анализу сложных систем и процессов принятия решений // Математика сегодня. — М.: Знание, 1974. С.5-49.

25. Заде, 1976. Заде JI.A. Понятие лингвистической переменной и его применение к принятию приближенных решений. — М.: Мир, 1976, 165 с.

26. Заде, 1980. Заде JI.A. Размытые множества и их применение в распознавании образов и кластер-анализе. В кн.: Классификация и кластер. -М.: Мир, 1980. С.208-247.

27. Зыков, 1974. Зыков А.А. Гиперграфы. Успехи математических наук, Т. 29, выпуск № 6, 1974. С.89-154.

28. Зыков, 1987. Зыков А. А. Основы теории графов. М.: Наука, 1987. 384 с.

29. Ильин, 2003. Ильин Е.П. Психомоторная организация человека: Учебник для ВУЗов. СПб.: Питер, 2003. - 384 с.

30. Кандрашина и др., 1989. Кандрашина Е.Ю., Литвинцева Л.В., Поспелов Д.А. Представление знаний о времени и пространстве в интеллектуальных системах. М., Наука, 1989. - 328 с.

31. Карчин, 2008. Карчин А.П. «Методы кластеризации для поиска видеоинформации», Автореферат квалификационной работы магистра. — 2008.

32. Касьянов и др., 2003. Касьянов В.Н., Евстигнеев В.А. Графы в программировании: обработка, визуализация и применение. — СПб.: БХВ-Петербург, 2003.

33. Киселев, Соломатин, 1997. Киселев М., Соломатин Е. Средства добычи знаний в бизнесе и финансах. — Открытые системы, № 4, 1997, С.41-44.

34. Ковалев и др., 2001. Ковалев С.М., Шабельников А.Н. Автоматическое построение нечетких темпоральных систем на основе обучающих примеров. Известия ТРТУ №4, 2001. Тематический выпуск: «Интеллектуальные САПР». Таганрог: Издательство ТРТУ, 2001. 257 с.

35. Ковалев, 2001а. Ковалев С.М. Темпоральные модели анализа сложных динамических процессов на основе нечетких ориентированных гиперграфов. Известия ТРТУ. Тематический выпуск: Интеллектуальные САПР. -Таганрог: Изд- во ТРТУ, 2001. С.96-101.

36. Ковалев, 2001b. Ковалев С.М. Нечеткие темпоральные системы в моделях анализа акустических процессов. Материалы международного конгресса «Искусственный интеллект в 21 веке». Москва. Физматлит, 2001. 847 с.

37. Кофман, 1982. Кофман А. Введение в теорию нечетких множеств.- М.: Радио и связь, 1982. 432 с.

38. Кристофидис, 1981. Кристофидис Н. "Теория графов" М.: Наука, 1981, 384 с.

39. Кьюсиак, 1991. Искусственный интеллект. Применение в интегрированных производственных системах. Под ред. Э.Кьюсиака. — М.: Машиностроение, 1991.

40. Мартинес, 1990. Мартинес Ф. Синтез изображений. Принципы, аппаратное и программное обеспечение: Пер. с франц. — М.: Радио и связь, 1990.

41. Минский, 1979. Минский М. Фреймы для представления знаний: Пер. с англ. М. Энергия, 1979. - 159 с.

42. Оре, 1986. Оре О. Теория графов. М.: Наука, 1986. - 352 с.

43. Паклин, 2006. Паклин Н. Алгоритмы кластеризации на службе Data Mining, 2006.

44. Пегат, 2009. Пегат А. Нечеткое моделирование и управление: Пер. с англ. — М.: Бином. Лаборатория знаний, 2009. 798 с.

45. Попов, 1990. Попов Э. Справочник: Искусственный интеллект: в 3 книгах. Книга 1. Системы общения и экспертные системы: Справочник под ред. Э.В.Попова-М.: Радио и связь, 1990.-464 с.

46. Поспелов, 1986. Нечеткие множества в моделях управления и искусственного интеллекта // Под ред. Д.А.Поспелова. — М.: Наука, 1986.

47. Поспелов, 1997. Поспелов Д.А. От коллектива автоматов к мультиагентным системам // In Proc. of the Intern. Workshop "Distributed Artificial Intelligence and Multi-agent System", St-Petersburg, 1997.

48. Поспелов, 1998. Поспелов Д.А. Многоагентные системы настоящее и будущее // Информационные технологии и вычислительные системы, № 1, 1998, С.14-21.

49. Рассел, Норвиг, 2006. Рассел С., Норвиг С. Искусственный интеллект: современный подход, 2-е изд.: Пер. с англ. М.: Издательский дом "Вильяме", 2006.- 1408 с.

50. Сергеев и др., 2003. Сергеев Н.Е., Зарницин В.П. Фреймовые модели и перспективы использования в них мягких вычислений. Известия ТРТУ №2. Таганрог, 2003.

51. Сергеев, 2004а. Сергеев Н.Е. Нечеткие модели инструментальных двигательных действий оператора. Монография. — Изд-во Ростовского университета. Ростов-на-Дону, 2004. 136 с.

52. Сергеев, 2004b. Сергеев Н.Е. Моделирование инструментальных двигательных действий оператора. Монография. Издательство Ростовского университета. Ростов-на-Дону, 2004. 94 с.

53. Сергеев, 2004с. Сергеев Н.Е. Представление перемещения объектов в пространстве при помощи лингвистических переменных. Известия ТРТУ № 1. Таганрог, 2004. С.270-273.

54. Сергеев, Целых, 2009а. Сергеев Н.Е., Целых Ю.А. Информационная система автоматического описания сцен по видеоизображениям // Известия ЮФУ. Технические науки. №3. Таганрог: ЮФУ, 2009. С.253-259.

55. Сергеев, Целых, 2009b. Сергеев Н.Е., Целых Ю.А. GH-модели социальных сетей // Известия ЮФУ. Технические науки. Таганрог: Изд-во ТТИ ЮФУ, 2009, №1. - С.90-95.

56. Стефанюк, 1997. Стефанюк B.JI. От многоагентных систем к коллективному поведению // In Proc.of the Intern. Workshop "Distributed Artificial Intelligence and Multi-agent System", St-Petersburg, 1997.

57. Тарасов, 1998. Тарасов В.Б. Агенты, многоагентные системы, виртуальные сообщества: стратегическое направление в информатике и искусственном интеллекте // Новости искусственного интеллекта. — 1998. — №2. С.5-63.

58. Тарасов, 2002. Тарасов В.Б. От многоагентных систем к интеллектуальным организациям // Науки об искусственном. — М.: Эдиториал УРСС, 2002. 352 с.

59. Тимофеев, 1999. Тимофеев А.В. Мультиагентные системы планирования поведения транспортных роботов в среде с препятствиями // Экстремальная робототехника. X научно-техническая конференция. Санкт-Петербург, 1999.

60. Ту, Гонсалес, 1978. Ту Дж., Гонсалес Р. Принципы распознавания образов. -М.: Мир, 1978.

61. Уилсон, 1977. Уилсон Р. Введение в теорию графов. М.: Мир, 1977.

62. Уэно и др., 1989. Уэно X., Кояма Т., Окамото Т., Мацуби Б., Исидзука М. Представление и использование знаний. М.: Мир, 1989. - 220 с.

63. Фу, 1977. Фу К. Структурные методы в распознавании образов. М.: Мир, 1977.

64. Фукунага, 1979. Фукунага К.: "Введение в статистическую теорию распознавания образов" М.: Наука, 1979. - 368 с.

65. Чубукова, 2006. Чубукова И.A. Data Mining. М.: Интернет-университет информационных технологий: БИНОМ: Лаборатория знаний, 2006. - 382 с.

66. Харари, 1973. Харари Ф. Теория графов, Москва, Мир, 1973.

67. Холод, 2008. Холод И., Степаненко В., Куприянов М., Барсегян А. Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP. -BHV, 2008.-384 c.

68. Целых, 2004. Целых Ю.А. Особенности моделирования процедур принятия решений в интегрированных интеллектуальных системах // Перспективные информационные технологии и интеллектуальные системы, № 2/2004 (18). -Таганрог, Изд-во ТРТУ. С. 11-14.

69. Целых, 2004а. Целых Ю.А. Нечеткие модели поиска информации в гипертекстовой среде // Перспективные информационные технологии и интеллектуальные системы, № 4/2004 (20). — Таганрог, Изд-во ТРТУ. С.57-61.

70. Целых, 2008. Целых Ю.А. Теоретико-графовые методы анализа нечетких социальных сетей // Программные продукты и системы. №2 (82), 2008. С.48-50.

71. Целых, 2009. Целых Ю.А. Мультиагентная реализация описания сложных сцен по видеоизображениям // Известия ЮФУ. Технические науки. Тематический выпуск «Интеллектуальные САПР». Таганрог: Изд-во ТТИ ЮФУ, 2009, № 12(101).-С. 149-153.

72. Шилов, 2003. Шилов А.А. О Классификации графов, организационное управление и искусственный интеллект // Труды института системного анализа Российской академии наук. М.: Едиториал УРСС, 2003. С.395-420.

73. Электронный ресурс 1. Knowledge Discovery in Databases обнаружение знаний в базах данных // BaseGroup.ru http://www.basegroup.ru/library/methodology/kdd]

74. Ягер, 1986. Ягер Р. Нечеткие множества и теория возможностей. Последние достижения. — М: Радио и связь, 1986.

75. Berge, 1985. Berge С. Graphs (second revised edition), North Holland, Amsterdam - New York - Oxford, 1985.

76. Berge, 1989. Berge C. Hypergraphs: combinatorics of finite sets // (North-Holland mathematical library; v. 45), 1989.

77. Cook, Holder, 2007. Diane J. Cook, Lawrence B. Holder Mining Graph Data. Wiley, 2007 502 p.

78. Emirbayer, 1997. Emirbayer M. Manifesto for a Relational Sociology. The American Journal of Sociology, Vol. 103, Issue 2. September 1997.

79. Holder, Cook, 2007. Holder L.B., Cook D.J. Mining Graph Data. Wiley, 2007. Pp.443-468.

80. Knoke, 1982. Knoke, D., Kuklinski J.H., 1982. Network analysis. Indiana University: Sage. Pp.7-21.

81. Nwana, 1996. Nwana H. Software Agents: an Overview // The Knowledge Engineering Review.-1996.-Vol.11, №3. Pp.205-244.

82. Togai, 1986a. Togai M., Watanabe H. A VLSI Implementation of Fuzzy-Inference Engine: Toward and Expert System on a Chip // Inf. Science 1986. № 38.

83. Togai, 1986b. Togai M., Watanabe H. Expert System on a Chip: an engine for real time approximate reasoning. // IEEE Expert. 1986. V. 1. № 3.

84. Tselykh, 2004b. Tselykh J.A. Decision Search Methods in a Fuzzy Semantic Network // Proceedings of International Conference «Intelligent Systems (IEEE AIS'04)». Scientific publication in 3 volumes. Vol. 3. — Moscow. "Fizmatlit", 2004. Pp. 18-21.

85. Turner, 1991. Turner, J.H., 1991. The structure of sociological theory. Belmont: University of California. Pp. 540-572.

86. Wasserman, Faust, 1994. Wasserman S., Faust, K., 1994. Social Network Analysis. Cambridge: Cambridge University Press. Pp. 3-66.

87. Wellman, 1983. Wellman B. Network analysis: some basic principles // Sociological Theory, Vol. 1,N.Y. 1983. l:Pp. 155-199.

88. Wellman, etc., 1988. Wellman В., Berkowitz, S.D., 1988. Social structures: a network approach. Cambridge, England: Cambridge University Press.

89. Witten, Frank, 2005. Witten I., Frank E. Data Mining: Practical Machine Learning Tools and Techniques (Second Edition). Morgan Kaufmann, June 2005. 525 p.

90. Zadeh. Zadeh L.A. A theory of approximate reasoning (AR) // Machine Pp. 149-194.