автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Программная система выявления нелегитимной активности на промышленных площадках

На правах рукописи

Абрамов Николай Александрович

ПРОГРАММНАЯ СИСТЕМА ВЫЯВЛЕНИЯ НЕЛЕГИТИМНОЙ АКТИВНОСТИ НА ПРОМЫШЛЕННЫХ ПЛОЩАДКАХ

Специальность 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей.

Автореферат диссертации на соискание ученой степени кандидата технических наук

г 1 ноя 2013

Москва 2013

005539605

Работа выполнена в Федеральном государственном бюджетном Учреждении науки Вычислительный центр им. A.A. Дородницына Российской Академии Наук

Научный руководитель: доктор технических наук, профессор Дулин Сергей Константинович

Официальные оппоненты:

Цурков Владимир Иванович доктор физико-математических наук, профессор, заведующий отделом ВЦ РАН

Бецков Александр Викторович доктор технических наук, доцент кафедры управления деятельностью служб обеспечения общественного порядка Академии управления МВД России

Ведущая организация: Федеральное государственное бюджетное Учреждение науки Институт системного анализа Российской Академии Наук

Защита состоится 12 декабря 2013 года в 13 часов на заседании диссертационного совета Д 002.017.02 при Федеральном государственном бюджетном Учреждении науки Вычислительный центр им. A.A. Дородницына Российской Академии Наук по адресу: 119333, Москва, ул. Вавилова, дом 40, конференц-зал.

С диссертацией можно ознакомиться в библиотеке ВЦ РАН.

Автореферат разослан 10 ноября 2013 года

Ученый секретарь диссертационного совета

Д 002.017.02, д.ф.-м.н., профессор

В.В. Рязанов

Общая характеристика работы Актуальность темы. В настоящее время появились новые информационные технологии, связанные с бихевиористическим анализом деятельности различных объектов. Эти технологии требуют сложного математического и программного обеспечения. Одной из областей бихевиористического анализа является разработка математических моделей и соответствующего программного обеспечения для компьютеризированных комплексов, предназначенных для автоматизированного анализа поведения различных объектов в заданных средах.

Исключительно большой практический интерес в бихевиористическом анализе имеет задача обнаружения нелегитимной активности на промышленных объектах. В настоящее время уровень математического и программного обеспечения такого анализа недостаточен для успешного решения практических задач в данной области. Фактически, системы, используемых для выявления нелегитимной активности, не имеют математической и программной составляющих, и сводятся к неавтоматизированному видеоконтролю территорий предприятий. В связи с этим разработка математического и программного обеспечения указанных бихевиористических технологий является чрезвычайно актуальной.

Цель данного диссертационного исследования — разработка математического и программного обеспечения информационной технологии для бихевиористического анализа потоков транспорта на предприятии в режиме реального времени.

Для достижения поставленной цели диссертационного исследования были решены следующие задачи:

• Разработана математическая модель классификации автотранспортных средств, позволяющая на основе анализа потока видеоданных выявлять транспортные средства с признаками нелегитимной активности;

t Разработана архитектура программной системы бихевиористического анализа;

• Разработан программный модуль, реализующий интеграцию критериев в информационную систему;

• На базе разработанного математического обеспечения создан программно-аппаратный комплекс, реализующий систему анализа бихевиористического поведения.

Методы исследования. Теоретические и практические исследования базируются на методах распознавания образов (алгоритмы классификации, распознавание текстовых меток), системного программирования, методах построения вычислительных систем и математических методах моделирования нелегитимной активности.

Научная новизна. В диссертационной работе разработано новое математическое и программное обеспечение системы компьютеризированного выявления нелегитимной активности. Данная система основана на анализе признаков нелегитимной активности математическими методами.

Автором получены следующие результаты:

• Разработана математическая и программная модель обнаружения нелегитимной активности автотранспорта;

• На их основе разработано прикладное программное обеспечение, которое в комбинации с программным модулем распознавания автомобильных номеров без участия оператора с высокой вероятностью выявляет нелегитимную активность в режиме реального времени;

• Разработана архитектура программного комплекса для бихевиористического анализа данных видеонаблюдения;

• На основе анализа программных средств выявления нелегитимной активности разработаны требования к техническим параметрам проектируемой системы;

• Создано программно-прикладное средство управления обработкой данных: программный блок, реализующий признаки классификации в системе выявления нелегитимной активности;

• Разработана программная система, объединяющая распознавание и классификацию объектов бихевиористического анализа.

Практическая значимость работы заключается в создании промышленного образца системы безопасности и контроля транспортных потоков на производственных территориях. Продемонстрирована на практике эффективность

методики выделения нелегитимной активности, исходя из шаблонов поведения. Функционирование системы «Цербер» привело к резкому снижению нелегитимной активности на Ижорской промышленной площадке. Разработанная программная система, обладая достаточной масштабируемостью, может быть использована и для контроля в крупных транспортных узлах.

На защиту выносятся следующие результаты:

• Разработанная математическая и программная модель выявления нелегитимной активности;

• Разработанная архитектура распределенной программной системы выявления нелегитимной активности на промышленных площадках;

• Разработанные программные блоки классификации нелегитимных событий;

• Программно-аппаратный комплекс «Цербер», реализующий разработанные математические модели и программные средства выявления нелегитимной активности в режиме реального времени.

Апробация. Основные положения диссертации докладывались на семинарах ИПИ РАН, а также ВЦ РАН в период с 2011 по 2013 годы. Результаты, полученные в ходе выполнения данной работы, вошли в ежегодные отчеты по проекту Российского фонда фундаментальных исследований № 11-07-00225 «Интеллектуализация методов описания геоинформационных объектов и технологических процессов». Также, результаты данной работы докладывались на IV Международной научной конференции «Фундаментальные проблемы системной безопасности и устойчивости», а также на Третьей Всероссийской научной конференции «Методы и средства обработки информации».

Публикации. По теме диссертационной работы опубликованы пять печатных работ [1-5], из них четыре в изданиях по перечню ВАК.

Структура диссертации. Диссертация состоит из введения, трех глав, заключения, списка литературы (наименований) и трех приложений. Работа изложена на 113 страницах, включающих 14 рисунков и 4 таблицы. Список использованной литературы включает в себя 79 наименований.

Содержание работы Во введении обоснована актуальность работы, сформулирована цель и задачи диссертационного исследования, изложена его научная новизна, раскрыты теоретическое значение и практическая ценность полученных результатов, кратко излагается содержание диссертационной работы.

Первая глава посвящена обзору математических и программных средств современных бихевиористического контроля. По результатам данного обзора делаются следующие выводы:

1. Большинство современных систем бихевиористического анализа основаны на видеонаблюдении. В целях повышения стабильности такие системы являются распределенными и модульными. Также их можно назвать «облачными» ввиду наличия у многих из них единого координирующего центра, хранящего большую часть данных системы.

2. Большинство систем реализуется на стандартном и легко заменяемом оборудовании, что повышает их надежность и стабильность работы, что крайне важно для системы обеспечения безопасности, которая должна работать в режиме реального времени.

3. Системы бихевиористического анализа могут работать в Real-time режиме, не требуя значительных вычислительных мощностей - достаточно относительно современных настольных компьютеров со стандартным системным программным обеспечением.

4. Возможности алгоритмов распознавания изображений и машинного зрения в современных системах используются недостаточно эффективно.

5. Существующие системы выявления нелегитимной активности на основе видеонаблюдения используют большое число камер, громоздкие алгоритмы и показывают низкую эффективность.

Вторая глава посвящена разработке математического и программного обеспечения анализа бихевиористического поведения с целью выявления нелегитимной активности.

Приведем краткое описание разработанной математической модели.

Пусть х1(...,хп - различные признаки, каждый из которых принимает конечные дискретные значения. Пусть S - множество событий. При этом каждому событию

seS можно однозначно сопоставить вектор х = (хх,..., хп), компонентами которого являются значения признаков.

Множество S состоит из двух подмножеств: легитимные события L и нелегитимные N. При этом:

S = L VN,LnN = 0.

Сопоставим легитимным событиям - 1, а нелегитимным - 0. Также определим обучающую выборку S' £ S и L' е L. В таком случае, по обучающей выборке S'и V необходимо построить отображение а, которое:

Vx = (*!,...,хп) 6 5, а:* -> {0,1}.

Таким образом, система должна решать задачу классификации, то есть по некоторой конечной обучающей выборке относить событие по ряду признаков или к легитимным или к нелегитимным событиям.

Исходя из формальной постановки задачи, целевая функция а имеет вид: Vx = (х1( ...,xn) eS, а:х -» {0,1}.

Она относит событие с признаками (хг, ...,хп) к классу легитимных - 1 или нелегитимных - 0 событий.

Входными данными в решаемой задаче являются дискретные признаки xt,... ,хп. Фактическое значение п = 8. Перечислим все используемые признаки с их кратким описанием.

Первый признак: «Мониторинг времени прохождения осмотра автомобилем».

Интерпретация признака: если автомобиль на выезде стоит на осмотре дольше некоторого критического времени, то вероятность того, что произошло нарушение, растет пропорционально времени осмотра.

Единица измерения: секунды

Эталонные значения: вычисляется как среднее арифметическое всех времен досмотра тестовой выборки, т.н. ¿среднее - среднее время осмотра.

Формула подсчета х1 = mod (tcpeflHee - £фактическое)где: Сфактическое - фактическое время осмотра автомобиля в секундах.

Принимаемые значения^ Е 1, ...,7200 е N

Второй признак: «Мониторинг времени движения между различными точками контроля».

Интерпретация признака: измерение времени движения автомобиля из одной точки маршрута в другую. Если автомобиль двигался нетипично долго - есть подозрение, что с грузом были совершены противоправные действия.

Единица измерения: секунды

Эталонные значения: tCpeflHee - среднее время движения автомобиля по его маршруту движения, Д - допустимое отклонение:

Формула подсчета: х2 = mod (Д - £фактичсское - вреднее), где: Сфактическое -фактическое время движения по маршруту в секундах.

Принимаемые значения:*^ € 0, ...,4000 е N

Третий признак: «Контроль проезда машины в непредусмотренное время»

Интерпретация признака: каждая машина однозначно идентифицируется по номеру, а также по заявке на въезд, в которой написано ее предполагаемое время прибытия на территорию объекта. Если машина въезжает на территорию в неустановленное время существует вероятность того, что данный въезд не является легитимным.

Единица измерения: секунды

Эталонные значения: ¿предполагаемого проезда ~ предполагаемое время проезда, ^фактического проезда - фактическое время проезда. Оба измеряются в секундах от 0:00:00 дня предполагаемого въезда.

Формула Подсчета: — mod (¿предполагаемого проезда ¿фактического проезда)

Принимаемые значения: х3 6 0,...,180000 е N.

Четвертый признак: «Принятие решения на возможность проезда непредусмотренным лицом»

Интерпретация признака: у каждого охранника есть своя именная карточка, путем поднесения которой к считывателю дается разрешение машины на въезд и производится открытие шлагбаума На объекте ведется график смен охранников. Поэтому если открытие было произведено охранником не из текущей смены, это также является признаком нелегитимного действия. Система может сама выдавать значения - 1 в случае охранника текущей смены и 0 - в обратном случае.

Принимаемые значения: х4 = {0,1} е N

Пятый признак: «Изменение картины воздействия на датчики магнитного поля»

Интерпретация признака: На каждом направлении движения на КПП установлены датчики, измеряющие степень возмущения магнитного поля земли (это позволяет определить факт подъезда машины к шлагбауму). Для каждой машины всегда известны две характеристики: предполагаемое возмущение (исходя из типа машины и груза), а также фактическое возмущение. Оба этих значения измеряются в микротеслах.

Единица измерения: микротеслы.

Формула подсчета: Xs = mod (^предполагаемое - ^фактическое)

Принимаемые значения:^ 6 0,...,1000 Е N

Шестой признак: «Контроль проезда дополнительных точек»

Интерпретация признака: при въезде автомобиля на территорию объекта водителю в пропуск выдается специальная метка дальнего действия. На территории объекта во всех местах вероятной погрузки и выгрузки установлены считыватели данных меток. Это позволяет определить места остановки водителя. С учетом того, что системе известен маршрут движения автомобиля, возможно оценить в каком количестве неустановленных мест останавливался водитель.

Принимаемые значения: хй е 0, ...,100 е

Седьмой признак: «Контроль непрохождения обязательных точек»

Интерпретация признака: аналогично предыдущему признаку, только в данном случае оценивается какое количество предполагаемых точек движения не проехал автомобиль.

Принимаемые значения: х7 е 0,... ,100 6 N

Восьмой признак: «Фиксация критической разности качества распознавания номера».

Интерпретация признака: водитель может попытаться обмануть систему путем скрытия номера средства: замазывания грязью и т.д. Система распознавания номеров может оценить, насколько хорошо был распознан номер по шкале от одного до десяти. Разность значений, измеренная на двух разных КПП, может являться одним из критериев выявления нелегитимных действий.

Формула подсчета: х8 = mod (<?въезда - Q выезда)» где ^въезда качество

распознавания, измеренное на въезде, где (?ВЫСЗда - качество распознавания, измеренное на выезде.

Принимаемые значения: х8 £ О, ...ДО £ N

Описание на псевдокоде:

recognitionQuality(); функция, возвращающая качество распознавания,

event(CarlnSight);

temp:=recognitionQuality();

event(CarExit);

x_8:=mod(recognitionQuaIity() - temp);

Далее в работе проводится анализ алгоритмов классификации, а также оценка вероятности правильного распознавания текстовых меток на кадре в зависимости от времени анализа.

Пусть анализируются т кадров из N, где m<,N-k. При m>N-k вероятность идентификации равна 1, так как хотя бы один кадр, на котором метка распознана, попадает в состав выборки.

Обозначим событие R = «метка объекта распознана хотя бы на одном кадре из /и». Оно является противоположным событию R = «метка объекта не распознана ни на одном кадре из т».

При т = 1 вероятность события R равна:

P(R) = ILZJL N

При т= 2:

N N-1

>

так как вероятность R складывается из совместной вероятности событий «метка не распознана на первом выбранном кадре» и «метка не распознана на втором выбранном кадре». Поскольку выбор кадра осуществляется без возврата, то количество благоприятных исходов с каждым выбором уменьшается на единицу и общее количество исходов уменьшается на единицу. Отсюда следует:

if N-i + l

где m<N -к, N >к.

В общем виде вероятность распознавания метки на т кадрах, случайным образом выбранных из N, при заданном к: т-1 \г _ ь _ ;

1=0 " ~1

С увеличением т вероятность распознавания метки растет и при ¡ = Ы-к=ып = И-к + \ становится равной единице.

Пусть т - количество кадров, которое система распознавания способна анализировать из общего числа N, где т< N. Данное количество определяется временем анализа отдельного кадра, то есть т = 1а/Т.

При ограничении количества анализируемых кадров до т (т < N) вероятность Г(Кк) снижается пропорционально вероятности события Р(Н \ т,Ы,к):

Р(Кк | т, N. к) = Р(К, )Р(Я | т, Ы,к).

Тогда вероятность идентификации объекта контроля рассчитывается:

N

Р(М I т, Л0 = £ Р(К„ )Р(Я | т, И, к).

к=\

В итоге связь между показателями Т и Р(М) определяется следующим образом:

Эта формула демонстрирует, что с уменьшением времени анализа кадра системой распознавания вероятность идентификации объектов контроля повышается.

Третья глава посвящена описанию программной реализации и результатам тестирования системы. На основании общих требований была разработана архитектура распределенной системы, которая обеспечивает высокую защищенность системы и низкую нагрузку на каналы передачи данных.

Рисунок 1. Архитектура системы Особенности архитектуры:

• Высокая защищенность, за счет реализации кеширования данных в точках контроля. В том случае, если центр сбора данных выходит из строя, данные записываются локально до тех пор, пока не появится связь с выделенным сервером

• За счет реализации веб-интерфейса центра сбора данных в рамках стандарта HTML 5.0 интерфейс системы доступен с любого современного устройства, что позволяет отслеживать события с различных мобильных устройств

• Центр ведения архива вынесен в отдельную сущность с целью обезопасить данные от возможной кражи и компрометации. В нем применяется трехкратное дублирование данных для повышения надежности.

• Обмен данными производится при помощи защищенного протокола SSL

Разработанное программное обеспечение представляет собой программный модуль, написанный на платформе Microsoft.Net. Данный модуль скомпилирован в виде исполняемого файла для платформы Wintel, который работает 24/7 и обеспечивает выполнение вышеперечисленных функций. Ниже приводится схема ключевых блоков данного модуля:

Рисунок 2. Схема работы программного модуля на посту. Отдельно опишем, какими информационными потоками обмениваются различные части системы. На рисунке ниже приведена схема потоков данных внутри разработанной системы.

Рисунок 3. Потоки данных внутри системы Основная решенная задача - предварительная обработка и сжатие фото и видео на ЭВМ поста, позволившая снизить нагрузку на каналы связи на 80%.

Разработанная система была внедрена в ОАО «Ижорские заводы» при следующих условиях:

• ОАО «Ижорские заводы» является одним из крупнейших заводов в России, занимающимся тяжелым машиностроением

• 94% процента потока, проезжающего через КПП заводы - большегрузный транспорт

• Количество выездов машин в месяц - не менее 300 ООО

13

• Количество краж в месяц с использованием крупных автомобилей - не менее 30, около 25 из них выявляется постфактум

• До внедрения системы «Цербер» объем краж составлял около 105 миллионов рублей в год

• Система была установлена на трех КПП (на всех, через которые проходит большегрузный транспорт)

• Срок эксплуатации - 5 месяцев

Система была установлена в октябре 2012 года. С октября 2012 года в течение пяти месяцев собиралась статистика, а каждые 24 часа оператор корректировал массив легитимных выездов в системе.

За это время система позволила выявить 100% случаев нелегальных вывозов, из

тех, пропажи которых были обнаружены.

Таблица 1. Результаты эксплуатации системы

Параметр Значение Описание

Количество выехавших машин 1 754 874 Количество машин прошедших хотя бы через одно КПП на территории завода с начала эксплуатации системы

Количество выявленных попыток нелегитимных действий 145 Всего выявлено - 145, из них 7 - попытка вывоза продукции, 138 -несоблюдение регламента и/или установленного порядка

Количество невыявленных попыток нелегитимных действий 0 Успешных краж с использованием автотранспорта на территории промышленной площадки с момента установки системы не зафиксировано

В заключении диссертации приведены основные результаты работы.

Список публикации по теме диссертации

1. Абрамов, H.A. Компьютеризированная система контроля трафика на крупных предприятиях (система «Цербер») [Текст] Труды ИСА РАН, Том 62, выпуск 3, 2012, с. 3-10.

2. Абрамов, H.A. Кошелев И.И., Применение стереоскопического эффекта для расчета динамических характеристик движущихся автотранспортных средств и схема распознавания номеров в системе «Цербер» [Текст] Международный технико-экономический журнал, №2, 2013, с. 79-84.

3. Абрамов H.A. Две задачи оптимального управления технологическим процессом [Текст] Труды Института системного анализа РАН, Том 53, вып. 1, 2010, с. 124-131.

4. Абрамов H.A. Об одном критерии в задаче выбора оптимального маршрута [Текст] Труды Института системного анализа РАН 2010. Т. 32 вып. 2, 2010, с. 316-321.

5. Абрамов H.A., Качалин А.И. Выбор моделей распространения ВПО при разработке модели глобальной сети [Текст] Труды третьей Всероссийской научной конференции «Методы и средства обработки информации» /Под ред. JI.H. Королева. - М.: Издательский отдел Факультета ВМиК МГУ им. М.В. Ломоносова, 2009, с. 433-438.

Подписано в печать: 05.11.13 Тираж: 100 экз. Заказ № 134 Отпечатано в типографии «Реглет» . Москва, ул. Ленинский проспект, д.2 8(495)978-66-63, www.reglet.ru

Федеральное государственное бюджетное учреждение науки Вычислительный центр им. A.A. Дородницына Российской академии наук

Абрамов Николай Александрович

ПРОГРАММНАЯ СИСТЕМА ВЫЯВЛЕНИЯ НЕЛЕГИТИМНОЙ АКТИВНОСТИ НА ПРОМЫШЛЕННЫХ ПЛОЩАДКАХ

Специальность 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей.

Диссертация на соискание ученой степени кандидата технических наук

04201 452021

На правах рукописи

Научный руководитель:

Доктор технических наук, профессор Дулин С.К.

Москва - 2013

Оглавление

Введение.......................................................................................................................................4

Глава 1.Обзор систем выявления нелегитимной активности.......................8

Эволюция систем видеонаблюдения........................................................................8

Сферы применения систем видеонаблюдения.................................................11

Методики, применяемые в системах видеонаблюдения............................14

Модуль выделения объектов..................................................................................14

Распознавание объектов, отслеживание и оценка производительности................................................................................................................17

Поведенческий анализ................................................................................................19

База данных.......................................................................................................................20

Специфика современных систем видеонаблюдения.....................................21

Примеры систем видеонаблюдения.......................................................................22

Уведомление о тревогах и будущее систем видеонаблюдения..............26

Распознавание автомобильных номеров.............................................................27

Выводы по первой главе................................................................................................37

Глава 2. Модель системы выявления нелегитимных действий.................38

Контекст решаемой задачи..........................................................................................38

Выделение признаков нелегитимной активности.........................................39

Формальная постановка задачи................................................................................42

Описание модели системы...........................................................................................43

Целевая функция............................................................................................................43

Входные данные.............................................................................................................43

Выбор алгоритма классификации........................................................................50

Выбор и оценка эффективности алгоритма распознавания номеров ..............................................................................................................................................................55

Структура модели..........................................................................................................65

Выводы по второй главе................................................................................................68

Глава 3. Реализация системы выявления нелегитимных действий........69

Общие требования к реализации..............................................................................69

Архитектура предлагаемой системы и формулировка технических требований........................................................................................................................................71

Итоговое описание реализации.................................................................................87

Потоки данных....................................................................................................................89

Результаты эксплуатации.............................................................................................90

Выводы по третьей главе..............................................................................................93

Заключение...............................................................................................................................94

Литература................................................................................................................................95

Приложения...........................................................................................................................106

Приложение А. Исходный код модуля поддержания работоспособности сервера..................................................................................................106

Приложение В. Исходный код модуля взаимодействия с ядром распознавания..............................................................................................................................108

Приложение С: Справка о внедрении системы..............................................113

Введение

Актуальность темы. В настоящее время появились новые информационные технологии, связанные с бихевиористическим анализом деятельности различных объектов. Эти технологии требуют сложного математического и программного обеспечения. Одной из областей бихевиористического анализа является разработка математических моделей и соответствующего программного обеспечения для

компьютеризированных комплексов, предназначенных для

автоматизированного анализа поведения различных объектов в заданных средах.

Исключительно большой практический интерес в бихевиористическом анализе имеет задача обнаружения нелегитимной активности на промышленных объектах. В настоящее время уровень математического и программного обеспечения такого анализа недостаточен для успешного решения практических задач в данной области. Фактически, системы, используемых для выявления нелегитимной активности, не имеют математической и программной составляющих, и сводятся к неавтоматизированному видеоконтролю территорий предприятий. В связи с этим разработка математического и программного обеспечения указанных бихевиористических технологий является чрезвычайно актуальной.

Цель данного диссертационного исследования - разработка математического и программного обеспечения информационной технологии для бихевиористического анализа потоков транспорта на предприятии в режиме реального времени.

Для достижения поставленной цели диссертационного исследования были решены следующие задачи:

• Разработана математическая модель классификации автотранспортных средств, позволяющая на основе анализа потока

видеоданных выявлять транспортные средства с признаками нелегитимной активности;

• Разработана архитектура программной системы бихевиористического анализа;

• Разработан программный модуль, реализующий интеграцию критериев в информационную систему;

• На базе разработанного математического обеспечения создан программно-аппаратный комплекс, реализующий систему анализа бихевиористического поведения.

Методы исследования. Теоретические и практические исследования базируются на методах распознавания образов (алгоритмы классификации, распознавание текстовых меток), системного программирования, методах построения вычислительных систем и математических методах моделирования нелегитимной активности.

Научная новизна. В диссертационной работе разработано новое математическое и программное обеспечение системы компьютеризированного выявления нелегитимной активности. Данная система основана на анализе признаков нелегитимной активности математическими методами.

Автором получены следующие результаты:

• Разработана математическая и программная модель обнаружения нелегитимной активности автотранспорта;

• На их основе разработано прикладное программное обеспечение, которое в комбинации с программным модулем распознавания автомобильных номеров без участия оператора с высокой вероятностью выявляет нелегитимную активность в режиме реального времени;

• Разработана архитектура программного комплекса для бихевиористического анализа данных видеонаблюдения;

• На основе анализа программных средств выявления нелегитимной активности разработаны требования к техническим параметрам проектируемой системы;

• Создано программно-прикладное средство управления обработкой данных: программный блок, реализующий признаки классификации в системе выявления нелегитимной активности;

• Разработана программная система, объединяющая распознавание и классификацию объектов бихевиористического анализа.

Практическая значимость работы заключается в создании промышленного образца системы безопасности и контроля транспортных потоков на производственных территориях. Продемонстрирована на практике эффективность методики выделения нелегитимной активности, исходя из шаблонов поведения. Функционирование системы «Цербер» привело к резкому снижению нелегитимной активности на Ижорской промышленной площадке. Разработанная программная система, обладая достаточной масштабируемостью, может быть использована и для контроля в крупных транспортных узлах.

На защиту выносятся следующие результаты:

• Разработанная математическая и программная модель выявления нелегитимной активности;

• Разработанная архитектура распределенной программной системы выявления нелегитимной активности на промышленных площадках;

• Разработанные программные блоки классификации нелегитимных событий;

• Программно-аппаратный комплекс «Цербер», реализующий разработанные математические модели и программные средства выявления нелегитимной активности в режиме реального времени.

Апробация. Основные положения диссертации докладывались на семинарах ИПИ РАН, а также ВЦ РАН в период с 2011 по 2013 годы. Результаты, полученные в ходе выполнения данной работы, вошли в ежегодные отчеты по проекту Российского фонда фундаментальных исследований № 11-07-00225 «Интеллектуализация методов описания геоинформационных объектов и технологических процессов». Также, результаты данной работы докладывались на IV Международной научной конференции «Фундаментальные проблемы системной безопасности и устойчивости», а также на Третьей Всероссийской научной конференции «Методы и средства обработки информации».

Публикации. По теме диссертационной работы опубликованы пять печатных работ [1-5], из них четыре в изданиях по перечню ВАК.

Структура диссертации. Диссертация состоит из введения, трех глав, заключения, списка литературы (наименований) и трех приложений. Работа изложена на 113 страницах, включающих 14 рисунков и 4 таблицы. Список использованной литературы включает в себя 79 наименований.

Глава 1.0бзор систем выявления нелегитимной

активности

Эволюция систем видеонаблюдения

Использование систем видеонаблюдения на предприятиях началось с аналоговых систем CCTV (closed-circuit television - телевидение замкнутого контура). Эти системы состоят из нескольких камер, расположенных в разных местах наблюдаемой территории и связанных друг с другом набором мониторов, которые обычно помещаются в одну контрольную комнату в виде «матрицы мониторов». В настоящее время большинство систем CCTV используют аналоговые технологии для передачи и хранения изображений и цифровые ПЗС-матрицы для захвата изображений [37,40,68].

Работа систем первого поколения построена следующим образом -цифровое изображение с камер преобразуется в аналоговый композитный видеосигнал, который связан с мониторами и записывающим оборудованием, и передается, как правило, через коаксиальный кабель [74]. Существенным недостатком таких систем является ухудшение качества картинки из-за использования цифро-аналогового преобразования, что приводит к появлению «цифрового шума». Улучшение систем видеонаблюдения возможно за счет использования полностью цифрового формата для отснятых изображений и высокопроизводительных компьютеров для обработки.

Постепенное совершенствование технологии CCTV, привело к развитию полуавтоматических систем, называемых вторым поколением систем видеонаблюдения. Эти системы распознавали происходящие события на основе технологий машинного зрения. Они позволяли проводить примитивный анализ видеоряда и в полуавтоматическом режиме выявлять подозрительную активность. Обычно это производилось с помощью выделения подозрительных кадров и показа их оператору системы. Однако минусом таких системы были все же небольшое количество камер (в силу

несовершенства архитектуры) и слабые возможности интеллектуального анализа данных.

В настоящее время активно внедряются системы третьего поколения, основной отличительной чертой которых является иерархичность и распределение информационных потоков. Они могут состоять из огромного количества камер, а также использовать сложные алгоритмы машинного зрения, однако их возможности по автоматическому выявлению нелегитимных действий ограничены [45,46,70]. Большинство систем с высокой степенью автоматизации очень громоздки и сложны во внедрении. Сравнительные характеристики всех трех поколений систем приведены в таблице 1.1.

Таблица 1.1 Этапы технологического развития систем видеонаблюдения

Первое поколение

Технология Аналоговые ССТУ системы

Преимущества 1. Хорошая производительность для простых задач 2. Проверенная временем технология

Проблемы Аналоговые технологии для распространения и хранения данных

Текущее состояние систем 1. Цифровое или аналоговое 2. Цифровая запись 3. Сжатие видео

Второе поколение

Технология Автоматическое видеонаблюдение с использованием технологий машинного зрения

Преимущества Повышает эффективность систем ССТУ

Проблемы Требуются надежные алгоритмы

Текущее состояние систем 1. Поиск надежных алгоритмов поведенческого анализа 2. Автоматическое обучение системы 3. Переход от статистического анализа сцены к пояснениям на естественном языке

Третье поколение

Технология Автоматическая система видеонаблюдения за большой территорией

Преимущества 1. Более точные за счет применения различных датчиков 2. Распределенность

Проблемы 1. Распределенность информации 2. Методология

построения

3. Мультисенсорные

платформы

Текущее состояние систем 1. Распределенный

или централизованный

«искусственный

интеллект»

2. Объединение

информации

3. Система принятия

решений на основе

статистики

4. Многокамерные

способы наблюдения

Сферы применения систем видеонаблюдения

Особенно велика потребность в системах видеонаблюдения в следующих областях:

• Транспортные узлы, такие как: аэропорты, порты, вокзалы, метро и автомагистрали (для наблюдения за потоком машин).

• В местах большого скопления людей, таких как: учебные заведения, супермаркеты и автостоянки (для определения занятости мест).

• Спортивные сооружения, концертные залы (для обеспечения безопасности и учета числа свободных мест).

• Наблюдение за территорией на режимных объектах (для обеспечения безопасности).

• Контроль соблюдения технологической дисциплины в производственных процессах (для контроля персонала).

Кроме того, террористические акты, произошедшие в последние годы, привели к росту требований к обеспечению общественной безопасности. Одной из самых распространенных мер в этой области стало развертывание больших систем видеонаблюдения в местах, которые могут стать объектами атак террористов. Например, в лондонском метро и аэропорту Хитроу было установлено более 5000 камер [2,3,4]. Очевидно, что для эффективной обработки огромного потока информации, который поступает с такого числа камер, необходимо решить такие вопросы, как масштабируемость и удобство использования системы видеонаблюдения.

Подобные внедряемые системы видеонаблюдения, как правило, используют достаточно стандартное оборудование и в них все чаще применяются программные средства для обработки сигналов, поступающих из видеокамер [20,24,25]. Одной из основных задач для этих систем является распознавание несанкционированных вторжений и перемещений объектов, а также обнаружение подозрительных предметов.

Исследования в этой области [7,8,12,14,54,55,56,71] в основном сосредоточены на улучшении алгоритмов обработки изображений, что позволяет создавать новые методы для более точного и надежного обнаружения и распознавания объектов, слежения за ними, а также распознавания человеческой активности. Кроме того, проводятся разработки по созданию СУБД для систем видеонаблюдения и инструментов оценки эффективности систем видеонаблюдения. Также в настоящий момент исследуются новые способы для передачи видеоинформации в распределенных системах видеонаблюдения. Примерами таких задач являются методы сжатия видео, построение сетей и протоколов передачи данных, распределение обработки данных и стандарты форматов данных для передачи по сети.

Наиболее сложными и интеллектуальными являются системы распознавания выражений человеческих лиц, выявляющие потенциальных

преступников. Однако такие системы требуют большого количества камер, тщательной настройки и результаты их эксплуатации не всегда удовлетворительны [69,72,73].

Методики, применяемые в системах видеонаблюдения

Рассмотрим, как устроены современные системы видеонаблюдения. Типичная конфигурация модулей обработки видеоинформации в системе видеонаблюдения представлена на рисунке 1.1.

> " м и '- 1 Анализ Н

Выделение объекта Распознавание объекта ы Слежение □ поведения и активности 1 ы База данных

Рисунок 1.1 Типичная конфигурация блоков в современной системе видеонаблюдения.

Каждый из этих модулей представляет собой низкоуровневые блоки, которые есть в любой современной системе видеонаблюдения. Рассмотрим теперь более детально каждый из них.

Модуль выделения объектов

Существуют два классических подхода к выделению объектов: «временная разница»