автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.19, диссертация на тему:Многоуровневая многоагентная система фильтрации спама в организации

На правах рукописи

НИКИТИН Андрей Павлович

МНОГОУРОВНЕВАЯ МНОГОАГЕНТНАЯ СИСТЕМА ФИЛЬТРАЦИИ СИАМА В ОРГАНИЗАЦИИ

Специальность: 05.13.19 - Методы и системы защиты информации, информационная безопасность

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Уфа 2009

003460881

Работа выполнена на кафедре вычислительной техники и защиты информации Уфимского государственного авиационного технического университета

Научный руководитель д-р техн. наук, проф.

Валеев Сагит Сабитовнч

Официальные оппоненты д-р. техн. наук, проф.

Аралбаев Ташбулат Захарович

канд. техн. наук, доц. Дуленко Вячеслав Алексеевич

Ведущая организация Информационный центр

Министерства внутренних дел по Республике Башкортостан

Запита состоится 20 февраля 2009 г. в __часов

на заседании диссертационного совета Д-212.288.07 при Уфимском государственном авиационном техническом университете по адресу: 450000, Уфа-центр, ул. К. Маркса, 12.

С диссертацией можно ознакомиться в библиотеке университета. Автореферат разослан 19 января 2009 г.

Ученый секретарь диссертационного совета

д-р техн. наук, проф.

С. С. Валеев

Общая характеристика работы

Актуальность темы

Основной задачей исследований в области защиты информации является совершенствование известных методов и разработка новых методов, алгоритмов обеспечения безопасности информации в процессе её сбора, хранения, обработки, передачи и распространения. Одним из направлений исследований в этой области является разработка методов и алгоритмов фильтрации спама. В Правилах оказания телематических услуг связи (Постановление Правительства Российской Федерации от 10.08.2007 № 575) дается определение спама, как телематического электронного сообщения, предназначенного неопределенному кругу лиц и доставленное абоненту или пользователю без их предварительного согласия. Также отмечается, что оператор связи должен принимать меры для воспрепятствования распространению спама. Избыточные незатребованные электронные письма нарушают доступность информационных ресурсов, необходимых пользователям, поскольку потребляют значительные ресурсы канала входящей связи, а также могут стать причиной нарушения целостности информации в случае утери сообщения при фильтрации сообщений человеком, или программой фильтрации. Вместе со спамом могут рассылаться вредоносные программы, способные привести к полному или частичному уничтожению информации или её искажению. Ряд вредоносных программ может быть использован для кражи персональных данных: номеров кредитных карт частных пользователей, имён пользователей и паролей для доступа к системам удалённого управления банковскими счетами организаций. Кроме того, конфиденциальные данные могут быть случайно или преднамеренно отправлены по электронной почте. В зависимости от принятой в организации политики безопасности, необходимо контролировать не только входящий, но и исходящий трафик. Задача поиска сведений, составляющих государственную или коммерческую тайну, в исходящем потоке электронной почты аналогична задача фильтрации спама. В этом случае для обучения системы могут использоваться не только незатребованные электронные письма, а конфиденциальные документы, представленные в электронном виде. Не смотря на использование различных систем фильтрации электронных сообщений, доля спама в общем почтовом трафике все еще достаточно высока. По мнению экспертов компании Cisco, в 2009 году объём спама впервые превысит отметку 90% почтового трафика.

Вопросам противодействия спаму посвящены исследования И. С. Ашманова, А. Шварца и др. В основном, это фильтры, построенные на байесовском подходе, что, как известно, не позволяет учитывать семантику электронных сообщений. При разработке систем фильтрации входящих сообщений недостаточно полно используется системный подход и современные технологии искусственного интеллекта для решения задачи классификации. Тем самым, задача разработки эффективных методов и алгоритмов фильтрации спама в организации является актуальной.

Объект исследования - процесс обеспечения фильтрации спама в организации.

Предмет исследования — методы и алгоритмы фильтрации спама в организации на основе технологий искусственного интеллекта.

Целью работы является повышение эффективности системы фильтрации спама в организации.

Для достижения данной цели поставлены следующие задачи:

1. Разработка концепции построения системы фильтрации спама в организации.

2. Разработка мношагешной архитектуры иерархической системы фильтрации спама в организации.

3. Разработка эффективного метода и алгоритма классификации электронных сообщений с учётом семантики сообщения.

4. Оценка эффективности предложенных подходов к фильтрации спама в организации.

Методы исследования

При работе над диссертацией использовались: методология защиты информации, методы системного анализа, теория множеств, теория вероятности, теория моделирования дискретных систем, теория нейронных сетей, теория многоагентных систем. Для оценки эффективности предлагаемых решений использовались методы математического и имитационного моделирования.

Основные научные результаты, выносимые на защиту:

1. Концепция построения автоматизированной системы фильтрации спама в организации.

2 Архитектура многоуровневой многоагентной системы противодействия распространению спама в организации.

3. Эффективный алгоритм классификации электронных сообщений на основе нейросетевого классификатора.

4. Прототип многоагентной системы противодействия распространения спама в организации.

Научная новизна работы

1. Предложена новая концепция построения автоматизированной многоуровневой многоагентной системы противодействия вредоносному воздействию спам-рассылок на информацию, хранящуюся и обрабатываемую в системах электронной почты, основанная на многоуровневой фильтрации спама, что позволяет повысить доступность и обеспечить целостность информации, обрабатываемой в системах электронной почты на различных уровнях иерархии организации с учетом принятой политики безопасности.

2. Разработана архитектура иерархической многоагентной системы защиты информации, обрабатываемой электронными почтовыми системами, от вредоносного воздействия спама, позволяющая строить полную и достоверную базу знаний, отражающую области интересов пользователей системы в рамках иерархии организации с учетом принятой политики безопасности.

3. Предложен эффективный метод и алгоритм классификации электрон-

ных сообщений на основе когнитивного подхода и нейросетевого классификатора, позволяющий посредством использования базы знаний эффективно решать задачу классификации поступающих электронных сообщений на различных уровнях иерархии организации.

4. Разработан программный прототип многоагентной системы противодействия распространению спама в организации, позволяющий оценить эффективность предложенного метода и алгоритма.

Практическая ценность полученных результатов

Практическая значимость полученных результатов заключается в повышении эффективности функционирования системы противодействия распространению спама в локальной вычислительной сети организации.

Использование предложенного метода классификации электронных сообщений позволяет учесть в процессе анализа семантическую компоненту сообщения, тем самым снизить уровень ошибочной классификации на 510%.

Результаты работы внедрены в филиале "Уфимская городская телефонная сеть" ОАО "БашИнформСвязь", Уфимском филиале ОАО "Вымпелком", ОАО МТУ "Кристал", г.Уфа, Уфимском филиале ОАО "Уралмонта-жавтоматика".

Апробация работы

Основные научные и. практические результаты диссертационной работы докладывались и обсуждались на следующих конференциях:

- 7, 9, 10 Международных научных семинарах «Компьютерные науки и информационные технологии» (СБГТ), Уфа, 2005, 2007; Анталия, Турция 2008;

-XXXII Международной молодёжной научной конференции «Гага-ринские чтения», Москва, 2006;

- VIII Всероссийской молодёжной научной конференции «Королёвские чтения», Самара, 2005;

- Международной молодёжной научной конференции «Туполевские чтения», Казань, 2005;

- VIII Международной научно-технической конференции «Проблемы техники и технологии телекоммуникации», Уфа, 2007;

-I Международной научно-технической конференции «Актуальные проблемы безопасности информационных технологий», Красноярск, 2007.

Публикации

Результаты диссертационной работы отражены в 16 публикациях: в 9 научных статьях, в том числе 1 статья в рецензируемом журнале из списка периодических изданий, рекомендованных ВАК, в 7 тезисах докладов в материалах международных и российских конференций.

Структура и объем работы

Диссертационная работа состоит из введения, четырех глав, заключе-

ния, приложений, библиографического списка и изложена на 135 страницах машинописного текста. Библиографический список включает 138 наименований литературы.

СОДЕРЖАНИЕ РАБОТЫ Во введении обосновывается актуальность темы исследований в области повышения защищённости информации, получаемой, хранящейся, обрабатываемой и передаваемой в системах электронной почты. Формулируется цель работы и решаемые в ней задачи, обсуждается научная новизна и практическая ценность выносимых на защиту результатов.

В первой главе выполнен анализ различных видов спама с точки зрения их угроз защищённости информации, а также рассмотрены достоинства и недостатки известных подходов к противодействию этим угрозам. Делается вывод о необходимости разработки новой архитектуры системы противодействия распространению спама, методов и алгоритмов фильтрации, позволяющих более эффективно, по сравнению с существующими системами, обеспечивать фильтрацию спама.

Во второй главе рассматривается задача разработки концепции построения автоматизированной иерархической системы противодействия вредоносному воздействию спам-рассылок на информацию, обрабатываемую в системах электронной почты, заключающаяся в многоуровневой фильтрации спама с использование баз знаний, различных по полноте и достоверности. Выполнен анализ основных потоков информации в системе обработки сообщений (рис. 1).

Н,

Н,'

X 1 р-|| 3 э 2> р к гг 1 Зю

О Я

8,'

Информационная система

Но

Со Фильтр исходящи: сообщен и 1

Э0

Но

э,

Рисунок 1 — Информационные потоки в системе обработки электронных почтовых сообщений

На рис.1 использованы следующие обозначения: Я/ — полезные сообщения, поступающие на вход фильтра входящих сообщений; & - спам, поступающий на вход фильтра входящих сообщений; Щ — полезные электронные сообщения, поступающие с выхода фильтра входящих сообщений; 3*/ -спам, поступающий с выхода фильтра входящих сообщений; Но - полезные электронные сообщения, поступающие на вход фильтра исходящих сообщений; Б0 - спам, поступающий на вход фильтра исходящих сообщений; С0 -сообщения, содержащие конфиденциальные сведения, поступающие на вход фильтра исходящих сообщений; Но - полезные электронные сообщение, поступающие с выхода фильтра исходящих сообщений; Со — сообщения, со-

держащие конфиденциальные сведения, поступающие с выхода фильтра исходящих сообщений; Бо - спам, поступающий с выхода фильтра исходящих сообщений.

Проанализировано влияние спама 5 на доступность информации (рис. 2). Показано, что если в некоторый момент времени (о объём поступающих в электронные почтовые ящики организации полезных Н и спам-сообщений Б превысит пропускную способность канала связи РВ, соединяющего организацию с Интернет-провайдером, то некоторая часть электронных сообщений Ь, в том числе и полезные, будет получено с опозданием, и пользователи не смогут своевременно получить доступ к сообщениям. Тем самым, возникает очередь из запоздавших сообщений, что приводит к еще большей временной задержке при доступе к требуемой информации. Если в момент времени г, суммарный объём поступающих полезных сообщений и спама станет меньше пропускной способности канала связи организации с Интернет-провайдером, то пользователи в дальнейшем смогут оперативно получать доступ к сообщениям.

Скорость,

Нарушение спамом доступности информации в формализованном виде может быть представлено в виде следующих условий: Если Iе^;^],то 5>0; ЕслиЗ > (РВ-Н), то М > РВ^> Ь > 0,Н-Н'Ф 0;

где

Яп5=0, Л = М-РЯ.

Спам также может быть причиной нарушения целостности информации (рис. 3).

Скорость,

Предположим, что в некоторый момент времени пользователи, осуществляющие ручную классификацию электронных сообщений, ошибочно отфильтруют часть полезных электронных писем ЬН, а также ошибочно пропустят часть спама К аналогичным последствиям может привести применение неэффективных средств автоматической фильтрации спама.

Нарушение спамом целостности информации в формализованном виде может быть представлено с помощью следующих соотношений:

Н = ЯН+Ш,

РМ^РБ+Ш, М = Н+Б, Яп5 = 0, М'=Ш+118, М^М-РМ,

где FM- отфильтрованные электронные сообщения; - отфильтрованные электронные спам-сообщения; КН - количество полезных электронных сообщений, оставшихся после фильтрации; М' - количество всех входящих электронных сообщений после фильтрации.

В работе выполнен сравнительный анализ достоинств и недостатков спам-фильтров, выполняющих централизованную и распределённую фильтрацию.

Показано, что достоинствами филыров, осуществляющих централизованную фильтрацию, являются возможность быстрого обнаружения и отсечения массовых рассылок одинаковых сообщений, а также возможность оперативной адаптации к вновь разработанным методам обхода известных способов фильтрации, используемых в спам-филырах. К недостаткам фильтров, осуществляющих централизованную фильтрацию, отнесена невозможность

учёта интересов конкретного пользователя, что приводит к принятию ошибочного решения о пропуске спама или блокировании полезного письма.

В случае распределенной фильтрации учитывается область интересов пользователя, но не используется опыт других пользователей организации.

Рассмотрены три основных возможных способа формирования базы знаний полезных сообщений и спама для фильтров, осуществляющих централизованную фильтрацию.

В первом случае для формирования базы знаний используются сообщения, классифицированные всеми пользователями. В этом случае уровень ошибок первого рода повышается, а уровень ошибок второго рода снижается. Данный способ формирования баз знаний можно представить следующим образом:

п

В = Ь1глЬ2п...г>Ьп=[)Ьк.

ш

где В - база знаний организации;

Ьк - база знаний ¿-го пользователя почтовой системы;

п ~ количество пользователей системы электронной почты.

Рассматриваемый способ формирования базы знаний используется достаточно широко.

Во втором случае решение включать сообщение, классифицированное пользователем, в свою базу знаний система принимает на основе рейтинга пользователя, который, в свою очередь, зависит от того, сколько, с точки зрения других пользователей, данный пользователь сообщений пометил верно, и сколько неверно. В этом случае уровень ошибок первого рода повышается, а уровень ошибок второго рода понижается. Данный способ формирования баз знаний можно представить следующим образом:

= 11(^4

В третьем случае для формирования базы знаний используются сообщения, помеченные как спам хотя бы одним пользователем. В этом случае уровень ошибок первого рода понижается, а уровень ошибок второго рода может повыситься. Данный способ формирования баз знаний можно представить следующим образом:

п

к=1

В работе предлагается процедура формирования базы знаний интеллектуальной системы борьбы со спамом, объединяющей в себе все преимущества серверных и персональных фильтров. Для этого каждый пользователь системы вручную классифицирует все сообщения с помощью почтовых клиентов. Затем система фильтрации выделяет леммы, принадлежащие каждому

классу сообщений, и передаёт их на уровень отдела, где все списки объединяются, поскольку предполагается, что области профессиональных интересов сотрудников одного отдела совпадают. На последнем этапе процедуры формирования базы знаний системы фильтрации используют только сообщения, одинаково классифицированные всеми отделами, что связано с различием области интересов отделов в организации. При такой схеме формирования базы знаний достигается высокая эффективность функционирования предлагаемой системы фильтрации спама, потому что при создании базы знаний уровня отдела увеличивается обучающая выборка, а при создании базы знаний уровня организации сохраняется низкий уровень ошибок вследствие исключения из обучающей выборки случайных сообщений.

База База База База знаний знаний знаний знаний попьзова- пользова- пользова- пользователя 2.1 теля 2.2 теля 2.3 теля 2.4

Рисунок 4 - Иерархическая процедура формирования базы знаний многоуровневой системы фильтрации спама

Данный способ формирования баз знаний можно представить следующим образом:

(I)

ы р

Base= с\В2 п,...Г\Вр = . (2)

4=1

Учитывая (1) и (2) можем получить описание процедуры формирования базы знаний:

Base = (bn vj bt2 kj ... u bln) n (b

pi

=n( и Kj

где p - количество отделов в организации;

п - количество сотрудников в первом отделе организации;

т - количество сотрудников во втором отделе организации;

I - количество сотрудников в р-ом отделе организации;

bpi - база знаний, сформированная /-ым сотрудникомр-то отдела;

Вк - база знаний к-го отдела организации;

Base - база знаний сообщений организации.

Схема информационных потоков в предлагаемой системе противодействия распространению спама представлена на рис. 5.

Рисунок 5 - Информационные потоки в многоуровневой системе борьбы со

спамом

Информационные потоки в многоуровневой системе противодействия спаму могут быть представлены следующим образом:

Mk ~FS =(MU -Fs -Рк)и{мкл ~FS -Fju.-u^-Fs -Ft)=

= 0 (MtJ-Fs-Ft), (4)

y-i

С учетом (3) и (4) получаем выражение для входящих потоков электронных сообщений:

Далее запишем выражение для потока информации, содержащей обучающие выборки:

п

/ = /1n/2n...n/m=p|/tj (5)

т

h = Л., vlkwг =|J/iy. . (6)

1=i

С учетом (5) и (6) получаем выражение для информационных потоков, используемых при формировании баз знаний системы противодействия распространению спама:

*( я ^

'=П ik,

м \m,J** /

где М- поток всех входящих электронных писем; Server - почтовый сервер; Fs -классификатор, функционирующий на сервере организации; PCt - персональный компьютер к-то пользователя; Fn - классификатор для «-го отдела; Mn-Fs - поток входящих электронных писем, предназначенных пользователям w-го отдела и отфильтрованных классификатором Fs~, Mm-Fs-Fn - поток входящих электронных писем, предназначенных m-му пользователям из и-го отдела и отфильтрованных предварительно классификатором Fs, а потом фильтром «-го подразделения Fn\ - сообщения, вручную классифицированные »7-м пользователем и-го отдела и предназначенные для обучения классификатора и-го отдела Fn; 1„ - сообщения, вручную классифицированные всеми пользователем и-го отдела и предназначенные для обучения классификатора Fs.

Обучение системы состоит из трёх основных этапов: автоматической классификации поступившего сообщения, ручной классификации сообщения и обучения системы. Если после автоматической классификации уровень уверенности системы о классе сообщения превышает некоторый порог, то сообщение используется для обучения системы фильтрации спама. Если же система не уверенна в правильности оценки, то она перед обучением на данном сообщении, ожидает, пока пользователь вручную не укажет класс сообщения.

Показано, что для повышения эффективности решения задачи классификации сообщений необходимо разработать новый алгоритм классификации электронных сообщений, учитывающий не только частоту встречаемо-

ста слов, как в байесовском фильтрации, но и семантику сообщений.

В третьей главе рассматривается решение задачи разработки алгоритма классификации входного и выходного потока электронной корреспонденции на основе применения парадигмы обучаемых нейронных сетей.

На основе анализа характеристик классических систем автоматического понимания текста, делается вывод о том, что их применение в системах фильтрации нецелесообразно из-за высокой вычислительной нагрузки на компьютер пользователя, большого объема предварительной обработки электронных сообщений, большого объема служебных данных, сложности реализации.

С учетом специфики задачи фильтрации электронных сообщений, предлагается в качестве упрощенной модели текстового фрагмента использовать представление минимальной семантической единицы - предложения, в виде семантического графа. Данная модель позволяет быстро построить простую структуру, частично отражающую семантику текстового сообщения.

На первом этапе анализа входящего сообщения из него формируется множество Р ~ {/¡}, где/к - заданная для системы фильтрации минимальная семантическая структура, /=1 ...т, при этом из структуры удаляются избыточные элементы. В результате структура7* может быть представлена в виде семантического графа определяющего связь Ь лексем Ув/к-

При оценке силы связи между лексемами учитывается лексикографический порядок в /к. После обработки всего сообщения получаем семантический граф сообщения <7 =< V >= Ц"^ , представляющий собой упрощенную

семантическую модель сообщения, где 5 - множество вершин, содержащее лексемы сообщения, прошедшие предварительную фильтрацию на основе заданного словаря; V- множество ребер, весовые значения которых определяют силу связи лексем Далее граф С? представляется матрицей смежности Z, представляющая собой семантическую матрицу. Матрица 2 имеет четко выраженную структуру, что позволяет использовать ее для повышения эффективности процедуры классификации сообщения при решении задачи

фильтрации. На следующем этапе фильтрации выполняется понижение размерности матрицы 2 - сжатие образа, из нее удаляются столбцы и строки, содержащие значения элементов ниже заданного порога X.

Далее, с учетом векторов атрибутов сообщений на базе графа <3 строятся две обобщенные семантические матрицы для спама 2, и для полезных сообщений 2е. В результате задача классификации новых сообщений сводится к построению бинарного классификатора Ы, определяющего принадлежность сообщения к одной из представленных семантическими матрицами категорий.

В качестве классификатора предлагается использовать линейный нейросетевой ассоциатор вида у = у/х , где х - входной вектор (элементы вектора составлены из элементов семантической матрицы фильтруемого сообщения), м> - вектор весов классификатора. Обучение ассоциатора выполняется на основе правила обучения Хебба. Архитектура разработанной системы многоуровневой фильтрации спама позволяет реализовать способность системы к самообучению. На рис. 7 представлено изменение доли спама и легитимных сообщений в процессе обучения системы фильтрации.

Рисунок 7 - Изменение доли спама и полезных сообщений

В четвёртой главе описывается реализация многоуровневой системы борьбы со спамом на основе многоагентного подхода.

Предлагаемая система борьбы со спамом является распределенной, каждый системный компонент, управляющий почтовыми фильтрами, имеет лишь информацию, необходимую для решения задачи, и может влиять на решение задачи только на своем участке. Это обусловлено спецификой сложной, гетерогенной, распределенной в пространстве и непостоянной по структуре системы, которой является информационная система современного предприятия. Ключевым моментом, определяющим выбор многоагентной технологии, является необходимость обеспечения автономности системы фильтрации спама. Более того, изменение структуры информационной системы предприятия, добавление или удаление какого-либо пользовательской

рабочей станции или даже сервера отдельного отдела, при использовании многоагентной технологии позволяет учитывать эти изменения. Также это позволяет повысить эффективность работы администратора сети.

Агенты могут работать в рамках следующие основные сценарии:

- работа с электронными сообщениями, включающая в себя управление почтовыми фильтрами и самообучение;

- обмен сообщениями в случае необходимости изменения параметров настроек системы фильтрации, при этом изменения могут выполнятся администратором безопасности сети или системным администратором в зависимости от принятой в организации политики безопасности;

- наблюдение за изменениями в структуре потоков электронной почты и реагирование на них, в том числе адаптация структуры многоагентной системы фильтрации спама.

Разработанная многоагентная система фильтрации спама состоит из трех уровней: верхнего, промежуточного и нижнеого. На верхнем уровне располагается основной в организации почтовый сервер, на промежуточном уровне находятся почтовые сервера отделов, нижний уровень занимают почтовые клиенты, установленные на рабочих станциях пользователей.

Роли агентов зависят от места, занимаемого ими в этой иерархии. В разные моменты времени один и тот же агент может исполнять различные роли, в зависимости от сложившийся ситуации и архитектуры локальной вычислительной сети. Функции каждого агента определяются его ролью в данный момент времени:

—для агентов всех уровней это управление почтовыми фильтрами на своем уровне;

- для агентов нижнего и промежуточного уровней это отправка обучающих выборок агенту более высокого уровня;

-для агентов верхнего и промежуточного уровней это прием обучающих выборок от агентов предыдущего уровня, формирование базы знаний, а также самообучение;

—для агентов верхнего и промежуточного уровней это мониторинг структуры информационной системы предприятия на своем уровне, реагирование на изменения в этой структуре в случае появления или удаления рабочих станций и серверов электронной почты;

- распространение служебных сообщений с верхнего уровня на нижние уровни, например, изменений параметров настроек.

Взаимодействие между агентами может выполняться в двух направлениях:

- "снизу вверх" - от агентов нижнего уровня к агентам верхнего уровня. В этом случае выполняется обучение системы борьбы со спамом;

- "сверху вниз" - от агентов на верхнем уровне к агентам на нижнем уровне. Это используется для обеспечения централизованного управления параметрами настроек системы фильтрации спам-сообщений.

Система служебных сообщений в многоагентной системе борьбы со

спамом имеет следующую структуру:

- сообщения с обучающими выборками для базы знаний;

- сообщения, регулирующие параметры настройки в многоагентной системе;

- запросы об изменениях информационной структуры предприятия, связанные с добавлением или удалением серверов или рабочих станций, на которых выполняется обработка электронной корреспонденции.

Прототип предлагаемой системы реализован на платформе JADE (Java Agent DEvelopment Framework). Особенностью данной платформы является возможность реализации поддержка распределенной обработки информации на базе многоагентной технологии, поддержка архитектуры Р2Р, использование языка ACL (Agent Communication Language), удовлетворяющий требованиям FIPA (Foundation for Intelligent Physical Agents)

На рисунке 8 приведены результаты сравнения эффективности разработанной системы с байсовским фильтром.

В заключении приводятся основные научные результаты, полученные в ходе выполненных исследований, а также представлены выводы по работе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Разработана концепция построения автоматизированной иерархической системы противодействия вредоносному воздействию спам-рассылок на информацию, обрабатываемую в системах электронной почты, заключающаяся в многоуровневой фильтрации спама с использование баз знаний, различных по полноте. Реализация разработанной концепции в организации позволяет повысить точность классификаций электронных сообщений на различных уровнях иерархии системы фильтрации и обеспечить целостность и доступность информации в рамках принятой в организации политики безопасности.

2 Разработана иерархическая архитектура системы защиты электронной почтовой информации в классе распределенных систем обработки информации на основе многоагентного подхода, которая позволяет обеспечить масштабируемость и свойство самоорганизации для гибкой реализации политики безопасности, принятой в организации.

3. Разработан эффективный алгоритм классификации электронных сообщений на основе когнитивного подхода и нейросетевого классификатора, что позволяет решать задачу классификации поступающих электронных сообщений на различных уровнях иерархии организации с частичным учетом семантики сообщения.

4. Разработана методика проектирования многоагентной системы противодействия распространению спама в организации с применением однотипного нейросетевого классификатора на всех иерархических уровнях обработки информации, использование которой позволяет реализовать элементы предложенной автоматизированной системы фильтрации спама в организации в виде программных модулей. Как показали результаты моделирования функционирования разработанной системы, уровень ошибок первого и второго рода снизилось на 5-10%.

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

В рецензируемом журнале из списка ВАК:

1. Многоуровневая система фильтрации спама на основе технологий искусственного интеллекта / Валеев С.С., Никитин А.П. // Вестник УГАТУ, Т. 11 № 1 (28), 2008.-С. 215-219.

Другие публикации:

2. Многоагенгаая антиспам система / Никитин А.П. // Компьютерные науки и информационные технологии: Труды 7-го Международного семинара (С81Т'2005), Т. 2, Уфа: Изд-во Уфимс. гос. авиац. техн. ун-та, 2005. - С. 227-229 (на англ. языке).

3. Система классификации электронных сообщений / Никитин А.П. // VIII Королёвские чтения: материалы всероссийской молодёжной научной конференции, Самара, 4-6 октября 2005 г.:- Самара: Издательство Самарского государственного аэрокосмического университета имени академика С.П. Королёва, 2005,-С. 90.

4. Модульная система классификации электронных сообщений / Никитин А.П. // Туполевские чтения: международная молодёжная научная конференция, посвященная 1000-летию города Казани, 10-11 ноября 2005 г.: Материалы конференции. Том П1. -Казань: Изд-во Казан, гос. техн. ун-та, 2005. -С. 95-96.

5. Система классификации электронных сообщений. / Никитин А.П. // XXXII Гагаринские чтения. Научные труды Международной молодёжной научной конференции в 8 томах. М.: МАТИ, 2006. Т. 4 - Стр. 26-27.

6. Система классификации электронных сообщений / Никитин А.П. // // Интеллектуальные системы обработки информации и управления: Материалы 2-й региональной зимней школы-семинара аспирантов и молодых ученых. - Т.1. - Уфа: УГАТУ, 2007. - С. 55-56.

7. Интеллектуальная система фильтрации сообщений / Никитин А.П., Валеев С.С. // Проблемы техники и технологии телекоммуникации. Материалы Восьмой международной научно-технической конференции, 26-28 ноября 2007 г. Уфимск. гос. авиац. техн. ун-т. -Уфа, 2007. -С. 246-247.

8. Интеллектуальная система автоматической классификации информации / Никитин А.П. // Мавлютовские чтения: Материалы Всероссийской молодежной научной конференции, посвященной 75-летию УГАТУ. Т. 3. Уфимск. гос. авиац. техн. ун-т, -Уфа, 2007. -С. 18-19.

9. Система интеллектуальной фильтрации спама / Никитин А.П. // Актуальные проблемы безопасности информационных технологий. Материалы I международной заочной научно-технической конференции (АПроБИТ-2007), -Красноярск, 2007. -С. 40-44.

10.Интеллектуальная антиспам система / Никитин А.П., Валеев С.С. // Компьютерные науки и информационные технологии: Труды 9-го Международного семинара (CSIT'2007), Т. 4, - Уфа-Красноусольск, 2007. -С. 57-59 (на англ. языке).

11.Интеллектуальная система фильтрации спама / Никитин А.П. // Актуальные проблемы в науке и технике: Материалы 3-й региональной зимней школы-семинара аспирантов и молодых ученых. - Т. 1. - Уфа: УГАТУ, 2008. -С. 351-356.

12.Многоагентная система фильтрации спама / Валеев С.С., Никитин А.П. // Компьютерные науки и информационные технологии: Труды 10-го Международного семинара (CSIT-2008), Т. 2. -Анталия - Турция, 2008. - С. 224-227 (на англ. языке).

13.Формирование базы знаний для интеллектуальной системы борьбы со спамом / Никитин А.П. // IX Королёвские чтения: Материалы всероссийской молодёжной научной конференции. - Самара, 2008. - С. 41-43.

14.Система автоматической интеллектуальной классификации текстов / Валеев С.С., Никитин А.П. ИIX Королёвские чтения: Материалы всероссийской молодёжной научной конференции. - Самара, 2008. - С. 44-46.

15.Анализ проблемы борьбы со спамом Интернет-провайдера / Никитин А.П. // Мавлютовские чтения: Материалы всероссийской молодежной научной конференции. Т. 1.. - Уфа, 2008. -С. 11.

16.Многоагентная система борьбы со спамом / Никитин А.П. // Мавлютовские чтения: Материалы веер - - - - гйной научной конференции. Т. 1.-Уфа, 2008.-С. 12.

Диссертант

А. П. Никитин

НИКИТИН Андрей Павлович

МНОГОУРОВНЕВАЯ МНОГОАГЕНТНАЯ СИСТЕМА ФИЛЬТРАЦИИ СПАМА В ОРГАНИЗАЦИИ

Специальность: 05.13.19—Методы и системы защиты информации, информационная безопасность

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Подписано к печати_.01.2009 Формат 60x84 1/16.

Бумага офсетная. Печать плоская. Гарнитура Times New Roman Cyr. Усл. печ. л. 1,0. Усл. кр. OTT. 1,0. Уч. -изд. л. 0,9. Тираж 100 экз. Заказ № 682 ;

ГОУ ВПО Уфимский государственный авиационный технический

университет Центр оперативной полиграфии 450000, Уфа-центр, ул. К.Маркса, 12.

СПИСОК ИСПОЛЬЗУЕМЫХ СОКРАЩЕНИЙ.

ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИЗ ЗАДАЧИ АВТОМАТИЧЕСКОЙ ФИЛЬТРАЦИИ СООБЩЕНИЙ, КАК ЗАДАЧИ ОБЕСПЕЧЕНИЯ ИНФОРМАЦИОННОЙ БЕЗОПАСНОСТИ.И

1.1 Анализ понятия спама.

1.2 Анализ признаков, классифицирующих спам-сообщения.

1.3 Анализ основных угроз информационной безопасности, несущих различными видами спам-сообщений.

1.3.1 Анализ спам-сообщений коммерческого характера.

1.3.2 Анализ спам-сообщений некоммерческого характера.

1.3.3 Анализ мошеннические и фишинговые спам-сообщений.

1.3.4 Анализ ложных спам-сообщений и цепных писем.

1.3.5 Анализ спам-сообщений "работа Джо".

1.3.6 Анализ спам-сообщений, содержащих вредоносные программы.

1.3.7 Анализ отрицательная квитанция.

1.3.8 Анализ экономического ущерба спам-сообщений.

1.4 Анализ основных методов борьбы со спамом.

1.4.1 Анализ законодательных методов борьбы со спамом.

1.4.2 анализ организационных методов борьбы со спамом.

1.4.3 Анализ практических действий борьбы со спамом.

1.4.4 Анализ технических методов защиты от спама.

1.5 Концепция построения системы фильтрации спама.

Выводы по первой главе.

ГЛАВА 2. РАЗРАБОТКА АРХИТЕКТУРЫ ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЫ ФИЛЬТРАЦИИ СПАМ-СООБЩЕНИЙ.

2.1 Рассмотрение задачи классификации электронной информации, передаваемой по каналам связи, на примере фильтрации спама.

2.2 Анализ нарушения спамом безопасности информации.

2.3 Разработка архитектуры системы фильтрации спам-сообщений.

2.4 Разработка алгоритма заполнения БЗ системы фильтрации.

2.5 Разработка алгоритма фильтрации документа.

Выводы по второй главе.

ГЛАВА 3. РАЗРАБОТКА АЛГОРИТМЫ КЛАССИФИКАЦИИ СООБЩЕНИЙ НА ОСНОВЕ АГЕНТА-КЛАССИФИКАТОРА.

3.1 Постановка задача представления исходного сообщения в виде семантического графа.

3.2 Разработка модели сообщения на основе упрощенного семантического графа

3.3 Разработка статистической семантической модели сообщений.

3.4 Решение задачи обоснования применения линейной ассоциативной сети

3.5 Разработка нейросетевого классификатора.

Выводы по третьей главе.

ГЛАВА 4. РЕАЛИЗАЦИИ СИСТЕМЫ БОРЬБЫ СО СПАМОМ С ПОМОЩЬЮ МНОГОАГЕНТНОЙ ТЕХНОЛОГИИ.

4.1 Этапы проектирования многоагентной системы борьбы со спамом.

4.2 Архитектура многоагентной системы борьбы со спамом.

4.3 Сценарии работы, функции и роли агентов системы.

4.4 Обеспечение общения агентов.

4.5 Архитектура отдельного агента.

4.6 Программная реализация прототипа системы.

Выводы по четвертой главе.

Основной задачей исследований в области защиты информации является совершенствование известных методов и разработка новых методов, алгоритмов обеспечения безопасности информации в процессе ее сбора, хранения, обработки, передачи и распространения. Одним из направлений исследований в этой области является разработка методов и алгоритмов фильтрации спама (ФС). В Правилах оказания телематических услуг связи (Постановление Правительства Российской Федерации от 10.08.2007 № 575) дается определение спама, как телематического электронного сообщения, предназначенного неопределенному кругу лиц и доставленное абоненту или пользователю без их предварительного согласия. Также отмечается, что оператор связи должен принимать меры для воспрепятствования распространению спама. Избыточные незатребованные электронные письма нарушают доступность информационных ресурсов, необходимых пользователям, поскольку потребляют значительные ресурсы канала входящей связи, а также могут стать причиной нарушения целостности информации в случае утери сообщения при ФЭС человеком, или программой фильтрации. Вместе со спамом могут рассылаться вредоносные программы, способные привести к полному или частичному уничтожению информации или ее искажению. Ряд вредоносных программ может быть использован для кражи персональных данных: номеров кредитных карт частных пользователей, имен пользователей и паролей для доступа к системам удаленного управления банковскими счетами организаций. Кроме того, конфиденциальные данные могут быть случайно или преднамеренно отправлены по электронной почте. В зависимости от принятой в организации политики безопасности, необходимо контролировать не только входящий, но и исходящий трафик. Задача поиска сведений, составляющих государственную или коммерческую тайну, в исходящем потоке электронной почты аналогична задача ФС. В этом случае для обучения системы могут использоваться не только незатребованные электронные письма, а конфиденциальные документы, представленные в электронном виде. Не смотря на использование различных систем ФЭС, доля спама в общем почтовом трафике все еще достаточно высока. По мнению экспертов компании Cisco, в 2009 году объем спама впервые превысит отметку 90% почтового трафика.

Вопросам противодействия спаму посвящены исследования И. С. Ашманова, А. Шварца и др. В основном, это фильтры, построенные на байесовском подходе, что, как известно, не позволяет учитывать семантику электронных сообщений. При разработке систем фильтрации ВС недостаточно полно ис- • пользуется системный подход и современные технологии искусственного интеллекта для решения задачи классификации. Тем самым, задача разработки эффективных методов и алгоритмов ФС в организации является актуальной.

Цель и задачи исследования

В качестве объекта исследования в работе рассматривается процесс обеспечения ФС в организации. В качестве предмета исследования рассматриваются методы и алгоритмы ФС в организации на основе технологий искусственного интеллекта.

Целью диссертационной работы является разработка методологии проектирования эффективной системы защиты информации, обеспечивающей ФС в организации.

Для достижения указанной цели в работе поставлены следующие задачи:

1. Разработка концепции построения системы ФС в организации на основе ме- ' тодов искусственного интеллекта.

2. Разработка многоагентной архитектуры иерархической системы ФС в организации.

3. Разработка эффективного метода и алгоритма классификации электронных сообщений с учетом семантики сообщения.

4. Оценка эффективности предложенных подходов к ФС в организации.

Методы исследования

При работе над диссертацией использовались: методология защиты информа- . ции, методы системного анализа, теория множеств, теория вероятности, теория моделирования дискретных систем, теория нейронных сетей, теория многоагентных систем. Для оценки эффективности предлагаемых решений использовались методы математического и имитационного моделирования.

Основные научные результаты, полученные автором и выносимые на защиту

1. Предложена новая концепция построения автоматизированной многоуровневой многоагентной системы противодействия вредоносному воздействию спам-рассылок на информацию, хранящуюся и обрабатываемую в системах электронной почты, основанная на многоуровневой ФС, что позволяет повысить доступность и обеспечить целостность информации, обрабатываемой в системах электронной почты на различных уровнях иерархии организации с учетом принятой политики безопасности.

2. Разработана архитектура иерархической многоагентной системы защиты информации, обрабатываемой электронными почтовыми системами, от вредоносного воздействия спама, позволяющая строить полную и достоверную БЗ, отражающую области интересов пользователей системы в рамках иерархии организации с учетом принятой политики безопасности.

3. Предложен эффективный метод и алгоритм классификации электронных сообщений на основе когнитивного подхода и нейросетевого классификатора, позволяющий посредством использования БЗ эффективно решать задачу классификации поступающих электронных сообщений на различных уровнях иерархии организации.

4. Разработан программный прототип многоагентной системы противодействия распространению спама в организации, позволяющий оценить эффективность предложенного метода и алгоритма.

Обоснованность и достоверность результатов диссертации

Обоснованность результатов, полученных в диссертационной работе, базируется на использовании апробированных научных положений и методов исследования, корректным применением математического аппарата, согласовании новых результатов с известными теоретическим положениями.

Достоверность полученных теоретических положений и выводов подтверждается результатами имитационного моделирования, апробации и промышленного внедрения предложенных алгоритмов ФС.

Практическая ценность полученных результатов

Практическая значимость полученных результатов заключается в повышении эффективности функционирования системы противодействия распространению спама в локальной вычислительной сети организации.

Использование предложенного метода классификации электронных сообщений позволяет учесть в процессе анализа семантическую компоненту сообщения, тем самым снизить уровень ошибочной классификации на 5-10%.

Результаты работы внедрены в филиале "Уфимская городская телефонная сеть" ОАО "БашИнформСвязь", Уфимском филиале ОАО "Вымпелком", ОАО МТУ "Кристал", г. Уфа, Уфимском филиале ОАО "Уралмонтажавтоматика".

Связь исследований с научными программами

Исследования выполнялись более 5 лет (с 2004 по 2009 гг.) на кафедре вычислительной техники и защиты информации Уфимского государственного авиационного технического университета в рамках, в том числе в рамках гранта РФФИ № 07-08-00386 «Методы и алгоритмы интеллектуального информационной безопасностью высшего учебного заведения» (2007-2009 гг.)

Апробация работы

Основные научные и практические результаты диссертационной работы докладывались и обсуждались на следующих конференциях:

-1,9, 10 Международных научных семинарах «Компьютерные науки и информационные технологии» (CSIT), Уфа, 2005, 2007; Анталия, Турция 2008;

- XXXII Международной молодежной научной конференции «Гагарин-ские чтения», Москва, 2006;

- VIII Всероссийской молодежной научной конференции «Королевские чтения», Самара, 2005;

- Международной молодежной научной конференции «Туполевские чтения», Казань, 2005;

- VIII Международной научно-технической конференции «Проблемы техники и технологии телекоммуникации», Уфа, 2007;

-1 Международной научно-технической конференции «Актуальные проблемы безопасности информационных технологий», Красноярск, 2007.

Публикации

Результаты диссертационной работы отражены в 16 публикациях: в 9 научных статьях, в том числе 1 статья в рецензируемом журнале из списка периодических изданий, рекомендованных ВАК, в 7 тезисах докладов в материалах меж- ■ дународных и российских конференций.

Структура и объем работы

Диссертационная работа состоит из введения, четырех глав, заключения, приложений, библиографического списка и изложена на 135 страницах машинописного текста. Библиографический список включает 138 наименований литературы.

Выводы по четвертой главе

1. Впервые предложено использование многоагентной технологии для реализации многоуровневой системы фильтрации спама, что позволяет обеспечить в рамках предложенной концепции масштабируемость, свойство самоорганизации и интеллектуализации процесса фильтрации спама.

2. Разработана архитектура многоагентной системы фильтрации спама, отличающаяся от известных возможностью гибкой реконфигурацией системы с учтом изменения конфигурации ЛВС организации.

3. Разработаны модели агентов, выделены их основные цели и решаемые ими задчи.

4. Разработан прототип многоагентной системы на базе программно-технологической платформы JADE (Java Agent Development Framework), реализованной на языке Java, что позволяет обеспечить кроссплатформенность разработанной системы.

ЗАКЛЮЧЕНИЕ

В работе поставлена и решена задача разработки системы фильтрации спама в организации. При решении данной задачи получены следующие результаты и выводы:

1. Разработана концепция построения автоматизированной иерархической системы противодействия вредоносному воздействию спам-рассылок на информацию, обрабатываемую в системах электронной почты, заключающаяся в многоуровневой фильтрации спама с использование баз знаний, различных по полноте. Реализация разработанной концепции в организации позволяет повысить точность классификации электронных сообщений на различных уровнях иерархии системы фильтрации и обеспечить целостность и доступность информации в рамках принятой в организации политики безопасности.

2. Разработана иерархическая архитектура системы защиты электронной почтовой информации в классе распределенных систем обработки информации на основе многоагентного подхода, которая позволяет обеспечить масштабируемость и свойство самоорганизации для гибкой реализации политики безопасности, принятой в организации.

3. Разработан эффективный алгоритм классификации электронных сообщений на основе когнитивного подхода и нейросетевого классификатора, что позволяет решать задачу классификации поступающих электронных сообщений на различных уровнях иерархии организации с частичным учетом семантики сообщения.

4. Разработана методика проектирования многоагентной системы противодействия распространению спама в организации с применением однотипного нейросетевого классификатора на всех иерархических уровнях обработки информации, использование которой позволяет реализовать элементы предложенной автоматизированной системы фильтрации спама в организации в виде программных модулей. Как показали результаты моделирования функционирования разработанной системы, уровень ошибок первого и второго рода снизилось на 5-10%.

1. Abadi, М., Burrows, М., Manasse, М. and Wobber, Т.: 2003, Moderately Hard, Memory-Bound Functions, Proceedings of the 10th Annual Network and Distributed System Security Symposium, pp. 25-39.

2. Allman, E.: 2003, Spam, Spam, Spam, Spam, Spam, The FTC and Spam, ACM queue 1(6), p. 92.

3. Alonso Eduardo, Kudenko Daniel, Kazakov Dimitar: Adaptive Agents and Multi-Agent Systems: Adaptation and Multi-Agent Learning (Lecture Notes in Computer Science), Springer, 2003, pp. 135-137.

4. Androutsopoulos, I., Magirou, E. and Vassilakis, D.: 2005, A Game Theoretic Model of Spam E-Mailing, Proceedings of the 2nd Conference on Email and Anti-Spam (CEAS 2005), pp. 12-15.

5. Anti-Spam Technical Alliance (ASTA): 2004, Anti-spam technical alliance technology and policy report, Technical report, pp. 223-226.

6. Anti-Spam Technical Alliance (ASTA): 2004, Anti-spam technical alliance technology and policy report, Technical report, pp. 62-63.

7. Back, A.: 2002, Hashcash A Denial of Service Counter-Measure, http://www.hashcash.org/papers/hashcash.pdf, p. 2.

8. BBC: 2003, E-mail vetting blocks mps' sex debate, http.V/news.bbc.co.uk/l/hi/uk politics/2723 85 l.stm, pp. 1-2.

9. Bless, R., Conrad, M. and Hof, H.-J.: 2005, Spam Protection by using Sender Address Verification Extension (SAVE). http://doc.tm.uka.de/2005/SAVE.pdf, p. 1.

10. Bundesamt f.ur Sicherheit in der Informationstechnik (BSI): 2005, Antispam -Strategien: Unerw.unschte E-mails erkennen und abwehren, p. 75.

11. Callas, J., Donnerhacke, L., Finney, H. and Thayer, R.: 1998, OpenPGP Message Format, RFC 2440, IETF Network Working Group, pp. 78-81.

12. Campbell, K.: 1994, A NET.CONSPIRACY SO IMMENSE.Chatting With Martha Siegel of the Internet's Infamous Canter & Siegel, http://www.eff.org/legal/cases/Canter Siegel/c-and-s summary.article, p. 23.

13. Carreras, X. and Mrquez, L.: 2001, Boosting Trees for Anti-Spam Email Filtering,in Т. Chark (ed.), Proceedings of the International Conference on Recent Advances in Natural Language Processing, p. 126.

14. Cavedon Lawrence, Maamar Zakaria, Martin David, Benatallah Boualem: Extending Web Services Technologies: The Use of Multi-Agent Approaches, Springer, 2005, pp. 57-59.

15. Chhabra, S. and Siefkes, C.: 2004, Spam Filtering using a Markov Random Field Model with Variable Weighting Schemas, Proceedings of the 4th IEEE International Conference on Data Mining, pp. 347-350

16. Chris van Aart: Organizational Principles for Multi-Agent Architectures (Whitestein Series in Software Agent Technologies), Birkhauser, 2005, pp. 37-39.

17. Coding email links to avoid spam: 2003, http://www.bronzeage.com/nospani/, p. 2.

18. Cohen, W.: 1996, Learning rules that classify e-mail, Papers from the AAA! Spring Syposium on Machine Learning in Information Access, pp. 18-25.

19. Commtouch: 2006, Spam statistics,http://www.commtouch.com/Site/ResearchLab/statistics.asp, pp. 1-3.

20. Cranor, L. F. and LaMacchia, B. A.: 1998, Spam!, Communications of the ACM 41(9), pp. 74-83.

21. Crawford, E., Kay, J. and McCreath, E.: 2001, Automatic induction of rules for email classification, Proceedings of the Sixth Australasian Document Computing Symposium, pp. 34-35.

22. Crocker, D., Leslie, J. and Otis, D.: 2005, Certified Server Validation (CSV), Internet draft, IETF Network Working Group, pp. 58-59.

23. Damiani, E., De Capitani di Vimercati, S., Paraboschi, S. and Samarati, P.: 2004, P2p-based collaborative spam detection and filtering, Proceedings of the Fourth International Conference on Peer-to-Peer Computing, pp. 176-183.

24. Danish, H.: 2004, The RMX DNS RR and method for lightweight SMTP sender authorization, Internet draft, IETF Network Working Group, pp. 117-119.

25. David P. Buse, Qing-Hua Wu: IP Network-based Multi-agent Systems for Industrial Automation: Information Management, Condition Monitoring and Control of Power Systems, Springer, 2006, pp. 78-80.

26. DECLUDE Internet Security Software: 2005, List of All Known DNSbased Spam

27. Databases, http://www.declude.com/Articles.asp?ID=97, p. 3.

28. DeKok, A.: 2004, Lightweight MTA Authentication Protocol (LMAP) Discussion and Applicability Statement, Internet draft, IETF Network Working Group, pp. 65-67.

29. Delany, M.: 2005, Domain-based Email Authentication Using Public-Keys Advertised in the DNS (DomainKeys), Internet draft, IETF Network Working Group, pp. 202204.

30. Denning, P.: 1982, Electronic junk, Communications of teh ACM 25(3), 163165, pp. 75-77.

31. Directive 2002/58/EC: 2002, Official Journal of the European Communities, L 201/37, pp. 36-37.

32. Doll, J.: n.d., Spam Attack, http://www.joes.com/spammed.html, p. 3.

33. Drawes, R.: 2002, An artificial neural network spam classifier, Technical report. www.interstice.com/drewes/cs676/spam-nn/spam-nn.html, p. 2.

34. Drucker, H., Wu, D. and Vladimir N. Vapnik: 1999, Support Vector Machines for Spam Categorization, IEEE Transactions on Neural Networks 10(5), pp. 1048-1054

35. Dwork, C. and Naor, M.: 2002, Procing via Processing or Combatting Junk Mail, in D. Boneh (ed.), Proceedings of the 22rd Annual International Cryptology Conference (CRYPTO 2002), number 740 in LNCS, Springer, pp. 137-147.

36. Email Service Provider Coalition: 2003, Project Lumos: A Solutions Blueprint for Solving the Spam Problem by Establishing Volume Email Sender Accountability, Technical report, pp. 76-78.

37. Email-policy.com: 2004, Real-time Spam Black Lists (RBL), http://www.email-policy.com/Spam-black-lists.htm, p. 4.

38. Evett, D.: 2006, Spam Statistics 2006, http://spam-filterreview.toptenreviews.com/spam-statistics.html, pp. 5-6.

39. Fabio Luigi Bellifemine, Giovanni Caire, Dominic Greenwood: Developing Multi-Agent Systems with JADE (Wiley Series in Agent Technology), Wiley, 2007, pp. 117

40. Fahmann, S.: 2002, Selling interrupt rights: A way to control unwanted e-mail and telephone calls, IBM Systems Journal 41 (4), pp. 759-766.

41. Fecyk, G.: 2003, Designated Mailers Protocol, Internet draft, IETF Network Working Group, pp. 91-93.

42. Fenton, J. and Thomas, M.: 2005, Identified Internet Mail, J. fenton and m. thomas, IETF Network Working Group, pp. 165-167.

43. Ferris Research: 2005, The Global Economic Impact of Spam, 2005. Report #409, pp. 172-173.

44. FTC: 2004, National Do Not Email Registry A Report to Congress, Technical report, pp. 83-84.

45. Gabber, E., Jakobsson, M., Matias, Y. and Mayer, A. J.: 1998, Curbing Junk E-Mai via Secure Classification, Proceedings of the Second International Conference on Financial Cryptography, pp. 198-213.

46. Garfinkel, S.: 2003, Email-Based Identification and Authentication: An Alternative to PKI?, IEEE Security & Privacy 1(6), pp. 20-26.

47. Gauthronet, S. and Etienne, D.: 2001, Unsolicited Commercial Communications and Data Protection, p. 128.

48. Graham, P.: 2003, Better Bayesian Filtering, Proceedings of the 2003 Spam Conference, pp. 117-119.

49. Hall, R.: 1996, Channels: Avoiding Unwanted Electronic Mail, Proceedings of the DIMACS Symposium on Network Threats, pp. 135-137.

50. InfoSec: 2004, Email Spamming (include scam), Technical report, pp. 78-80.

51. Ironport: 2006, Internet Email Traffic Emergency: Spam Bounce Messages are Compromising Networks, http://www.ironport.com/bouncereport/, pp. 3.

52. ITU: 2005a, A Comparative Analysis of Spam Laws: The Quest for a Model Law, Background Paper for the ITU WSIS Thematic Meeting on Cybersecurity, Geneva, Switzerland, 28 JUNE 1 JULY 2005, pp. 119-120.

53. ITU: 2005b, ITU Survey on Anti-spam Legislation Worldwide, pp. 28-29.

54. Johansson, E.: n.d., Camram, www.camram.org, pp. 2-3.

55. K.ocher, J.: 2004, Anti-spam-gesetze, DFN Mitteilungen (64 3), pp. 29-30.

56. Leibzon, W.: 2005a, Email Security Anti-Spoofing Protection with Path and Cryptographic Authentication Methods, http://www.metasignatures.org/path and cryptographic authentication.htm, p. 2.

57. Leibzon, W.: 2005b, META Signatures (Message Enhancements for Transmission Authorization), Technical report, http://www.metasignatures.org/meta signatures proto-col.htm, pp. 1-2.

58. Lin Hong: Architectural Design of Multi-Agent Systems: Technologies and Techniques , IGI Global, 2007, pp. 123-125.

59. Loder, Т., van Alstyne, M. and Walsh, R.: 2004, Information Asymmetry and Thwarting Spam, Technical report, University of Michigan, pp. 52-54.

60. Lyon, J. and Wong, M.: 2005, Sender ID: Authenticating E-Mail, Internet draft, IETF Network Working Group, pp. 160-161.

61. Lyon, J.: 2005, Purported Responsible Address in E-Mail Messages, Internet draft, IETF Network Working Group, pp. 29-31.

62. Microsoft: 2004, Email Postmarks, pp. 119-121.

63. Moreno Antonio, Pavon Juan: Issues in Multi-Agent Systems (Whitestein Series in Software Agent Technologies and Autonomic Computing), Birkhauser Basel, 2007, pp. 112-114.

64. Moustakas, E., Ranganathan, C. and Duquenoy, P.: 2005, Combating Spam through Legislation: A Comparative Analysis of US and European Approaches, Proceedings of the Second Conference on Email and Anti-Spam(CEAS 2005 ), pp. 126129.

65. Myers, J.: 1997, Simple Authentication and Security Layer (SASL), RFC 2222, IETF Network Working Group, pp. 117-119.

66. Myers, J.: 1999, SMTP Service Extension for Authentication, RFC 2554, IETF Network Working Group, p. 92.

67. Nikitin A. P. Multi-Agent Anti-Spam System. P. 227-229. Proceeding of the Workshop on Computer Science and Information Technologies (CSIT'2005), Ufa, September 18-21, 2005. Volume 2, pp. 227-229.

68. Nikitin A.P., Valeev S.S. Intellectual Anti-Spam System. 9th International Workshop on Computer Science and Information Technologies CSIT'2007, Ufa-Krasnousolsk, Russia, 2007, pp. 57-59.

69. NOIE: 2003, Final Report of the NOIE Review of the Spam Problem and How It Can Be Countered, Technical report. www.noie.gov.au/publications/NOIE/spam/final report/SPAMreport.pdf, p. 1.

70. Nucleus Research: 2003, Spam: The Silent ROI Killer, pp. 117-118.

71. OECD: 2004a, Background Paper for the OECD Workshop on Spam, pp. 40-41.

72. OECD: 2004b, Report of the 2nd OECD Workshop on Spam, pp. 17-18.

73. OECD: 2004c, Report on non-OECD Countries' Spam Legislation, pp. 205-206.

74. OECD: 2005a, Anti-Spam Law Enforcement Report, pp. 107-112.

75. OECD: 2005b, Anti-Spam Regulation, pp. 29-32.

76. OECD: 2005c, Spam Issues in Developing Countries, pp. 39-41.

77. Otis, D., Crocker, D. and Leslie, J.: 2005, Client SMTP Authorization (CSA), Internet draft, IETF Network Working Group, pp. 72-74.

78. Postel, J.: 1975, On the Junk Mail Problem, RFC 706, IETF Network Working Group, p. 11.

79. Rafael H. Bordini, Jomi Fred Hiibner, Michael Wooldridge: Programming Multi-Agent Systems in AgentSpeak using Jason (Wiley Series in Agent Technology), Wiley-Interscience, 2007, pp. 46-48.

80. Ramsdell, В.: 2004, Secure/Multipurpose Internet Mail Extensions (S/MIME) Version 3.1 Message Specification, RFC 3851, IETF Network Working Group, pp. 52-54.

81. Raz, U.: n.d., How do spammers harvest email addresses, http://www.private.org.il/harvest.html, p. 1.

82. Ron Sun: Cognition and Multi-Agent Interaction : From Cognitive Modeling to Social Simulation, Cambridge University Press, 2005, p. 103.

83. Schryen, G. and Hoven, R.: 2004, Appropriateness of Lightweight MTA Authenti- • cation Protocols for Fighting Spam, Proceedings of IPSI International Conference on Advances in the Internet, Processing, Systems, and Interdisciplinary Research, pp. 9899.

84. Schryen, G.: 2004b, Approaches addressing spam, Proceedings of the ННССП, pp. 41-43.

85. Sester, P. and Mutschler, S.: 2006, Neue Kooperationen und rechtliche Entwick-lungen im Kampf gegen Spam, Informatik-Spektrum 29(1), pp. 14-22.

86. Shamma Jeff: Cooperative Control of Distributed Multi-Agent Systems, Wiley-Interscience, 2008, pp. 89-91.

87. Sophos: 2005a, CAN-SPAM Act can do better,http://www.sophos.com/pressoffice/news/articles/2005/12/canspam05.html, p. 2.

88. Spamhaus: 2006, Spamhaus Statistics : The Top 10, http://www.spamhaus.org/statistics/countries.lasso, p. 1.

89. Spamhaus: n.d., The Definition of Spam, http://www.spamhaus.org/definition.html, p. 1-2.

90. Spammer-X: 2004, The SPAM Cartel Why Spammers Spam, Syngress Media, p. 56.

91. Stumpf, M. and Hoehne, S.: 2005, Marking Mail Transfer Agents in Reverse DNS with TXT RRs, Internet draft, IETF Network Working Group, pp. 15-19.

92. Tanase, M.: 2003, IP Spoofing: An Introduction, http://www.securityfocus.com/infocus/1674, pp. 1-2.

93. Templeton, В.: n.d.a, E-stamps,http://www.templetons.com/brad/spam/estamps.html, pp. 1-3.

94. Templeton, В.: n.d.b, Origin of the term "spam" to mean net abuse, http://www.templetons.com/brad/spamterm.html, p. 54.

95. The Government of Hongkong: n.d., Nigerian letters, http://vmw.info.gov.hk/police/pda/con-tricks/con7.htm, pp. 2-3.

96. THE LONDON ACTION PLAN On International Spam Enforcement Cooperation: 2004, http://www.londonactionplan.org, p. 4.

97. The New York Times: 2003, We Hate Spam, Congress Says (Except Ours), http://www.nytimes.com, p. 3.

98. Tom Wagner, Omer F. Rana: Infrastructure for Agents, Multi-Agent Systems, and Scalable Multi-Agent Systems, Springer, 2001, pp. 117-119.

99. Tompkins, T. and Handley, D.: 2003, Giving E-mail Back to the Users: Using Digital Signatures to Solve the Spam Problem, FirstMonday 8(9), pp. 34-36.

100. Toru Ishida, Les Gasser, Hideyuki Nakashima: Massively Multi-Agent Systems I: First International Workshop, MMAS 2004, Kyoto, Japan, December 10-11, 2004, Revised Selected and Invited Papers (Lecture Notes in Computer Science), Springer,2005, p. 27.

101. Turner, D. A. and Havey, D. M.: 2004, Controlling Spam through Lightweight

102. Currency, Proceedings of the 37th Annual Hawaii International Conference on System Sciences, pp. 70-72.

103. Turner, D. and Ross, K.: 2003, A Lightweight Currency Paradigm for the P2P Resource Market, pp. 107-109.

104. Wong, M. and Schlitt, W.: 2005, Sender Policy Framework (SPF) for Authorizing Use of Domains in E-MAIL, version 1, Internet draft, IETF Network Working Group, pp. 52-54.

105. Zhou, F., Zhuang, L., Zhao, В., Huang, L., Joseph, A. and Kubiatowicz, J.: 2003, Approximate object location and spam filtering on peer-to-peer systems, Proceedings of ACM/IFIP/USENIX International Middleware Conference, pp. 22-26.

106. Анношкина Ж.Г. Морфологический процессор русккого языка // Альманах "Говор". Сыктывкар, 1995.-стр. 17-23.

107. Аралбаев Т. 3. Особенности синтеза оптимальной мажоритарной функции в задаче распознавания образов // Проблемы управления и информатики. 2002. -№5.-С. 98-102

108. Белов Е.Б., Лось Р.В., Мещеряков Р. В., Шелупанов А. А. Основы информационной безопасности. М.: Горячая линия-Телеком, 2006. - 544 с.

109. Богуславский И.М., Цинман Л.Л. Семантический компонент лингвистического процессора // Семотика и информатика. М., 1190. - Вып. 30. - стр. 5-30.

110. Валеев С.С., Никитин А. П. Многоуровневая система фильтрации спама на основе технологий искусственного интеллекта. Вестник УГАТУ, — Уфа. 2008, стр. 215-219.

111. Валеев С.С., Никитин А. П. Система автоматической интеллектуальной классификации текстов. Самара. 2008, стр. 44-46

112. Волкова И.А., Мальковский М.Г., Одинцев Н.В.Адаптивный синтаксическийанализатор // Труды Международной конференции ДИАЛОГ-2003. Протвино,2003.-стр. 476-480.

113. Герасименко В. А. Защита информации в автоматизированных системах обработки данных. В 2-х кн. -М.: Энергоатомиздат, 1994.

114. Горелик А. Л., Скрипкин В. А. Методы распознавания. М.: Высшая школа,2004.-261 с.

115. Городецкий Б.Ю. Компьютерная лингвистика: моделирование языкового общения // Новое в зарубежной лингвистике. М., 1989. - Вып. 24, стр. 125-127.

116. Гурькин, Ю. Н., Семенов Ю. А. Модельный прогноз для числа сетевых вторжений на будущие годы: Труды XLVI научной конференции МФТИ, 25-26 ноября 2005 года, -http://saturn.itep.ru/intrforecast.htm

117. Демьянков В.З. Основы теории интерпретации и ее приложения в вычислительной лингвистике. -М., 1985, стр. 136-138.

118. Кобзарева Т.Ю. Принципы сегментационного анализа русского предложения // Московский лингвистический журнал. М., 2004. - Т. 8. - № 1, стр. 23-24.

119. Мельчук И.А. Опыт теории лингвистических моделей "Смысл <-> Текст". — М., 1999, стр. 65-66.

120. Никитин А. П. Система интеллектуальной фильтрации спама. Труды I международной заочной научно-технической конференции «Актуальные проблемы безопасности информационных технологий» (АПроБИТ-2007) Красноярск — 2007., стр. 40-44

121. Никитин А. П. Система классификации электронных сообщений. Зимняя школа аспирантов 2006-2007. Уфа 2007, стр. 55-56

122. Никитин А. П. Система классификации электронных сообщений. Стр. 26-27. XXXII Гагаринские чтения. Научные труды Международной молодежной научной конференции в 8 томах. М.: МАТИ, 2006. Т. 4, 154 с, стр. 26-27.

123. Никитин А. П. Формирование БЗ для интеллектуальной системы борьбы со спамом. Самара. 2008. стр 41-43

124. Никитин А.П. Анализ проблемы борьбы со спамом Интернет-провайдера. Мавлютовские чтения: Материалы всероссийской молодежной научной конференции. Т. 1. Уфа, 2008. -С. 11.

125. Никитин А.П. Многоагентная система борьбы со спамом. Материалы всероссийской молодежной научной конференции. Т. 1. Уфа, 2008. - стр. 12.

126. Новиков А.И. Семантика текста и ее формализация. М., 1983, стр. 144-146.

127. Ножов И.М. Прикладной морфологический анализ без словаря // Труды конференции по искусственному интеллекту-2000. М., 2000. - Т. 1. - стр. 424-429.

128. Ножов И.М. Реализация автоматической синтаксической сегментации русского предложения. — М., 2003, стр. 46.

129. Рубашкин В. Ш. Семантический анализ текста: Модели и методы // Материалы конференции CORPORA-2004. СПб., 2004, стр. 67-69.

130. Стрельцов А.А. Обеспечение информационной безопасности России. М.: МЦНМО, 2002. - 290 с.

131. Фрайн В. С. Распознавание образов и машинное понимание естественного языка.-М., 1987, стр. 89-91.117