автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Организация центра учета, классификации и мониторинга сетевого трафика

ОРГАНИЗАЦИЯ ЦЕНТРА УЧЕТА, КЛАССИФИКАЦИИ И МОНИТОРИНГА СЕТЕВОГО ТРАФИКА.

Оглавление.

Структура и обозначения.

Введение.

Глава 1. Проблемы сбора и обработки данных сетевого трафика.

1.1. Проблемы сбора статистики сетевого трафика.

1.2. Проблемы обработки и представления данных.

1.3. Выводы.

Глава 2. Обзор технологий, методов и стандартов.

2.1. Общие принципы.

2.1.1. Обобщенная постановка задачи.

2.1.2. Архитектура сети и особенности детализации трафика.

2.1.3. Технологический процесс сбора детализированной статистики сетевого трафика.

2.1.4. Формирование информационных записей в различных системах учета и мониторинга сетевого трафика.

2.1.5. Пространственное и временное разрешение системы учета сетевого трафика.

2.2. Агрегирование и хранение данных сетевого трафика - выбор стратегии.

2.3. Архитектура системы учета сетевого трафика.

2.4. Подсчет сетевого трафика по потокам.

2.4.1. Понятие сетевого потока.

2.4.2. Учет сетевых соединений TCP/IP.

2.4.3. Применение флага состояния для уменьшения размера таблицы сетевых потоков.

2.4.4. Применение флага состояния для уменьшения объема передаваемой информации.

2.5. Архитектура учета сетевого трафика по потокам и ее реализация в системе "NeTraMet&NeMaC".

2.5.1. Особенности архитектуры.

2.5.2. Реализация.

2.6. Применение технологии NetFlow для сбора данных сетевого трафика.

2.6.1. Общие принципы.

2.6.2. Формирование ключа записи потока.

2.6.3. Однозначность маршрута пакетов в потоке.

2.6.4. Форматы записей.

2.7. Сравнительный анализ методов сбора первичной статистики.

2.7.1. Два способа получения первичной статистики.

2.7.2. Вычислительные затраты.

2.7.3. Диапазон охвата.

2.7.4. Эффективность, надежность и безопасность передачи данных между измерителем и коллектором.

2.7.5. Масштабируемость.

2.8. Обобщение процесса обработки данных сетевого трафика

2.9. Пакетные фильтры для сбора данных сетевого трафика.

2.10. Планировщики процессов в ОС UNIX и сложности реализации задач режима реального времени.

2.11. Выводы.

Глава 3. Организация системы.

3.1. Общая архитектура системы.

3.2. Информационная модель представления данных сетевого трафика.

3.2.1. Особенности информационной модели.

3.2.2. Классификация информационных записей.

3.2.3. Представление информации в базе данных.

3.3. Подсистема первичной обработки данных сетевого трафика.

3.3.1. Компоненты системы.

3.3.2. Алгоритм работы монитора задач.

3.3.3. Процесс загрузки правил и сбора данных.

3.3.4. Агрегирование пакетных заголовков в первичные информационные записи.

3.3.5. Организация набора правил первичной обработки.

3.4. Модуль обнаружения и обработки дублированных пакетов

3.4.1. Предпосылки.

3.4.2. Описание работы фильтра.

3.4.3. Ограничения модели.

3.4.4. Механизм упорядочения точек перехвата.

3.4.5. Архитектура и алгоритм.

3.4.6. Выбор параметров и оценка размеров буфера задержки.

3.4.7. Реализация.

3.5. Модуль вторичной обработки данных сетевого трафика.

3.5.1. Загрузка и начальное агрегирование данных.

3.5.2. Классификация по удаленному региону.

3.5.3. Удаление устаревшей информации.

3.6. Интерфейс для доступа к данным.

3.7. Группы пользователей и авторизация доступа.

3.8. Выводы.

Глава 4. Реализация системы в сети «КОСМОС», результаты испытаний.

4.1. Реализация системы.

4.2. Используемая платформа и типовые данные по загрузке.

4.3. Пример локализации источников трафика на соединении IKI—M9-IX.

4.4. Выводы.

Новые термины и понятия, вводимые автором или специфичные для обсуждаемого предмета, при первом упоминании выделяются жирным шрифтом.

Таблиицы и рисунки имеют сквозную нумерацию в пределах главы как: 1-2, где 1 - номер главы, а 2 - внутренний номер. Для введения номер главы примается равным 0.

Для формул, программных листингов и т.д применяется шрифт фиксированной ширины Corier New.

Для центра учета, классификации и мониторинга сетевого трафика приняты сокращенные обозначения «центр УКМ» или «система УКМ».

Введение

Система мониторинга является неотъемлемой частью любой достаточно сложной телекоммуникационной сети. Как правило, область задач не ограничивается мониторингом состояния сетевых устройств, и возникает необходимость анализа потоков данных. Здесь можно выделить следующие вопросы, наиболее часто встречаемые в ходе планирования, проектирования и поддержки телекоммуникационных сетей:

1) Насколько эффективна политика маршрутизации с другими сетями?

2) Насколько корректно функционирует сеть?

3) Кто, как и насколько использует ресурсы сети?

4) Какова динамика роста загрузки?

5) Каковы причины возникающих перегрузок?

На все эти вопросы позволяет ответить учет и анализ сетевого трафика. Спектр представленных вопросов относится скорее к анализу трафика глобальных вычислительных сетей (WAN). При исследовании локальных вычислительных сетей (LAN), как правило, возникают вопросы другого характера (не рассматриваемые в данной работе): каковы задержка и процент потерь пакетов на сегменте и чем это обусловлено?

Данная работа связана со сбором и обработкой потоков данных в сети, подключенной к Интернет. Акцент в ней сделан на исследование внешнего, глобального трафика. Вопросы, связанные с функционированием глобальных сетей, наиболее остро стали проявляться в конце 80-х годов, в связи с быстрым ростом научной сети NFSNET (первая опорная научная магистраль Интернет). По мере подключения все новых и новых региональных сетей магистраль быстро становилась перегруженной. Если в 1983 году пропускная способность каналов между основными узлами магистрали составляла 64Kb/s, то к 1988 году это были уже линии Т1 (1,5Mb/s), а к 1990 году - ТЗ (45Mb/s). Быстрый рост загрузки каналов магистрали вызвал интерес к исследованию структуры сетевого трафика ([19],[25]). Интерес вызывала и сама динамика роста сетевого трафика на магистралях ([21]), позволяющая проводить долгосрочное планирование сетей передачи данных.

Ряд работ, проведенных в 90-х годах минувшего столетия, показал, что в большинстве случаев пакетно-коммутируемые сети передачи данных резко отличаются от систем, удовлетворяющих пуассоновскому статистическому распределению поступающих данных, и ведут себя скорее как самоподобные системы. В работе [20] проведен анализ данного факта для трафика в локальных сетях Ethernet, а уже упомянутая работа [19] рассматривает эффект самоподобия для трафика глобальных вычислительных сетей. Эффект самоподобия может найти свое применение как при проектировании телекоммуникационного оборудования, в алгоритмах обработки очередей, так и в системах сжатия данных сетевого трафика (например, вейвлетное преобразование).

Тогда же, в начале 90-х годов, резко вырос интерес к системам учета сетевого трафика, вызваный тенденциями к коммерциализации сети Интернет. Стали появлятся предложения с проектами стандартизации архитектуры подобных систем ([44], [45]).

На данный момент разработаны эффективные методики сбора данных сетевого трафика ([59],[64]). Стандартизована обощенная архитектура систем сбора и обработки. Разработан ряд программных продуктов, связанных со сбором, обработкой и анализом данных сетевого трафика. Однако при всем этом остался ряд вопросов, по мнению автора проработанных недостаточно.

Во-первых, на данный момент существует актуальная проблема двойного учета сетевого трафика. Она проявляется в том случае, когда пакеты на своем пути от источника до получателя фиксируются измерительной системой в нескольких разных местах. В данной работе предложен вариант решения данной проблемы для систем, собирающих пакетные заголовки с сетевых интерфейсов.

Во-вторых, отсутствует модель хранения данных сетевого трафика в структурированном виде. Как следствие, доступ к детализированной статистике за длительный промежуток времени связан с высокими вычислительными затратами. Это одна из причин, по которой все представленные программные продукты можно разделить на два класса: биллинговые системы и анализаторы (данная классификация введена автором). Класс биллинговых систем позволяет быстро выдавать статистические отчеты в широких временных диапазонах, однако, спектр предоставлямой информации достаточно скуден. Как правило, трафик делится на небольшое количество категорий (например, входящий и исходящий, внутрисетевой и внешний или др.) и считается величина потребленного трафика для каждого пользователя телекоммуникационной сети по каждой категории. Класс анализирующих приложений позволяет строить разнообразные отчеты в виде таблиц и графиков по исходным файлам с детализированной статистикой. Однако, данная процедура занимает довольно много времени и не применима для оперативной работы. В данной работе предложена модель промежуточного представления данных сетевого трафика, позволяющая быстро получать подробные и разнообразные отчеты в широких временных диапазонах.

В-третьих, интерфейс большинства систем мониторинга и анализа плохо приспособлен для локализации источников трафика в телекоммуникационной сети. Как правило, система выдает пользователю график, либо конкретное распределение, которые он хочет увидеть. Для определения причины перегрузки необходимо проанализировать ряд распределений (по времени, портам, адресам и так далее). Интерфейс предлагаемой системы позволяет двигаться по дереву адресных объектов (адреса, сетевые блоки), для каждого адресного объекта быстро получать разнообразные распределения и оперативно выявлять основные источники загрузки телекоммуникационной сети.

Диссертация состоит из введения, четырех частей и заключения. Первая часть посвящена обзору проблем, связанных со сбором и обработкой данных сетевого трафика. Во второй части рассмотрены различные технологии сбора данных сетевого трафика, произведен сравнительный анализ активного и пассивного методов сбора, рассмотрена потоковая модель представления данных сетевого трафика, рассмотрены различные стратегии хранения детализированной информации. В третьей главе описана организация предлагаемой системы. В ней приведена общая схема и описаны составляющие модули. Четвертая глава посвящена реализации системы в сети «КОСМОС». В ней приведены реальные данные по загрузке измерительных станций во время испытаний. Сделаны предположения о границах применимости предлагаемой системы.

Основные результаты работы

В ходе выполения работы был получен ряд новых результатов, имеющих важное научно-прикладное значение:

1) Произведена систематизация материала, касающегося потоковых технологий сбора и обработки данных сетевого трафика.

2) Произведен сравнительный анализ двух альтернативных методов сбора данных сетевого трафика: активного и пассивного.

3) Разработана модель представления данных сетевого трафика, применимая для телекоммуникационных сетей масштаба автономной системы.

4) Исследованы различные стратегии хранения детализированной статистической информации по потребленному телекоммуникационному трафику. Предложена и обоснована стратегия с переменным временем жизни информационных записей в зависимости от их значимости.

5) Разрабтан эффективный потоковый фильтр обнаружения и обработки дубликатов пакетов для систем учета и мониторинга сетевого трафика.

6) В составе фильтра впервые предложена методика упорядочения точек сбора информации в потоке на основании оценки времени жизни пакета.

7) Разработан интерфейс доступа к данным потребленного трафика с возможностью быстрой локализации основных источников.

Научная новизна

1) Впервые предложен и реализован эффективный алгоритм обнаружения и обработки дублированных заголовков пакетов до агрегирования их в информационные записи.

2) Разработана оригинальная модель представления данных сетевого трафика.

3) Предложена и реализована стратегия удаления наименее информативных записей из хранилища.

4) Разработан оригинальный интерфейс для доступа к данным с возможностью быстрой локализации источников трафика.

Практическая и научная полезность результатов

Разработанный программный комплекс может применяться для учета и анализа сетевого трафика в сетях масштаба автономной системы. Он позволяет:

1) Производить анализ сетевого трафика в широком временном диапазоне: от одного часа до одного месяца.

2) Быстро получать разнообразные динамические отчеты для сетевых блоков и отдельных адресов с распределениями трафика по: 1) Адресам; 2) Времени; 3) Типам сервиса (www, ftp .); 4) удаленному региону («Российский» или «Зарубежный»).

3) Быстро локализовать основные источники трафика. Процедура занимает несколько минут по времени.

4) Предоставлять информацию широкому кругу пользователей телекоммуникационной сети с возможностью авторизации доступа.

Публикации

По теме диссертации опубликованы следующие работы:

1) Коноплев В.В., Назиров P.P., Боярский М.Н. «Алгоритм, архитектура и реализация потокового фильтра дубликатов IP пакетов в системах сбора и обработки IP статистики» / Электронный журнал «Исследовано в России», 3, стр. 63-72, 2001 г. http://zhurnal.ape.relarn.ru/articles/2001/003.pdf

2) Коноплев В.В., Захаров М.Ю., Назиров P.P. «Применение технологии JAVA для мониторинга сетевых устройств с помощью протокола SNMP» / Препринт ИКИ РАН, 1998г.

3) Коноплев В.В. «Построение гибкой распределенной системы регистрации сервисов для IP провайдеров» / Тезисы конференции «Интернет: технологии и услуги», том 2, стр. 38-42.

Заключение

1. Сети и Маршрутизация

2. В. Halabi «Internet Routing architectures» / Cisco Press, 1998.

3. J. Doyle «Routing TCP/IP Volume 1» / Cisco Press, 1998.

4. Y. Rekhter, T. Li «А Border Gateway Protocol 4 (BGP-4)» / RFC 1654, 1994.

5. David C. Feldmeier. «Improving gateway performance with a routing-table cache» / In proceedings of IEEE Infocom, 1988.

6. D. Estrin and D. Mitzel. «An assessment of state and lookup overhead in routers» / In proceedings of Infocom '92.

7. Mikael Degermark, Andrej Brodnik, Svante Carlsson, and Stephen Pink. «Small forwarding tables for fast routing lookups» / In proceedings of the ACM SIGCOMM, 1997.

8. M. Като, Д. Иммура, M. Токоро, Е. Тома «Построение сетей ЭВМ» /Москва, МИР, 1988.

9. P. Albitz, С. Lui «DNS and BIND» / O'Reilly&Accociates, 1998.

10. G. Hicks «User FTP Documentation» / RFC 482, 1972.

11. R. Braden, J. Postel «Requirements for Internet Gateways» / RFC 985, 1987.

12. R. Braden «Requirements for Internet Hosts Communication Layers» /RFC 1122, 1989.

13. R. Braden «Requirements for Internet Hosts Application and Support»/RFC 1123, 1989.1. Протоколы передачи данных

14. W. STALLINGS «High-speed networks: TCP/IP and ATM desing principles» / Prentice Hall, 1998

15. P. Smith «Frame Ralay: Principles and applications» / Addison-Wesley, 1993.

16. G. Wright, R. Stevens. «TCP/IP Illustrated, Volumel» Addison-Wesley, 1995.

17. G. Wright, R. Stevens. «TCP/IP Illustrated, Volume2» Addison-Wesley ,1995.

18. G. Wright, R. Stevens. «TCP/IP Illustrated, Volume3» Addison-Wesley, 1995.

19. Измерения и анализ сетевого трафика

20. W. Е. Leland «LAN traffic behavior from milliseconds to days» / In Proceedings of the ITC 7th Specialist Seminar, Morristown, N.J, 1990.

21. V. Paxson and S. Floyd «Wide-area traffic: the failure of Poisson modeling» / In Proc. ACM SIGCOMM '94, pages 257-268, 1994.

22. W. E. Leland, M. S. Taqqu, W. Willinger and D. V. Wilson, «On the self-similar nature of Ethernet traffic» / IEEE/ACM Trans. Networking 2(1994), 1-15.

23. K. Claffy, G. Polyzos, and H.-W. Braun. «Long-term traffic aspects of the NSFNET» / In Proceedings of INET'95, 1995.

24. D. Jagerman, B. Melamed, W. Willinger «Stochastic modeling of traffic processes. In Frontiers in Queuing:Models, Methods and Problems (J. Dshalalow, Edr.)» / CRC Press, 1996.

25. Paxson, V. «Towards a Framework for Defining Internet Performance Metrics» / LBNL-38952, June 20, 1996.

26. K. Park, G. Kim, and M. Crovella «On the Relationship Between File Sizes, Transport Protocols, and Self-similar Network Traffic» / In proceedings of International Conference on Network Protocols, pp. 171-180, October 1996.

27. A. Rueda, W. Kinsner. «А Survey of Traffic Characterization Techniques in Telecommunication Networks (1996)» / Proceedings of1996 IEEE Canadian conference on Electrical and Computing Engeniring.

28. Paxson, V. «Measurements and Analysis of End-to-End Internet» / Dynamics, Ph.D. dissertation, 1997.

29. Paxson, V., Bro: «А System for Detecting Network Intruders in Real-Time» Proceedings of the 7th USENIX Security Symposium, San Antonio, TX, January 1998.

30. Paxson, V. «On Calibrating Measurements of Packet Transit Times» / Proceedings of SIGMETRICS '98, June 1998.

31. Paxson, V., Mahdavi, J., Adams, A., and Mathis, M «An Architecture for Large-Scale Internet Measurement. IEEE Communications» Vol.36, No.8, pp 48-54, August 1998.

32. K.C. Claffy, G.C Polyzos, H.W. Braun. «Application of sampling methodologies to network traffic characterization» / In proceedings of SIGCOMM, 1993.

33. K. Claffy and H. W. Braun. «Post-NSFNET statistics collection» / In proceedings of INET'95.

34. M. Acharya and B. Bhalla. «А flow model for computer network traffic using real-time measurements» / In Second International Conference on Telecommunications Systems, Modeling and Analysis, March 2427, 1994.

35. R. Caceres, P. Danzig, S. Jamin, and D. Mitzel. "Characteristics of wide-area TCP/IP conversations." / In Proceedings of ACM SIGCOMM '91, September 1991, pp. 101-112.

36. J. Apisdorf, К. Claffy, К. Thompson, Rick Wilder. «OC3MON: Flexible, Affordable, High-Performance Statistics Collection» / In Proceedings of INET, 1997.

37. P. Danzig, K. Obraczka, A. Kumar. «An Analysis of Wide- Area Name Server Traffic» / SIGCOMM CCR, vol 22, number 4, 1992.

38. J. Zinky, F. White. «Visualizing Packet Traces» / SIGCOMM CCR, vol. 22, number 4, 1992.

39. H-A. Lin. «Estimation of the Optimal Performance of ASN.1/BER Transfer Syntax» » / SIGCOMM CCR, vol. 23, number 3, 1992.

40. J. Vis. «А Simple LAN Performance Measure» / SIGCOMM CCR, Volume 24, Number 1, 1994.

41. A. Feldmann, A.C. Gilbert, W. Willinger, and T.G. Kurtz. « The Changing Nature of Network Traffic: Scaling Phenomena » / SIGCOMM CCR, Volume 28, Number 2, 1998.

42. S. Belenki, S. Tafvelin. «Analysis of Errors in Network Load Measurements» / SIGCOMM CCR, Volume 30, Number 1, 2000.

43. V. Paxson, A. Adams, J. Mahdavi, M. Mathis. «Creating a Scalable Architecture for Internet Measurement» / In Proceedings of INET, 1998.

44. Учет трафика в Интернет и потоковые представления

45. R. Jain and S. Routhier. «Packet Trains: Measurements and a New Model for Computer Network Traffic» / IEEE Journal on Selected Areas in Communications, 4(6):986-995, Sep. 1986.

46. C. Mills, D.Hirsh, G. Ruth. «Internet accounting: background» / RFC 1272, 1991.

47. K.C. Claffy, G.C Polyzos, H.W. Braun. «А framework for flow-based accounting on the Internet» / Proceedings of SICON, 1993.

48. К. Claffy, H-W. Braun, G. Polyzos. «А Parametrizable Methodology for Internet Traffic Flow Profiling» / IEEE Journal on Selected Areas in Communications, Vol. 13, No. 8, Oct. 1995.1. Операционные системы

49. Murice J. Bach. «The design of the Unix operation system» / Prentice Hall, 1990.

50. Uresh. Vahalia «Unix internals» / Prentice Hall, 1996.

51. E. Siever. «LINUX in a nutshell» / O'Reilly&Accociates, 1999.1. Протокол управления SNMP

52. J. Case, M. Fedor, M. Schoffstall, J. Davin. «А Simple Network Management Protocol (SNMP)» / RFC 1157, 1990.

53. J. Case, K. McCloghrie, M. Rose, S. Waldbusser. «Protocol Operations for Version 2 of the Simple Network Management Protocol (SNMPv2)» / RFC 1902, 1996.

54. D. Harrington, R. Presuhn, B. Wijnen. «An Architecture for Describing SNMP Management Frameworks» / RFC 2271, 1998.

55. Система удаленного мониторинга RMON

56. S. Waldbusser« Remote Network Monitoring Management Information Base» / RFC 1757, 1995.1. Пакетные фильтры

57. S. MacCanne, Van Jacobson. «The BSD packet filter: A new architecture for user-level packet capture» / Winter USENIX, 1993.

58. Mogoul J. С., Rashid R.F., Accetta M.J. «The packet filter: An efficient mechanism for user level packet code» / Proceeding of 11th Symposium on Operation systems principles.1. NeTraMet & NeMaC

59. Задирака T.A., Захаров М.Ю., Назиров P.P., Лупян E.A. «Архитектура систем подсчета трафика по потокам. Реализация архитектуры в NeTraMet & NeMaC» / МФТИ, 1998.

60. N. Brownlee, С. Mills, G. Ruth. «Traffic Flow Measurement: Architecture» / RFC 2722, 1999.

61. N. Brownlee. «Traffic Flow Measurement: Meter MIB» / RFC 2720 /1999.

62. N. Brownlee. «RTFM: Applicability Statement» / RFC 2172, 1999.

63. N. Brownlee. « RTFM: New Attributes for Traffic Flow Measurement» / RFC 2174, 1999.

64. N. Brownlee. «SRL: A Language for Describing Traffic Flows and Specifying Actions for Flow Groups» / RFC 2723, 1999.1. Технология NetFlow

65. Jim Le Valley. «Cisco IOS swithching services» / Cisco Press, 1998.

66. Jim Le Valley. «Cisco IOS swithching services configuration guide» / Cisco Press, 1998.66. «High Availability Web Services» / White paper, Cisco Systems Inc.,2000.http://www.cisco.com/warp/public/cc/pd/ibsw/mulb/tech/mnlbwp.htm Базы данных

67. К. Дж. Дейт. «Введение в системы баз данных» / Диалектика, 1998.

68. Дейв Энсор, Йен Стивенсон. «Oracle. Проектирование баз данных» / BHV, Киев, 1999.

69. Программирование и математика

70. Р. Отнес, Л. Эноксон. «Прикладной анализ временных рядов» / Мир, 1982.

71. Новиков Ф. А. «Дискретная матетматика для программистов» / Питер, 2000.

72. Д. Кнут. «Искусство программирования для ЭВМ. Сортировка и поиск» / Мир, 1978.

73. Т. Кормен, Ч. Лейверсон, Р. Риверст. «Алгоритмы: построение и анализ» / МЦНМО, 1999.

74. С. Alaettinoglu and others. «Routing Policy Specification Language (RPSL)» / RFC 2622, 1999.

75. D. Meyer and others. «Using RPSL in Practice» / RFC 2650, 1999.1. Дополнительно

76. Питер Мориси. «Множественный доступ в Интернет по протоколу BGP4» / Журнал «Сети и системы связи», март 2000.

77. Леонид Левкович-Маслюк. «Дайджест вейвлет-анализа в двух формулах и 22 рисунках» / Журнал «Компьютерра», март 1998.

78. Буланов М. «Биллинг для Интернет-провайдеров» / Журнал «Сети», декабрь 2000.

79. Большова Г. «Минуты любят счет» / Журнал «Сети», октябрь 1999.

80. РОССИЙСКАЯ ГОСУДАРСТВЕННАЯ.1. БИБЛИОТЕКА