NetFlow / NetFlow Tracker. Dirk-Andree Hunold System Engineer dirk.hunold@flukenetworks.com

Transkript

1 NetFlow / Dirk-Andree Hunold System Engineer dirk.hunold@flukenetworks.com

2 Die Art, wie man die Dinge sieht, macht den Unterschied: 2

3 Das Portfolio beinhaltet Lösungen für: VoIP LAN/WAN-Troubleshooting Kapazitätsplanung Service Level Management QoS WAN-Optimierung (z.b.mpls) 3

4 NetFlow Was ist das?

5 Was ist NetFlow? Cisco NetFlow: Ursprünglich entwickelt, um die Switching-Leistung in Routern zu erhöhen. Der Wert der Informationen im Cache wurde erst später entdeckt Konventionelles Switching NetFlow Switching Jedes Paket wird einzeln behandelt Jeder Dienst erzeugte mehrfache Tasks für jedes Paket Keine Status-Informationen Pakete werden als identifizierte Network Flows behandelt Dienste werden in einem einzigen Task verarbeitet auf Flow-Basis Status-Informationen verfügbar NetFlow 5

6 Was ist ein Network Flow? Eine Folge von Paketen zwischen Source und Destination in einer Richtung Ein Flow unterscheidet sich von einem anderen durch: Source/Destination IP Addresse Source/Destination Portnummer, z.b. 80 HTTP, 25 SMTP, 21 FTP Protocol Type TCP, UDP Type of Service Input Interface ifindex NetFlow 6

7 NetFlow Historie NetFlow In der Vergangenheit Zusätzliche Last für Netzwerkkomponenten und Netzwerk Unkomfortable Auswertung der gesammelten Daten Jetzt Verbessertes Ressourcen-Management (Speichernutzung etc.) Verfügbarkeit von NetFlow Analyse Tools v.5, v.7 (Catalyst), v.9 ( Templates ), Unterstützung in nahezu alle Routern und Catalyst Switches 45xx, 55xx, 6xxx Laufende Implementationen für Peribit, Juniper (J-flow, Cflow), Huawei Enterasys und Alcatel In Zukunft IPFIX (IP Flow Information Export), v.9 als Basis für Standardisierung von IPFIX durch die IETF (Internet Engineering Task Force) Erweiterte Hersteller-Einbindung Ständige Verbesserung der Analyse Tools 7

8 Wie sieht NetFlow aus (v5 Format)? Statistik Packet Count Byte Count Source IP Address Destination IP Address Von/Zu Zeitstempel Start Timestamp End Timestamp Source TCP/UDP Port Destination TCP/UDP Port Application Routing und Peering Next Hop Address Source AS Number Dest. AS Number Source Prefix Mask Dest. Prefix Mask Type of Service TCP Flags Protocol Input Interface Port Output Interface Port QoS Port- Auslastung Version 5 ist aktuell am weitesten verbreitet NetFlow 8

9 Wie werden die Flow Informationen genutzt? Statistik Flow Identifikation Packet Count Byte Count Source IP Address Destination IP Address Start Timestamp End Timestamp Source TCP/UDP Port Destination TCP/UDP Port Next Hop Address Source AS Number Dest. AS Number Source Prefix Mask Dest. Prefix Mask Type of Service TCP Flags Protocol Input Interface Port Output Interface Port Routing NetFlow 9

10 IP Flows und ihre Überwachung IP Flows sind Gruppen von IP Paketen, die eine gemeinsame Charakteristik besitzen Ein Flow kann sehr lange dauern... Start t 0 t 0 +1min t 0 +2min t 0 +3min time oder eine begrenzte Lebensdauer haben Start FIN t 0 Wann sollte die Flow-Information exportiert werden? am Ende des Flows? oder regelmäßig? t 0 +1min NetFlow 10

11 NetFlow Versionsübersicht NetFlow Version Comments Original (keine sequence # um verlorene Flows entdecken) Aktueller Standard und am meisten verbreitet Speziell für Cisco Catalyst 6500 und 7600 Switche Ähnlich Version 5, aber ohne AS, Interface, TCP Flag & TOS Informationen Nutzung für einige Aggregations-Schemas Reduziert Bandbreitennutzung Flexibles, erweiterbares Dateiexportformat für die Unterstützung von zusätzlichen Feldern & Technologien; aktuell zusätzlich mit MPLS, Multicast, & BGP Next Hop Unterstützung NetFlow 11

12 Stichpunkte zu NetFlow Ein Flow wird durch die folgenden Punkte definiert : - Source IP address - Destination IP address - Source port - Destination port - Layer 3 protocol type - TOS (DSCP) - Input Interface (ifindex) Menge des Verkehrs, die Paketrate ist unrelevant für NetFlow! - Nur die Anzahl der Flows zählt! 1 NetFlow Export = - Bis zu 30 Flows für V5/V7 oder bis zu 24 Flows für V9 Im Normalfall beansprucht NetFlow < 5 % der genutzten Bandbreite - Jeder Flow über eine 2 MBit/s Leitung beansprucht weniger als 100 Kbit/s NetFlow 12

13 Detaillierte LAN/WAN Analyse und Troubleshooting mit dem

14 Kundenanforderungen: Überwachung der Datenflüsse von und zu allen Netzwerksegmenten (MPLS) Gesetzliche Vorschriften und/oder geschäftliche Interessen erfordern das Erfassen ALLER Datenverbindungen (nicht nur der Top X) Echtzeit- und Langzeit- Reports werden benötigt Vorhandene Lösungen zur Datenverkehrsanalyse sind nur für sehr technisch versierte Nutzer vorgesehen Manche Unternehmen erlauben keinen Zugang zu den Nutzdaten innerhalb der Datenpakete 14

15 Die Lösung: Netflow/IPFIX & Netflow Tracker NetFlow/IPFIX ist in sehr vielen Cisco, Juniper und Nortel Routern verfügbar Packeteer, Expand, Enterasys, Foundry und Huawei sind kompatibel In den meisten Fällen wird keine zusätzliche Hardware benötigt für die Nutzung von NetFlow in Routern und Switches Sehr einfache Konfiguration (Router und Server) Komplette Übersicht über alle konfigurierten Schnittstellen der Geräte, die NetFlow-Daten versenden 15

16 Was bietet der? Reports über die Auslastung des Netzwerks (was, wer, wie lange) Nutzung von NetFlow/IPFIX Informationen für Datenverkehrsanalysen 100% Web-basierende Lösung Für die Datensammlung (Collector) und zum Reporting kommt ein einziger Server zum Einsatz Benutzerspezifischer Datenzugriff und Reporterstellung über ein konfigurierbares, Web-basiertes Portal Ermöglicht verschiedene Zugriffsrechte für Nutzer 16

17 Wo liegt der Unterschied? All the flows, all of the time Sweep and swoop drill down Filtermöglichkeit auf jedes einzelne oder alle NetFlow-Datenfeld(er) während des Reportings Echtzeit- und Langzeit Reporting "on Board" Unterstützung von Produkten anderer Hersteller (nicht nur Cisco!) Vollständig steuerbar über URLs (Integration, Automation) Lizensierung auf Basis der Anzahl von Routern/Switches (nicht Server oder Interface basiert!) 17

18 4 HTTP SMTP POP Telnet HTTPS RDP Überblick HTML (Interaktiv) HTML (Druckfähig) 100 % 90% 80% 70% 60% 60% 70% 50% 40% 40% 50% 30% Benutzer-PC HTTP Zugriff Server Tomcat MySQL JAVA Zugriff auf alle Reports per Web Speicherung ALLER Flows in der Datenbank CSV NetFlow Exporte SNMP NetFlow + Exporte Sammlung Verarbeitung der NetFlow Daten Die Ausgabe per CSV kann für den Import in Anwendungen anderer Hersteller genutzt werden Router oder Switch mit aktiviertem NetFlow Packeteer bietet echte Anwendungserkennung und Kennzeichnung. Diese wird über den NetFlow Export versendet 18

19 Arbeitsweise Wenn ein Report erstellt werden soll, werden die Daten aus der jeweiligen Datenbank angefordert und im benötigten Format dargestellt HTML Jede Minute werden die NetFlow Daten in die Echtzeit- Datenbank gespielt Echtzeit- Datenbank Presentation Engine Langzeit- Datenbank und Archive Alle 6 Stunden werden die Langzeit- Datenbanken und die Archive aktualisiert Prozessierung und Konvertierung der Flow-Daten (fix multicast etc.) Processing Engine Collection Engine NetFlow Exporte NetFlow Daten werden von den Netzwerkkomponenten zum Server gesendet SNMP Zuordnung von Interface-Bezeichnungen und ToS- Klassen, wenn die Netzwerkkomponente SNMP Zugriff gestattet 19

20 Datenzugriff für Reports Archive Echtzeitdaten Langzeitdaten Auswahl des Reports Filter Editor 20

21 Felder der Datenbank Verfügbare Felder Source Addresses Destination Addresses Protocols Source Ports Destination Ports Type of Service TOS Differentiated Service AS Source AS Destination Source Network Destination Network In Interfaces Out Interfaces Next Hop Traffic Classes Identified Applications Traffic Count Packet Count Echtzeit- Datenbank NetFlow Exporte HTML Presentation Engine Processing Engine Collection Engine SNMP Langzeit- Datenbank 21

22 Reports Echtzeit- Datenbank NetFlow Exporte HTML Presentation Engine Processing Engine Collection Engine SNMP Langzeit- Datenbank Verfügbare Reports Source Addresses Destination Addresses Address Pairs Protocols Source Ports Destination Ports Source Applications Destination Applications Recognized Applications Source Endpoints Destination Endpoints Server-Client Sessions Client-Server Sessions Conversations Bi-Directional Reports Type of Service TOS Differentiated Services AS Pairs Source Networks Destination Networks Network Pairs In Interfaces Out Interfaces Next Hops Source Address Dissemination Destination Address Popularity Totals *Traffic Classes *Identified Applications VPN (Interface Grouping) 22

23 - Einsatzmöglichkeiten Zentrale mit einem Server für Daten aus dem eigenen Standort und den Außenstellen Außenstelle mit einer Stern-Topologie und eigenem Server Zentrale Außenstelle NetFlow Exporte Portal-Zugriffe Außenstelle Außenstelle mit einer Stern-Topologie, aber nicht groß genug für einen eigenen Server Außenstelle Außenstelle mit einer vermaschten Topologie und eigenem Server 23

24 Speicherinformation Echtzeit, alle Flows (Real-Time) für Reports über kurze Zeiträume (< 2 Stunden) Auflösung 1 Minute, für bis zu 14 Tage (Standardeinstellung ist 7 Tage) Archiviert, alle Flows Auflösung 1 Minute, für unbegrenzte Zeit (nur abhängig vom verfügbaren Festplattenplatz) Langzeit (Top N + "others") N bis zu Top 100 Täglich Auflösung 10 Minuten, für bis zu 999 Tagen (2,7 Jahre) Wöchentlich Auflösung 1 Stunde, für bis zu 999 Wochen (19 Jahre) Monatlich Auflösung 6 Stunden, für bis zu 999 Monaten (83 Jahre) ¼ -Jährlich Auflösung 12 Stunden, für bis zu 999 Quartale (249 Jahre) ½ -Jährlich Auflösung 24 Stunden, für bis zu 999 ½ Jahre (450 Jahre) Jährlich Auflösung 48 Stunden, für bis zu 999 Jahre ***Pro Report nur einen der oben genannten Zeiträume wählen 24

25 Stichpunkte für Security Reports Recognized Applications Welche Applikationen sind vorhanden (und ist irgendetwas daran ungewöhnlich)? Conversations Was genau passiert innerhalb der Flows, wer kommuniziert mit wem? Source Address Dissemination Welche Server verursacht Datenverkehr, handelt es sich dabei auch um einen Server? Destination Address Popularity Für welche Adressen sind die Daten bestimmt, sollen sie auch dorthin? 25

26 Stichpunkte für Operations Reports Recognized Applications Welche Applikationen sind vorhanden? Conversations Wer verbraucht die ganze Bandbreite? Type of Service TOS/DiffServ Ist der Datenverkehr den richtigen Klassen zugeordnet? Network Overview In/Out Interfaces Wie hoch ist die Auslastung der Interfaces? Devices Report Wie hoch ist die Auslastung der Router? 26

27 Stichpunkte für Planning Reports Recognized Applications Welches sind die meistgenutzten Applikationen? Type of Service TOS/DiffServ Welche QOS-Zuordnungen gibt es? AS Pairs Verhält sich das Routing und der Transit-Datenverkehr wie erwartet? Source/Destination Networks (Network Pairs) Funktioniert das Routing korrekt und ist es detailiert genug? In/Out Interfaces Sind die Leitungen passend dimensioniert? Next Hops Sind die "Next Hops" korrekt gewählt für das Routing? 27

28 Stichpunkte für Server Team Reports Recognized Applications Welche Applikationen werden genutzt? Source/ Destination Endpoints Welche Ports nutzt mein Server? Conversations Welche Flows betreffen mein Server? Source Address Dissemination Welche Server erzeugen Datenverkehr, ist es gültiger Verkehr? Destination Address Popularity Welche Server sind allgemein bekannt und werden genutzt, sind es gültige Server? 28

29 Software Spezifikationen Ein Server kann Exporte/Sekunde = Flows/Sekunde verarbeiten Pro Server werden bis zu 1000 NetFlow Quellen unterstützt Empfohlene Anzahl von Quellen: maximal 300 pro Server Nicht empfohlen: > 50 Exporte/Sekunde von einer einzelnen Quelle 7 Tage Echtzeitdaten erfordern 1 GByte bei 1 Export/Sekunde 500 Exports/Sekunde = 500 GByte Festplattenplatz für 7 Tage Reporting Jede Instanz eines Langzeitreports benötigt 40 MByte 1 Report für 300 Router benötigt 12 GByte Festplattenplatz Langzeitdaten werden in einem separaten Verzeichnis gespeichert Hierbei kann es sich auch um ein SAN/NAS mit passender Bandbreite handeln 29

30 Hardware Spezifikationen HighEnd, mehr als 300 Router (bis zu Flows/Sekunde) 4 CPUs (2.6GHz +) 4 GB RAM GB,10k RPM SAS Drives (Raid 10) Medium, mehr als 100 Router (bis zu Flows/Sekunde) 2 CPUs (2.6GHz +) 3 GB RAM 3+ 10k RPM SAS Drives (Raid 5 or 10) Low End (bis zu Flows/Sekunde) 1 CPU (3GHz +) 2 GB RAM 3+ 10k RPM SAS Drives (Raid 5) 30

31 Vielen Dank für Ihre Aufmerksamkeit! Nun zur Live-Demo... 31

32 Top Devices Summary 32

33 Top Devices Interaktive Tortengrafik Beim Klick auf das gewünschte Segment wird automatisch ein neuer Report für die "Top Interfaces" und "Top Applications" für die gewählte Netzwerkkomponente geöffnet 33

34 Top Applications (of Device) Interaktive Tortengrafik Beim Klick auf das gewünschte Segment wird automatisch ein neuer Report über die "Conversations" für die gewählte Applikation geöffnet 34

35 Top Conversations (of Application) 35

36 Interface Overview Page Die Overview-Seite zeigt die Interface- und Applikations-Auslastung übersichtlich auf einer Seite Aktivieren eines interaktiven Version des Reports durch Betätigung der Schaltfläche Detach 36

37 Top Applications Applikationsüberwachung über die Zeit Aktivieren eines interaktiven Version des Reports durch Betätigung der Schaltfläche Detach 37

38 Dynamische oder statische Reports 38

39 Identifikation von verdächtigen Aktivitäten Suche nach ungewöhnlichen Mustern Windows Port scan Addresses=Conversations (nicht normal) Telnet login Attack Conversations etwas höher (Infektion) SQL Slammer Attack Conversations = multiples of Addresses (Scan des gesamten Subnetzes) 39

40 QoS Troubleshooting und Trendanalysen Drilldown in jede QoS Schlange um Nutzer und Applikationen zu ermitteln Übersicht über Layer 7 Applikationen und Traffic Klassen 40