Praktische Erfahrungen mit Hochgeschwindigkeitsfirewalls. 54. DFN-Betriebstagung

Transkript

1 Praktische Erfahrungen mit Hochgeschwindigkeitsfirewalls Frank Brüggemann, Jens Hektor, Nils Neumann, Andreas Schreiber Rechen- und Kommunikationszentrum RWTH Aachen [brueggemann hektor neumann

2 Agenda 1. Motivation 2. Firewalls an der RWTH im Einsatz 3. Kritische Faktoren 4. Jenseits von 10 GbE

3 Definition / Anforderungen Durchsatzraten im Multigigabitbereich Entsprechend Paketraten von mehreren 100kpkts/s Variabler Traffic-Mix (verteilte MTUs, Vielzahl von IP- Protokollen) Nutzung von 10 Gigabit Ethernet Integration in entsprechend leistungsfähige Netzwerkinfrastruktur

4 Stand RWTH 2006 Stand RWTH Aachen Anfang 2006: Uplink zum DFN-Verein 1 Gbit/s Softwarebasierter zentraler Firewallcluster (Stonesoft) in 1 GbE, 4 Knoten Traffic: 400 Mbit/s in, 200 Mbit/s out Commitment durch den Fachbereich Physik im Rahmen des LHC-Experimentes: 2 Gbit/s Ausbau der Infrastruktur in 10 GbE

5 März 2011: Stand RWTH Backbone Uplink zum DFN-Verein mittlerweile 20 Gbit/s Zentraler Firewallcluster (4 Knoten, Stonesoft) in 10 GbE, softwarebasierte Lösung, eigene Hardware, mehrfach migriert Linux-Kernel PCI Express NICs mit Intel-Chipsatz Xeon 3.16 GHz State Sync und Heartbeat über dedizierte 1 GbE-Leitungen Eingebettet in hochredundante, örtlich verteilte Netzwerkinfrastruktur (Cisco Nexus 7000, migriert von Cisco Catalyst 6500 VSS)

6 Stand RWTH LHC LHC-Rechencluster abgesetzt in dedizierter 10 GbE-Infrastruktur Firewallcluster, 2 Knoten, Stonesoft, Appliances Xeon 3.00GHz 10 GbE NICs, Intel-Chipsatz, PCI Express Redundante Anbindung an Cisco Catalyst 6509 VSS Performance-relevante Features für beide Cluster: Load Balancing im Cluster über Multicast Linux-Kernel verteilt einen Interrupt über mehrere Cores 10 GbE-NICs in PCI Express

7 Topologieschema

8 Traffic Overview

9 Multi-Core Load Balancing per Node top - 15:06:28 up 20 days, 3:10, 2 users, load average: 0.00, 0.00, 0.00 Tasks: 255 total, 1 running, 254 sleeping, 0 stopped, 0 zombie Cpu0 : 0.3%us, 0.7%sy, 0.0%ni, 67.0%id, 0.0%wa, 0.0%hi, 32.0%si, 0.0%st Cpu1 : 1.0%us, 0.0%sy, 0.0%ni, 72.4%id, 0.3%wa, 0.0%hi, 26.3%si, 0.0%st Cpu2 : 0.3%us, 0.7%sy, 0.0%ni, 61.1%id, 0.0%wa, 0.0%hi, 38.0%si, 0.0%st Cpu3 : 2.3%us, 0.3%sy, 0.0%ni, 49.7%id, 2.3%wa, 0.0%hi, 45.4%si, 0.0%st Cpu4 : 0.7%us, 1.3%sy, 0.0%ni, 72.4%id, 0.0%wa, 0.0%hi, 25.7%si, 0.0%st Cpu5 : 0.3%us, 0.0%sy, 0.0%ni, 66.8%id, 0.0%wa, 0.0%hi, 32.9%si, 0.0%st Cpu6 : 0.0%us, 0.0%sy, 0.0%ni, 59.2%id, 0.0%wa, 0.0%hi, 40.8%si, 0.0%st Cpu7 : 0.0%us, 0.0%sy, 0.0%ni, 67.8%id, 1.3%wa, 0.0%hi, 30.9%si, 0.0%st Mem: k total, k used, k free, k buffers Swap: k total, 0k used, k free, 83924k cached

10 Multicast Load Balancing im Cluster Beispiel: Aussenseite Virtuelle IP-Adresse des Clusters: Auf den Cisco Catalyst 6500: Routing des Traffics auf den Cluster: Ip route Manueller ARP-Eintrag IPv4-Unicast -> MAC Multicast-Adresse: Arp ARPA Manueller MAC-Eintrag: mac-address-table static vlan 108 interface TenGigabitEthernet1/1/3 TenGigabitEthernet 2/1/3

11 Aktuelle Situation Zentraler RWTH-Firewallcluster: Komplexe Policy, ca. 60 gefilterte Dienste, bis zu angemeldete Server pro Dienst, IP-Bereich umfasst 3 Class-B-Netze Durchsatz derzeit bis ca. 7 Gbit/s Baseline: Trend steigend Sondereffekte signifikant (leistungsstarke Fileserver ) Latenz ca. 300 Mikrosekunden LHC-Firewallcluster: Einfache Policy, kompakter IP-Range, wenige Dienste Durchsatz bis 9 Gbit/s Latenz ca. 300 Mikrosekunden

12 Mögliche Verbesserungen Mögliche weitere Schritte: Schnellere CPUs Mehr CPUs/Cores pro Knoten (skaliert wegen Interrupt-Balancing durch Linux-Kernel) Mehr Knoten pro Cluster (skaliert wegen Load Balancing via Multicast) Problem: Maximaler Durchsatz eines Clusters grundsätzlich beschränkt auf 10 Gbit/s

13 Jenseits von 10 GbE (1) Option 1: Warten Standardisierung von 40 GbE und 100 GbE ratifiziert seit Juni 2010 (IEEE 802.3ba) Erste Module für 100 GbE single mode multiplexed werden getestet Keine Produkte derzeit am Markt Planungsunsicherheiten: Verfügbarkeit der Technologie am Markt nach Ratifizierung? Reifegrad früher Implementierungen? Ungünstiger Einstiegspunkt aus Kostensicht

14 Jenseits von 10 GbE (2) Option 2: Mehr als 1 Cluster Beispiel: Statt eines 4-Knoten-Clusters Betrieb mehrerer paralleler 2-Knoten-Cluster Lastverteilung durch manuelles Verteilen von Routen Problem: (Rück-)Routing wird asymmetrisch Abschalten von Connection Tracking? Policy based Routing? Manuelles statisches Routing aller Netzblöcke auf Außen- und Innenseiten der Cluster?

15 Jenseits von 10 GbE (3) Option 3: Nutzung von Link Aggregation (LACP, 802.3ad, 802.1ax-2008) Im Uplink zum DFN-Verein bereits realisiert, Routed Portchannel mit 2x10GbE Unterstützung durch Netzwerkkomponenten: unproblematisch, gut eingeführter Standard Unterstützung durch Firewall-Applikation: wird unterstützt, POC in Gigabit-Ethernet Testaufbau erfolgreich

16 Jenseits von 10 GbE (4) Option 3: Nutzung von Link Aggregation (LACP, 802.3ad, 802.1ax-2008) Unterstützung durch Firewall-Server: Dualport-NICs in 10 GbE sind verfügbar Erste Tests erfolgt, PCI-Express-Slot zu langsam! Upgrade der Server-Hardware erforderlich Beschaffungen angestoßen Ergebnisse in Kürze

17 Danke! - Fragen?