FlexPath Netzwerkprozessor

Transkript

1 FlexPath Netzwerkprozessor Rainer Ohlendorf Thomas Wild Andreas Herkersdorf Prof. Dr. Andreas Herkersdorf Arcisstraße München

2 Inhalt Kurzüberblick FlexPath Vervollständigung FlexPath Einzelmodule Path Dispatcher Path Control Systemintegration Dual Core Erweiterung Demonstrator: Einsatzszenarien & Messungen Anbindung an DynaCORE Ausblick Erweiterung des MPSoC Weitere Load Balancing Strategien Zusammenfassung FlexPath NP - 2

3 Kürzüberlick FlexPath NP Grundidee FlexPath Flexible Wegewahl für Pakete Paketabhängige Entscheidung in Hardware Regelbasis zur Laufzeit rekonfigurierbar Stark fluktuierende Verkehrsmuster Hardwareunterstützung AutoRoute-Pfad CPU Pfad Stand: Mai 2007 FlexPath NP - 3

4 Auto Route Technische Universität München Path Dispatcher - Implementierung HW Accel Dedizierte CPU Pool CPU LM Last-Monitor... LM LM LM LM LM CPU 1 CPU 2... CPU i CPU i+1... CPU n Paketverteiler Path Dispatcher Data Plane CPUs Path Manager Control Plane CPU Pool-Zuordnung Path Dispatcher Regeln Processor Local Bus (PLB) Publikationen: Publikationen: WASP WASP 2007, 2007, Salzburg Salzburg IEEE IEEE TVLSI TVLSI (under (under review) review) Anforderungen an den Path Dispatcher: Realtime-Klassifikation des ankommenden Paketstroms nach Applikationen => Ziele im NP Regelbasis zur Laufzeit rekonfigurierbar Ansatz: Heterogeneous Decision Graph Algorithm (HDGA) optimierte Kombination aus Entscheidungsbaum und Hashtabellenlookup Baum: Regeln auf verschiedenen Headerfeldern (heterogen, z.b. protokollspez. Flags) Überprüfung von max. 2 Feldern pro Takt Hash-Tabelle: Bedingungen für ein Headerfeld mit vielen Möglichkeiten (homogen, z.b. Adressen) Resultate auf Virtex-4 FX60: 1,446 slices (6%), 14 BlockRAMs (6%) MHz max. Taktfrequenz FlexPath NP - 4

5 Path Control - Implementierung Anforderungen an die Path Control: Sicherstellen der Paketreihenfolge am Ausgang Vermeidung von TCP-Retransmissions Erhöhung der Netzwerkperformance (Congestion Control) Ansatz: Festhalten der Paketreihenfolge am Eingang Aggregation Unit zur Wiederherstellung der Reihenfolge am Ausgang Publikation: Publikation: ARCS ARCS 2008, 2008, Dresden Dresden Resultate auf Virtex-4 FX60: Ingress Tagger 195 slices (< 1%) 3 BlockRAMs (1%) Egress Aggregation Unit 1093 slices (4%) 11 BlockRAMs (5%) 139 MHz max. Taktfrequenz FlexPath NP - 5

6 Systemintegration Vollständiger, funktionsfähiger Netzwerkprozessor auf einem FPGA ML410: Virtex-4 FX60 2x Gigabit Ethernet MPSoC mit zwei PowerPCs Data Plane Control Plane Dynamische Pfadwahl Dedizierte Pfadwahl Spraying Zur Laufzeit konfigurierbar Software Protocol Stack IPv4 forwarding IPSec Statische Konfiguration FlexPath NP - 6

7 Ressourcenverbrauch PaC Buffer Manager DDR (DMA) Post- Proc. PLB Arb. Ctx Gen. eng. MAC I/F Path Disp. Pre- Proc insgesamt: ,006 slices (63%) 77 BlockRAMs (33%) MAC attachments Pre-Processor Speicherverwaltung Context Generation Engine Path Dispatcher Path Control Post-Processor PLB Arbiter DDR Controller Glue Max. Taktfrequenz von 100 MHz nur durch sorgfältiges Floorplanning (PlanAhead) erreichbar Frei Problem: Verdrahtung beim PLB (Leitungslänge) Baumklassifizierer im Path Dispatcher (40 Logic-Levels) FlexPath NP - 7

8 Einsatzszenarien: IP forwarding & IPSec Messszenario: 100 Mbps IMIX + variabler IPSec Verkehr IPSec (512 Byte Pakete) IMIX 100 Mbps / 34,5 kpps (forwarding) FlexPath Verbindung 1 Verbindung 2 Fall 1: Alle Pakete ohne Vorklassifizierung zur CPU Fall 2: Vorklassifizierung im Path Dispatcher Fall 3: Forwarding dediziert auf zweite Data Plane Fall 4: Forwarding Verkehr verteilt auf beide Data Plane CPUs (Spraying) Fall 5: Forwarding Verkehr per AutoRoute FlexPath NP - 8

9 Einsatzszenarien: Fall 1 100% 90% CPU 1 [%] Data Plane 80% IPSec [kpps] 32 CPU Load (%) 70% 60% 50% 40% 30% 20% 10% 0% Fwd [kpps] ,000 1,500 2,000 2,500 3,000 3,500 4,000 Packet Rate (kpps) Path Dispatcher hohe Grundlast durch SPD-Check geringe IPSec-Paketrate steigert CPU-Last deutlich Paketverluste bei Forwarding trotz ausreichender CPU Lastreserve IPSec Traffic Share (kbit/s) IPSec >1 ms FlexPath NP - 9

10 Einsatzszenarien: Fall 2 100% 90% Data Plane CPU Load (%) 80% 70% 60% 50% 40% 30% 20% 10% CPU 1 [%] IPSec [kpps] Fwd [kpps] Packet Rate (kpps) Path Dispatcher Abfall der CPU-Last durch Vorklassifizierung im Path Dispatcher (SPD-Check) IPSec-Paketverluste ab 2,700 kbit/s 0% ,000 1,500 2,000 2,500 3,000 3,500 4,000 IPSec Traffic Share (kbit/s) 0 FlexPath NP - 10

11 Einsatzszenarien: Fall 3 100% 90% Data Plane Data Plane 80% 32 CPU Load (%) 70% 60% 50% 40% 30% 20% CPU 1 [%] CPU 2 [%] IPSec [kpps] Fw d [kpps] Packet Rate (kpps) Path Dispatcher keine Paketverluste mehr bei Forwarding Head-of-Line Blocking bei 100% CPU-Last 10% 4 0% ,000 1,500 2,000 2,500 3,000 3,500 4,000 IPSec Traffic Share (kbit/s) 0 FlexPath NP - 11

12 Einsatzszenarien: Fall 4 100% 90% Data Plane Data Plane 80% 32 CPU Load (%) 70% 60% 50% 40% 30% 20% 10% CPU 1 [%] CPU 2 [%] IPSec [kpps] Fw d [kpps] Packet Rate (kpps) Path Dispatcher CPU 1 hat höhere Priorität am Bus mehr Spraying-Verkehr keine Verluste bei Forwarding durch 2. CPU 0% ,000 1,500 2,000 2,500 3,000 3,500 4,000 IPSec Traffic Share (kbit/s) 0 FlexPath NP - 12

13 Einsatzszenarien: Fall 5 100% 90% Data Plane 80% 32 CPU Load (%) 70% 60% 50% 40% 30% 20% CPU 1 [%] IPSec [kpps] Fw d [kpps] Packet Rate (kpps) Path Dispatcher AutoRoute-Verhalten vergleichbar mit Fall 3 (2 CPUs, dedizierte Lastverteilung) 10% 4 0% ,000 1,500 2,000 2,500 3,000 3,500 4,000 IPSec Traffic Share (kbps) 0 FlexPath NP - 13

14 Anbindung von DynaCORE (Universität zu Lübeck) Motivation: Crypto-Funktionen sehr rechenaufwändig HW-Beschleunigung DynaCORE als externen HW-Beschleuniger Anschluss über Ethernet Gemeinsame Demonstration: flexible Ansteuerung / Wegewahl aus Perspektive FlexPath NP allgemeine Performanceerhöhung einfache Anbindung durch Standard- Schnittstellen gemeinsamer Stand auf FPL 2008 DynaCORE DES AES AES Aktueller Status: Datenformate spezifiziert Demonstrator angepasst Tunnel-SW zum Remote-Paketaustausch über Internet (München-Lübeck) erster Testlauf in Kürze FlexPath NP - 14

15 Ausblick: MPSoC Ziel Einbindung weiterer Data Planes (MicroBlazes) Mögliche Probleme Anbindung der MicroBlazes MicroBlazes mit PLB-Anschluss erst ab EDK 9.2 / 10.1 Atomare Zugriffe (bisher: 64 Bit Cacheline Zugriffe) Interconnect Mehr Busteilnehmer erschweren Timing Auslastung des Busses Alternativen Infrastruktur mit Bridging Multiport Memory Controller FlexPath NP - 15

16 Ausblick: Weitere Load Balancing Strategien Bisher Keine Kenntnis des aktuellen Belastungszustandes Ziel Geregelte Lastzuweisung System-Monitoring Auswertung Regelalgorithmus Auto Route HW Accel Dedizierte CPU Pool CPU LM Last-Monitor... LM LM LM LM LM CPU 1 CPU 2... CPU i CPU i+1... CPU n Paketverteiler Path Dispatcher Data Plane CPUs Path Manager Control Plane CPU Pool-Zuordnung Path Dispatcher Regeln Aspekte Zwei Mechanismen Spraying (Paketverteiler) Dedizierte Zuweisungen (Path Dispatcher) Migration von statebehafteten Applikationen in Überlastsituationen Rechenreserven durch gezielte Lastallokation z.b. für hochprioren Verkehr Sicherstellung von QoS FlexPath NP - 16

17 Zusammenfassung Funktionsfähiger FlexPath Netzwerkprozessor Vollständiger Multi-Processor System-on-Chip Demonstrator 2 PowerPCs Einsatzszenarien zeigen Vorteile und Möglichkeiten der flexiblen Wegewahl Anpassungsfähigkeit des FlexPath Systems mittels einfacher Konfiguration FlexPath NP - 17

18 Vielen Dank für Ihre Aufmerksamkeit! FlexPath NP - 18

19 FlexPath NP - Systemüberblick 2. Förderperiode Aufbauend auf Gerüst aus 1. Förderperiode Multi-Prozessor Cluster Mindestens 4 Data Plane CPUs Lastbalancierungsstrategie Multi-Prozessor Interrupt- Controller Hardwarebeschleuniger für Aufgaben mit besonders hoher Rechenanforderung (z.b. Crypto) Dynamisch partielle Rekonfiguration Optimierung der aktuellen Systemkonfiguration FlexPath NP - 19