Die Größe der Datenpakete ist entscheidend

Transkript

1 Die Größe der Datenpakete ist entscheidend Serial RapidIO (SRIO) versus 10 Gigabit Ethernet Matthias Greulich, Software Design Engineer & Claudia Bestler, Business Development Medical and Product Marketing If it s embedded, it s Kontron.

2 Die Größe der Datenpakete ist entscheidend Da Serial RapidIO (SRIO) vermehrt auch in den Prozessoren und Chipsätzen von Herstellern wie beispielsweise Freescale unterstützt ist, wird neben 10 Gigabit Ethernet zunehmend auch SRIO als System/ Board Interconnect interessant. Doch welche Performance bieten aktuelle Systeme genau? Kontron hat die SRIO Performance unter MicroTCA-Systembedingungen unter die Lupe genommen. Contents Die Größe der Datenpakete ist entscheidend Summary Contents Unterschiedliche Effektivität Messbare Unterschiede in der Performance Flexible System-Architektur Nutzdaten zu PDU Kontron OM6040 Compact Über Kontron

3 Avioniksysteme in der Luft- und Raumfahrt, Radarsysteme, Sonare sowie weitere digitale Resonanzverfahren in der Medizintechnik oder in der Mobilfunk-Messtechnik sowie digitale Bildverarbeitungssysteme müssen heute immer genauere und präzisere Ergebnisse liefern. Die Verbesserung der Systeme basiert auf neuen Verfahren und Algorithmen, die zumeist auch noch mehr, präzisere und zunehmend schnellere Daten benötigen, um die Leistungsfähigkeit und Qualität der Systeme zu steigern. Für die Verarbeitung und Auswertung dieser Roh-Daten stehen immer performantere Rechner zur Verfügung. Der Wahl der Schnittstellen zur Datenübertragung ist deshalb eine zunehmende Bedeutung beizumessen. Für die Board-zu-Board Kommunikation in solchen Systemen empfehlen sich dabei aktuell Serial Switched Fabrics wie 10 Gigabit Ethernet oder SRIO. Beide bieten mit nominellen Datenraten von 10 Gbit/s bzw. 12,5 Gbit/s für SRIO (3,125 Gbaud x 4 Lanes) zukunftssichere Performance. Jedoch weisen die Übertragungsarten erhebliche Unterschiede bei der effektiven Datenrate auf. Unterschiedliche Effektivität Den Unterschied zwischen der nominellen und der effektiven Datenübertragungsrate bestimmen dabei in besonderem Maße Laufzeit (Latency) und Laufzeitschwankungen (Jitter). Bei der Entwicklung von SRIO wurde besonderer Wert darauf gelegt, störende Einflussfaktoren soweit wie möglich zu minimieren. Zur Senkung der Interrupt-Raten bietet SRIO entsprechende Quality-of-Services: So kann SRIO Daten priorisieren, um die Systemleistung bei mehreren gleichzeitig ablaufenden Prozessen deutlich zu verbessern. Auch kann jeder SRIO-Endpoint wahlweise als Master oder Slave bei z.b. I/O logischen Operationen (Shared Memory) oder Message Operationen (Doorbell, Messages) agieren. So kann etwa ein Master ohne Umwege Schreib- und Lesevorgänge im Speicher eines Slaves initiieren, was die Gesamtzahl der Interrupts im System reduziert und somit eine positive Auswirkung auf die Gesamtsystemleistung hat. Vor Übertragungsfehlern schützt außerdem die eingebaute und spezifizierte Fehlererkennung und -korrektur auf der Hardwareebene: SRIO verschickt das Taktsignal zusammen mit dem Datenstrom, was ebenfalls die Latency reduziert. Zudem weist SRIO im Vergleich zu 10 Gigabit Ethernet einen deutlich geringeren Overhead auf. Bei einer Paketgröße von 64 Bytes entfallen bei 10 Gigabit Ethernet beispielsweise rund ein Drittel der Datenmenge allein auf den Overhead. Die effektive Datenübertragungsrate beträgt also lediglich rund 66%. SRIO bietet bei 64 Bytes hingegen eine effektive Datenübertragungsrate von 95% und damit alleine durch den geringeren Overhead fast 50 Prozent mehr Performance. Um den Overhead zu reduzieren nutzt SRIO eine schlankere Layer-Struktur. Im Gegensatz zum ANSI Layer Standard, der sieben Layer für Datenschnittstellen empfiehlt, kommt SRIO mit lediglich drei Layern aus: Dem Logical Layer, dem Grafik 1: Systemkonfiguration für Test-Applikation Transport Layer und dem Physical Layer. Das verwendete ID und packet orientierte Protokoll von SRIO wirkt sich auch direkt auf die Applikationssoftware aus, da die gewünschten Operationen wie z.b. Maintenance-, Write-, oder Read- Transaktionen ohne größeren Overhead ausgeführt werden können: Nach der SRIO Enumeration (= Systemerkennung: SRIO Switch Routing Table Konfiguration und die Device-ID Vergabe an die beteiligten SRIO Agents) durch den SRIO Host und dem Aufsetzen der benötigten Ressourcen (z.b. SRIO Endpoint ATMUs = Address Translations and Mapping Unit) kann der Datenaustausch in Form von I/O-Logik (NREAD, NWRITE) und / oder Message-Operationen durchgeführt werden. Messbare Unterschiede in der Performance Um die Performance von SRIO quantitativ zu belegen, hat Kontron Tests auf einem MicroTCA-System Kontron OM6040 durchgeführt (s. Grafik 1). Bestückt war das MicroTCA-System mit zwei Kontron AM4100 AMC-Modulen mit Freescale Dual- Core MPC8641D Prozessoren als SRIO Host (MicroTCA Slot 1) und Agent (Micro TCA Slot 4) sowie ein SRIO MicroTCA Grafik 2: Kontron OM6040, 2x AM4100 AMC Module & MCH AM

4 Controller Hub (MCH) mit zwei SRIO Switches. Als Betriebssystem (RTOS) kam Wind River VxWorks 6.6 mit dem Kontron Board Support Package (BSP) für die AM4100 / AM4101 und entsprechender Test Applikation zum Einsatz. (s. Grafik 2). In dieser Konfiguration wurden die (DMA unterstützten) Datentransferraten von NWRITE (Host schreibt auf Agent) und NREAD (Host liest vom Agent) gemessen (s. Grafik 3). Bei dem Schreibprozess vom Memory der Host CPU zum Memory der Agent CPU via SRIO wurde eine Nutzdatenrate von 6,44 Gbits/s erreicht. Beim Leseprozess in umgekehrter Richtung wurden die Daten via SRIO sogar mit einer Rate von 7.7 Gbits/s übertragen. In einem vergleichbaren Test der Universität von Oklahoma erreichte 10 Gigabit Ethernet bei einer PDU-Size von 64 Bytes nur 3,3 Gbit/s (Hernan A. Suarez: Recent Study on High Speed Serial Links for Multifunction Digital Array Receivers and Processors, 2008: 1p-SRIO_Aurora-Hernan.pdf). Bei kleinen Datenpaketen bietet SRIO eine im Vergleich zu 10 Gigabit Ethernet rund doppelt so große Kapazität bei der Datenübertragung. Erst bei Datenpaketen (PDUs = Protocol Data Units) ab Bytes bietet 10 Gigabit Ethernet eine bessere Performance (Quelle RapidIO / Siehe Grafik 4). In einem realen System ist die nutzbare Datenrate nicht allein abhängig vom Anteil der Nutzdaten in einer PDU. Zwar verbessert sich mit wachsender Größe der Nutzdaten die Nutzdatenrate (da sich der Paket-Overhead verringert). Schreiben und Lesen durch die beiden Prozessoren an beiden Enden der Kette erfordert die Verarbeitung der Pakete mit den zugehörigen Interrupts. Hinzu kommen durch Laufzeiten (Latency) und Laufzeitschwankungen (Jitter) bedingte Effekte, die die nutzbare Datenrate verschlechtern. Grafik 3: Host Memory auf Agent Memory / zwei AM4100 AdvancedMC-Module im OM6040 System Grafik 4: Nutzdatenraten (Bandbreite) in Abhängigkeit der Paketgröße (PDU), Quelle: RapidIO Trade Association Bei einer Evaluierung mit einem XILINX LogiCORE IP Serial RapidIO v4.4 SRIO Endpoint auf Basis des XILINX Virtex-5 FPGA einer Tews Technologies TAMC900 (s. Grafik 5) konnte sogar eine noch höhere Übertragungsrate gemessen werden. Der Schreibprozess über die gesamte Kette vom Host Memory der Kontron AM4100 via SRIO in den Arbeitsspeicher des TAMC900 (Logic RAM) erfolgte mit einer Rate von 8,31 Gbit/s, bei einer Nutzdatengröße (Raw Data) von 64 kbyte. In umgekehrter Richtung erfolgte der Schreibvorgang mit einer Datenrate von 7,52 Gbit/s. Die Messreihe bei unterschiedlichen Nutzdatengrößen zwischen 1 kbyte und 64 kbyte zeigt dabei die realen Veränderungen. (Grafik 6) SRIO ist also besonders bei solchen Applikationen sinnvoll einzusetzen, bei denen kontinuierlich Daten gesendet werden, wie es etwa bei Anwendungen im Bereich Sensorik, Radar oder Telekommunikation der Fall ist. Die weitere Entwicklung von SRIO wird zudem auch u.a. eine Erhöhung der Transferraten (5Gbaud, 6.25 Gbaud) für die steigenden Anforderungen in diesen Bereichen sehen. Flexible System- Architektur Um Entwicklern die Vorzüge von SRIO verfügbar zu machen, bietet Kontron sowohl Lösungen auf CPU-Boardwie Systemlevel an. Eine von vielen möglichen Konfigurationsformen ist dabei das MicroTCA-System Kontron OM6040 Compact mit vorintegrierten Kontron AM4100 CPU Board sowie MCH, wie es in diesem Benchmark zum Einsatz kam. Ein Kontron AM4100 übernimmt 4

5 in diesem System als SRIO Host das Management der SRIO- Baugruppen, der Memory Controller Hub (MCH) stellt die physikalischen Verbindungen zwischen den Baugruppen sicher. Kommuniziert werden kann dabei entweder über x1 oder x4 Lanes. Unterstützt werden sowohl Star-, Ring- als auch (Full-) Mesh-Topologien. Für eine besonders hohe Rechenleistung können beispielsweise zwölf oder mehr AMC-Boards mittels SRIO mit mehreren Switches zu einem mächtigen Switched Fabric System verbunden werden. Neuere Lösungsansätze gehen dabei dazu über, dass DSP- Boards durch Multicore CPU-Boards ersetzt werden, sodass Systemdesigns aus mehreren AM4100 CPU-Boards möglich sind. Attraktiv ist dabei die auf den Kontron AM4100 Boards integrierte 128-Bit AltiVec Vektoreinheit, die bei der Verarbeitung riesiger Datenmengen für eine minimale Cache-Pollution sorgt. Damit ist die Kontron AM4100 prädestiniert für Telekommunikationsinfrastruktursyste me von TEMs (Telekommunikations-Equipment Hersteller) oder unternehmensweite Datenkommunikationssysteme. Weitere Anwendungsbereiche findet das PowerPC- Prozessormodul beispielsweise in der medizinischen und industriellen Bildverarbeitung sowie in der Luftfahrt- und Sicherheitstechnik. Höchste Datentransferraten bieten auch die vier Gigabit Ethernet Schnittstellen dank neuester Technologien bei der Checksummen-Beschleunigung von TCP und UDP, QoS Unterstützung und Paket-Header- Manipulation. Alternativ zu SRIO sind auch PCI-Express- Schnittstellen möglich, so dass das Board für viele unterschiedliche Konfigurationen einsetzbar ist. Sollen sowohl PCI Express als auch SRIO für eine Anwendung verfügbar sein, bietet sich der Einsatz der Kontron AM4101 an. Da beide Schnittstellen hier über unterschiedliche Ports der AMC Fat Pipes Region laufen (nach SCOPE Alliance), unterstützt die AM4101 sowohl PCI Express als auch SRIO. Benötigen OEM ein komplettes System, sind die Baugruppen bedarfsgerecht integriert verfügbar. Kontron MicroTCA Systeme unterstützen dabei alle gängigen Datenschnittstellen (PCI Express, GbE, SRIO etc.) und bieten Entwicklern so die volle Wahlfreiheit bei der Systementwicklung. Nutzdaten zu PDU Damit Daten, egal ob Dateien oder Speicherinhalte, beispielsweise via SRIO oder Ethernet übertragen werden können, müssen sie in Datenpakete definierter Größe aufgeteilt werden. Jedem Nutzdatenpaket werden noch zusätzliche, protokollspezifische Verwaltungsinformationen (z.b. Empfänger, Checksumme für die Fehlerkorrektur etc.) - der sog. Overhead - beigefügt. Zusammen ergibt sich daraus die sogenannte PDU = Protocol Data Unit. Je größer das Verhältnis von Nutzdaten zu Overhead ist, desto effizienter ist die Datentransferrate. Allerdings lässt sich die Datentransferrate nicht unbegrenzt durch die Vergrößerung der Nutzdatenmenge pro PDU maximieren. Bei zu großen Nutzdatenpaketen führen schon einzelne fehlerhafte Datenpakete zu überproportional großen Verzögerungen im Datenfluss. Ebenso kann die sequenzielle Befüllung großer Datenpakete zu Verzögerungen bei der Verarbeitung durch die CPU führen, da etliche Wartezyklen entstehen können. Kontron OM6040 Compact Grafik 5: Host Memory auf TEWS TAMC900 Logic RAM Grafik 6: Veränderung der Performance (bei Raw-Daten von 1 kbyte bis 64 kbyte) Getestet wurde die SRIO-Performance auf dem MicroTCA- System Kontron OM6040 Compact, sie ist eine Fünf-Slot Einstiegs-Plattform zur Entwicklung kleiner, kompakter und hoch integrierter Multiprozessorsysteme auf MicroTCA- Basis. Anwendungsgebiete sind Telekommunikationsapp likationen, Triple-Play, Defense, Öffentliche Sicherheit, Avionik, Bild und Video verarbeitende Systeme in der Medizintechnik oder industrielles Qualitätsmanagement. Das kompakte System (3HE hohe, 250 mm tiefe und 156 mm) ist für einen Fullsize MicroTCA Carrier Hub (MCH) und bis zu vier Advanced Mezzanine Cards (AMC) inkl. Netzteil und Lüfter ausgerichtet und ist in verschiedenen Basiskonfigurationen erhältlich, mit kombinierbaren MCH und AMCs mit vorinstalliertem Betriebssystem. Das OM6040 bietet eine Single Star Backplane für SRIO, GbE und PCI Express sowie MicroTCA Power Management. Die Stromversorgung läuft über die Backplane, so dass auf MicroTCA Power Modules verzichten werden kann, was Kosten und Platz spart. Der Memory Controller Hub ist mit einem GbE und PCI Express/SRIO Switch ausgestattet. SAS und SATA sind auf der Backplane ebenfalls vorhanden. Das Design des OM6040 kann an die Bedürfnisse des Kunden angepasst werden. 5

6 Über Kontron Kontron entwickelt und fertigt standardbasierte und rugged COTS sowie kundenspezifische Embedded und Kommunikations-Lösungen für OEMs, Systemintegratoren und Anwendungsanbieter in verschiedensten Marktsegmenten. Die Entwicklungs- und Fertigungsstandorte von Kontron in ganz Europa, Nordamerika und der asiatisch-pazifischen Region arbeiten mit einer globalen Vertriebs- und Supportorganisation zusammen, die den Kontron Kunden hilft, ihr Time-to-Market zu reduzieren und Wettbewerbsvorteile zu erzielen. Das vielfältige Produktportfolio von Kontron umfasst: Boards und Mezzanine-Karten, Computer- On-Module, HMIs und Displays, Systeme und Fertigung nach Kundenwunsch. Kontron ist Premier Mitglied der Intel Embedded and Communications Alliance. Das Unternehmen ist seit fünf Jahren in Folge VDC Platinum Vendor für Embedded Boards. Kontron ist im deutschen TecDAX unter der Wertpapierkennung "KBC" gelistet. Weitere Informationen finden Sie unter: Corporate Offices Europe, Middle East & Africa Oskar-von-Miller-Str Eching/Munich Germany Tel.: +49 (0)8165/ Fax: +49 (0)8165/ info@kontron.com North America Stowe Drive Poway, CA USA Tel.: Fax: sales@us.kontron.com Asia Pacific 17 Building,Block #1,ABP. 188 Southern West 4th Ring Road Beijing , P.R.China Tel.: Fax: kcn@kontron.cn #Whitepaper - MicroTCA srio vs. GbE# PDL All data is for information purposes only and not guaranteed for legal purposes. Subject to change without notice. Information in this datasheet has been carefully checked and is believed to be accurate; however, no responsibilty is assumed for inaccurancies. All brand or product names are trademarks or registered trademarks of their respective owners. 6