AUSBREITUNG UND WECHSELWIRKUNG VON ETHERNET PAKETEN UND IEC 61850 SAMPLED VALUES IN KOMMUNIKATIONSNETZWERKEN Fred Steinhauser OMICRON electronics, Österreich, fred.steinhauser@omicron.at Stichwörter: Sampled Values, Ethernet, Verzögerungszeit. Zusammenfassung Die diversen in IEC 61850 angebotenen Protokolle bieten die Möglichkeit, die unterschiedlichen Arten von Netzwerkverkehr über ein gemeinsames Kommunikationsnetzwerk von mehreren Sendern aus an mehrere Empfänger zu übertragen, statt mehrfache Punkt-zu-Punkt-Verbindungen zu verwenden. Allerdings bestanden schon immer Bedenken bezüglich des Verhaltens im Fall einer starken Auslastung von solchen Netzwerken, insbesondere wenn aufgrund eines Ereignisses im elektrischen Versorgungsnetz viele Komponenten eines Stationsautomatisierungssystems gleichzeitig eine Übertragung von Daten beginnen. Viele dieser Bedenken hatten ihren Ursprung in den aus den Anfängen der Ethernet-Technologie bekannten Problemen mit der Zugriffssteuerung und Überlastung im Netzwerk, was jedoch in den heutigen, mit Switches aufgebauten Ethernet- Netzwerken sehr viel weniger problematisch ist. Solange im Netzwerk nur Client/Server- und GOOSE-Datenverkehr übertragen wird, sind die Anforderungen an das Netzwerk eher gering, da die Netzwerkauslastung relativ klein ist. Kommen jedoch Sampled Values hinzu, treten hohe Paketraten und eine anhaltende Netzwerkbelastung auf. Der Echtzeit- Netzwerkverkehr muss pünktlich bei den subskribierenden Geräten eintreffen. Verzögerungen und Jitter werden zu Problemen. Dieser Artikel beschreibt die Umstände, wenn Sampled Values beteiligt sind und beleuchtet einige wichtige Zusammenhänge. Er zeigt außerdem, dass solche Effekte bis zu einem bestimmten Grad vorhergesagt werden können und wie sich diese Vorhersagen durch Messungen verifizieren lassen. Dies hilft beim Aufbau von Kommunikationsnetzwerken für elektrische Energieanlagen und bei der Prüfung von deren Performance. Obwohl in IEC 61850 kaum erwähnt, werden oft die Begriffe Stationsbus und Prozessbus verwendet, um Teile eines Kommunikationsnetzwerkes zu benennen, die unterschiedliche Arten von Netzwerkverkehr transportieren. Es wird allgemein davon ausgegangen, dass Client/Server- Netzwerkverkehr (oft auch nach dem Transportprotokoll als MMS bezeichnet) nur im Stationsbus vorhanden ist, während der Prozessbus ausschließlich für Sampled Values gemacht ist. GOOSE-Nachrichten können in beiden vorhanden sein. Wenn keine Sampled Values verwendet werden und nur ein Stationsbus existiert, werden GOOSE-Nachrichten natürlich auch über den Stationsbus übertragen. Dies ist normalerweise kein Problem, da für GOOSE-Nachrichten nur eine geringe Bandbreite benötigt wird. Wird allerdings tatsächlich ein Prozessbus verwendet wird, so werden die GOOSE- Nachrichten aufgrund ihrer prozessnahen Natur und Echtzeiteigenschaften eher im Prozessbus vorkommen. Allerdings ist eine solche strikte Trennung von Client/Server- Netzwerkverkehr und Sampled Values entgegen der allgemeinen Annahme nicht notwendigerweise der Fall, insbesondere bei Verwendung von echten Bustopologien. Abbildung 1, die in leicht veränderter grafischer Form auch in [3] enthalten ist, zeigt wo die verschiedenen Arten von Netzwerkverkehr (Client/Server (C/S), GOOSE (GO) und Sampled Values (SV)) in einem Kommunikationsnetzwerk einer elektrischen Energieanlage mit dediziertem Stations- und Prozessbus auftreten. 1 Das vollständig digitale System Der Begriff "vollständig digital" bedeutet in Bezug auf Schutz-, Automatisierungs- und Steuerungssysteme in der elektrischen Energieversorgung, dass alle in IEC 61850 definierten Arten der Kommunikation zum Einsatz kommen, also Client/Server- Kommunikation, GOOSE und Sampled Values.
entsprang dabei nicht primär der Absicht das Netzwerk logisch zu unterteilen, sondern um die Prioritätsinformationen zu nutzen, die im VLAN-Tag stehen. Der Switch sortiert die eingehenden Pakete entsprechend der Prioritätsinformation im VLAN-Tag in unterschiedliche Warteschlangen ein. Wenn dann auf der Trunk-Verbindung die Weiterleitung des nächsten Pakets ansteht, erhält das Paket aus der Warteschlange mit der höchsten Priorität den Vorzug. Die genaue Auswahl ist dabei abhängig von der tatsächlich im Switch implementierten Strategie. Abbildung 1: Kommunikationsnetzwerk mit dediziertem Stations- und Prozessbus Der wesentliche Punkt in dem gegebenen Kontext ist die Tatsache, dass die Stationssteuerung nicht nur mit den am Stationsbus angeschlossenen IEDs kommuniziert, sondern auch mit den am Prozessbus angeschlossenen LS-Steuerungen. Die Stationssteuerung kann Befehle zur Steuerung der LS senden und Reports über die Ausführung der Befehle empfangen. Um die LS-Steuerungen zu erreichen, muss Client/Server-Netzwerkverkehr über den Prozessbus ausgetauscht werden, wodurch eine gegenseitige Beeinflussung mit den Sampled Values stattfindet. 2 Orte der Wechselwirkungen Die Komponenten, die für die Weiterleitung der Datenpakete im lokalen Kommunikationsnetzwerk zuständig sind, sind die Ethernet-Switches. Jedes IED ist über eine eigene Verbindung an einen sogenannten "Edge-Port" eines Netzwerk-Switches angeschlossen. Die Verbindungen zwischen den Switches erfolgen über sogenannte Trunk-Verbindungen, die an entsprechende Trunk-Ports angeschlossen sind. Die IEDs können jederzeit Daten an den Switch senden. Der Switch hat dann die Aufgabe, die Pakete weiterzuleiten, entweder an ein anderes IED am selben Switch oder über eine Trunk- Verbindung an einen anderen Switch. Treffen nun gleichzeitig oder nahezu gleichzeitig mehrere Pakete von verschiedenen IEDs ein, die über die Trunk-Verbindung weitergeleitet werden müssen, so muss der Switch die Übertragung der Pakete irgendwie disponieren, da die Pakete ja nicht parallel, sondern nur nacheinander über die Trunk-Verbindung übertragen werden können. In der IEC 61850 ist daher die Verwendung von VLAN-Tags spezifiziert, um so eine "Überholspur" für zeitkritischen Netzwerkverkehr wie GOOSE-Nachrichten und Sampled Values zu schaffen. Die Nutzung der VLAN-Funktion Abbildung 2: Gegenseitige Beeinflussung von Netzwerkverkehr aus mehreren Quellen bei der Weiterleitung über eine Trunk-Verbindung Dies alleine löst jedoch nicht auf magische Weise alle Probleme. Eine hohe Priorität garantiert nicht zwangsläufig, dass ein Paket sofort nach dessen Ankunft im Switch weitergeleitet wird. Bevor ein neues Paket übertragen werden kann, muss der Trunk-Port zuerst frei werden. Solange der Switch ein Paket überträgt, muss jedes neu eintreffende Paket unabhängig von dessen Priorität warten. In Abbildung 2 übertragen beide IEDs Pakete, die über die Trunk-Verbindung weitergeleitet werden müssen. Das große Paket mit niedriger Priorität vom IED links oben trifft kurz vor dem hoch priorisierten Sampled Values-Paket von der Merging Unit am Switch ein. Der Trunk-Port ist daher solange belegt, bis das große Paket (Bezeichnung MSEP = "Maximum Size Ethernet Packet") vollständig über die Trunk-Verbindung übertragen ist. In der gezeigten Situation verzögert sich dadurch der Versand des Sampled Values-Pakets um fast die gesamte Übertragungsdauer des großen Pakets, da es ja erst kurz nach Beginn der Übertragung des großen Pakets am Switch eintraf. Dieser Effekt wurde bereits in [2] und [4] beschrieben, wobei dort jedoch die Messungen mit einer speziellen Laborausrüstung und durch Kommunikationsexperten durchgeführt wurden. Im Gegensatz hierzu werden die Messungen in dem unten beschriebenen Experiment mit Werkzeugen durchgeführt, die für den Einsatz vor Ort und die Bedienung durch Anlageningenieure konzipiert sind. 3 Experiment und Auswertung Ein Experiment soll einen Einblick auf die Auswirkung der Netzwerkauslastung auf die Laufzeit von zeitkritischem Netzwerkverkehr in Kommunikationsnetzwerken geben. Die Messungen wurden mit Sampled Values durchgeführt, aber die
Ergebnisse lassen sich jedoch genauso für GOOSE- Nachrichten anwenden. Der Prüfaufbau ist die einfachste mögliche Anordnung, um die beschriebenen Auswirkungen beobachten zu können (siehe nachfolgende Abbildung 3). Die ICMP-Nachrichten haben die Größe s p. Bei einer gegebenen Übertragungsgeschwindigkeit n l belegt jedes Paket die Trunk-Verbindung für die Zeitspanne t p = s p n l (1) Werden die Pakete mit der Frequenz f p ausgegeben, so belegen diese den Anteil p der gesamten Bandbreite: p = f p t p = f p s p n l (2) Abbildung 3: Prüfaufbau für das Experiment Das Netzwerk besteht aus zwei Switches S1 und S2, die über eine Trunk-Verbindung miteinander verbunden sind. Eine Sampled Values-Quelle (eine Merging Unit) publiziert einen Sampled Values-Datenstrom in das Netzwerk. Das Messgerät erfasst die von der Sampled Values-Quelle kommenden Sampled Values-Pakete einmal bevor diese an Switch S1 ins Netzwerk gelangen, und ein zweites Mal, wenn diese nach Durchlaufen des Netzwerkes von dem anderen Switch S2 ausgesendet werden. An Switch S1 ist ein Computer angeschlossen, der durch "Anpingen" eines am Switch 2 angeschlossenen IEDs Netzwerkverkehr erzeugt. Dies führt zu einem Austausch von ICMP-Nachrichten über die Trunk- Verbindung und somit zu einer potenziellen Wechselwirkung mit den Sampled Values. Das zum Erzeugen der "Pings" für den Netzwerkverkehr verwendete Programm ermöglicht die Einstellung von Größe und Frequenz der ICMP-Pakete. 3.1 Theoretische Untersuchung Der Prüfaufbau ist minimal, der gesamte Netzwerkverkehr ist bekannt und alle Parameter sind unter Kontrolle. Das einzige "Rauschen" im Netzwerk sind einige administrative Nachrichten, die nur unerheblichen Netzwerkverkehr verursachen. In einem derart klar definierten Umfeld ist es möglich, die Wechselwirkungen des Netzwerkverkehrs im Vorfeld einzuschätzen und so Anhaltspunkte für die zu erwartenden Messergebnisse zu erhalten. Dadurch lässt sich beurteilen, ob die Messmethode stichhaltig ist. Dies ist gleichzeitig auch die Wahrscheinlichkeit mit der ein Sampled Values-Paket mit einem ICMP-Paket in Konflikt gerät, wenn es über die Trunk-Verbindung gesendet wird. Gleichung (2) zeigt, dass die Wahrscheinlichkeit einer zusätzlichen Verzögerung aufgrund von solchen Wechselwirkungen mit der Größe und der Frequenz der ICMP- Pakete ansteigt. Die Wahrscheinlichkeit verringert sich mit einer Erhöhung der Übertragungsgeschwindigkeit. Im schlimmsten Fall kann ein Sampled Values-Paket um die Dauer t p der ICMP-Pakete verzögert werden. Ein Anteil (1 p) der Pakete ist überhaupt nicht betroffen und wird so übertragen, als wenn kein anderer Netzwerkverkehr vorhanden wäre. Die anderen Pakete werden um einen Teil von t p verzögert und nur einige wenige Pakete zeigen die maximale zusätzliche Verzögerung t p. Die betroffenen Sampled Values- Pakete treffen zufällig und mit gleicher Wahrscheinlichkeit zu unterschiedlichen Zeitpunkten des Sendeprozesses auf die ICMP-Pakete. Somit darf eine Gleichverteilung der beobachteten Verzögerungen erwartet werden. In dem verwendeten Prüfaufbau laufen alle Ethernet- Verbindungen mit einer Übertragungsgeschwindigkeit n l = 100 Mbit s, auch die Trunk-Verbindung. Die ICMP-Pakete werden mit einer Rate im Bereich von ca. 1000 Paketen pro Sekunde ausgegeben. Beschränkt wird dies dadurch, welche Rate die "Ping"-Quelle bei einer bestimmten Paketgröße erreichen kann. Für die tatsächlich im Experiment verwendeten Werte gelten die Zahlen in Tabelle 1. ICMP- Paketgröß e 500 Bytes (4000 Bits) 1538 Bytes (12304 Bits) Paketdaue r t p Paketfrequen z f p Wahrscheinlichkei t p 40 μs 1000 s -1 4 % 123 μs 885 s -1 10,9 % Tabelle 1: Kenndaten für den Netzwerkverkehr Die Paketgrößen in der obigen Tabelle entsprechen de facto dem Start-Start-Abstand von zwei direkt aufeinander folgenden Paketen auf einer Ethernet-Verbindung, einschließlich der Präambel, der Prüfsumme und des Inter- Frame-Gap zwischen zwei Telegrammen. Diese werden
normalerweise zwar nicht mitgezählt, belegen aber dennoch die Verbindung. Der Wert von 1538 Bytes in der unteren Zeile entspricht der maximalen Ethernet-Paketgröße ohne VLAN- Tag. Wird ein VLAN-Tag hinzugefügt, ist das Paket noch um 4 Bytes größer. 3.2 Messungen und Auswertung Nun müssen die Verzögerungen der SV-Pakete bei den unterschiedlichen Netzwerkauslastungen gemessen werden. Hierfür werden viele Einzelmessungen durchgeführt und anschließend die Verteilung der Verzögerungen ermittelt. Die Auswertung erfolgt anhand von 10.000 Einzelmessungen, um zuverlässige statistische Zahlen zu erhalten. Mit 4.000 Sampled Values-Paketen pro Sekunde [6] kann der erforderliche Netzwerkverkehr in nur 2,5 Sekunden erfasst werden. Eine Bedingung hierfür ist, dass die Wechselwirkung zwischen den Sampled Values-Pakete und den ICMP-Paketen zufällig erfolgt. Dies bedeutet, dass die Rate für die Ausgabe von ICMP-Paketen nicht mit der Frequenz für die Ausgabe der Sampled Values korrelieren darf. Da keine Zeitsynchronisation zwischen den einzelnen Komponenten besteht und die Quelle der ICMP-Pakete ein Computer mit seinen typischen mäßigen Timing-Eigenschaften ist, ist das Timing so ungenau, dass genügend Jitter vorhanden ist, um die erforderliche Zufälligkeit sicherzustellen. Eine erste Messung erfolgt ohne ICMP-Netzwerkverkehr, nur mit den Sampled Values im Netzwerk. Dies dient als Referenz, da auch hier eine Verzögerung aus der Speicherung und Weiterleitung der Sampled Values-Pakete in den Switches gemessen werden kann. Zu dem Referenzwert kommen noch weitere Verzögerungen aufgrund von Wechselwirkungen hinzu. Die Verteilung der Verzögerungen für die Referenzmessung ist in der nachfolgenden Abbildung 4 gezeigt. Abbildung 4: Verteilung der Verzögerungen ohne Netzwerklast Die durchschnittliche Verzögerung der Pakete beträgt etwa 26 µs mit minimalen Abweichungen. Alle gemessenen Werte bleiben im Intervall zwischen 25 µs und 28 µs. Die Verzögerungen entstehen durch die beiden "store-andforward" Prozessen in den hintereinander geschalteten Ethernet-Switches. Die Paketgröße der Sampled Values ist 152 Bytes, ihre Dauer beträgt also ca. 12 µs. Die Gesamtverzögerung ist etwas mehr als doppelt so groß wie dieser Wert. Die Differenz entsteht durch die Verarbeitung der Pakete im Switch bevor diese wieder ausgesendet werden. In diesem Beispiel dauert die Verarbeitung durchschnittlich nur etwa 1 µs pro Switch. Die nächste Abbildung zeigt die Verteilung der Verzögerungen der Sampled Values bei Netzwerkverkehr mit 500 Byte großen ICMP-Paketen. Abbildung 5: Verteilung der Verzögerungen mit ICMP- Paketen als Netzwerklast (Größe: 500 Bytes) 9.592 von 10.000 Paketen weisen eine Verzögerung wie im ungestörten Fall auf. Dies liegt nahe an dem erwarteten Wert von (1 p) = 96 %. Die anderen 408 Pakete weisen unterschiedliche Verzögerungen mit einer gleichmäßigen Verteilung auf. Dies macht Sinn und entspricht genau der Erwartung. Die maximale Verzögerung beträgt 66 µs und ist genau um t p = 40 µs größer als der Referenzwert. Die letzte Abbildung zeigt die Verteilung der Verzögerungen für die Sampled Values bei Netzwerkverkehr mit ICMP- Paketen mit maximaler Ethernet-Paketgröße. Abbildung 6: Verteilung der Verzögerungen mit ICMP- Paketen als Netzwerklast (Größe: 1538 Bytes) 8.894 Pakete, also erneut nahe an den erwarteten (1 p) = 89 %, weisen immer noch dieselbe Verzögerung auf wie im ungestörten Fall. Die Verzögerungen der anderen 1.106 Pakete weisen wiederum eine gleichmäßige Verteilung auf. Die maximale Verzögerung beträgt nun 149 µs, was genau um t p = 123 µs länger ist als der Referenzwert. Die Messergebnisse stimmen mit den Erwartungen aus der theoretischen Betrachtung des Experiments überein. Messmethode und Messinstrument sind demnach als korrekt und brauchbar zu betrachten. 4 Fazit Wenn nur Client/Server-Kommunikation und GOOSE- Nachrichten vorhanden sind, ist die Performance eines Kommunikationsnetzwerkes in elektrischen Energieanlagen nicht wirklich gefordert. Wenn jedoch Sampled Values ins Spiel kommen, ist eine nähere Betrachtung sehr wohl lohnenswert, insbesondere dann, wenn noch anderer Netzwerkverkehr mit den Sampled Values in Wechselwirkung
treten kann. Die erläuterten Wechselwirkungen können zu erheblichem Jitter führen. Treten solche Wechselwirkungen in einem Netzwerk wiederholt auf, so kann der Jitter sogar derart groß werden, dass die nachfolgenden Sampled Values-Pakete ihre Vorgänger einholen können. Die Auswirkungen der gegenseitigen Beeinflussungen von Ethernet-Paketen in Kommunikationsnetzwerken lassen sich gut nachvollziehen. Bei einer sorgfältigen Untersuchung des Netzwerks lassen sich Erwartungswerte für die Paketverzögerungen ableiten, die durch entsprechende präzise Messungen bestätigt werden. Dies führt zu dem Umkehrschluss, dass Fehlfunktionen von Netzwerkkomponenten durch Messungen aufgedeckt werden können, wenn die Ergebnisse der Messungen von den Erwartungen abweichen. Mit heutigen modernen Prüfaussystemen sind solche Messungen nicht mehr nur für echte Kommunikationsexperten durchführbar, sondern auch für Anlageningenieure, die keine derart tiefgehenden Kenntnisse auf diesem Gebiet besitzen und sich trotzdem mit Kommunikationsnetzwerken befassen müssen, da diese systemrelevante Komponenten ihrer Schutz-, Automatisierungs- und Steuerungssysteme sind. Referenzen [1] Steinhauser, F., Interaction of Ethernet Traffic in Power Utility Communication Networks. PACWorld conference 2013, Dublin [2] Ingram, D., et. al.: Direct Evaluation of IEC 61850-9-2 Process Bus Network Performance. IEEE Transactions on Smart Grid, Vol. 3, No. 4, Dezember 2012 [3] IEC 61850-90-4: Communication Networks and Systems for Power Utility Automation. Part 90-4: Network Engineering Guidelines, Technical Report, 2012 [4] Steinhauser, F.: Measuring the Performance of GOOSE Communication - Assessing IEC 61850 Real Time Messaging, CIGRÉ SEAPAC 2011, Sydney [5] Steinhauser, F., Schossig, T.: Coexistence of SCADA- Communication and Process-Level Real-Time- Communication in Substation Networks. PACWorld conference 2010, Dublin [6] UCA International User Group: Implementation Guideline For Digital Interface to Instrument Transformers Using IEC 61850-9-2