Beschleunigte Simulationen durch verteiltes Rechnen

Transkript

1 Bescheunigte Simuationen durch verteites Rechnen CST Workshop, München Dip.-Ing. Danie Baschke Rohde&Schwarz GmbH&Co. KG

2 Inhat Einführung & Grundagen Methoden zur Simuationsbescheunigung Funktionsprinzip des verteiten Rechnens Vorteie einer zentraen Rechenösung Situation bei Rohde&Schwarz frühere Situation aktuee Lösung Hardware der Sover Server Auswah der Hardware für Sover Server Sicherheitsaspekte beim verteiten Rechnen Zusammenfassung Zentraes paraees Rechnen 2

3 Einführung & Grundagen Zentraes paraees Rechnen 3

4 Methoden zur Simuations-Bescheunigung Aufteiung des Sover-Codes auf mehrere Threads und damit Unterstützung von Mehrkern-Prozessoren z.zt. Standard bei jedem Sover Abauf des Sover-Codes auf einem Grafikprozessor (GPU) statt der CPU nicht ae Sover & nur für große Probeme (>1E6 Meshzeen) typisch bis zu 10x schneer as auf CPU Aufteiung eines großen Probems auf mehrere Rechner Jeder Sover öst einen Abschnitt des Modes Geschwindigkeitsgewinn durch Datenaustausch an Schnittkanten begrenzt Berechnung des voständigen Probems auf (zentraen) Sover Servern (keine Aufteiung großer Projekte) Geschwindigkeitsgewinn durch paraee Berechnung verschiedener Geometrien (Parameter-Sweeps, Optimierungen), Port-Anregungen oder Frequenzpunkten (F-Sover) Zentraes paraees Rechnen 4

5 Funktionsprinzip des verteiten Rechnens ( distributed computing ) Ersteen der Struktur, Definition der Randbedingungen, Konfiguration des Sovers, etc erfogen oka am PC des Nutzers (am Frontend). Zum Lösen des EM-Probems wird der Job an den Main Controer geschickt. Dieser verteit je nach Konfiguration, Lizenzausstattung und Ausastung der Coud den Job an einen oder mehrere Rechner in der Coud. Die Ergebnisse werden wieder am Frontend (PC des Nutzers) dargestet und ausgewertet Zentraes paraees Rechnen 5

6 Vorteie durch verteites Rechnen Geringere Hardwarekosten Zentrae Bereitsteung eistungsfähiger Hardware führt zu einer höheren Ausastung und damit in Summe zu günstigeren Hardware- Kosten. Geringere Lizenzkosten Nutzung aktueer Hardware führt zu kürzerer Lizenzbeegung. Regemäßige Hardware-Updates bei hoher Ausastung eichter finanzierbar. Git nur bei Verzicht auf einige Bescheunigungs-Funktionen (s.u.) Kürzere Simuationszeiten Durch moderne Hardware kürzere Simuationszeiten Durch verteites Rechnen stark verkürzte Simuationszeiten Mehrere Ports, mehrere Frequenzstützsteen (F-Sover), mehrer Instanzen der Geometrie (Optimizer, Parametersweep) geichzeitig erfordert meist Zusatz-Lizenzen! (acceeration tokens) Zentraes paraees Rechnen 6

7 Situation bei Rohde&Schwarz Zentraes paraees Rechnen 7

8 Frühere Situation bei Rohde&Schwarz Teiweise simuierten Nutzer auf ater / angsamer Hardware, wei Budgets für neue Hardware nicht vorhanden oder deren Geschwindigkeitsvorteie nicht bekannt waren. Unnötige ange Aokation von Lizenzen. Arbeitsgruppen haben oka und unabhängig voneinander Lösungen zur Simuationszeitreduzierung beschafft. Wenig Austausch über Nutzungserfahrungen. Teiweise wurde teure Hardware beschafft, die spezie mit MWS nicht den erwarteten Performance-Gewinn brachte. Einzene Fachbereiche haben eigene distributed computing Netzwerke aus Arbeitspatzrechnern betrieben. Inhomogene Struktur begrenzt Effizienz und Stabiität des Netzwerks. Hoher Wartungsaufwand für die beteiigten Entwickungsingenieure. Beeinfusst die Performance der Arbeitspatzrechner Zentraes paraees Rechnen 8

9 Heutige Lösung bei Rohde&Schwarz Sover Server: 24 1HE Rechner ohne Redundanz Schnee & günstige Hardware Fernwartung Linux Main Controer: Virtuaisierter Server (Windows) in zwei Rechenzentren gespieget ( hohe Verfügbarkeit) Management Hardware-Wartung durch IT-Abteiung Zentraes Einspieen von Service-Packs (inc. Verteiung an Frontends) Zentraes paraees Rechnen 9

10 Aktuee Sover Server bei Rohde&Schwarz Prozessor: RAM XEON E (SandyBridge) 4 Cores 3,4 GHz 16 GB Höchstmögicher Speichertakt ae Kanäe bestückt Sonstiges Lokae HDD Fernwartungsfunktion Formfaktor: 19, 1 HE ca pro Sover Server Zentraes paraees Rechnen 10

11 Aufwände für Einrichtung & Betrieb Projektverauf bei Rohde&Schwarz: Evauierung verschiedener Leih-Hardware erstreckte sich über einen Zeitraum von ½ Jahr Aufbau der Hardware und Einrichtung der Software erfogte innerhab von 1 Monat Aktueer Wartungsaufwand: Feherbehebung und Debugging erfordern z.zt. ca. 2 Personen-Tage / Monat In Einzefäen aufen Simuationen oka aber nicht im Custer (SW-Feher, die nach Medung behoben werden) Zentraes Custer insgesamt stabi (im Gegensatz zum früheren, inhomogenen Custer aus Arbeitspatz-PCs) Zentraes paraees Rechnen 11

12 Auswah der Hardware für die Sover Server Zentraes paraees Rechnen 12

13 Überegungen zur Hardware-Auswah Unterschiede bei den typischen Projekten (Größe, Sover) erfordern zwingend eine eigene Evauierung! Große Projekte (>1E6 Mesh Zeen), Sover: Transient / PIC / TLM / Integra Prüfen, ob GPU Computing eine Option ist Speichergröße der GPU-Karte muss für ae Projekt ausreichen Mittegroße Projekte, ae Sover: CST Sover sind für Inte Prozessoren optimiert Moderne CPU-Generation wähen (Sandy Bridge oder besser Ivy Bridge) Unsere Erfahrung: beim transient sover wird ab 4 Kernen die Performance nur durch Speicherbandbreite begrenzt (teure Xeon-Prozessoren mit 6+ Kernen ohnen nicht) Speicherbandbreite optimieren Quad Channe statt Dua Channe Maximaer Takt Bestückung beachten Speichergröße muss für ae erwarteten Projekte ausreichen Wah des Betriebssystems Linux günstig Windows: nur hier ist Remote Postprocessing mögich Zentraes paraees Rechnen 13

14 Sicherheitsaspekte beim zentraen Rechnen Zentraes paraees Rechnen 14

15 Angriffsvektor: (fremde) Sover Server Erangt ein Angreifer Zugriff auf einen Sover Server, so kann er die Simuationsdateien kopieren. Aternativ könnte ein Angreifer einen eigenen Sover Server beim Main Controer anmeden, um so Simuationsdateien zu erhaten. Dies wird z.zt. durch eine optionae White List erschwert: agemein: Distributed Computing nur für Einsatz in trusted environment entwicket! Zentraes paraees Rechnen 15

16 Angriffsvektor: Projektnamen Projektnamen (=Dateinamen) sind in der Job queue für ae Nutzer sichtbar Projektnamen stehen auch in den Logfies (Vorsicht bei der Weitergabe!) Lösung: Keine sprechenden Projektnamen verwenden Zentraes paraees Rechnen 16

17 Zusammenfassung Zentraes paraees Rechnen 17

18 Zusammenfassung Eine zentrae Distributed Computing Infrastruktur verbessert die Nutzung von Lizenzressourcen entbindet die Fachabteiung von der Rechner-Beschaffung ermögicht deutich schneere Ergebnisse im Entwickungsatag Werkzeuge wie Parameter Sweep oder Optimizer sind erst hiermit sinnvo nutzbar erfordert eine bedarfsgerechte Anschaffung zentraer Hardware (Evauierungsphase anhand typischer Projekte!) benötigt für einige Bescheunigungsfunktionen die zusätziche Beschaffung von Lizenzen (acceeration tokens) erfordert Umsicht beim Nutzer (Projektnamensvergabe) um die Vertrauichkeit zu wahren ist gegen Angriffe aus dem (internen) Netzwerk nur bedingt geschützt Zentraes paraees Rechnen 18

19 Vieen Dank für Ihr Interesse! Haben Sie Fragen? einige Grafiken mit freundicher Genehmigung der CST AG Kontakt: Te. 089 / Zentraes paraees Rechnen 19

20 Zusatzfoien Zentraes paraees Rechnen 20

21 Vortei 1 geringere Hardwarekosten Dezentrae Hardware: Schnee & teure Rechner in den einzenen Arbeitsgruppen sind die meiste Zeit ungenutzt. Computing Coud: Die Rechner können im passenden Verhätnis zu den Lizenzen beschafft werden und sind so optima ausgeastet Zentraes paraees Rechnen 21

22 Vortei 2 geringere Lizenzkosten Dezentrae Hardware: Auf Grund der setenen Nutzung ist beim Anwender oft nicht die neueste Hardware verfügbar. Die zentraen Foating-Lizenzen werden deshab unnötig ange beegt. Es müssen mehr teure Sover- Lizenzen beschafft werden. Computing Coud: Auf Grund der guten Ausastung kann immer in die neueste Hardware investiert werden. Die teuren Lizenzen werden bestmögich genutzt Zentraes paraees Rechnen 22

23 Vortei 3 höhere Peak-Leistung Dezentrae Hardware: Jeder Nutzer hat nur Zugriff auf die Rechner-Resourcen seiner Arbeitsgruppe. Eventue weitere verfügbare Recheneistung im Firmennetzwerk beibt ungenutzt. Computing Coud: Jeder Nutzer hat im Rahmen des Distributed Computing Zugriff auf die gesamte Computing Coud. Sind nur wenige Nutzer zeitgeich aktiv, so steht dem Einzenen eine sehr hohe Recheneistung zur Verfügung. Aber: Zusätzichen Lizenzen (tokens) werden zum paraeen Rechnen benötigt! Zentraes paraees Rechnen 23