Seismic Imaging visualisierung grosser datenmengen

Transkript

1 Tia Hill, Frauke Satacruz, Dr.-Ig. Jais Keuper, Dr. Abel Amirbekya, Clemes Koch, Sve Breuer, Delger Lhamsure, Dr. Mirko Rah, Matthias Deller, Dr. Alexader Klauer, Christia Mohrbacher, Dr. Rui Màrio da Silva Machado, Dr. Fraz-Josef Pfreudt, Berd Lietzow, Frak Kautz, Matthias Klei, Dr. Matthias Balzer, Berd Lörwald, Dr. Daiel Grüewald, Ely Wager Aguiar de Oliveira, Valeti Fütterlig, Lukas Ristau, Dr. Marti Küh, Dr. Dimitar Stoyaov, Dr. Tiberiu Rotaru 68

2 competece ceter high performace computig Big data BeeGFS, GPI, GPI-Space HPC Tools Seismic Imagig visualisierug grosser datemege Performace Optimierug E-Eergie, SMart Grids 69

3 Dr. Fraz-Josef Pfreudt Ab t e i l u g s l e i t e r Hoch- ud Höchstleistugsreche High Performace Computig (HPC) ist für die Wettbewerbsfähigkeit vo Wisseschaft ud Wirtschaft uerlässlich. Ohe detaillierte Simulatioe sid modere Grudlageforschug i der Eergieforschug, de Material- ud Lebeswisseschafte oder auch der Klimaforschug udekbar. Das gilt auch für Schlüsselbereiche der deutsche Wirtschaft: Ob elektroische Geräte, Autos, Flugzeuge, modere Medikamete oder euartige Operatiosverfahre sie alle basiere auf Erketisse aus Simulatioe. High Performace Computig erschließt eue Awedugsfelder im Bereich der Simulatio komplexer sozialer Phäomee oder aspruchsvoller Aufgabe i der Logistik. Gleichzeitig steigt die Komplexität der zugrudeliegede HPC-Architekture ud ihre effiziete Nutzug stellt idustrielle Awederie ud Aweder vor große Herausforderuge: Programme müsse heute massiv parallel arbeite ud dabei sowohl lokale Speicher berücksichtige als auch Speicher, auf dere Ihalte ur über Netzwerke zugegriffe werde ka. Die sich zusätzlich eröffede Möglichkeite durch die Verwedug spezialisierter Hardware, wie Grafikprozessore, erhöhe die Komplexität der Programmierug weiter. Das Competece Ceter High Performace Computig beschäftigt sich i eger Zusammearbeit mit idustrielle ud akademische Parter mit der Frage, wie die immer komplexer werdede Prozessore ud Parallelrecher effiziet geutzt werde köe ud stellt ebe Werkzeuge zum Umgag mit Supercomputer auch komplette Softwarelösuge her. Bei de Werkzeuge ist das Global Adress Space Programmig Iterface (GPI) zu ee, das die Programmierug skalierbarer eg gekoppelter Software erlaubt, also Software, die eierseits mit hoher Frequez kleie Datepakete austauscht ud adererseits ei Problem bei Bereitstellug vo mehr Ressource tatsächlich scheller löst. Setzt GPI explizite Formulierug der Kommuikatiosmuster durch die Awedug voraus, geht das Werkzeug GPI-Space weiter ud automatisiert sowohl Parallelisierug ud Fehlertoleraz als auch Speichermaagemet. Diese Werkzeuge ud auch das am CC HPC etwickelte weltweit führede parallele Dateisystem BeeGFS werde erfolgreich i komplexe kudespezifische Aweduge eigesetzt. Last but ot least arbeitet das CC HPC am Maagemet der Eergiewede mit ihrer fluktuierede Produktio ereuerbarer Eergie. Zeitliche Etkopplug vo Eergieerzeugug ud -verbrauch, Verbrauchsprogose ud -verlagerug, Optimierug des Eigeverbrauches sowie etzdieliches Maagemet verteilter Batteriesysteme werde i alle Facette behadelt. Umfagreiches Wisse über die Kostruktio ud die Steuerug komplexer IT-Systeme fließt ei i die Verfolgug des Ziels eier sichere, ökologische ud wirtschaftliche Eergieversorgug ud Gree by IT ist zu eiem wichtige Geschäftsfeld geworde. 70

4 1 2 3 Smart Meter: besseres Raumklima, iedrigerer Stromverbrauch Das EEG 2014 sieht vor, bis 2050 de Ateil des aus ereuerbare Eergie erzeugte Stroms 1 Der Amperix ei flexi am Bruttostromverbrauch kosteeffiziet auf midestes 80 Prozet auszubaue. Gleichzeitig bles iteretfähiges Eergie steige Eergiekoste stetig. Durch die Projekte mysmartgrid ud EMOS möchte wir diesem messgerät Tred etgegesteuer ud Möglichkeite zur idividuelle Kosteeisparug aufzeige. 2 mysmartgrid-website: I mysmartgrid wurde itelligete Mess-, Regel- ud Steuersysteme etwickelt, um de Eergie- Grafische Darstelluge u verbrauch der Eergieerzeugug azupasse. Etwa 300 Testhaushalte wurde mit etspreche- terstütze das Verstädis der Messhardware ausgestattet, die de Stromverbrauch erfasst. Über eie Iteretaschluss des Haushaltsstromver werde Messwerte a die zetrale mysmartgrid-website übertrage. Teilehmer habe über brauchs; Beutzer köe eie Accout Eiblick i Verbrauchs- bzw. Erzeugugsdate ihrer PV-Alage, welche auf der i die Grafik hiei Website i Form vo Graphike dargestellt werde. Die Teilehmer köe ihre Stromverbrauch zoome. aalysiere ud herausfide, wo sich»stromfresser«befide. Ei weiterer Bestadteil der Website ist das Forum, eie Austauschplattform für die Teilehmer utereiader sowie mit dem 3 Mobile mysmartgrid- Projektteam. Idee werde diskutiert, Probleme erörtert ud gemeisam gelöst. Teilehmer, die Website: Asicht mit itui über eie PV-Alage verfüge, köe durch die Istallatio eier wechselrichteruabhägige tive Icos beim Zugriff PV-Alageüberwachug de Eigeverbrauch über idividuelle Ertragsprogose erhöhe. vo Mobiltelefoe oder Eie Kerkompoete des Projektes ist das HexaBus-System: Um Haushaltsgeräte automatisch Tablets zu steuer, muss eie Kommuikatio mit de Geräte umgesetzt werde. Der HexaBus als IPv6-basiertes Fuksystem ka och mehr: Neue Geräte köe das System utze, um beliebige Zusatzfuktioe umzusetze. Eie Waschmaschie köte also warte, bis der Teilehmer vo uterwegs das Startzeiche gibt. Aufbaued auf mysmartgrid utersucht das Projekt Eergiemaagemet für Mietwohuge mit Ope-Source Smart Meter (EMOS) seit 2013, wie ei optimales Raumklima erreicht werde ka. Ei optimales Raumklima spart Eergie ud damit klimaschädliches CO2. Dies diet icht ur der Umwelt, soder trägt auch zum eigee Wohlbefide bei. Folglich ka durch effizietes Heize ud Lüfte das Wohlfühl-Wohklima eergiespared gesteuert werde. Basiered auf userem Heimautomatisierugssystem HexaBus wurde Geräte etwickelt, die Temperatur ud Luftfeuchte messe ud Hadlugsempfehluge für Bewoher aufzeige. Die aufgezeichete Werte sid für Teilehmer auf der mysmartgrid-website durch visualisierte Darstelluge vergleichbar. Die Rückmeldug über Stromverbrauch ud Raumklima der eigee Wohug hilft dabei, de Eigeverbrauch ud damit Heiz- ud Stromkoste zu seke. Alle Ergebisse dieser Projekte sid frei zugäglich ud basiere auf Ope-Source Kompoete. 71

5 1 DEEP, epigramm ud Eca2ct: EU-Projekte 1 Das Petascale-System Die Europäische Techologieplattform ETP4HPC hat die strategische Bedeutug des Hochleis- SuperMUC am Leibiz- tugsreches als etscheidede Vorteil für das europäische Iovatiosvermöge erkat Rechezetrum i Müche ud eie Ageda erarbeitet, um die europäische High Performace Computig-Techologie a die Weltspitze zu brige. Das Frauhofer ITWM ist Mitglied der ETP4HPC Plattform ud die Abteilug HPC hat wichtige Beiträge i Bezug auf die Kommuikatio vo massiv parallele Programme ud hochskalierbare I/O-Systeme geleistet. Zusamme mit der Europäische Kommissio wird die vo ETP4HPC vorgeschlagee Strategie im derzeitige Forschugsrahmeprogramm Horizo2020 umgesetzt. Das primäre Ziel ist es, bis zum Jahr 2020 Computersysteme zu baue, die im Exa-Bereich reche, d. h Recheoperatioe pro Sekude ausführe. Diese eue Systeme stelle us vor zahlreiche Herausforderuge. Zum Beispiel muss der Eergieverbrauch der Recherkompoete erheblich gesekt werde, um eie Computer mit eier Leistugsfähigkeit im Exa-Bereich wirtschaftlich zu betreibe. Das erfordert radikale Iovatioe bei der Architektur zuküftiger Supercomputer ud de Eisatz vo Computerelemete mit gerigem Stromverbrauch. Auch die Etwicklug skalierbarer Software für die zuküftige Systeme mit Millioe vo Rechekere erfordert eie Paradigmewechsel bei Systemsoftware ud Programmiermodelle. Im dem europäische Projekt DEEP als auch dem Nachfolgeprojekt DEEP-ER wird eie solche Architektur etworfe ud prototypisch umgesetzt. Es hadelt sich um eie sogeate ClusterBooster-Architektur, bei der sich das Gesamtsystem aus eiem Cluster vo Rechekote mit viele Rechekere ud eiem Booster zusammesetzt. Diese Kombiatio bietet maximale Datefluss ud Skalierbarkeit des Boosters. Der Booster-Teil des Systems ka für de Teil der Programme geutzt werde, die hochskalierbar sid, währed der traditioelle Cluster für die Programme geutzt werde ka, die de Datefluss kotrolliere ud Abhägigkeite zu adere Date habe. Im Projekt DEEP hat sich herausgestellt, dass die wachsede Kluft zwische I/O-Badbreite ud Rechergeschwidigkeit eie relevate Herausforderug für die DEEP-Architektur ist, die i DEEP-ER agegage wird. DEEP-ER erweitert die Computerarchitektur basiered auf vielfältige Recherkompoete durch ei hoch-skalierbares I/O-System. DEEP-ER wird eie Prototype mit dem Itel Xeo Phi Prozessor, eier eiheitliche Hochgeschwidigkeitsveretzug der Computerkote, Permaetspeicher auf de Computerkote (NVM) ud a das Netzwerk ageschlossee Speicher (NAM) bereitstelle, um Hochgeschwidigkeitszugriffe auf de Speicher zu uterstütze. Im Projekt passt die Abteilug HPC das hoch skalierbare, effiziete parallele I/O-System basiered auf dem parallele Dateisystem BeeGFS a die DEEP-ERArchitektur a. Erweiteruge des Posix I/O-Stadards werde es de Aweduge erlaube, die verschiedee Ebee des Speichersystems effiziet zu utze. 72

6 Jacobi Precoditioed Richardso, 4000 itrs, 2573, Metis Partitioig Speed-up GPI-2 PETSc Ideal Number of cores 1200 Geerell gilt: Nutzt ma mehr Kere für dieselbe Problemgröße (starke Skalierug), sikt die 2 Skalierug eier Matrix- Rechezeit für jede Kote, währed die Kommuikatioskoste kostat bleibe oder a- Vektor-Basisoperatio im steige. Das bedeutet, dass die Zeit bis zur Lösug des Problems vo de Kommuikatioskos- Vergleich te domiiert wird. Diese Etwicklug begüstigt asychroe, icht-blockierede Kommuikatiosmodelle, die die Kommuikatio a dem frühestmögliche Zeitpukt währed der Ausführug des Programmes starte, so dass die Date rechtzeitig empfage werde, we sie beötigt werde. Außerdem erfordert die steigede Zahl vo Computerkompoete mehr Nebeläufigkeit ud die Fähigkeit, graular zu kommuiziere. Das CC HPC stellt solch ei System bereit: GPI. Das Global Address Space Programmig Iterface (GPI) ist mit Blick auf die Skalierbarkeit paralleler Aweduge etwickelt worde. GPI erlaubt eie effiziete, multi-threaded Kommuikatio mit geriger Wartezeit ud hoher Badbreite, ohe Belastug der Prozessore ud uter Vermeidug vo Zwischekopie der Date. GPI wird als Programmiermodell i zwei EU Projekte, ud zwar EPiGRAM ud EXA2CT, verwedet. Das Ziel des Projektes EPiGRAM ist es, Programmiermodelle für Computer im Exa-Bereich vorzubereite, idem die derzeitige Beschräkuge grudleged ausgewertet werde. EPiGRAM führt eue fortschrittliche Kozepte ei, um die techologische Lücke zu de Programmiermodelle im Exa-Bereich zu fülle. EPiGRAM aalysiert die Philosophie verschiedeer Programmiermodelle ud versucht die beste Eigeschafte der Modelle miteiader zu kombiiere. Ei wichtiger Pukt ist die Iteroperabilität zwische verschiedee Kommuikatiosmodelle. GPI wird i de zwei Aweduge des EPiGRAM Projektes verwedet: NEK5000, ei Strömugsdyamikprogramm (CFD), ud IPIC3D, ei Programm zur Simulatio vo Weltraum ud Fusiosplasme. Das Projekt EXA2CT brigt Experte aus der Etwicklug vo Löser umerischer Gleichuge ud HPC-Softwarearchitekte vo Programmiermodelle a eie Tisch. Die Weiteretwicklug vo Simulatioe als Wisseszweig beruht zuehmed auf recheitesive Modelle, die mehr Computerressource beötige. Da die Leistugsfähigkeit eies eizele Prozessorkers ur bis zu eier gewisse Greze erhöht werde ka, werde Systeme im Exa-Bereich auf stark parallelisierte Programme beruhe. Im Rahme des Projektes uterstützt das CC HPC die Parter bei der Nutzug des GPI-Programmiermodells ud etwickelt es weiter, um isbesodere die Etwicklug mathematischer Softwarebibliotheke zu uterstütze. Das wichtigste Ziel ist, dass die Programme utzerfreudlich für die Awedugsetwickler werde. Währed des Projektes werde prototypische Aweduge etwickelt, die als Blaupause für große realistische Awedugsprogramme diee. 73

7 DOMAIN SPECIFIC PARALLEL PROGRAMMING SYSTEM FAILURE TOLERANT DISTRIBUTED RUN-TIME SYSTEM PARALLEL I/O PROCESSING MODULES IN ANY LANGUAGE GENERAL WORKFLOW ENGINE FAILURE TOLERANCE LEGACY BINARIES AUTOPARALLELIZATION ENGINE PARALLELIZATION PATTERNS VISUALIZATION COMPONENTS STREAMING LAYER DATA MANAGEMENT PROVIDED BY USER VIRTUAL MEMORY LAYER WORKFLOWS GENERIC PART DOMAIN SPECIFIC PART 1 Big Data: kompeteze ud Projekte 1 Die Kerkompoete Nebe klassische HPC-Aweduge wie Simulatioe hat sich Big Data i de letzte Jahre vo GPI-Space i der Über als ei wichtiges Awedugsfeld für Großrecher etabliert. Absolute Performace ud Durch- sicht, zusamme mit Beut satz bei der Verarbeitug vo Date spiele für Uterehme aus de uterschiedlichste Be- zer- ud HPC-spezifische reiche eie immer größere Rolle. Die Aalyse extrem großer Datemege erlaubt icht ur Kompoete eue Geschäftsmodelle für die Idustrie, auch Forschug ud Etwicklug köe basiered auf fortschrittlicher Techologie eue Atworte erhalte. Persoalisierte Idustrie, Idetifikatio vo Krakheitsmarker, Geomaalyse für alle, Gebäudesteuerug oder Prozessüberwachug für eizele Bauteile sid hier Stichworte. Das CC HPC hat i de letzte Jahre verstärkt a dezidiert adere ud eue Asätze zu de scheibar alterativlose Stadards im Bereich Big Data geforscht ud gearbeitet. Aufbaued auf GPI ud uter Berücksichtigug ud Weiteretwicklug vo Paradigme aus dem Cloud-Umfeld erstellt das CC HPC die Etwicklugsplattform ud Laufzeitumgebug GPI-Space. Es hadelt sich dabei um ei Werkzeug, das die Etwicklug ud fehlertolerate Ausführug paralleler Software erheblich vereifacht ud für Big Data-Aweduge prädestiiert ist. GPI-Space löst dazu zwei der wichtigste ud immer och offee Probleme bei der Verarbeitug extrem großer Date: das Programmiermodell für etsprechede Aweduge ud die Ausführugsumgebug. Kezeiched für GPI-Space ist die Abkopplug des Awedugsetwicklers vo de Aforderuge, die a eie Etwickler für ei HPC-System gestellt werde; es gibt ihm also die Freiheit, sich auf die Lösug seies awedugsspezifische Problems zu kozetriere. HPC-Experte köe sich uabhägig davo ud zeitgleich um die für die jeweilige Awedugsdomäe relevate Parallelisierugsprobleme wie I/O, Zerlegbarkeitsmuster, Fehlertoleraz, Datemaagemet ud Workflows kümmer. GPI-Space führt diese Domäe- ud HPC-Kompoete zusamme ud ermöglicht die fehlertolerate, dyamische, parallele Ausführug selbst bereits existiereder sequetieller Programme. Nebe der Möglichkeit, existierede Date auf eiem schelle lokale Dateisystem zu aalysiere, wurde auch ei Streamig-Layer itegriert, der die Dateverarbeitug direkt vo der Quelle ud ohe Zwischespeicherug erlaubt. Der i GPI-Space verwedete virtuelle Speicher basiert auf eiem schelle itere Hauptspeicher ud icht, wie i adere Big Data-Lösuge, auf eiem lagsame extere Plattespeicher. Allei dadurch verkürze sich Atwortzeite erheblich, isbesodere we gleiche Date uter mehrere Gesichtspukte betrachtet werde solle. Der virtuelle Speicher ist zudem uabhägig vo kokrete Aweduge ud erlaubt dere eifache ud direkte Kopplug. Die Laufzeitumgebug vo GPI-Space ist icht ur fehlertolerat, soder auch voll dyamisch 74

8 Cliets Maagemet Server direct, parallel file access Metadata Servers... Graphical Admiistratio ad Moitorig System Storage Servers SOURCES 2 GPI-SPACE BEEGFS 3 ud erlaubt es, die Größe ud Struktur der verwedete Maschie währed der Laufzeit eies 2 Mithilfe des Streamig Algorithmus zu veräder bzw. i verschiedee Phase die jeweils optimale Topologie zu ver- Layers ka GPI-Space wede. Auch das ist ei großer Vorteil gegeüber existierede Lösuge, die üblicherweise Date sowohl direkt vo währed der gesamte Laufzeit so viele Ressource bereithalte müsse, wie der hugrigste Quelle als auch vo Datei Teil der Awedug beötigt. systeme verarbeite ud kombiiere. BeeGFS bisher uter dem Name FhGFS bekat ist das am CC HPC etwickelte parallele Dateisystem. Vo Afag a ware Skalierbarkeit, maximale Performace, Flexibilität sowie 3 Übersicht über die Ar eifache Bediebarkeit die Eckpfeiler bei der Etwicklug ud sid heute die Eigeschafte, die chitektur vo BeeGFS: So es für eie immer breiter ud globaler werdede Nutzerbasis so attraktiv mache. Um das bei- wohl Azahl als auch physi zubehalte, wurde im vergagee Jahr vor allem auch itere Optimieruge vorgeomme, sche Platzierug vo aber auch eue sichtbare Features wie Quota-Uterstützug hizugefügt wurde Verkauf Storage Server, Metadate- sowie Support a ThikParQ ei Spi-Off des Frauhofer ITWM ausgelagert ud auch der Server ud Cliet-Prozes eue Produktame vorgestellt. Das CC HPC bleibt aber weiter treibede Kraft hiter der Et- se sid variabel ud er wicklug ud hat jügst das»scalability Lab«i Betrieb geomme, mit dem Dateisystem ud mögliche dem Nutzer Kompoete fit für die Herausforderuge i eier Exascale-Umgebug gemacht werde. größtmögliche Flexibilität. Ziel eier Iitiative vo Frauhofer ud eiige Parter aus der Idustrie ist die Etwicklug eies Echtzeit-Überwachugssystems für itelligete Eergiezähler (Smartmeter) i große Gebäudekomplexe wie Krakehäuser, Uiversitäte, Hotels, Bürogebäude etc. Diese Smartmeter sid i Verteilerkäste a Schlüsselpositioe ierhalb der Gebäude agebracht ud liefer Echtzeitdate direkt a eie auf GPI-Space basierede Awedug. Dort werde die Date mithilfe moderster Algorithme auf bestimmte Muster hi utersucht. Dies ermöglicht eie icht-ivasive, gerätespezifische Lastüberwachug, ohe jedes Gerät selbst a ei Smartmeter aschließe zu müsse. Die Aalyse der Echtzeitdate sowie Laufzeitaalyse mit gespeicherte Date erlaube es, de Eergieverbrauch des Gebäudes zu optimiere ud zu plae. Mittels Data Miig ka da u. a. eie Vorhersage über de zuküftige Eergieverbrauch auf Grudlage voragegageer Jahre, Moate, Woche ud Tage erstellt werde, die auch zur optimale Nutzug vo vor Ort erzeugter Eergie, z. B. aus Solarzelle, geutzt werde ka. Nebe dieser Plaug lasse sich mit dieser Methode auch eizele Geräte mit hohem Eergieverbrauch eifach überwache, so dass diese bei Nichtutzug automatisch ausgeschaltet oder Fehlfuktioe erkat werde köe. 75