Beschleunigung und Kopplung von Simulationsmodellen der gesättigten und ungesättigten Bodenzone

Transkript

1 Fakultät Forst-, Geo- und Hydrowissenschaften, FR Hydrowissenschaften, Institut für Abfallwirtschaft und Altlasten Beschleunigung und Kopplung von Simulationsmodellen der gesättigten und ungesättigten Bodenzone Kölpinsee, Dipl.-Geoinf. Martin Meyer Dipl.-Hydrol. Jana Sallwey Prof. Dr. Peter-Wolfgang Graeber

2 Das EGSIM-Projekt Entwicklung eines gekoppelten Modells zur Simulation des Wasserflusses in Bergbauregionen aktuell: reines Grundwassermodell PCGeofim Einfluss von Prozessen in der ungesättigten Zone auf die Grundwasserneubildung wird nicht berücksichtigt unterschiedliche Witterungsbedingungen unterschiedliche Bodentypen TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 2 von 38

3 Das EGSIM-Projekt WETTERGENERATOR OBERFLÄCHE Atmosphärische Generierung synthetischer Bedingungen Zeitreihen (Niederschlag, des Niederschlags Temperatur, und Verdunstung, der Lufttemperatur Hangneigung zur, Strahlung, Berechnung Pflanzenbewuchs) einer oberen RB Evapotranspiration Niederschlag Oberflächenabfluss Grundwasserneubildung Sickerwasser PCSiWaPro stoffe Simulation des Wasserflusses und Stofftransports in einem 2D vertikalen Finite-Elemente-Modell der ungesättigten Bodenzone Ungesättigte Bodenzone Kapillarsaum PCGeofim Simulation des Wasserflusses und Stofftransports in einem 2D/3D-Finite-Volumen-Modell der Grundwasserzone Grundwasser TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 3 von 38

4 Überblick PCSiWaPro stoffe Simulation des Wasserflusses und Stofftransports in einem 2D vertikalen Finite-Elemente-Modell der ungesättigten Bodenzone Überblick 1. Das Programm PCSiWaPro 2. Beschleunigung PCGeofim Simulation des Wasserflusses und Stofftransports in einem 2D/3D-Finite-Volumen-Modell der Grundwasserzone 3. Kopplung mit PCGeofim TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 4 von 38

5 Überblick PCSiWaPro stoffe Simulation des Wasserflusses und Stofftransports in einem 2D vertikalen Finite-Elemente-Modell der ungesättigten Bodenzone Überblick 1. Das Programm PCSiWaPro 2. Beschleunigung PCGeofim Simulation des Wasserflusses und Stofftransports in einem 2D/3D-Finite-Volumen-Modell der Grundwasserzone 3. Kopplung mit PCGeofim TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 5 von 38

6 Gleichungen zur Beschreibung des Wasserflusses in der ungesättigten Bodenzone: RICHARDS-Gleichung Retentionsfunktion nach VAN GENUCHTEN/LUCKNER t x i K K A ij h x j K A iz S r 1 r, w h c n r, l 1 1 n t x i K h S Volumetrischer Wassergehalt Zeit (x 1 =x, x 2 =z) Raumkoordinaten Hydraulische Leitfähigkeit Druckhöhe Quellen-/Senkenterm Porosität r,w Restwassergehalt r,l n h c Restluftgehalt Skalierungsfaktor (VAN GENUCHTEN) Anstiegsfaktor (VAN GENUCHTEN) Druckhöhe TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 6 von 38

7 PCSiWaPro zur Simulation von Wasserfluss in der ungesättigten Bodenzone (1) Modellgenerierung (2) Systemlösung (3) Ergebnisanzeige TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 7 von 38

8 PCSiWaPro zur Simulation von Wasserfluss in der ungesättigten Bodenzone (1) Modellgenerierung (2) Systemlösung (3) Ergebnisanzeige TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 8 von 38

9 Integrierter 1D-/2D-Netzgenerator TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 9 von 38

10 Dateneingabe über GUI Daten aus: (1) integrierten Datenbanken (DIN 4220, ) (2) Pedotransfer- funktionen (3) Messdaten TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 10 von 38

11 PCSiWaPro zur Simulation von Wasserfluss in der ungesättigten Bodenzone (1) Modellgenerierung (2) Systemlösung (3) Ergebnisanzeige TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 11 von 38

12 Numerische Lösung der RICHARDS-DGL Diskretisierung Raum: finite Elemente Zeit: adaptive finite Intervalle mehrfache Lösung eines linearen Gleichungssystems für jeden Zeitschritt direkt: GAUSS-Elimination iterativ: ILU-vorkonditioniertes konjugiertes Gradientenverfahren Problem: lange Simulationslaufzeiten! TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 12 von 38

13 Simulation (Beispiel Dammdurchströmung) TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 13 von 38

14 PCSiWaPro zur Simulation von Wasserfluss in der ungesättigten Bodenzone (1) Modellgenerierung (2) Systemlösung (3) Ergebnisanzeige TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 14 von 38

15 Ergebnisanzeige TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 15 von 38

16 Mögliche Anwendungsgebiete von PCSiWaPro : Sickerwasserprognose Dammdurchströmung Kapillarsperren Deponieabdeckung Versickerung aus Kleinkläranlagen TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 16 von 38

17 Überblick PCSiWaPro stoffe Simulation des Wasserflusses und Stofftransports in einem 2D vertikalen Finite-Elemente-Modell der ungesättigten Bodenzone Überblick 1. Das Programm PCSiWaPro 2. Beschleunigung PCGeofim Simulation des Wasserflusses und Stofftransports in einem 2D/3D-Finite-Volumen-Modell der Grundwasserzone 3. Kopplung mit PCGeofim TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 17 von 38

18 Beschleunigung durch Parallelisierung! 2 Arten: automatisch (Compiler, Hardware) manuell (Quellcode) nur für unabhängige Codeabschnitte möglich: do i = 1, a(i) = 3*i + 16 end do nicht möglich: parallele Berechnung mehrerer Zeitschritte einer Simulation Konzept: Aufteilung & Synchronisierung von Arbeit & Daten TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 18 von 38

19 Konzept 1: OpenMP (Open Multi-Processing) Aufteilung von Schleifeniterationen verschiedene Threads mit Zugriff auf gemeinsamen Speicher inkrementelle Parallelisierung do i = 1, a(i) = 3 * i + 16 end do T1: i = 1, 5000 T2: i = 5001,10000 T3: i = 10001, T4: i = 15001, TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 19 von 38

20 Konzept 2: MPI (Message Passing Interface) Aufteilung von Arbeit und Daten verschiedene Prozesse arbeiten weitgehend unabhängig an unterschiedlichen Teilen des Datensatzes verteilter Speicher komplette Parallelisierung TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 20 von 38

21 Skalierung: Amdahls Gesetz T(p) Laufzeit eines Programms mit p Prozessen/Threads s nicht parallelisierbarer Teil des Programms (0<s<1) S(p) Beschleunigungsfaktor durch p Prozesse/Threads ( Speedup ) S(p) = T(1) / T(p) = 1 / (s + (1-s) / p) (1) s=0 S(p) = p (2) p= S(p) = 1 / s TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 21 von 38

22 individuelle Herausforderungen OpenMP: Überarbeitung von Schleifen für Parallelisierbarkeit nicht immer möglich MPI: Kommunikation an internen Modellgrenzen rechenaufwändigste Programmteile: (1) Aufstellung der Matrix der diskretisierten RICHARDS-Gleichung (2) Lösung des LGS Testen paralleler Löserbibliotheken TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 22 von 38

23 Direkte parallele Gleichungslöser Bibliotheken OpenMP: Pardiso (Intel Math Kernel Library) MPI: MUMPS (Université de Toulouse, ENS Lyon) Schritte: (1) Faktorisierung der Matrix (LU, Cholesky, ) sehr rechenaufwändig! (2) Lösung der Dreieckssysteme A x = L U x = B L (U x) = L y = B y A = L U U x = y x TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 23 von 38

24 Iterative parallele Gleichungslöser Bibliotheken mit versch. Lösern und Vorkonditionierern MPI: PETSc (Argonne National Laboratory) MPI: Lis (Japan Science and Technology Agency) Ergebnis: MPI nicht anwendbar r = A x B precon(a) (1) Rechnertyp while(norm(r) > tol) (2) Softwaretyp calculate(x) (3) Knotenanzahl r = A x - B TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 24 von 38

25 Alternative: Multigrid-Löser SAMG entwickelt am Fraunhofer-Institut exzellente Konvergenz parallelisiert mit OpenMP TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 25 von 38

26 Laufzeiten für SAMG (4 Threads, Intel Xeon 3470, 2.93 GHz, 8GB RAM) Modell 1 Modell 2 Modell 3 Knoten Nicht-Null SAMG 16,1s 1m15s 0h22m21s sequentiell 11,6s 1m33s 3h40m35s % -39% +19% +89% TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 26 von 38

27 Laufzeiten für SAMG (4 Threads, Intel Xeon 3470, 2.93 GHz, 8GB RAM) Modell 5 Modell 6 Modell 7 Modell 8 Knoten Nicht-Null SAMG 1m36s 1m15s 1m28s 2m25s sequentiell 1m53s 1m34s 2m09s 12m21s % TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 27 von 38

28 Überblick PCSiWaPro stoffe Simulation des Wasserflusses und Stofftransports in einem 2D vertikalen Finite-Elemente-Modell der ungesättigten Bodenzone Überblick 1. Das Programm PCSiWaPro 2. Beschleunigung PCGeofim Simulation des Wasserflusses und Stofftransports in einem 2D/3D-Finite-Volumen-Modell der Grundwasserzone 3. Kopplung mit PCGeofim TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 28 von 38

29 Anforderungen an die Kopplung Modellierung Software Simulation Beschreibung der Schnittstelle Definition der Austauschparameter Implementierung von Software- Kommunikation Auswahl des Datentransferformats Anpassung der Programmcodes Festlegung der Interaktionsreihenfolge Abbildung der Modellskalen TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 29 von 38

30 PCGeofim : Simulationsprogramm für Grundwasser- strömungen in Bergbauregionen horizontale Finite-Volumen-Diskretisierung bisher: statische Modellierung der GW-Neubildung TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 30 von 38

31 Reale Schnittstelle: GW-Spiegel als Ort der GW-Neubildung Transferparameter: GW-Neubildungsrate berechnet von PCSiWaPro über interne Flüsse an Knoten des aktuellen GW-Spiegels Übergabe an PCGeofim als obere Randbedingung Q Transferparameter: vertikale Position des GW-Spiegels Übergabe von PCGeofim an PCSiWaPro, dort h Anpassung des aktuellen Sättigungszustands TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 31 von 38

32 Modellierungsschnittstelle: Verbindung eines 1D/2D- und eines 2D/3D-Modells (1) PCSiWaPro als obere RB an Punkten (1D) eines beliebigen PCGeofim -Modells (2) PCSiWaPro - und PCGeofim -Modell sind Schnitte (2D) Abbildung über: (1) Modellstruktur (2) Diskretisierung Transferparameter: horizontale Position der GW-Neubildung Ton Sand Abbildung: PCSiWaPro -Knoten PCGeofim -Elemente TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 32 von 38

33 Interaktionsreihenfolge: parallel Modelle müssen Austauschzeitpunkte exakt erreichen Vergleich zu sequentieller Kopplung: Vorteil: höhere Modellierungsgenauigkeit Nachteil: höhere Wahr- scheinlichkeit numerischer Instabilitäten (unterschiedliche Modellskalen) TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 33 von 38

34 Softwarekommunikation: two-ways loose linking (Klassifikation nach GUZHA, 2008) TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 34 von 38

35 Softwarekommunikation: shared linking (Klassifikation nach GUZHA, 2008) (a) Datenkopplung (b) GUI-Kopplung TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 35 von 38

36 technische Implementierung der Softwarekommunikation: Datenaustausch während der Simulation über: (1) Dateien (2) gemeinsam genutzter interner Speicher nach der Simulation: gemeinsame Datenspeicherung wie: (1) Access-Datenbank (2) HDF5-Datei(en) was: (1) komplette Projektdaten beider Programme (2) Zeitreihen der ausgetauschten Randbedingungen TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 36 von 38

37 Zusammenfassung Zusammenfassung 1. Wir haben zwei individuelle Simulationsprogramme für unterschiedliche Modellierungsgebiete PCSiWaPro simuliert Prozesse der ungesättigten Zone PCGeofim simuliert Prozesse der gesättigten Zone. 2. PCSiWaPro - und PCGeofim -Simulationen wurden durch die Integrierung eines OpenMP-parallelelisierten Multigrid-Gleichungs- Lösers signifikant beschleunigt. 3. Ansätze für die Kopplung beider Modelle existieren, deren Implementierung und Validierung stehen noch aus. TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 37 von 38

38 Vielen Dank für Ihre Aufmerksamkeit! TU Dresden, Beschleunigung und Kopplung von Simulationsmodellen Seite 38 von 38