High Performance Computing für die rasterbasierte Modellierung

Transkript

1 High Performance Computing für die rasterbasierte Modellierung André ASSMANN, Martin SCHROEDER und Martin HRISTOV Zusammenfassung Die im Rahmen von FloodArea HPC erarbeiteten Parallelisierungs- und Optimierungsfunktionen eröffnen durch einen erheblichen Performancegewinn ganz neue Möglichkeiten der rasterbasierten Modellierung. Neben der Gewinnung von ganz neuen Einsatzgebieten ergibt sich eine deutliche Reduzierung des Arbeitsaufwandes in den bestehenden Bereichen. Die Erarbeiteten Methoden lassen sich leicht auch für andere 2-dimensionale rasterbasierte Modellierungsprozesse einsetzen, die entsprechende Modelltechnik gewinnt durch diese Produktivitätssteigerung neues Potenzial. 1 Situationsanalyse Hydrodynamische Simulationen von Hochwasserereignissen sind schon seit eher dafür bekannt, erhebliche Systemressourcen zu benötigen. Noch vor ca. 10 Jahren war es zudem fast undenkbar, rasterbasierte Simulationstechniken für die Arbeitsabläufe im Ingenieuralltag einzusetzen. Inzwischen konnten sich einige rasterbasierte Modelle etablieren, zu ihnen gehört das hydrodynamische Modell FloodArea oder aber verschiedene Bodenerosionsmodelle wie LISEM oder Erosion3D. Die Rechenzeiten für große Projektgebiete benötigen dennoch in den bisherigen Versionen bis zu einigen Tagen und die Rastergrößen waren durch die Ausstattung des jeweiligen PCs bzw. das Betriebssystem begrenzt, so beispielsweise bei FloodArea bei aktueller Rechnerausstattung auf etwa 10 Millionen Rasterzellen. Größere Gebiete wie z.b. das Bundesland Sachsen mussten im Rahmen des Sachsen-Atlas gekachelt, d.h. manuell in einzelne Teilgebiete unterteilt werden. Dabei entstehen aber neue Probleme, da dann der Wasseraustausch zwischen den einzelnen Kacheln nicht mehr automatisch erfolgt. Eine separate Behandlung solcher Randsituationen muss situationsbedingt und damit mit hohen manuellen Aufwand gesteuert werden. Teilweise ist eine Problemlösung nur mit Hilfe großer Überlappungen möglich, die wiederum zusätzliche Rechenzeit benötigen. Bestimmte Szenariovarianten wie Deichbrüche konnten nur innerhalb einer Kachel korrekt behandelt werden und unterlagen dann den Systemlimitationen für die Gebietsgröße. Durch die immer verbreitetere Verfügbarkeit von Laserscan-Daten mit Auflösung von bis zu unter 1m sind die Anforderungen an die Datenhaltung und -verarbeitung wiederum enorm gestiegen. Trotz einigen Versuchen, die Daten sinnvoll auszudünnen, zeigt sich, dass in jedem Fall ein großer Teil der relevanten Information verloren geht. Gerade im Vorland können kleinste lineare Strukturen erheblichen Einfluss auf die Form der Überflutungsbereiche haben.

2 20 A. Assmann, M. Schroeder und M. Hristov Die benötigte Rechenleistung erhöht sich durch eine Verfeinerung der Rasterweite jedoch enorm, so bedeutet eine Reduktion der Rasterweite um den Faktor 10 ungefähr einen fach höherer Rechenaufwand. Dieser ergibt sich durch die im Quadrat zunehmende Anzahl von Berechungsknoten, ebenso wird mit der kleineren Rasterweite aber auch eine entsprechende Verkleinerung des Zeitschrittes notwendig. 2 Technische Neuerung Eine Verbesserung der Performance ist häufig durch eine Optimierung der Algorithmik möglich, bei FloodArea waren hier ca. 30 % Rechenleistungsgewinn erzielbar. Durch den Einsatz von MultiThreading konnten auch die Fähigkeiten aktueller Dual- oder Multi-Core- Systeme erschlossen werden, dies erhöhte die Leistungsfähigkeit ungefähr im Verhältnis der eingesetzten Prozessoren. Trotz der so erreichten erheblichen Steigerung der Leistungsfähigkeit war sie hinsichtlich des Bedarfs jedoch noch deutlich zu gering. Durch die Kopplung beliebig vieler Rechner (Nodes) zu einem Cluster konnte die CPU- Leistung und der Arbeitsspeicher entsprechend dem Bedarf erhöht werden. Getestet wurde die Software u.a. auf einem Cluster mit 128 CPUs, damit sind zunächst einmal bezüglich der Geländemodellgröße keine realen Begrenzungen mehr gegeben, eher ist dann schon das Preprozessing der entsprechenden Raster der limitierende Faktor. Ob bei einer sehr großen Anzahl von Prozessoren die Auslastung der einzelnen CPUs noch optimal ist, hängt sehr von den jeweiligen Randbedingungen der Simulation ab und muss im Detail noch getestet werden. Bei einer eher üblichen Anzahl von 20 bis 30 verfügbaren CPUs liegt die Auslastung in den meisten Fällen über 90 % und ist damit nicht mehr wesentlich verbesserungsfähig. Dabei übernimmt ein Server die Steuerung des Rechenprozesses und teilt allen verfügbaren Rechnern entsprechend ihrer Leistungsfähigkeit Rechenkacheln zu. Die über den Kachelrand fließenden Wassermengen müssen dann nach jedem Iterationsschritt mit den jeweiligen Nachbarn ausgetauscht werden. Daher ist es notwendig, dass alle Rechner für jeden Iterationsschritt möglichst die gleiche Zeit benötigen. Dies ist nur durch eine Optimierung der Rechenverteilung möglich. Da sich der Rechenaufwand für jede Rechenkachel aber im Laufe der Simulation kontinuierlich verändert, muss die Optimierung die sich dadurch ergebenden Veränderungen stetig nachkorrigieren. Dabei sollte jedoch nur eine möglichst kleine Anzahl von Kacheln von einem Rechner auf den anderen verschoben werden, da diese Transferzeiten verlorene Rechenzeit für den gesamten Cluster bedeuten.

3 High Performance Computing für die rasterbasierte Modellierung 21 Abb. 1: Architektur von Cluster und WebConsole FloodArea HPC unterstützt neben Windows auch die Betriebssysteme SOLARIS und LINUX (auch im Parallelbetrieb). Hierbei konnte festgestellt werden, das bei gleicher Rechner-Ausstattung die UNIX/LINUX-Systeme fast die doppelte Leistungsfähigkeit gegenüber dem mit Windows XP ausgestatteten PC erreichten. Beim Aufbau des Clusters können dabei Nodes unterschiedlicher Betriebssysteme gemischt werden. Wichtig für den Rechenablauf ist, dass während der Simulation einzelne Rechner aus dem Cluster entfernt oder hinzugefügt werden können. Nur so lassen sich große Simulationsrechnungen umsetzen, ohne den normalen Büroalltag störend zu beeinflussen und dennoch möglichst alle verfügbaren Ressourcen zu nutzen (Urlaub, Abwesenheit, Nacht und Wochenende).

4 22 A. Assmann, M. Schroeder und M. Hristov Abb. 2: Screenshots des Nutzerinterface zur Clustersteuerung Auch gegenüber einem plötzlichen Rechnersaufall (versehentliches Abschalten, Hardwaredefekt) muss sich das Gesamtsystem stabil verhalten. Dies ist durch ein automatisches Backup verwirklicht, im Falle des Ausfalls eines Rechners wird dann die Simulation auf das letzte Backup zurückgesetzt und dann mit einer neuen Verteilung automatisch fortgesetzt. Neben den Vorteilen für sehr große Gebiete wie gesamte Flusseinzugsgebiete lässt sich bei normalen Gebietsgrößen die Rechenzeit drastisch senken. Unter realistischen Rahmenbedingungen (übliche Büroausstattung) wird eine Verkürzung der Rechenzeit um den Faktor 30 und mehr erreicht und so die Modelltechnik auch für den operativen Einsatz verfügbar. Um direkt Simulationszeiten vergleichen zu können, wurde mit einem Testmodell Vergleichsberechungen durchgeführt. Das Modell hat eine Fläche von 100 km² und wurde in einer Auflösung von 10 m bzw. 1m aufbereitet. In dieses Gebiet wurde eine Ganglinie eingespeist und zudem noch mehrere Pumpverbindungen eingerichtet. Da das Testgelände zudem sehr flach war, verteilte sich das Wasser fast über das gesamte Gebiet. Diese Annahmen sind sozusagen der worst case bezüglich der Rechenanforderungen, bei realen Gebieten können die Rechenzeiten gut um den Faktor 10 geringer ausfallen. Verglichen wurde ein PC mit Windows XP, einem 2.4 Opteron Dual Core und 2 GB Hauptspeicher mit

5 High Performance Computing für die rasterbasierte Modellierung 23 einem Mini-Cluster bestehend aus einem Solaris-Rechner mit 8 CPU und 16 GB Hauptspeicher. Das 10-m-Modell konnte noch mit beiden Systemen berechnet werden, es ergab sich eine Verkürzung von 1 Tag 16 h 31 min auf 2 h 28 min, das entspricht einer Reduzierung der Rechenzeit um den Faktor 16,2. 48:00 42:00 36:00 Cluster 10m-Raster Single 10m-Raster Rechenzeit [h] 30:00 24:00 18:00 12:00 6:00 0:00 0:00 2:00 4:00 6:00 8:00 10:00 12:00 Realzeit [h] Abb. 3: Verhältnis der Rechenzeit von Normalversion zu Cluster-Version 3 Auswirkungen auf den praktischen Modelleinsatz In der Projektpraxis bedeutet die drastische Beschleunigung der Simulation sowie die Aufhebung der Limitierungen bezüglich der Gebietsgröße eine erheblich Erleichterung für den Arbeitsablauf bei einer zusätzlichen Verbesserung der Ergebnisse. Weder die Aufteilung in Teilgebiete ist mehr notwendig noch die spätere Überprüfung der Kachelränder auf mögliche Unstimmigkeiten. Der personelle Arbeitsaufwand für die eigentliche Simulation ist damit auf ein Minimum reduziert worden. Im Rahmen des Projektes Oderregio II erfolgte ein erster Projekteinsatz von FloodArea HPC, dabei hatte das zu Grunde liegende DHM eine Größe von etwas mehr als einer halben Milliarde Rasterzellen. Das Gebiet konnte ohne Unterteilung modelliert werden und der Simulationsaufwand reduzierte sich von ca. 3 Monaten pro Szenario auf ca. 1 Woche. Durch die erhebliche Verbesserung der Leistungsfähigkeit in der Modellierung ist die Abarbeitung neuer Szenariotypen wie beispielsweise der Überlagerung einzelner Deichbruchszenarien möglich geworden, die bisher aufgrund der Rechenaufwandes ausschieden. Daneben ist auch der operative Modelleinsatz möglich geworden.

6 24 A. Assmann, M. Schroeder und M. Hristov 4 Übertragbarkeit auf andere Modelle Da der hydraulische Modellkern und die Parallelisierungsroutinen im Code voneinander getrennt verwaltet werden, ist ein Austausch des Rechenkerns denkbar. Da das Verfahren auf rasterbasierte Modellierung angepasst wurde, die iterativ arbeiten, sind auch in diesem Bereich mögliche neue Anwendungsfelder zu suchen. Beispiele wären Modelle für Bodenerosion oder Massenbewegungen. Literatur ASSMANN, A., GRAFE, M., RUNGE, I. & F. THÄGER (2006): Einflüsse des Berechungsverfahrens und der Qualität der Grundlagendaten auf die Ermittelung überschwemmungsgefährdeter Gebiete. In: Hydrologie und Wasserbewirtschaftung 50, H. 1: ASSMANN, A. & E. RUIZ RODRIGUEZ (2002): Modellierung im GIS Erfahrungen beim Einsatz eines rasterbasierten Modells für Überschwemmungssimulationen. In: Geo- BIT 7/2002: ASSMANN, A. (2005): Simulation von Überflutungsflächen und Deichbrüchen auf der Grundlage von Rasterdaten. In: WITTMANN, J. & N. XUAN THINH (Hrsg.): Simulation in den Umwelt- und Geowissenschaften: GEOMER GMBH (2006): FloodArea ArcGIS-Erweiterung zur Berechnung von Überschwemmungsbereichen, Anwenderhandbuch. Heidelberg. HRISTOV, M. (2006): Parallelisierung einer auf Höhenmodellen basierenden Überschwemmungssimulation. Diplomarbeit am Lehrstuhl für Rechnertechnik und Rechnerorganisation/Parallelrechnerarchitektur der Technischen Universität, München.