Zeitreihenmanagement im Rahmen von HOWIS Erft Aachen, 18.11.2008 Dr. Tilo Keller Erftverband 1
Inhalt Motivation und Ziele Konzeption Datenmanagement Verarbeitung der punktuellen Daten Verarbeitung der Rasterdaten Kombination der Eingangsdaten Fazit und Ausblick 2
Howis Erft: Motivation und Ziele Erfahrungen aus der Elbflut 2002 Klimawandel Schadpotenzial in der Erftaue Technologische Entwicklungen Hochwasservorhersage- und Informationssystem für das Erfteinzugsgebiet Aufbereitung und Visualisierung der relevanten Informationen Nutzung von Niederschlags- Abflussvorhersagen Hohe Betriebssicherheit Dokumentation (Nachverfolgung) 3
Howis Erft: Konzeption Datenerfassung und -übertragung Datenaufbereitung, -visualisierung, -auswertung Hochwassersimulation Hochwassermanagementsystem HW- Gefahrenkarte Alarm- / Einsatzpläne Geodaten Listen 4
Eingangsdaten (punktbezogen) Niederschlags- (Temperatur, Feuchte) Messungen Wasserstands- (Abfluss) Messungen Beckenfüllstände Einleitmengen Callisto 5 Aqua ZIS e-mail
Eingangsdaten (punktbezogen) Weiterverarbeitung der punktuellen Niederschläge Interpolation der Stationsdaten auf 464 Teileinzugsgebiete des hydrologischen Modells (IDW) nach täglichem Abruf bei Bedarf (manuell) 6
Eingangsdaten (räumlich) Radarprodukte Meteorologisches Institut Bonn RM: Eigene Daten (Fünfminutensummen) CU: Komposit eigene Daten DWD Daten Kürzestfristvorhersage (in Arbeit) DWD RZ: Fünfminutensummen RY: Fünfminutensummen, qualitätsverbessert, zeitverzögert RW: Stundensummen, mit Stationen angeeicht (stündliche Aktualisierung) RQ: Stundensummen für die nächste und übernächste Stunde (viertelstündliche Aktualisierung) 7
Radardaten Stundensummen und Prognosen RW "best"-angeeichte Radardaten, Stundensumme 26.9.2007: 12:50 13:50 RQ Prognose für (26.9.2007: 12:45-13:45) 8
Radardaten 5 - Minutensummen CU Komposit (MIUB) 9
Eingangsdaten (räumlich) Numerische Wettervorhersagemodelle COSMO DE (LMK): 2,8 km Auflösung 21 Stunden Vorhersage alle 3 Stunden COSMO EU (LME): 7 km Auflösung 78 Stunden Vorhersage alle 12 Stunden GME: 56 km Auflösung 174 Stunden Vorhersage alle 12 Stunden 10
COSMO - DE Daten (Beispiel) Niederschlagsvorhersage während des Septemberhochwassers an der oberen Erft (27.9.2007 07:30-28.9.2007 7:30) Prognose: COSMO-DE 27.9.2007 07:00 Messung: Interpolierte Stationen Niederschlagssummen [mm] 11
Verarbeitung der Rasterdaten (online) 2-11 MB/Tag AquaZIS Server MIUB CU: Radar Komposit (CU) FOR 30: Radar Vorhersage 30 min FOR 60: Radar Vorhersage 60 min FOR 120: Radar Vorhersage 120 min FTP (15 min) Radardaten: Aggregation auf Teilgebiete Umwandlung in ZR Modelldaten: Umwandlung in ZR Server DWD Server EV Server Wasserverbände RQ: Radar Vorhersagen RY: Radar 5 Minutensummen RW: Radar Stundensummen RZ: Radar 5 Minutensummen COSMO-DE COSMO-EU FTP (15 min) GME Server Wasserverbände (EGLV) NASIM 80 MB/Tag WebGIS 12 TSTP
Kombination der Niederschlagsdaten Automatische Zusammenfassung von Zeitreihen für jedes Modell- Teileinzugsgebiet aus: Interpolierte Stationsdaten Radar CU Radar RY Radarprognose Datenqualität COSMO-DE - Prognose COSMO-EU - Prognose t0 Modellzeitreihe des Teileinzugsgebietes t 13
14 Datenvisualisierung
15 Datenvisualisierung
16 Datenvisualisierung
Performance FTP Datenabruf bis ~ 20 sec DWD Radardaten (binär, 900x900) Einlesen, Konvertieren, Ausschneiden (Fortran 90) (pro File) Aggregieren auf Modellgebiet, Umsetzen in ZR (3 Zeitpunkte, AZUR) Aggregieren auf Pegelgebiete, AZUR DWD COSMO-DE (ASCII, 70.371 Gitterpunkte x 21 Vorhersagestunden x 4 Parameter) Einlesen, Konvertieren, Ausschneiden (AZUR) ~ 10 sec ~ 10 sec ~ 40 sec 4 6 min 17
Fazit und Ausblick Verarbeitungskette steht Datenverarbeitung läuft zuverlässig Optimierungsmöglichkeiten: Modellprognosen: Ältere Vorhersagen werden durch neuere Vorhersagen überschrieben Performance der eigenen Azur- Skripte zur Interpolation, Aggregation und Umsetzung in Zeitreihen Insbesondere bei Massendaten (nach Ausfall, Offline) problematisch Zunehmende Anforderungen an Verarbeitungsgeschwindigkeiten (Ensemble-Vorhersagen, Radarvorhersagen) Weiterentwicklung von AquaZIS zu einer effektiven Speicherung und Verarbeitung von Rasterdaten 18