Big Geo-Data in der Meteorologie Vom Datensturm zur milden Brise von Wetterprodukten

Transkript

1 Big Geo-Data in der Meteorologie Vom Datensturm zur milden Brise von Wetterprodukten Dr. Jürgen Seib Deutscher Wetterdienst

2 Wie schnell wird ein Petabyte gelesen? Lesegeschwindigkeit Festplatte: 100 Megabyte pro Sekunde (MBps) Bytes Sekunde Stunde Monat MB ,01 GB ,24 TB ,76 2,91 PB , ,62 > 4 01/03/2016 2

3 Die DIKW-Pyramide Erkenntnis KB Aktion Entscheidungsfindung Optimumberechnung Wissen Information Verarbeitung Datenanalyse Visualisierung Maschinelles Lernen Big Data PB Datenmanagement Speicherung Datenzugriff Aggregation Datensicherheit 3

4 Die Themen Der Datensturm: Wie groß ist das (tägliche) Datenaufkommen im DWD? Die Analyse des Datensturms: Warum der Datensturm zum Datenorkan wird? Eine milde Brise von Wetterprodukten: Wie der Datenorkan gezähmt wird? 4

5 Die Quellen des Datensturms 5

6 Täglicher Dateneingang Datenart Herkunft Erzeugt / ermittelt durch Messdaten in-situ remote sensing Bodenstationen Automaten Maritime Stationen auf Schiffen Maritime Stationen als Bojen Ballonaufstiege Flugzeuge Radar Lidar Windprofiler Satelliten (geostationäre, polarumlaufende) Anzahl (ca.) Datenvolumen / Tag 350 GB 6

7 Beispiel: Inflation der Wettersatelliten Higher resolution NOAA POES MODIS AQUA FENGYUN 1D Color FENGYUN 3 METOP (EPS) SUOMI NPP Visible channel by night JPSS1 MODIS TERRA METEOSAT 7

8 Wachstum der im DWD verarbeiteten Satellitendaten 8

9 Warum der Datensturm zum Datenorkan wird? oder Wie verläuft die (tägliche) Verarbeitung der großen aber strukturierten Datenmengen?

10 Von der Beobachtung zum Produkt Observations now +1 hour +2 hours +3 hours +4 hours Weather forecasts Product Generation Products 10

11 Die DWD Wettermodelle COSMO-DE x = 2,8 km COSMO-DE: Grid spacing: 2,8 km 421 * 461 * 50 grid points Forecast range: 27/45 hours Runs per day: 8 +EPS (20 members) ICON-EU x = 6,5 km ICON-EU: Grid spacing: 6,5 km 1377 * 657 * 60 grid points Forecast range: 120 hours Runs per day: 4 ICON x = 13 km Tägliches Datenvolumen der deterministischen Modelle: ~ 4.5 TByte Tägliches Datenvolumen der Ensemblemodelle: ~ 3.5 TByte ICON: Grid spacing: 13 km * 90 grid points Forecast range: 120/180 hours Runs per day: 4 11

12 Gesamtspeicherverbrauch 2003 bis 2012 Beginn der Ensemblerechnungen 12

13 Klima und Wettervorhersagen (Zeitskalen) 100 years 10 years Klima Projektion Past Future 1 year 1 month today Jahresvorhersagen Saisonvorhersagen Monatsvorhersagen Mittelfristige Vorhersage( hours) Kurzfrist Vorhersage (12-72 hours) Kürzestfrist Vorhersage (2-12 hours) Nowcasting ( < 2 hours) Wetter- und Klimabeobachtung 13

14 Cray XC40 Entwicklung der HPC Systeme des DWD seit TeraFLOP/s 1 GigaFLOP/s Die Lösung bei steigenden Datenvolumina sind: - schnelle Rechner und Speichersysteme - neue Technologien, z.b. Array-Datenbanken, In-Memory Datenbanken, verteiltes Rechnen (Hadoop) - angepasste Datenstrukturen 1 MegaFLOP/s Cray YMP Cray T3E IBM pseries NEC SX-9 Cyber 76 CDC

15 Wie der Datenorkan gezähmt wird? oder Wie erhöht man die Qualität von Wetter- und Klimaprodukten ohne die Nutzer zu überfordern?

16 Jährliche Produktion von Kundenprodukten (Beispiele) Kurzfrist-Vorhersagen Flugmeteorologische Briefings Wetterwarnungen Wetter- und Klimagutachten Unzählige abgeleitete Produkte aus meteorolog. Messdaten und Modellen Aufgaben eines Wetterdienstes Wetterwarnungen und Wettervorhersagen für die Öffentlichkeit Meteorologische Daten- und Produktlieferungen kundenspezifisch zur rechten Zeit Neue Analysenmethoden: - zur Beurteilung kritischer Wetterlagen - zur Beurteilung der Klimaentwicklung - zur Lösung von Optimierungsproblemen in der Verkehrsplanung und im Einsatz alternativer Energien Privacy and security issues 16

17 Klassische Wetterprodukte 17

18 Ensemble-Vorhersagen - Produktgenerierung 18

19 Kürzestfrist-Vorhersage für Sturm- und Gewitterzellen 19

20 Meteorologisches Briefing für den Flug Frankfurt Rom 20

21 Optimal Car Route Finder Road icing risk. Go later (+9h) or choose Route 2

22 Mobile Anwendungen 01/03/

23 01/03/