Fundierte Entscheidungen durch Wetterdaten

Transkript

1 Gernot Fels, Global Marketing, Fujitsu Fundierte Entscheidungen durch Wetterdaten Showcase für die Analyse von Wetter- und Klimatrends FUJITSU

2 Prognosen für Wetter- und Klimatrends Wer benötigt zuverlässige und langfristige Aussagen zu Wetter- und Klimatrends? Erneuerbare Energieerzeugung (Solar, Wind) Betrieb von Kraftwerken Planer in Landwirtschaft (Überflutung, Schädlinge) Planung von Wintersportanlagen Gemeinden, Landkreise, Regierung Transport, Schifffahrt, Flugverkehr, Segeln Versicherungen Industrie, Handel, Dienste Historische Wetterdaten als Basis für Trendanalyse FUJITSU

3 Historische Wetterdaten für Trendanalyse European Centre for Medium-Range Weather Forecasts (ECMWF) Analyse der Wetterentwicklung Globale Wetterdaten seit 1979 Zeitliche Abfolge globaler Wetterkarten Nutzbar für Klimaforschung und lokale Trendanalysen Wettermodell ERA Interim ECMWF Re-Analysis; Interim (Höchste Auflösung) Modellauflösung Zeitintervall 6h Messzeiten: 0:00, 6:00, 12:00, 18:00 GMT Gitter in 0,25 (4 Gitterpunkte pro Grad) 128 meteorologische Indikatoren Zeitliche Abfolgen von Wetterkarten FUJITSU

4 Meteorologische Indikatoren 10 metre U wind component Large-scale snowfall Surface net thermal radiation Vertical integral of eastward cloud liquid water flux 10 metre V wind component Logarithm of surface roughness length for heat Surface net thermal radiation, clear sky Vertical integral of eastward geopotential flux 10 metre wind gust since previous post-processing Low cloud cover Surface pressure Vertical integral of eastward heat flux 2 metre dewpoint temperature Maximum temperature at 2 metres since previous post-processing Surface roughness Vertical integral of eastward kinetic energy flux 2 metre temperature Mean sea level pressure Surface sensible heat flux Vertical integral of eastward mass flux Albedo Mean wave direction Surface solar radiation downwards Vertical integral of eastward ozone flux Boundary layer dissipation Mean wave period Surface thermal radiation downwards Vertical integral of eastward total energy flux Boundary layer height Medium cloud cover Temperature of snow layer Vertical integral of eastward water vapour flux Charnock Minimum temperature at 2 metres since previous post-processing TOA incident solar radiation Vertical integral of energy conversion Clear sky surface photosynthetically active radiation Northward gravity wave surface stress Top net solar radiation Vertical integral of kinetic energy Convective available potential energy Northward turbulent surface stress Top net solar radiation, clear sky Vertical integral of mass of atmosphere Convective precipitation Photosynthetically active radiation at the surface Top net thermal radiation Vertical integral of mass tendency Convective snowfall Runoff Top net thermal radiation, clear sky Vertical integral of northward cloud frozen water flux Downward UV radiation at the surface Sea surface temperature Total cloud cover Vertical integral of northward cloud liquid water flux Eastward gravity wave surface stress Sea-ice cover Total column ice water Vertical integral of northward geopotential flux Eastward turbulent surface stress Significant height of combined wind waves and swell Total column liquid water Vertical integral of northward heat flux Evaporation Skin reservoir content Total column ozone Vertical integral of northward kinetic energy flux Forecast albedo Skin temperature Total column water Vertical integral of northward mass flux Forecast logarithm of surface roughness for heat Snow albedo Total column water vapour Vertical integral of northward ozone flux Forecast surface roughness Snow density Total precipitation Vertical integral of northward total energy flux Gravity wave dissipation Snow depth Vertical integral of cloud frozen water Vertical integral of northward water vapour flux High cloud cover Snow evaporation Vertical integral of cloud liquid water Vertical integral of ozone Ice temperature layer 1 Snowfall Vertical integral of divergence of cloud frozen water flux Vertical integral of potential+internal energy Ice temperature layer 2 Snowmelt Vertical integral of divergence of cloud liquid water flux Vertical integral of potential+internal+latent energy Ice temperature layer 3 Soil temperature level 1 Vertical integral of divergence of geopotential flux Vertical integral of temperature Ice temperature layer 4 Soil temperature level 2 Vertical integral of divergence of kinetic energy flux Vertical integral of thermal energy Instantaneous eastward turbulent surface stress Soil temperature level 3 Vertical integral of divergence of mass flux Vertical integral of total energy Instantaneous moisture flux Soil temperature level 4 Vertical integral of divergence of moisture flux Vertical integral of water vapour Instantaneous northward turbulent surface stress Sunshine duration Vertical integral of divergence of ozone flux Volumetric soil water layer 1 Instantaneous surface sensible heat flux Surface latent heat flux Vertical integral of divergence of thermal energy flux Volumetric soil water layer 2 Large-scale precipitation Surface net solar radiation Vertical integral of divergence of total energy flux Volumetric soil water layer 3 Large-scale precipitation fraction Surface net solar radiation, clear sky Vertical integral of eastward cloud frozen water flux Volumetric soil water layer FUJITSU

5 GRIB für historische und künftige Wetterdaten GRIdded Binary Komprimiertes Binärformat Von World Meteorological Organization (WMO) festgelegter Standard Zur Speicherung von Wetterdaten Basierend auf rechteckigem Gitter Geographische Koordinaten als Gitterpunkte FUJITSU

6 Herausforderungen und Ziele Herausforderungen Zeitreihen globaler Wetterkarten ermöglichen keine sofortige Einsicht bzgl. eines bestimmten Ortes Schwierige und langwierige Auswertung (bspw. zum Abschätzen von Windwahrscheinlichkeiten) Späte Entscheidungen Ziele Zeitreihen für bestimmten Ort abrufen Durchstich für relevante Gitterpunkte über relevanten Zeitraum hinweg Datentransformation erforderlich Über welche Dateimengen und Datenvolumina sprechen wir denn? FUJITSU

7 Dateimengen und Datenvolumen 1 GRIB Datei pro Messung 4 Dateien pro Tag Eingabedateien (zeitbezogen) über 35 Jahre 360 Längengrade 4 Gitterpunkte pro Längengrad 180 Breitengrade 4 Gitterpunkte pro Breitengrad 1 Gitterpunkt hinzufügen (Nord- und Südpol) 360 x 4 x (180 x 4 +1) = Gitterpunkte Ausgabedateien (ortsbezogen) 128 meteorologische Indikatoren, je 4 Bytes 25 TB historische Wetterdaten Welches Lösungskonzept hilft hier? FUJITSU

8 Client Verteilte Parallelverarbeitung Konzept Daten und I/O auf Rechnerknoten in Cluster verteilen Lokale Speicher in Serversystemen Verarbeitung zu Daten verlagern Shared nothing Architektur Datenreplikation auf mehrere Server Nutzen Hohe Leistung, schnelle Resultate Unbegrenzte Skalierbarkeit Fehlertoleranz Kosteneffizienz (Standard-Server mit OSS) Beispiele Master JobTracker NameNode Slaves TaskTracker DataNode TaskTracker DataNode TaskTracker DataNode DFS FUJITSU

9 wird den Anforderungen gerecht ECMWF-Daten als Eingabe ECMWF-Daten in HDFS laden MR zur Invertierung der Daten Von Zeitreihen weltweiter Wetterkarten In Gitterpunkt-basierte Zeitreihen von Wetterdaten Java Apps Benachbarte Zeitreihen abrufen, lokale Wetterentwicklung ermitteln Ergebnisse visualisieren Inkrementeller Update mittels kurzer MR-Jobs Wetterhistorie importieren Benachbarte Zeitreihen abrufen, lokale Wetterentwicklung ermitteln Ergebnis visualisieren Zeitreihen invertieren FUJITSU

10 Browser-Zugriff auf visualisierte Ergebnisse Zeit Windgeschwindigkeit Windhäufigkeit & Richtung Ort Temperatur Windgeschwindigkeit & Richtung Luftdruck Monatsauswahl Langfristige Betrachtung FUJITSU

11 Beispiel: Windpark-Planung Zeitraum: 14 Jahre ( ) 4 Snapshots pro Tag Eingabedateien (zeitbezogen) von ECMWF Datensätze Gitterpunkte = Ausgabedateien (ortsbezogen) FUJITSU

12 Lösungsansatz entscheidet über Zeitbedarf PERL ~100 min zur Verarbeitung der Daten aus 1 Monat 12 x 14 x 100 min ~ 12 Tage (Daten über 14 Jahre) 12 x 35 x 100 min ~ 30 Tage (Daten über 35 Jahre) In Praxis nicht akzeptabel FUJITSU

13 Lösungsansatz entscheidet über Zeitbedarf PERL ~100 min zur Verarbeitung der Daten aus 1 Monat 12 x 14 x 100 min ~ 12 Tage (Daten über 14 Jahre) 12 x 35 x 100 min ~ 30 Tage (Daten über 35 Jahre) In Praxis nicht akzeptabel MapReduce 30 min für Import in HDFS 141 min zur Verarbeitung HDFS-Dateien lesen Datentransformation In neue HDFS-Dateien schreiben ~120 x schneller als Script-Ansatz 8 Slave Nodes (2-socket, 6C/12T) Server nicht vollständig genutzt Verbesserungspotenzial durch Eliminieren anderer Last Geschwindigkeitsvorteil durch Parallelisierung FUJITSU

14 Lösungsansatz entscheidet über Zeitbedarf PERL ~100 min zur Verarbeitung der Daten aus 1 Monat 12 x 14 x 100 min ~ 12 Tage (Daten über 14 Jahre) 12 x 35 x 100 min ~ 30 Tage (Daten über 35 Jahre) In Praxis nicht akzeptabel MapReduce 30 min für Import in HDFS 141 min zur Verarbeitung HDFS-Dateien lesen Datentransformation In neue HDFS-Dateien schreiben ~120 x schneller als Script-Ansatz 8 Slave Nodes (2-socket, 6C/12T) Server nicht vollständig genutzt Verbesserungspotenzial durch Eliminieren anderer Last Weitere Möglichkeiten zur Beschleunigung? FUJITSU

15 In-Memory Plattform als Option Für einzelne Benutzer ist Hadoop-Plattform ausreichend Abruf und Visualisierung im Sekundenbereich Antwortzeiten werden länger Mehr Benutzer, mehr Abfragen Komplexe Abfragen, bspw. welche Orte in Region kommen am ehesten für bestimmte Pläne in Frage Lösung: IMDG Abruf und Visualisierung beschleunigen Vordefinierte Abfragen speicherresident Schnelle Datentransformation Wetterhistorie importieren Benachbarte Zeitreihen abrufen, lokale Wetterentwicklung ermitteln Ergebnis visualisieren Zeitreihen invertieren In-Memory Plattform wird mit jedem Komplexitätsgrad fertig FUJITSU

16 Datentransformation Nur 1x oder öfter? Abhängig vom Einsatzfall kein einmaliger Vorgang Erneute Invertierung der Wetterkarten bei neuen Fragestellungen Ableitung aus meteorologischen Indikatoren in globalen Wetterkarten Beispiel: Max. Windgeschwindigkeit Spitzengeschwindigkeiten einer durchziehenden Wetterfront treten nur kurz an einer Stelle auf Fallen oft durch 6 h Raster Ermittlung der Front auf Wetterkarte zeitlich davor und dahinter In-Memory Plattform Enormer Zeitgewinn bei wiederholter Datentransformation FUJITSU

17 Sprechen wir hier von einem Big Data-Projekt? Volume Variety Versatility Velocity Value 1 Datenquelle Strukturierte Daten Datenerzeugung nicht in hoher Frequenz Analyse nicht immer zeitkritisch 25 TB x 2 ein beachtliches Volumen Konventionelle Konzepte helfen nicht Big Data-Technologien lösen Kundenproblem Erschwinglich Skalierbar mit Datenwachstum Gewünschte Bearbeitungszeit einstellbar In der Tat kein alltägliches Big Data-Projekt, aber ein sehr interessantes FUJITSU

18 Data in motion Data at rest Wie passt das in unsere Big Data Infrastruktur? Data Sources Analytics Platform Access IMDB DB / DW Distributed Parallel Processing IMDB NoSQL Apps Services Queries. IMDG Un- / Semi-/ Polystructured data CEP IMDG DB / DW IMDG Visualization Reporting Notification Various data Consolidated data Distilled essence Applied knowledge Extract, Collect Clean, Transform Analyze, Visualize Decide, Act FUJITSU

19 Data in motion Data at rest Wie passt das in unsere Big Data Infrastruktur? Data Sources Analytics Platform Access IMDB IMDB Apps Services Queries. DB / DW NoSQL IMDG Un- / Semi-/ Polystructured data CEP IMDG DB / DW Visualization Reporting Notification Various data Consolidated data Distilled essence Applied knowledge Extract, Collect Clean, Transform Analyze, Visualize Decide, Act FUJITSU

20 Wie kann helfen? Komplette Analyse-Plattform Infrastruktur und Services Beratung, Design, Einführung, Betrieb, Wartung Applikationen zu Transformation, Analyse und Visualisierung Integrierte Systeme für schnellen Einsatz Lokations-basierte Zeitreihen als Web-Service in Cloud Expertise in Wettervorhersagen Alles aus einer Hand: Einfach, schnell und ohne Risiko FUJITSU

21 Zusammenfassung Big Data einer der Megatrends von heute Vielversprechender Kundennutzen Spannende Einsatzfälle in allen Branchen Wissen über künftiges Wetter und Klima wertvoll für viele Zielgruppen Historische Daten verfügbar Transformation erforderlich zwecks gewünschter Einsicht und Trenderkennung Durchgängige Lösungen von Fujitsu Integrierte Systeme für schnellen Einsatz Ergänzende Dienstleistungen Möchten Sie in die Zukunft schauen? Dann sprechen Sie einfach mit Fujitsu FUJITSU

22 FUJITSU