BigData für die Nutzer: Stand der Forschung und Einschätzung der Entwicklungen im Bereich der Dateninfrastruktur und - analyse

Transkript

1 BigData für die Nutzer: Stand der Forschung und Einschätzung der Entwicklungen im Bereich der Dateninfrastruktur und - analyse M.Sc. Jonas Eberle und Dr.-Ing. Clémence Dubois Friedrich Schiller Universität Jena Institut für Geographie Lehrstuhl für Fernerkundung 1

2 Was ist Big Data? engl. große Daten : Massendaten Big Data is high-volume, high-velocity and/or highvariety information assets that demand cost-effective, innovative forms of information processing that enable enhanced insight, decision making, and process automation Mark A. Beyer and Douglas Laney. The Importance of 'Big Data': A Definition. Gartner, 2012 [ ]. It s what organizations do with the data that matters. Big data can be analyzed for insights that lead to better decisions and strategic [ ] moves

3 Copernicus Big Data in der Erdbeobachtung Copernicus Open Access Data Hub Statistik vom 2.Oktober 2018 Gesamtes Datenvolumen Ende 2017: 41.35PB 150TB/Tag werden heruntergeladen opernicus_standard_slides_oct2018.pdf a.int/docs/earthobserva tion/copernicus_standa rd_slides_oct2018.pdf Nutzerwachstum Sentinel-1 Szene: 1.5 GB (GRD) bis zu 7.5GB (SLC) Sentinel-2 Szene: 4GB Datenspeicherung Datenvisualisierung Datenverarbeitung Datenaustausch 3

4 Nutzer der Copernicus Big Data Entscheidungsträger, Berater - Einfacher Zugriff auf Daten & Analyse Tools - Harmonisierte Produkte Wissenschaftler - Verfügbarkeit von Prozessierungskapazitäten Anwendungs- Entwickler - Zugriff auf standardisierte Webdienste für Daten und Analysealgorithmen 4

5 Was bedeutet Big Data für Nutzer? Daten sind zu groß, um sie lokal zu bearbeiten. Algorithmen müssen mit der großen Datenmenge umgehen können. Wir können mehr Informationen aus den Daten extrahieren. Was brauchen wir? Neue Zugriffsmethoden und Verarbeitungskonzepte Neue Analysemethoden 5

6 Herausforderungen und neue Möglichkeiten für die Analyse Regelmäßige Aufnahmen Vielfältige Sensoren Hohe Auflösung

7 Neue Möglichkeiten zur Analyse und Methodenentwicklung Zeitreihenanalyse Umwelt- und Infrastruktur Monitoring Darstellung dynamischer Prozesse Ableitung von bio- & geophysikalischer Variablen Wasser Biophysikalische Parameter Landnutzung Veränderungskartierung Wald Bodenbewegung Klima Entwicklung leistungsfähige Algorithmen Fusion von optischen und RADAR Daten Modellierung (Vorhersageszenarien für den Klimawandel, Geoparameter) Deep Learning, Machine Learning, künstliche Intelligenz 7

8 Analyse Zeitserienanalyse und Monitoring Ableitung von biophysikalischen Parametern Ableitung w / m / j Durchschnittswerte Zeitprofile von z.b. Vegetationsparametern und Fusion mit meteorologischen Daten Detektion relevanter Schlüsselparameter (z.b. Phänologisches Stadium, Erntedatum für Landwirtschaft, Einfluss von Dürre Ereignisse) Darstellung dynamischer Prozesse z.b. Bodenbewegungsdienst Deutschland Nutzung von Sentinel-1 RADAR Daten Analyse von Geo-Prozessen und potentieller Geogefahren 8

9 Analyse Zeitserienanalyse und Monitoring Erfassung von Schäden durch Schwarzwild auf landwirtschaftlichen Kulturflächen Detektion langanhaltender Differenzen zwischen Pixelwert und Feldmittelwert Korrelation von RADAR und optischen Daten NDVI aus Sentinel-2 Kullback-Leibler-Divergenz aus Sentinel-1 9

10 Analyse Leistungsfähige Algorithmen Fusion von optischen und RADAR Daten Datenlücke interpolieren Aggregation vielfältiger Information zur Modellierung biophysikalischer Parameter Deep Learning, Machine Learning, künstliche Intelligenz Automatisch aus den Daten Merkmale lernen Flächendeckende Parameterinversion Modellierung nicht-linearer Verhältnisse zwischen Fernerkundungsdaten und geophysikalischen Parametern Schmitt M., Hughes L.H., Zhu X.X. (2018) The Sen1-2 Dataset for Deep Learning in SAR- Optical Data Fusion, ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, IV-1, pp

11 Big Data für die Erdbeobachtung Entscheidungs -träger, Berater Anwendung Webdienstschnittstelle Infrastruktur 11

12 Neue Zugriffsmethoden und Verarbeitungskonzepte Infrastruktur DIAS Notwendige Struktur, um die Datenmenge zu speichern und zu bearbeiten Anwendung Webdienstschnittstelle Webanwendung, um GIS-Funktionen und Analyseprozesse auszuführen actinia Technische Schnittstelle zur Bereitstellung von Datenzugriff- und Analysenwerkzeugen 12

13 Beispiel Google Earth Engine Infrastruktur: Google Datenzentrum und Verarbeitungsinfrastruktur Anwendung: webbasierte Programmierumgebung Webdienst/Python: Earth Engine API (Application Programming Interface) Gorelick N., Hanchner M., Dixon M., Ilyushchenko S., Thau D., Moore R. (2017) Google Earth Engine: Planetary-scale geospatial analysis for everyone, Remote Sensing of Environment, 202, pp

14 Beispiel CODE-DE Infrastruktur: Zugriff auf DLR Archiv, virtuelle Maschinen Anwendungen: CODE-DE Processing Service Webdienst: Datensuche, -zugriff und Visualisierung 14

15 Beispiel Copernicus DIAS (Data and Information Access System) Infrastruktur: virtuelle Maschinen und Zugriff auf Daten Anwendung: muss von dem Nutzer entwickelt werden und wird dann auf der Plattform gehostet Webdienst: Datensuche und Datenzugriff, ggfls. Datenvisualisierung 5 Cloudplattformen 15

16 Herausforderungen: Wo geht es hin? Standardisierung von Webdiensten Big Data Cube Projekt (BMWi/DLR) openeo Projekt (EU H2020) Verarbeitungstools als Webdienste Actinia (GRASS GIS) Datenformate und Datenbereitstellung Analysis ready data Data cubes 16

17 Analysis Ready Data Standardisierte Vorgehensweise für die Vorverarbeitung von Satellitendaten Zusammenführung von Zeitreihendaten in ein einheitliches Datenformat und Datenstruktur Application Ready Data? Data cubes Schnittstelle zwischen Infrastruktur und Anwendung Ziel: Einheitliche Bereitstellung von Daten (und Zusatzfunktionen zur weiteren Analyse) Möglichkeit der Verknüpfung von Daten und Analysealgorithmen 17

18 Beispiel Open Data Cube für Wetlands 18

19 Zusammenfassung Copernicus bring das Thema Big Data mit sich Unterschiedliche Infrastrukturen, Anwendungen und Webdienstschnittstellen Es wird immer noch zu wenig an die Endnutzer gedacht (die Qual der Wahl - zu viele Platformen?-, Keep up-to-date Dilemna) viele Möglichkeiten für Nutzer, neue Produkte zu generieren Bisher noch großes unausgeschöpftes Potenzial der Analyse (Zeitreihen, Algorithmen) 19

20 Wie wird sich die Nutzung von Fernerkundungsdaten und zusätzlichen Geodaten in den nächsten Jahren entwickeln? Keine lokale Analyse auf dem Desktop mehr Umgang zur Durchführung der Analyse in angemessenen Big Data Infrastrukturen muss vermittelt werden Steigender Bedarf an aggregierten Level-3 Produkten Steigender Bedarf an operationellen Algorithmen Sinkender Bedarf an Nutzung einzelner Szenen? Fusion von Daten wird wichtiger (z.b. Landsat-8 und Sentinel-2) Fusion mit benutzerspezifischen Daten (in-situ data ) Welches sind einzigartige neue Möglichkeiten die sich durch Sentineldaten ergeben? Hohe räumlich und zeitlich aufgelöste Produkte Fusion von Satellitendaten (z.b. Landsat-8 und Sentinel-2) Hohe Verfügbarkeit von RADAR-Daten 20

21 Welches sind die Datenprodukte von morgen, die durch Sentinel möglich werden? Modellierung geophysikalischer Prozesse bzw. Variablen durch die Fusion zeitlich und räumlich hochaufgelöster heterogener Daten Zeitlich aggregierte Produkte, wie z.b. bei MODIS, nur mit hoher Auflösung Vorhersagemodelle basierend auf Deep-Learning Ansätze? Welches sind die wichtigsten Limitationen bei der Nutzung von Sentineldaten? Noch keine Level-3 Produkte (z.b. zeitlich aggregiertes Vegetationsprodukt) Es wird immer schwieriger, den Überblick über alle möglichen Plattformen zu behalten Einführung von best practice Beispielen? 21

22 Vielen Dank für Ihre Aufmerksamkeit! Friedrich Schiller Universität Jena Institut für Geographie Lehrstuhl für Fernerkundung M.Sc. Jonas Eberle Tel.: Dr.-Ing. Clémence Dubois Tel.: Internet: 22