Service orientiertes Geoprocessing

Transkript

1 Fakultät Umweltwissenschaften, Fachrichtung Geowissenschaften, Professur Geoinformationssysteme Service orientiertes Geoprocessing Matthias Müller, Lars Bernard Dresden Juli 2013

2 Künftige Geodateninfrastrukuren Open Data Geosensor Web Citizen Science Offene (freie) Geodaten (big data) brauchen offene Geoprozessierung um Geoinformationen zu generieren Verteilte Geoprozessierung 2

3 Interoperable Geoprozessierung 3. Sharing Geoprocessing Logic (Algorithms) Benötigt akzeptierte Formalismen Benötigt akzeptierte Austausch-Mechanismen 2. Sharing Geoprocessing Capabilities Web Processing Service (WPS) für Transformationen, Aggregationen, Interpolationen, Decision Support... WPS: sehr generisch, halbwegs etabliert 1. Sharing Geoprocessing Libraries/Tools Zahlreiche etablierte Software Bibliotheken und Systeme (GIS) für Server- und Desktop-Anwendungen Entwickelte Algorithmen/Logik bleiben proprietär Verteilte Geoprozessierung 3

4 Verteilte Geoprozessierung Ausgangspunkt OpenGIS Web Processing Service (WPS) Generische Schnittstelle: statusloser Web Service beliebige Komplexität!? Keine Formalisierung für Semantik der Geo-Operatoren und Prozesse! +GetCapabilities() +DescribeProcess() +Execute() Etabliert, speziell in wissenschaftlichen Anwendungen! Verteilte Geoprozessierung 4

5 Geoprozessierungsdienste in INSPIRE (Erweiterte) INSPIRE Architektur Verteilte Geoprozessierung 5

6 Geoprozessierungsdienste in INSPIRE Durchführungsbestimmungen INSPIRE Geodatendienste Sollen die Regeln zu INSPIRE Netzdiensten nicht verändern Umfassen auch den Aspekt des invoke (Einbinden) Beschreiben die INSPIRE Geodatendienste mit zunehmenden Spezialisierungsgraden und Anforderungen: 1. Einbindbare Geodatendienste (sind auffindbar und aufrufbar) 2. Interoperable Geodatendienste (basieren auf INSPIRE Annex Daten, liefern QoS-Angaben) 3. Harmonisierte Geodatendienste (erfüllen QoS-Spezifikationen und INSPIRE Datenspezifikationen) Fokussieren derzeit Metadaten für Dienste und nicht die Festlegung von Schnittstellen der Geoprozessierung Verteilte Geoprozessierung 6

7 Classification Rules Verteilte Geoprozessierung - Status Beispiel Waldbrand Risikoabschätzung in der EU (ORCHESTRA) Symbology Rules uses uses Classification WPS Processing Services Performanz- und Effizienz-Probleme: WMS Join & Aggregation WPS WFS- X accesses Automatisierte und intelligente Client Generalisierungs- und (2) retrieve admin. unit features Caching-Techniken? Flexiblere Architekturen: WFS Sollten Algorithmen statt Daten transportiert werden? Normalisation WPS MS 1 forest fire registration accesses Administrative units uses MS 2 forest fire registration Mapping Rules to Common Schema Friis-Christensen, Ostländer, Lutz, Bernard (2007) Verteilte Geoprozessierung 7

8 Verteilte Geoprozessierung #Select #where... data-driven geoprocessing in GDI Geodaten werden sequenziell prozessiert & transportiert + state of the art (z.b. WFS WPS WMS) + hohe Flexibilität - hohe Datentransferraten (skaliert nicht für große Datenmengen, nicht geeignet für geschützte Daten, offline Prozessierung ) Verteilte Geoprozessierung 8

9 Verteilte Geoprozessierung code-driven geoprocessing in GDI 1. Enge Kopplung des code an die Daten Algorithmen werden zu den Geodatenbasen gebracht und dort ausgeführt + state of the art (e.g. FE on WFS, WCPS) + geringe Datentransferraten + tlw. geeignet für geschützte Daten #Select #where... - geringe Flexibilität (enge Kopplung an die Daten) - Wiederverwendung des code auf verschiedenen Datenbanken/Anwendungen ist schwierig #Select #where... Verteilte Geoprozessierung 9

10 Verteilte Geoprozessierung code-driven geoprocessing in GDI 1. Enge Kopplung des code an die Daten 2. Lose Kopplung des code an die Daten Transportierter Algorithmus kann auf verschiedenen Plattformen und mit verschieden Datensätzen zur Ausführung gebracht werden. + sehr flexibel + passt gut zu GRID und cloud computing + Wiederverwendung von Geoprozessierungs-Logik (auch offline oder mit geschützten Daten) - noch nicht verfügbar (es fehlt an Technologien und Formalismus) Verteilte Geoprozessierung 10

12 Verteilte Geoprozessierung: Geoprocessing Repository Daten- Server (WFS,WCS, SOS, ) Nutzer Geo- Processing Repository Algorithm Feeds WPS- Instanz Entwickler Daten- Server WPS- Instanzen Müller, Bernard, Brauner (2010) Verteilte Geoprozessierung 12

13 Verteilte Geoprozessierung: Geoprocessing Repository Geo- Processing Registry Daten- Server (WFS,WCS, SOS, ) Nutzer Finden geeigneter Geoprozessierungsfunktionen Geoprocessing Repository Moving Code Algorithm Feeds WPS- Instanz Publikation getesteter Geoprozessierungsfunktionen Entwickler Processing Service Instance Einmaliges oder permanentes Binden an einen Algorithm Feed (Abonnement) Algorithm Feed Provider Daten- Server WPS- Instanzen Algorithmen Serviceorientierte Beschreibungen (Datenbindung) Verteilte Geoprozessierung 13

14 Moving-Code Aspekte Verteilte Geoprozessierung 14

15 Prototypen: Geoprocessing AppStore Web Processing Service aufsetzen Im WPS AppStore nach passenden Algorithmen suchen Processing Feed von eigener WPS-Instanz abonnieren lassen Integrierter Algorithmen-Browser Prozess auf eigenen Ressourcen ausführen Kadner, Müller, Bernard (2012) Verteilte Geoprozessierung 15

16 Prototypen: Geoprocessing AppStore Web Processing Service aufsetzen Im WPS AppStore nach passenden Algorithmen suchen Processing Feed von eigener WPS-Instanz abonnieren lassen Entwicklung eines Community Geoprocessing Repository ( Weitere Formalisierung von Geo-Operatoren Prozess auf eigenen Ressourcen ausführen Granularität, Taxonomien, Algebra Map-Algebra, Egenhofer Operatoren, etc. Integrierter Algorithmen-Browser Idee: Empirische Ableitung von Taxonomien (& Granularitäten) Weitere Anbindung an Cloud & GRID Kadner, Müller, Bernard (2012) Verteilte Geoprozessierung 16

17 Formalisierung von Geo-Operatoren Entwicklung Taxonomien und/oder Algebra(en) Ausgangspunkt: Map Algebra, Geoprocessing Libraries, WPS Profile Mögliche Kriterien: input & output: Kardinalät, Datenstrukturen und -typen Vor- und Nachbedingung lokal vs. globale Operatoren (parallel computing) Komplexität Mögliche Formalismen (extended UML, BNF, Funktionale Programmierung ) Anbindung an Scientific Workflow Systeme (Vistrails, Taverna) Verteilte Geoprozessierung 17

18 Verteilte Geoprozessierung noch mal zur Standardisierung mit dem OpenGIS WPS, dem aktuellen Stand (WPS 1.0) dem künftigen WPS 2.0 Standard Verteilte Geoprozessierung 18

20 WPS 1.0 Die Idee Verteilte Geoprozessierung Folie 20

21 WPS 1.0 Die Idee Zwei komplementäre Aufgaben: 1. Interoperable Beschreibung von Funktionen zur Geoprozessierung (z.b. Buffer, Mosaic, ) Prozessbeschreibung 2. Nutzung entfernter (fremder) Rechenkapazität Schnittstelle zur Prozessausführung Kommunikationsprotokoll zur Datenübertragung Verteilte Geoprozessierung Folie 21

22 Prozessbeschreibung ähnlicher einer Funktionssignatur: - Prozess(Inputs, Outputs) - Freitextelemente (Titel, Zusammenfassung) Verteilte Geoprozessierung Folie 22

23 Prozessbeschreibung WPS DataInputs Input[0..n] Input[0..n] ProcessOutputs Output[1] Output[1] Verteilte Geoprozessierung Folie 23

24 Prozessbeschreibung ähnlicher einer Funktionssignatur: - Prozess(Inputs, Outputs) - Freitextelemente (Titel, Zusammenfassung) Strukturierung Inputs / Outputs Alt: Flach Neu (WPS 2.0): Geschachtelt Kardinalität der Inputs / Outputs: Alt: Input endlich / Output 1 Neu (WPS 2.0): Beliebig / 1..beliebig Verteilte Geoprozessierung Folie 24

25 Prozessbeschreibung neu (WPS DataInputs Input[0..*] Input[0..*] ProcessOutputs Output[1..*] Output[1..*] Output[1..*] Verteilte Geoprozessierung Folie 25

26 Prozessausführung Execute (Dienstoperation) - Syntax (vereinfacht): Execute(Prozess-ID, Daten) - 2 Varianten: Synchron (mandatory, default), Asynchron (optional) Verteilte Geoprozessierung Folie 26

27 Prozessausführung Execute (Dienstoperation) - Syntax (vereinfacht): Execute(Prozess-ID, Daten) - 2 Varianten: Synchron (mandatory, default), Asynchron (optional) Zzz Fertig? Verteilte Geoprozessierung Folie 27

28 Prozessausführung Asynchron WPS Client WPS Server Execute (Prozess-ID, Daten) Create Process Instance Return (StatusInfo) GetStatus(ProcessInstanceID) Run Process Instance Return (Status) Update Result GetStatus(ProcessInstanceID) Return (Status) GetResult Return (Result) Schritte: 1. Client sendet Execute Request an Server 2. Server legt Prozessinstanz an (Status, Prozess-ID); schickt Info sofort an Client 3. Server: Prozessierung, Client: Status polling 4. Wenn fertig: Client ruft Ergebnis ab. Verteilte Geoprozessierung Folie 28

29 Prozessausführung WPS 1.0 vs. 2.0 Execute-Syntax: Alt: status=true/false/missing & storeexecuteresponse = true/false (hier gibt es einige unmögliche Kombinationen) Neu (WPS 2.0): mode (sync async) klar Gleichberechtigte Execute-Modi: Alt: Synchron (mandatory), Asynchron (optional) Neu (WPS 2.0): Nicht jeder Prozess muss synchron ausführbar sein; Menge der Modi erweiterbar Verteilte Geoprozessierung Folie 29

30 Prozessausführung WPS 1.0 vs. 2.0 Evtl. Auslagerung des Status Polling und der Ergebnisabfrage in separate Service-Operationen WPS 1.0 WPS 2.0 (Vorschlag) GetStatus(), GetResult() Verteilte Geoprozessierung Folie 30

31 Datentypen Literal Stings, Zahlen, auch mit Einheit Bounding Box Complex alles andere (z.b. Geometriedaten, Luftbilder, ) WPS 2.0: Definition neuer Formate Verteilte Geoprozessierung Folie 31

32 Prozessprofile Wie Funktionen beschreiben? Anforderungen Unterschiedliche Abstraktionsebenen als Antwort auf die Frage Was tut der Prozess? Was ermittelt der Prozess? [Bsp: berechnet NDVI] Wie arbeitet der Prozess? [Bsp: NDVI-Berechnung aus Landsat TM Daten] - Produktspezifikationen - Wertebereiche - Vor- und Nachprozessierung Technische Interoperabilität Welche Datenaustauschformate? [Bsp: GeoTiff] Verteilte Geoprozessierung Folie 32

33 Eisbergmetapher Prozess-Signatur Was geht rein, was kommt raus T h e b e h a v i o u r Prozessmechanik Wie werden Ergebnisse aus den Inputdaten ermittelt Definierte Ergebnisqualität Verteilte Geoprozessierung Folie 33

34 Erweitertes Konzept für WPS Prozessprofile Concept NDVI Abstract Profile Landsat5TM NDVI Concrete Profile Landsat5TM NDVI GTiFF Process Implementation Verteilte Geoprozessierung Folie 34

35 WPS 2.0 Die Idee Zwei komplementäre Aufgaben: 1. Interoperable Beschreibung von Funktionen zur Geoprozessierung (z.b. Buffer, Mosaic, ) Prozessbeschreibung Konkretere Prozessprofile Eindeutiger und mächtiger 2. Nutzung entfernter (fremder) Rechenkapazität Schnittstelle zur Prozessausführung Kommunikationsprotokoll zur Datenübertragung Klar und erweiterbar Verteilte Geoprozessierung Folie 35

36 Prozessausführung: Monitoring & Kontrolle Für l-a-a-a-ng laufende Prozesse - (Verbessertes Handling der asynchronen Ausführung) - Zusätzliche Stati: Akzeptiert, (Laufend), Pausiert - Zusätzliche Operation Pause, Resume, Zzz Verteilte Geoprozessierung Folie 36

37 We like to move it, move it Implementierte Algorithmen: - wohldefiniert - getestet - nützlich für andere - robust - publikationswürdig Cloud infastructures Workstation GIS Web Service Backends Verteilte Geoprozessierung Folie 37

38 Moving-Geocode Aspekte Funktionalität: Welcher Algorithmus wird bereitgestellt? Wie ist die Schnittstelle? Erweiterung OGC WPS Standard Laufzeitumgebung: Welche Softwareplattform und welche Laufzeitkomponenten müssen vorhanden sein? URIs, künftig Registries Hardwareanforderungen: Welche Ressourcen (Speicher CPU, HDD) werden benötigt? Open Cloud Computing Initiative Standard Nutzungsrechte: Welchen Lizenzbestimmungen und Urheberrechten unterliegt der Code? Creative Commons, Freitextlizenzen Verteilte Geoprozessierung 38

39 Beschreibung von GP-Implementierungen Verteilte Geoprozessierung 39

40 Technische Umsetzung eines Moving Code Paketes Structured ZIP-Archive Package description (XML) Workspace Executable Additional elements (e.g. constant data, fine-grained dependencies) Verteilte Geoprozessierung 40

41 Architekturkonzept für MovingCode Geoprocessing Repository / Appstore Verteilte Geoprozessierung 41

42 Verteilungsmechanismus: Atom Feeds Abonnierbar Human-readable Web-Browser RSS-Reader / Mailclient Machine-readable Verteilte Geoprozessierung 42

43 Fazit Verteilte Geoprozessierung 43

44 Fakultät Umweltwissenschaften, Fachrichtung Geowissenschaften, Professur Geoinformationssysteme Danke! Ihre Fragen?