Workshop Einführung in Geokettle

Transkript

1 Workshop Einführung in Geokettle 1

2 Agenda Vorstellung GeoKettle Wichtige Begriffe Erste Schritte mit GeoKettle Transformationen anlegen und bearbeiten Import Shapefile in Datenbank Koordinatentransformation Veränderung von Sachdaten Aufsplitten von Shapefiles 2

3 Lernziel Kennenlernen von GeoKettle. Grundbegriffe in GeoKettle kennen. Starten von GeoKettle und zurechtfinden in der Benutzeroberfläche. Kennenlernen von verschiedenen Transformationen Anlegen und bearbeiten von eigenen Transformationen 3

4 1 Vorstellung GeoKettle

5 Was ist GeoKettle? GeoKettle ist eine ETL-Programm für räumliche Daten E => Extract T => Transform L => Load

6 Was ist GeoKettle? Es basiert auf der OpenSource-Software Pentaho Data Integration (Kettle) GeoKettle unterstützt viele OpenSource Bibliotheken JTS GeoTools deegree gdal/ogr sextante

7 Betriebsarten Es existieren mehrere Möglichkeiten mit GeoKettle zu arbeiten: Spoon Pan Kitchen Carte

8 Spoon Graphische Oberfläche, um Transformationen und Jobs zu erstellen. Die hier angelegten Transformationen und Jobs werden entweder als xml (.ktr) oder in einer Datenbank (Repository) abgespeichert.

9 Pan/Kitchen Pan ist ein Programm, das Transformationen ausführt, die in spoon erstellt wurden. Kitchen ist ein Programm, das Jobs ausführt, die in spoon erstellt wurden. Beide arbeiten mit der Kommandozeile und werden unter Windows über mit pan.bat/kitchen.bat und unter Linux und OSX mit pan.sh/kitchen.sh aufgerufen.

10 2. Wichtige Begriffe

11 Repository Speicherung von Transformationen und Jobs in einer Datenbank. Datenbank wird Repository genannt. Vorteile: Es können mehrere Benutzer auf einen zentralen Bestand zugreifen. Der Zugang zur Datenbank ist mandantenfähig (Rechte/Rollen). Es können Änderungen an den Transformationen und Jobs nachvollzogen werden.

12 Transformation Eine Transformation besteht aus einem Satz an Operationen, die mit den Daten vollzogen werden sollen. Sie bestehen aus mehreren Steps, die durch Hops verbunden werden. In den Transformationen wird mit den Daten gearbeitet.

13 Hops in Transformationen Es gibt drei verschieden Arten von Hops: copy copy distribute conditional distribute conditional

14 Job Jobs sind den Transformationen übergeordnet. Sie kontrollieren den Ablauf von Transformationen und/oder anderer Jobs. Die Schritte in den Jobs werden immer nacheinander abgearbeitet (Innerhalb einer Transformationen kann auch parallel gearbeitet werden).

15 Hops in Jobs Bei den Jobs gibt es zwei verschiedene Hop-Arten: unconditional (werden immer ausgeführt) conditional (wird in Abhängigkeit vom vorherigen Ergebnis ausgeführt)

16 3. Erste Schritte mit GeoKettle

17 Starten von GeoKettle GeoKettle wird über die üblichen Wege gestartet. Im Begrüßungsbildschirm gibt es zwei Möglichkeiten Starten ohne Repository => Dateibasiert Starten mit Respository => Datenbankbasiert

18 Benutzeroberfläche (Ubuntu) Hauptmenü Menüleiste Arbeitsfläche Sidebar Ergebnisanzeige

19 Benutzeroberfläche / Sidebar

20 Benutzeroberfläche / Ergebnisanzeige (Step Metrics) Erscheint erst, wenn eine Transformation/Job ausgeführt wird. Zeigt den aktuellen Bearbeitungszustand der Steps an.

21 Benutzeroberfläche / Ergebnisanzeige (Logging) Log löschen Nur Fehler anzeigen Einstellungen fürs Logging

22 Benutzeroberfläche / Menüleiste (1) Erscheint nur bei Inhalten im Hauptfenster neu/öffnen Speichern/ Speichern unter Funktionen um Transformationen zu: starten unterbrechen stoppen vorschau debuggen nochmals auszuführen

23 Benutzeroberfläche / Menüleiste (2) Funktionen, um : Transformationen zu verifizieren Den Einfluss auf DB zu untersuchen Ein SQL zu erstellen Bestehende DB Verbindungen zu untersuchen Ergebnisanzeige öffnen/schließen Zoomfaktor der Arbeitsfläche ändern

24 4. Transformationen anlegen und bearbeiten

25 Transformation Eine Transformation besteht aus einem Satz an Operationen, die mit den Daten vollzogen werden sollen. Sie bestehen aus mehreren Steps, die durch Hops verbunden werden. In den Transformationen wird mit den Daten gearbeitet.

26 Arten von Transformationen Die einzelnen Transformationsschritte sind in folgende Gruppen aufgeteilt Input Validation Output Statistics Transform Job Utility Mapping Flow Inline Scripting Experimental Lookup Deprecated Joins Bulk Loading Data Warehouse

27 Anlegen von Transformationen Es gibt mehrere Wege eine neue Transformation anzulegen: Crtl + N (immer) Über das Hauptmenü File New Transformation Über Menüleiste (nur bei geöffnetem Inhalt im Hauptfenster)

28 Einfügen von Steps Steps können in eine Transformation aus der Sidebar in das Hauptfenster gezogen werden. Dazu muss in der Sidebar Design ausgewählt sein. Steps können auch per Copy-Paste aus bestehenden Transformationen eingefügt werden.

29 Bearbeiten von Steps Mit einem Doppelklick auf den gewünschten Step lässt sich dieser jederzeit bearbeiten.

30 Verbinden von Steps 1. 2 Steps auswählen 2. Rechte Maustaste 3. New hop auswählen 4. Steps und Richtung festlegen

31 Bearbeiten von Hops Mit der rechten Maustaste muss auf den Hop geklickt werden. Dann stehen einem folgende Möglichkeiten zur Verfügung Edit hop Flip direction Disable hop Delete hop

32 4.1 Import Shapefile in Datenbank

33 Transformation / Input Es können eine Vielzahl von Datenformaten für den Input genutzt werden. Über 35 Datenbanken (u.a. PostgreSQL, Oracle, MySQL, ) Shapefiles, GML, KML, OGR OGC Web services XML MS Access LDAP Excel, CSV, txt Etc.

34 ESRI Shapefile Input Eindeutigen Namen vergeben Shapefile festlegen Encoding festlegen Anzahl der zu importierenden Datensätze

35 Shapefile - Preview Man kann sich die Daten in einer Vorschau anzeigen lassen. Zuerst muss die Anzahl der Reihen/Objekte festgelegt werden, die man sehen möchte. Man kann sich die Attributdaten und/oder die Geometrien anzeigen lassen.

36 Shapefile Preview Attributdaten

37 Shapefile Vorschau Geometrie

38 Es gibt eine Vielzahl an Outputformate, z. B. Räumliche Datenbanken Datenformate shp GML KML OGR uvm. Outputformate

39 Output - PostgreSQL-Datenbank Eindeutigen Namen vergeben DB Verbindung spezifizieren Tabelle vorm Import leeren Mapping für Daten aktivieren

40 Speichern in einer nicht bestehenden DB-Tabelle Beim ersten Benutzen muss eine Datenbankverbindung erstellt werden. Wenn ein anderes Datenbankschema als public benutzt werden soll, muss das unter Target schema eingegeben werden. Bestehende Tabellen können unter Target table eingegeben oder über Browse ausgesucht werden.

41 1. Es muss eine Verbindung zwischen Input und Output bestehen 2. DB-Verbindung und Tabellennamen festlegen Neue Tabelle anlegen (1) Specify database fields aktivieren 4. In den Reiter Database fields wechseln.

42 Neue Tabelle anlegen (2) 5. Get fields drücken, um die Spalten aus dem Input zu erhalten Table fields können noch einmal geändert werden. 7. Button SQL drücken 7.

43 Neue Tabelle anlegen (3) 8. SQL-Statement ggf. noch einmal anpassen. 9. Button Execute drücken 8. 9.

44 Speichern in bestehende Tabellen Bei bestehenden Tabellen muss kein SQL ausgeführt werden. Wenn die Zuordnung der Spalten von Input zu Output nicht eindeutig ist, kann die Zuordnung über die Funktion Enter Field mapping vorgenommen werden.

45 Übung 1: Transformation Input/Output (1) Erstellen Sie eine neue Transformation, bei der ein Shapefile in eine Postgres-Tabelle eingelesen wird. Shapefile: railways.shp Postgres-Tabelle Datenbank-Typ: PostgreSQL Host: localhost Port: 5432 DB-Name: osm_local User: user Password: user Wiederholen Sie den Vorgang für die Shapfiles buildings.shp roads.shp

46 4.2 Koordinatentransformation

47 Transform - Allgemein Unter Transform befinden sich viele Steps, mit denen man die Daten direkt manipulieren kann. Unter Ihnen befinden sich sowohl Steps mit räumlichen Funktionen Set SRS SRS Transform Spatial Analysis Als auch Steps mit denen Sachdaten verändert werden können: Value mapper Replace in String

48 Transform Set SRS Mit diesem Step wird das Koordinatensystem des Inputs bestimmt. Geometriespalte bestimmen Koordinaten bzw. Projektionssystem festlegen

49 Transform SRS Transformation Mit diesem Step können die Geometrien des Inputs für den Output in ein anderes Koordinatensystem transformiert werden.

50 Übung 2: Arbeiten mit Koordinatensystemen Importieren Sie das Shapefile roads in eine neue PostgresTabelle. Legen Sie für das Shapefile das Koordinatensystem mit dem EPSG-Code 4326 fest. Tabellenname: roads_wgs84 Schauen Sie sich das SQL dabei genau an. Fällt Ihnen ein Unterschied zu den bisherigen SQLs auf? Importieren Sie nun das Shapfile in eine neue PostgresTabelle. Transformieren Sie die Daten dabei von EPSG:4326 nach UTM 32 N (EPSG: 25832). Tabellenname: roads_utm32

51 4.3 Veränderung von Sachdaten

52 Transform Add constant Mit Add constant können neue Attributspalten hinzugefügt werde, die mit konstanten Werten gefüllt werden. Ein Anwendungsfall könnte zum Beispiel sein, die Quelle mit in die Sachdaten zu schreiben, wenn Daten aus mehreren Quellen in einer Output vereint werden.

53 Transform Replace in string Mit dieser Funktion können String in Attributen verändert werden. Dabei können/müssen folgende Werte angegeben werden: Input stream: Feld, in dem nach dem String gesucht wird Output stream: Feld in das der neue Wert geschrieben wird Use RegEx: Verwendung von regulären Ausdrücken Search: der zu ersetzende String Replace with: Ersatz Whole word: Gesuchte Ausdruck als ganzes Wort (Ja/nein) Case sensitive: Groß/Kleinschreibung berücksichtigen (ja/nein)

54 Transform Replace in string (2)

55 Transform Value Mapper Der Value Mapper wird dazu eingesetzt, um Werte einer Spalte konstant in einen anderen Wert umzuwandeln. Mögliches Einsatzgebiet: Übersetzungen

56 Übung 3: Arbeiten mit Attributwerten Importieren Sie die Daten aus roads.shp und railways.shp in einer Tabelle verkehr. Folgende Aufgaben sollen dabei gelöst werden: Die Daten sollen in der Datenbank im Koordinatensystem UTM-32N vorliegen. (SRS Transformation) Die Attribute beider Shapefiles sollen um die Herkunft der Daten erweitert werden (Add constant). Die Attribute des Feldes Type bei railways.shp sollen übersetzt werden in: (Value Mapper) Rail Eisenbahn Subway U Bahn Tram Straßenbahn Abandoned außer Betrieb Station Bahnhof Proposed in Planung Disused außer Betrieb Construction im Bau Platform Bahnsteig Disused;construc außer Betrieb

57 4.4 Aufsplitten von Shapefiles

58 Flow allgemein In der Kategorie Flow befinden sich Steps, die den Ablauf einer Transformation beeinflussen. So finden Sich hier Steps um, eine Transformation abzubrechen leere streams zu entdecken gar nichts zu machen Streams aufzuteilen

59 Flow Switch / Case (1) Besonders interessant ist hier der Step Switch / Case Er bietet die Möglichkeit einen Stream aufzuteilen und so eine Datenquelle aufzusplitten Spalte auswählen Festlegung, welche Werte in welchen Step geleitet werden

60 Übung 4: Arbeiten mit Switch / Case Erstellen Sie eine Transformation bei der die Inhalte der buildings.shp auf mehrere Tabellen aufgeteilt wird. Folgende Aufgaben sollen dabei gelöst werden: Die Daten sollen in der Datenbank im Koordinatensystem UTM-32N vorliegen. (SRS Transformation) Die Daten sollen auf verschiedene Tabellen verteilt werden Attributspalte für Split: type Zuordnung: Wert Tabelle residential und apartments wohngeb university und school bildunggeb Rest sonstigegeb

61 Sie möchten noch mehr lernen? Weitere Schulungen zu diesem und anderen Themen im Schulungsprogramm der FOSS-Academy: 61

62 Vielen Dank für Ihre Aufmerksamkeit... Fragen? Save the Date: Einf. in GeoKettle in Bonn WhereGroup GmbH & Co. KG Eifelstraße Bonn Tel.: +49 (0) Fax: +49 (0) Workshop Teilnehmer erhalten 10 % Rabatt. info@wheregroup.com 62