GeoKettle - Extending A Data. Integration Tool With Geodata

Transkript

1 GeoKettle - Extending A Data Integration Tool With Geodata Management Summary of Diploma Thesis 2006/07 / Management Summary der Diplomarbeit im Wintersemester 2006/07 Roger Eggenberger & Armin Thommen Edition [ManagementSummary_GeoKettle.doc]. Homesite Industriepartner: infogrips GmbH, Zürich, Supervisor / Betreuer: Prof. Stefan F. Keller, Institut für Software und GISpunkt, Introduction The integration of data in companies, organizations and public administrations is still a tricky business. Even tough the information technology makes steady progress. In some projects, the acquisition of data eats up almost all the budget. This is definitively the case in projects with geographical data, which typically come from different sources. In case, a data warehouse is needed huge costs can result. The reason for these costs can be located on the one hand in the expensive tools and on the other hand in the time and knowledge needed for the transformations. For regular data, like normal tables in databases or in textfiles, a whole bunch of ETL tools are on the market. ETL stands for Extract, Transform, Load. Most of this, often expensive solutions support no geographical data. There is only one program, which is capable of geographical data. The Business Intelligence platform Pentaho integrated the ETL Kettle (c.f. [viewed ]). Kettle and the whole Pentaho Suite are both Open Source Solution. Kettle provides all functions needed, for moving crude data into data warehouses. Kettle can be extended with Plugins, to fit your own needs. These extensions and Kettle itself are both written in Java.

2 Component interactions in Kettle / Zusammenspiel der Kettle Komponenten To move data into a data warehouse Kettle, is divided in four applications: The Spoon application reads data from different sources, transforms and writes them into a data sink. Such a sequence is called Transformation. Pan runs these transformations in the command line. Some data integration tasks include several transformations. With Chef they can all be combined in a single job. With Kitchen this job can be executed in the command line. Task At the beginning, Kettle should be compared with other ETL tools.with two data integration scenarios, Kettle s capabilities have to be evaluated. In the first scenario, population data is extracted from different Excel Sheets and written in databases. In the second scenario, hiking trails are read from an ESRI Shapefile (c.f. [date: ]). Kettle should be extended with plugins to be capable of geographical data. Approach After a short look into Kettle, a market review over existing ETL tools has been made. Therefore a bunch of important Open Source and commercial solution were compared. Further a short introduction into schema and data transformation was created. With the "population" scenario, a first data warehouse was realized and documented. This task was a good introduction into Kettle. With the knowledge from the scenarios, the Shapefile Input Plugin and the Postgis Output plugin were built. After this, a scenario with geographical data was constructed. The extracted geometries are hiking trails, which were delivered as ESRI shapefiles. With the "population" scenario, a first data warehouse was realized and documented. This task was a good introduction into Kettle. With the knowledge from the scenarios, the Shapefile Input Plugin and the Postgis Output Institut für Software / GISpunkt 2

3 plugin were built. After this, a scenario with geographical data was constructed. The extracted geometries are hiking trails, which were delivered as ESRI shapefiles. Transformation in Spoon / Transformation in Spoon Results Market review: ETL Tools This overview was used to see behind the curtain of the ETL Market. Further a list with geo-data capable software was created. Overview schema transformations: This document describes the theoretic approaches for schema and data transformation. Scenario "population": With this practical example, the introduction in Kettle was achieved. The transformations and used functions were extensive documented. Scenario "hiking trails": In this scenario, geometries were extracted from ESRI-Shapefiles and written in a PostGIS database.with the geometry the start- and endpoint and the length were calculated. The complete scenario and the results were documented. ESRI Shapfile Input Plugin: This Plugin enables Kettle to read Shapefiles. Beside geometries also the other fields from the corresponding DBF-File can be imported. Also multifile is supported, but in this case the DBF-Files have to be in the same structure. Postgis Output Plugin: With the Postgis Output Plugin geometries and other data can be written in postgis databases.wkt- or WKB-Strings are accepted input streams. Calculator Plugin This Plugin allows manipulating geometries. Functions like length calculation or reading start- and endpoints are provided. Plugin Guide :For the development of further plugins, a simple Plugin and a Plugin Guide were made. This document shows the architecture and the functions of the different classes. Outlook The scenario hiking trail showed that Kettle is capable of geo-data. All the functions needed for this scenario were implemented in Kettle. But there are still some expansions possible. Further development proposals: Further Input- und Output-Plugins Institut für Software / GISpunkt 3

4 Additional functions in the Calculator Plugin Extending Kettle with the geometry data type To extend Kettle with geographical functionality, further plugins could be developed. It is imaginable to support other file formats like Oracle Spatial for the input and output. In the Calculator Plugin other features, like the calculation of intersections and areas could be implemented. Kettle has no geometry data type, therefore the geometries have to be passed as strings or byte arrays to the next step. The changes in Kettle would be not very difficult, but they have to be implemented by the Kettle developers. Otherwise the plugins and transformations would be bound to a specific, extended kettle version. More information: Calculator Plugin Managment Summary (deutsch) Ausgangslage Die Integration von Daten in Unternehmen, Organisationen und der öffentlichen Verwaltung ist trotz Fortschritten in der Informationstechnologie immer noch ein aufwändiges Unterfangen. In manchen Projekten kann der Aufwand zur Beschaffung von Daten das Budget teilweise bis ganz ausfüllen. Dieses Problem trifft sicher auf Arbeiten mit Geodaten zu, die typischerweise Institut für Software / GISpunkt 4

5 aus verschiedenen Datenquellen stammen und in Geo-Informationssystemen (GIS) verwaltet werden. Soll nun ein "Data Warehouse" aufgebaut werden, kann die Integration der Daten grosse Kosten verursachen. Der Grund dafür ist einerseits in den teurenwerkzeugen zu suchen, andererseits werden für die Transformationen aber auch viel Zeit und Wissen benötigt. Für reguläre Daten, wie normale Tabellen in Datenbanken oder in Textfiles existieren viele ETL Werkzeuge. ETL steht für Extract, Transform und Load, dies bedeutet soviel wie die Daten auswählen, umsetzen und laden. Die meisten dieser, zum Teil sehr teuren Programmen, unterstützen keine Geoformate. Für das Einlesen und die Umwandlung von Geo-Formaten gibt es nur einen grossen Anbieter auf dem Markt. Mit Kettle (siehe [Abrufdatum: ]) ist ein ETL Werkzeug in die Business Intelligence Platform Pentaho integriert worden. Kettle und die ganze Penatho Suite sind Open Source Lösungen und werden laufend weiterentwickelt. Kettle bietet alle gängigen Funktionen, welche für eine produktive Integration von Daten in "DataWarehouses" benötigt werden. Zusätzlich zu den bestehenden Funktionen kann Kettle mit Plugins an die eigenen Bedürfnisse angepasst werden. Diese Erweiterungen sind wie Kettle selbst in Java realisiert. Kettle besteht aus vier Applikationen um Daten effizient in ein Data Warehouse einzulesen. Im Programm Spoon können Daten aus verschiedenen Quellen eingelesen, abgeändert und am Ende in eine Datensenke geschrieben werden. Solch eine Abfolge wird Transformation genannt. Mit Pan können diese Transformationen aus Spoon über die Kommandozeile ausgeführt werden. Einige Datenintegrationsaufgaben bestehen aus mehreren Transformationen. Diese können mit Chef zu einem Job zusammengefasst und mit Kitchen über die Kommandozeile ausgeführt werden. Aufgabenstellung Zuerst soll Kettle mit anderen ETL Tools verglichen und dokumentiert werden. Um die Möglichkeiten von Kettle zu untersuchen, werden zwei Datenintegrations-Szenarien erstellt und dokumentiert. Im ersten Szenario sollen Bevölkerungsstatistiken aus unterschiedlichen Excel- Dateien ausgelesen und in eine Datenbank geschrieben werden. Im zweiten Szenario werden Geometrien von Wanderwegen aus ESRI Shapefiles2 eingelesen. Kettle soll so erweitert werden, dass es Geo-Daten verarbeiten kann. Vorgehen Nach einer kurzen Einarbeitungszeit in Kettle wurde eine Marktübersicht über bestehende ETL Werkzeuge erstellt. Dabei wurden die wichtigsten Open Source und kommerziellen Produkte direkt miteinander verglichen. Weiter wurde eine kurze Einführung in die Welt der Schema- und Daten-Transformationen erstellt. Mit dem Szenario "Bevölkerungsstatistik" wurde ein erstes DataWarehouse realisiert und dokumentiert. Diese Aufgabe diente als Einstieg in Kettle. Das Einarbeiten in Kettle beanspruchte viel Zeit, da in Spoon viele Möglichkeiten für die Manipulation der Daten bestehen. Institut für Software / GISpunkt 5

6 Mit dem erarbeiteten Wissen konnten nun die beiden ersten Plugins erstellt werden; das Shapefile Input Plugin sowie das Postgis Output Plugin. Anschliessend wurde mit diesen beiden Plugins ein Szenario mit Geodaten erstellt. Bei den eingelesenen Geometrien handelte es sich um die Wanderwege des Kantons Zürich, welche in Form eines ESRI Shapefiles geliefert wurden. Während der Realisation des Szenarios wurde klar, dass ein weiteres Plugin benötigt wird, um die Geodaten zu bearbeiten. Nachdem die Anforderungen ermittelt worden sind, wurde ein drittes Plugin, das Calculator Plugin implementiert. Mit dem Plugin können alle benötigten Manipulationen an den Geometrien in Kettle durchgeführt werden und es könnte auch Datenbank verwendet werden, die keine Unterstützung für Geodaten bietet. Resultate Marktübersicht ETL Tools: Diese Übersicht diente dazu, einen Einblick in den Markt der ETL Tools zu erlangen.weiter konnte in Erfahrung gebracht, welche anderen Produkte Geo- Formate unterstützen. Übersicht Schematransformationen Das Dokument soll aufzeigen, welche theoretischen Ansätze zu Schema- und Daten-Transformationen bestehen. Szenario "Bevölkerungsstatistik": Mit diesem praktischen Beispiel konnte ein guter Einstieg in Kettle realisiert werden. Die erstellten Transformationen und verwendeten Funktionen wurden ausführlich beschrieben. Szenario "Wanderwege": Bei diesem Szenario wurden Geometrien aus einem ESRI- Shapefile in Kettle eingelesen und in eine Postgisdatenbank geschrieben. Aus den Geometrien wurden Start- und Endpunkte ausgelesen sowie die Länge berechnet. Die Vorgehensweise und die erreichten Resultate wurden dokumentiert. ESRI Shapfile Input Plugin: Dieses Plugin ermöglicht das Einlesen von Shapefiles in Kettle. Neben den Geometrien werden auch die Felder aus den dazugehörigen DBF-Files importiert. Es können auch mehrere Shapefiles gleichzeitig eingelesen werden. Voraussetzung dafür ist aber die gleiche Struktur der DBF-Dateien. Postgis Output Plugin: Mit dem Postgis Output Plugin können Geometrien und andere Daten in eine Postgis Datenbank geschrieben werden. Als Input werden WKT- oder WKB- Strings akzeptiert. Calculator Plugin Dieses Plugin ermöglicht Manipulationen an Geometrien. Es werden Funktionen wie beispielsweise das Berechenen einer Länge oder das Auslesen von Startund Endpunkten angeboten. Plugin Guide: Damit weitere Plugins einfacher erstellt werden können, wurde ein Plugin Guide geschrieben. Der Guide erklärt die Architektur und beschreibt die benötigten Klassen und Interfaces eines Plugins. Im Anschluss daran wird in einem Tutorial die Implementierung und das Deployment eines Plugins praktisch dargestellt. Ausblick Mit dem Szenario "Wanderwege" wurde aufgezeigt, dass es in Kettle möglich ist, Geo- Daten zu Institut für Software / GISpunkt 6

7 verarbeiten. Es wurden alle für das Wanderwegszenario benötigte Funktionen in Kettle eingebracht. Es bestehen aber noch einige weitere Ausbaumöglichkeiten: Weitere Input- und Output-Plugins Zusätzliche Funktionen im Calculator Plugin Erweitern des Kettle Core mit einem Geometrie Datentyp Um Kettle mit mehr Geo-Funktionalität auszustatten, könnten weitere Plugins erstellt werden. Es kann sich dabei um Input Plugins handeln, welche weitere Formate unterstützen. So wären Plugins für die verbreiteten Formate GML (Geography Markup Language) (3) oder Interlis (4) denkbar. Auch bei den Ouput Plugins könnten weitere Datensenken wie beispielsweise Oracle Spatial(5) oder ESRI Shapefiles unterstützt werden. Im Calculator Plugin könnten weitere Features implementiert werden. Die Funktionen dieses Plugins beruhen auf der JTS Library (6) Deshalb können grundsätzlich alle Geometriebezogenen Funktionen aus JTS in dieses Plugin integriert werden. Dies sind beispielsweise Berechnungen von Flächen oder Schnittpunkten. Kettle kennt Geometrien nicht als Datentyp. Die Geometrien müssen deshalb innerhalb von Kettle als Strings oder als Byte Arrays weitergereicht werden. Ein Ausbau von Kettle mit einem Geometrie Datentyp ist realisierbar, macht aber nur Sinn, wenn die Änderung von den Kettle Entwicklern fest integriert wird. Ansonsten wären Plugins und Transformationen an die erweiterte Kettle Version gebunden. Weitere Informationen siehe 3) [Abrufdatum: ] 4) [Abrufdatum: ] 5) [Abrufdatum: ] 6) [Abrufdatum: ] Institut für Software / GISpunkt 7