Von der Karte zur Geo-Datenbank. Die Tücken in der Praxis. DOAG-Jahreskonferenz Nürnberg,

Transkript

1 Von der Karte zur Geo-Datenbank. Die Tücken in der Praxis dialog DOAG-Jahreskonferenz 2007 Nürnberg, daten Andreas Bartels und Dr. Gergely Lukács disy Informationssysteme GmbH dimensionen disy Informationssysteme GmbH,

2 Agenda disy Informationssysteme GmbH Das Projekt RIPS-ShapeCache Import-Werkzeuge von Oracle Validierung und Korrektur von Geometrien Import-Module Zusammenfassung disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank 2 -

3 Kurzprofil disy Informationssysteme: Software und Beratung GmbH, private Gesellschafter Standort: Karlsruhe Gründung: 1997 Mitarbeiter: 50 Informatiker und Mathematiker mit Branchenerfahrung Innovative Entwicklungsmethoden Telefon- und Webkonferenzen Application Sharing Rückrufsysteme Systeme für Virtuelle Call Center CTI und Sprachlösungen Berichte, Auswertungen und GIS Geodateninfrastrukturen und Spatial Reporting Datenbankintegration und Data-Warehouse-Lösungen GIS-Lösungen Metadatenkataloge 3

4 Produkte und Themen disy Preludio disy GISterm disy Cadenza Metadaten & GDI Desktop & Web GIS Spatial Reporting Beratung und Umsetzung von Sach- und Geodateninfrastrukturen Umwelt und andere Fach- und Anwendungsgebiete 4

5 Verbreitung von disy GIS-Produkten Ca Arbeitsplätze Baden-Württemberg Div. Umweltthemen Forst, Flurneuordnung, Landschaftspflege 7 Bundesländer Bund BfS BAW Österreich Seit Ende 2006 Weiterentwicklung F&E Projekte disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank 5 -

6 Agenda disy Informationssysteme GmbH Das Projekt RIPS-ShapeCache Import-Werkzeuge von Oracle Validierung und Korrektur von Geometrien Import-Module Zusammenfassung disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank 6 -

7 Das Projekt RIPS-ShapeCache Ziel Verlagerung der Shapefile basierten GDI in eine Datenbank mit offenem Geometrie-Format. Vorhandene GIS-Anwendungen sollten aber weiterhin nutzbar sein. Aufgabe Implementierung eines Dienstes, der die Erfassung von geographischen Daten in einer Oracle-Datenbank, über den Import und Export von ESRI- Shapfiles realisiert. disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank 7 -

8 Das Projekt RIPS-ShapeCache Server Datenbank Export Import File- System Cache Datenbank Clients Datei-System disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank 8 -

9 Das Projekt RIPS-ShapeCache Server Datenbank Export Import File- System Cache Datenbank Clients Datei-System disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank 9 -

10 Agenda disy Informationssysteme GmbH Das Projekt RIPS-ShapeCache Import-Werkzeuge von Oracle Validierung und Korrektur von Geometrien Import-Module Zusammenfassung disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

11 Import-Werkzeuge von Oracle Oracle Shapefile Converter [1] Oracle Map Builder [2] Oracle Java Shapefile Converter [1] Oracle Spatial Java Class Library [1] disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

12 Import-Werkzeuge von Oracle Oracle Shapefile Converter disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

13 Import-Werkzeuge von Oracle Oracle Shapefile Converter Kommandozeilen basiert Binary Code für Windows, Solaris und Linux Konvertiert Shapefile-Format in SQL*Loader-Format Schwer automatisierbar Benötigte weitere Schritte Anlegen der Tabelle, Metadaten, Indexe Import mit SQL*Loader Migration der Geometrien Probleme mit Character-Encoding, NULL-Werten und Multi-Geometrien disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

14 Import-Werkzeuge von Oracle Oracle Map Builder disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

15 Import-Werkzeuge von Oracle Oracle Map Builder GUI basiertes Java-Programm Importiert Shapefile direkt in Datenbank Nicht Automatisierbar disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

16 Import-Werkzeuge von Oracle Oracle Java Shapefile Converter disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

17 Import-Werkzeuge von Oracle Oracle Java Shapefile Converter Kommandozeilen basiert Java-Programm Importiert Shapefile direkt in Datenbank Schwer automatisierbar Probleme mit Character-Encoding und NULL-Werten disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

18 Import-Werkzeuge von Oracle Oracle Spatial Java Class Library Java Package zum Zugriff auf Oracle Locator/Spatial Geometrien oracle.spatial.geometry Java Package zum Lesen von Shapefiles oracle.spatial.util kein Package zum Schreiben Referenz-Implementierung disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

19 Import-Werkzeuge von Oracle Oracle Spatial Java Class Library Class oracle.spatial.geometry.jgeometry implementiert Repräsentator der Geometrie Factory Converter von/nach oracle.sql.struct Converter nach java.awt.shape JGeometry geometry = JGeometry.createPoint(new double[]{ , },2,31467); if (geometry!= null) then { STRUCT struct = JGeometry.store(geometry, connection); statement.setobject(columnnumber, struct); } else { statement.setnull(columnnumber,types.other); } statement.execute(); disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

20 Import-Werkzeuge von Oracle Applicationen entsprechen nicht den Anforderungen Nicht automatisierbar oder Automatisierung aufwendig und zerbrechlich Beispiel-Implementierung durch Oracle Java Shapfile Converter vorhanden Java Library bietet benötigte Funktionalität für den Import von Shapefiles disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

21 Agenda disy Informationssysteme GmbH Das Projekt RIPS-ShapeCache Import-Werkzeuge von Oracle Validierung und Korrektur von Geometrien Import-Module Zusammenfassung disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

22 Validierung und Korrektur von Geometrien Validierung VALIDATE_GEOMETRY_WITH_CONTEXT( thegeometry IN SDO_GEOMETRY, tolerance IN NUMBER ) RETURN VARCHAR2; disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

23 Validierung und Korrektur von Geometrien Validierung VALIDATE_LAYER_WITH_CONTEXT( geom_table IN VARCHAR2, geom_column IN VARCHAR2, result_table IN VARCHAR2); benötigt leere Ergebnis-Tabelle CREATE TABLE val_results (sdo_rowid ROWID, result varchar2(1000)); Eintrag in USER_SDO_GEOM_METADATA disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

24 Validierung und Korrektur von Geometrien Validierung View USER_SDO_GEOM_METADATA SELECT M.TABLE_NAME, M.COLUMN_NAME, M.SRID, D.SDO_DIMNAME, D.SDO_LB, D.SDO_UB, D.SDO_TOLERANCE FROM USER_SDO_GEOM_METADATA M, TABLE(M.DIMINFO) D; TABLE_NAME COLUMN_NAME SRID SDO_DIMNAME SDO_LB SDO_UB SDO_TOLERANCE V GEOMETRY X V GEOMETRY Y I GEOMETRY X I GEOMETRY Y N GEOMETRY X N GEOMETRY Y disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

25 Validierung und Korrektur von Geometrien Validierung disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

26 Validierung und Korrektur von Geometrien Validierung ORA ORA ORA ORA ORA Der Punkt besitzt mehr als eine Koordinate Der äußere Ring des Polygons überschneidet sich Die inneren und äußeren Ringe des Polygons berühren sich Innere und äußere Ringe des Polygons überschneiden sich In der Geometrie sind doppelte Stützpunkte vorhanden disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

27 Validierung und Korrektur von Geometrien Validierung ORA ORA ORA ORA ORA Der Punkt besitzt mehr als eine Koordinate Der äußere Ring des Polygons überschneidet sich Die inneren und äußeren Ringe des Polygons berühren sich Innere und äußere Ringe des Polygons überschneiden sich In der Geometrie sind doppelte Stützpunkte vorhanden disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

28 Validierung und Korrektur von Geometrien Validierung Ergebnis der Validierung ist stark Toleranz abhängig Großes Problem bei Polygonen, da Toleranz größer sein kann als Distanz zum Nachbarpunkt Ergebnis der Validierung gibt nur ersten Fehler zurück Position des Fehler muss durch eigene Implementierung ermittelt werden Implementierung von Erweiterungen notwendig wenn Datenbank-Funktionen nicht ausreichen. disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

29 Validierung und Korrektur von Geometrien Besondere Fehlerquellen Unterschiedlicher qualitativer Umgang mit Geometrien z.b. Berücksichtigung und Umgang mit Koordinaten- Genauigkeit Unterschiedlicher Ausprägung bei Geometrien in GIS-Programm und Datenbank in Spezialfällen z.b. Polygon-Löcher mit Punkt auf Polygon-Umring disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

30 Validierung und Korrektur von Geometrien Unterschiedlicher Umgang mit Genauigkeit beim Speichern toleranz = 0.01 P1 = (1.000,1.007) P2 = (1.000,1.016) Grid basiert P1 = (1.00,1.01) P2 = (1.00,1.02) Distanz basiert (Oracle) P1 = (1.000,1.007) P2 = (1.000,1.016) disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

31 Validierung und Korrektur von Geometrien Unterschiedlicher Umgang mit Genauigkeit bei Anfragen toleranz = 0.01 P1 = (0.000,1.007) P2 = (1.000,1.007) P3 = (1.000,1.016) Grid basiert P1 = (0.000,1.01) P2 = (1.000,1.01) P3 = (1.000,1.02) Distanz basiert P1 = (0.000,1.007) P2 = (1.000,1.007) P3 P1 t P3 d P2 P1 P2 P1 P2 disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

32 Validierung und Korrektur von Geometrien Unterschiedliche z.b. Polygon-Löcher mit Punkt auf Polygon- Umring Ausprägung im Spezialfall disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

33 Validierung und Korrektur von Geometrien Korrektur Automatische Korrektur In einigen Fällen möglich z.b. Flasche Orientierung bei Polygon Ringen, doppelten Punkten, usw. Achtung, kann zu neuen Fehlern z.b. Eliminierung doppelter Punkte, Polygon kann zu Linie werden disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

34 Validierung und Korrektur von Geometrien Korrektur Manuelle Korrektur In dem meisten Fällen nötig z.b. wenn sich innere und äußere Ringe eines Polygons überschneiden Ergebnis der Validierung muss für Anwender aufbereitet werden z.b. als Fehler-Thema visualisiert disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

35 Validierung und Korrektur von Geometrien Fehler- Visualisierung für manuelle Korrektur disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

36 Validierung und Korrektur von Geometrien Nur korrekte Eingaben erzeugen korrekte Ergebnisse Fehlende Fehler-Robustheit bei Locator/Spatial-Funktionen Fehlende Fehler-Robustheit bei GIS-Programmen disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

37 Import-Module Prozesse Konvertierung Shapefile Geometrien nach Oracle Geometrie Dbase-Daten in Oracle Daten Validierung Prüfen ob Geometrien den Anforderungen entsprechen Korrektur Automatisch über Locator/Spatial-Funktion und eigene Erweiterungen Daten für Manuelle Korrektur aufbereiten disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

38 Import-Module Daten Eingabedaten Shapefile-Dateien Zwischen Tabelle (Staging-Table) Ausgabe für Konvertierung Eingabe für Validierung Eingabe und Ausgabe für Korrektur Validierungs Ergebnis-Tabelle Ausgabe Validierung Eingabe der Korrektur disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

39 Import-Module Ablauf Shapefile Konvertierung Validierung Zwischen- Tabelle Speichern Ziel- Tabelle Validier- Report Korrektur ungs- Fehler- Report disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

40 Agenda disy Informationssysteme GmbH Das Projekt RIPS-ShapeCache Import-Werkzeuge von Oracle Validierung und Korrektur Import-Module Zusammenfassung disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

41 Zusammenfassung Die Datenübernahme aus anderen Formaten, nach Oracle, umfasst neben der Konvertierung der technischen Formate auch die Validierung bzw. die Korrektur der Geometrien. Lösungen, die diesen Anforderungen gerecht werden, gehen deutlich über die von Oracle in OTN angebotenen Anwendungen für den Shapefile-Import hinaus. disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

42 Zusammenfassung Eine mögliche Umsetzung umfasst Java-Anwendungen, Staging-Tabellen und PL/SQL-Prozeduren. Sie berücksichtigt Faktoren die sich durch Geodaten- erfassung, bzw. - korrektur, -qualität und Geodatenbank ergeben. disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

43 Quellen 1. Oracle Spatial Utility and Plugin Downloads 2. Oracle Application Server MapViewer 3. Spatial User's Guide and Reference, 4. Oracle Forum Spatial, 5. Pro Oracle Spatial (Ravi Kothuri, Albert Godfrind und Euro Beinat), apress disy Informationssysteme GmbH - Von der Karte zur Geo-Datenbank

44 Vielen Dank! Haben Sie weitere Fragen? dialog daten dimensionen disy Informationssysteme GmbH, Erbprinzenstr. 4-12, Karlsruhe Tel.: / , Fax: / ,