OpenStreetMap Daten in Oracle Spatial

Transkript

1 OpenStreetMap Daten in Oracle Spatial DOAG, SIG Oracle Spatial Potsdam, 15. März 2011 Markus Lindner, CISS TDI

2 Gliederung OpenStreetMap Modellierung Verwendung in Oracle

3 OpenStreetMap Warum überhaupt OpenStreetMap? CISS ist Partner von Navteq und Tele Atlas Gestiegenes Kunden-Interesse an OpenStreetMap Erste konkrete Anfrage: OpenStreetMap -> GDF Viele Projekte mit Navteq und Tele Atlas Daten

4 OpenStreetMap Was ist OpenStreetMap? Open Source Projekt - OpenStreetMap hat das Ziel, freie geographische Daten über Straßen, Eisenbahnen, Flüsse, Wälder, Häuser und alles andere, was gemeinhin auf Karten zu sehen ist, zu erfassen. Diese Daten stehen allen Benutzern lizenzkostenfrei zur Verfügung, um daraus zum Beispiel Straßen-, Wander- oder Fahrradkarten, Routenplaner oder andere wissenswerte Informationen zu erstellen.

5 OpenStreetMap Was ist OpenStreetMap?

6 OpenStreetMap Was ist OpenStreetMap? Verfügbarkeit - Visualisierung (Dienst) - Routing (Dienst) beta! - Export-Datei (XML-Format) - Vorgefertigte Datenbestände tagesaktuell verfügbar - Tools für den eigenen Export

7 OpenStreetMap Was ist OpenStreetMap? Export Format OSM Dateien (XML) - 3 unterschiedliche Features - Jedes Feature hat Attribute (id,timestamp, user, bei nodes: lon, lat) - Ways bestehen aus Verweisen auf nodes - Relations bestehen aus member mit unterschiedlichen Rollen (roles) - Zu jedem Feature können Tags weitere Informationen enthalten

8 OpenStreetMap Was ist OpenStreetMap? Export Format OSM Dateien (XML) - Nodes (Koordinaten) - Tags (Informationen zur Art des Knoten) - Ways - Nodes (Verweise auf die Nodes) - Tags (Informationen zur Art der Way) - Relations - Member (Way, Node, Relation) - Role - Tags (Informationen zur Art der Relation)

9 OpenStreetMap Node <node id=" " lat=" " lon=" " user="dachefte" uid="133419" visible="true" version="6" changeset=" " timestamp=" t17:30:41z"> <tag k="highway" v="traffic_signals"/> </node>

10 OpenStreetMap Ways <way id=" " user="dahlberg" uid="17848" visible="true" version="3" changeset=" " timestamp=" t15:06:23z"> <nd ref=" "/> <nd ref=" "/> <nd ref=" "/> <nd ref=" "/> <nd ref=" "/> <nd ref=" "/> <nd ref=" "/> <nd ref=" "/> <tag k="highway" v="residential"/> <tag k="name" v="von-weichs-straãÿe"/> </way>

11 OpenStreetMap Relations <relation id="401701" user="evane" uid="184969" visible="true" version="1" changeset=" " timestamp=" t21:57:14z"> <member type="way" ref=" " role="outer"/> <member type="way" ref=" " role="inner"/> <tag k="type" v="multipolygon"/> </relation>

12 OpenStreetMap Tags <tag k="type" v="multipolygon"/> <tag k="highway" v="residential"/> <tag k="name" v="von-weichs-straãÿe"/> <tag k="footway:right.sloped_curb.end" v="0.03"/>

13 OpenStreetMap Tags Highway example Railway Waterway Landuse Amenity Leisure Natural Type Name... (>20.000)

14 Gliederung OpenStreetMap Modellierung Verwendung in Oracle

15 Warum Modellierung? Import von XML in Oracle Spatial Verschiedene Philosophien und Techniken der Darstellung - OSM Renderer vs. MapViewer Unterschiedliche Nutzungen der Daten - Netzwerk Datenmodell - Schöne Karte

16 Was wollen wir erreichen? Befüllen des Oracle Netzwerk Datenmodells Datengrundlage für eine schöne Karte Import aller Informationen Harmonisierung der Daten

17 NDM - Was wird benötigt? Straßen (klassifiziert) Kreuzungen Knoten Kanten Modell Richtung von Strassen Partitionen

18 Karte was wird benötigt? Verschiedene Ebenen mit Flächen Verschiedene Ebenen mit Linien Verschiedene Ebenen mit Punkten - MapViewer kann innerhalb einer Ebene unterschiedliche Symbole visualisieren - GIS Systeme sind etwas beschränkter Übersichtliche Datenstruktur für jede Ebene - Verkürzt die Ladezeiten Sammeltabellen für Tags - Vollständigkeit

19 Einfacher (naiver) Ansatz Pro OSM Feature Oracle Tabelle Pro Tag Spalte in Tabelle 3 Tabellen mit > Spalten???

20 Datenmodellierung Schnittstelle (Konfiguration) <?xml version="1.0" encoding="utf-8"?> <cfg version="1.0"> <StandardTag name="highway"/> <SubTag name="oneway"/> <StandardTag name="railway"/> <StandardTag name="leisure"/> <StandardTag name="building"/> <StandardTag name="type"/> <StandardTag name="amenity"/> <StandardTag name="boundary"/> <StandardTag name="landuse"/> <StandardTag name="waterway"/> <StandardTag name="name"/> </cfg>

21 Datenmodellierung OSM Objekt <way id=" " user="rotora" uid="9781" visible="true" version="18" changeset=" " timestamp=" t20:23:13z"> <nd ref=" "/> <nd ref=" "/> <nd ref=" "/> <nd ref=" "/> <tag k="highway" v="tertiary"/> <tag k="lanes" v="2"/> <tag k="name" v="graurheindorfer StraÃŸe"/> <tag k="oneway" v="yes"/> <tag k="created_by" v="potlatch 0.10f"/> </way>

22 Datenmodellierung CITRA Objekte FACDEF = WAY 001 ATTSEG = WAY ID F(1) : USER C(32) :RoToRa 5 VISIBLE C(5) :true 6 CHANGESET C(32) : TIMESTAMP C(32) : T20:23:13Z 100 highway C(255) :tertiary 101 name C(255) :Graurheindorfer Straße 102 oneway C(255) :yes 77 EDGE_ID F(1) :11 77 EDGE_ID F(1) :12 77 EDGE_ID F(1) :13 PICTURE LINE = WAY ENDFAC FACDEF = WAYTAG 001 ATTSEG = WAYTAG WAY_ID F(1) : TAG_NAME C(255) :created_by 3 TAG_VALUE C(255) :Potlatch 0.10f PICTURE ENDFAC FACDEF = WAYTAG 001 ATTSEG = WAYTAG WAY_ID F(1) : TAG_NAME C(255) :lanes 3 TAG_VALUE C(255) :2 PICTURE ENDFAC

23 Datenmodellierung Schnittstelle CITRA Schnittstelle Problem: Ways und Nodes kein echtes Knoten- Kantenmodell Lösung: Schnittstelle erzeugt echte Edges für (highway)-ways

24 Datenmodellierung

30 Datenmodellierung OSM Objekt <way id=" " user="rotora" uid="9781" visible="true" version="18" changeset=" " timestamp=" t20:23:13z"> <nd ref=" "/> <nd ref=" "/> <nd ref=" "/> <nd ref=" "/> <tag k="highway" v="tertiary"/> <tag k="lanes" v="2"/> <tag k="name" v="graurheindorfer StraÃŸe"/> <tag k="oneway" v="yes"/> <tag k="created_by" v="potlatch 0.10f"/> </way>

31 Datenmodellierung CITRA Objekte FACDEF = WAY 001 ATTSEG = WAY ID F(1) : USER C(32) :RoToRa 5 VISIBLE C(5) :true 6 CHANGESET C(32) : TIMESTAMP C(32) : T20:23:13Z 100 highway C(255) :tertiary 101 name C(255) :Graurheindorfer Straße 102 oneway C(255) :yes 77 EDGE_ID F(1) :11 77 EDGE_ID F(1) :12 77 EDGE_ID F(1) :13 PICTURE LINE = WAY ENDFAC FACDEF = EDGE 002 ATTSEG = EDGE ID F(1) :11 2 WAY_ID F(1) : FROM_NODE F(1) : TO_NODE F(1) : PICTURE LINE = EDGE ENDFAC FACDEF = EDGE 002 ATTSEG = EDGE ID F(1) :12 2 WAY_ID F(1) : FROM_NODE F(1) : TO_NODE F(1) : PICTURE LINE = EDGE ENDFAC

32 Datenmodellierung Schnittstelle CITRA Schnittstelle Kann OSM Exporte in Größenordnung 3-3,5 GB (Berlin: 180 MB, England: 3.1 GB) Variiert in Abhängigkeit Anzahl Nodes Begrenzt durch Java VM und Hauptspeicher CITRA Namen sind momentan fix Weitere Konfigurationsmöglichkeiten denkbar

33 CITRA Die Konvertierung in 3 Schritten Modellierungswerkzeuge Basierend auf dem CITRA-Format Syntaktische Konvertierung und Klassifikation von Daten Syntaktische Konvertierung und Konsistenzprüfung

34 CITRA Die Implementierung Test Quelle Analyse Report Report Report Report Ziel Geometrische Operationen Modifizierung von Attributen Aufwertung der Topologie...

35 CITRA Konzept CITRA - Modellierungswerkzeuge Alphanumerische Daten Geometrie... z.b. Bearbeitung von Flächen Modifikation von Objekten Bildung von Relationen Bildung von Topologien Analyse der CITRA-Datensätze Plausibilitätsprüfung Das offene CITRA-Format ermöglicht den Aufbau und die Integration individueller Lösungen

36 CITRA Konzept CITRA - Modellierungswerkzeuge Alphanumerische Daten Geometrie Modifikation von Objekten Bearbeitung von Flächen Bildung von Relationen Bildung von Topologien Uferstr. 15a Uferstr. 15 a Analyse der CITRA-Datensätze Plausibilitätsprüfung Das offene CITRA-Format ermöglicht den Aufbau und die Integration individueller Lösungen

37 CITRA Konzept CITRA - Modellierungswerkzeuge Alphanumerische Daten Geometrie Modifikation von Objekten Bearbeitung von Flächen Bildung von Relationen Bildung von Topologien Analyse der CITRA-Datensätze Plausibilitätsprüfung Das offene CITRA-Format ermöglicht den Aufbau und die Integration individueller Lösungen

40 CITRA Konzept CITRA - Modellierungswerkzeuge Alphanumerische Daten Geometrie Modifikation von Objekten Bearbeitung von Flächen Bildung von Relationen NAYY 3x NAYY 3x Bildung von Topologien Analyse der CITRA-Datensätze Plausibilitätsprüfung Das offene CITRA-Format ermöglicht den Aufbau und die Integration individueller Lösungen

45 CITRA Konzept CITRA - Modellierungswerkzeuge Sachdaten - Umbenennung von Feldern - Aufbereitung von Inhalten - Generierung von Defaultwerten - Abbildung auf zulässige Werte - Aufteilen, Zusammenfügen von Sachdaten - Umlautkonvertierung Geometrie - Umwandlung von graphischen Primitiven - Umrechnung von Referenzpunkten - Nachbildung von Zeichenmethoden - Erzeugung von Präsentationsgraphik Uferstr. 15a Uferstr. 15 a Text A9f1..y Text

46 CITRA Konzept CITRA - Modellierungswerkzeuge Flächenbearbeitung - Überführung verschiedener Flächendatenmodelle - Flächenbildung unter verschiedenen Voraussetzungen - Zuordnen von Repräsentanten - Zuordnung von Zentroiden zu den zugehörigen Flächen - Umsetzung von verschiedenen Repräsentationen von Inseln und Exklaven Herstellen von Beziehungen - Zusammenführen von Geometrie und Sachdaten eines Objekts - Beziehungen zwischen Objekten - Einfangen von Texten - Identifizieren von Textblöcken NAYY 3x NAYY 3x

47 CITRA Konzept CITRA - Modellierungswerkzeuge Erzeugung von Topologie - Suche nach Overshoots - Finden von fehlenden Knoten - Generierung von Knoten - Herleitung von Knotentypen aus dem toplogischen Zusammenhang - Prüfen auf Konsistenz zu topologischen Regeln - Zusammensetzen von Liniensegmenten entsprechend topologischer Regeln Objekte modifizieren - Trennen - Verschmelzen - Vervielfältigen - Löschen - Umbenennen

48 CITRA Konzept CITRA - Modellierungswerkzeuge Analyse von CITRA-Dateien - Statistik - Generierung von Konfigurationsdateien - Visualisierung mit dem SVG-Viewer Plausibilitätsprüfungen - Wichtiger Beitrag zur Qualitätssicherung - Funktionalität zur automatischen Fehlerkorrektur Offenes Format ermöglicht Erstellung und Einbau von Individuallösungen

49 CITRA Konzept Beispiel CITRA Format FACDEF = BUILDING ATTSEG = PUBLIC_BLDG 1 TYPE C(3) :015 2 BUILT_IN C(4) : STR_CODE C(5) : NUMBER C(4) : ADDRESS C(33) :14, Mildenhall Road PICTURE LINE = BLDG_AREA , SYMB = CENTROID ANGLE = FTEXT = NUMBER ANGLE = 281 FLDID = TEXT = DESCRIPTION 'Town Hall' ENDFAC

50 CITRA Nodes Nodes werden einfach modelliert Die Schnittstelle unterscheidet zwischen Nodes ohne <Tag> und Nodes mit <Tag> Nodes mit Tag sind POI POI werden je nach Bedeutung des <Tag> umbenannt Nodes ohne Tag sind nur für NDM wichtig

51 CITRA Ways Ways können mehrere <Tags> haben Beispiel: highway und railway Verdoppeln der Geometrie notwendig <way id=" " user="mike67" uid="49785" visible="true" version="6" changeset=" " timestamp=" t21:14:14z"> <nd ref=" "/>... <tag k="highway" v="secondary"/> <tag k="name" v="kã lnstraãÿe"/> <tag k="oneway" v="yes"/> <tag k="railway" v="tram"/> <tag k="ref" v="l 300"/> </way>

52 CITRA Ways Ways bilden Polylinien und Polygone Bei Enklaven/Exklaven gibt es eine Relation mit dem type multipolygon <relation id="22522" user="dabear" uid="31059" visible="true" version="1" changeset="600786" timestamp=" t12:00:41z"> <member type="way" ref=" " role="outer"/> <member type="way" ref=" " role="inner"/> <tag k="type" v="multipolygon"/> </relation>

53 CITRA Ways Zusammenfassen der Ways eines Multipolygons zu einem Objekt Aber: einzelne Ways eines Multipolygons können unterschiedliche Bedeutungen haben Der Typ des äußeren Rings gibt den Typ des gesamten Polygons vor Wenn ein innerer Ring einen anderen Typ hat, wird dieser dupliziert

54 CITRA Ways (Fehler)

55 CITRA Ways

56 CITRA Ways (korrekt)

57 CITRA Relationen Modellieren Beziehungen zwischen Objekten, aber auch Objekte selbst Für Darstellung wichtige Relationen (Multipolygone) Informative Relationen (Route für S-Bahn-Linien) Manöver (Abbiege-Verbote etc...)

58 CITRA Attribute >20000 unterschiedliche <Tags> ungültige Namen <tag k="footway:right.incline" v="1.0%"/> Einheitlichkeit? <tag k= amenity" v= school"/> <tag k= school" v= yes"/>

59 Gliederung Open Street Map Modellierung Verwendung in Oracle

60 Datenmodell Oracle Tabellen mit Ways(Areas) AREAAMENITY AREALANDUSE AREALEISURE AREAWATER BUILDING AREANATURE TRAFFIC OTHER_OBJECTS

61 Datenmodell Oracle Tabellen mit Ways(Polylines) STREETS RAILWAY BOUNDARY

62 Datenmodell Oracle Tabellen mit Nodes (Points) POI_RAILWAY POI_TRAFFIC POI_RESTRNT POI_AMENITY POI_PARKING POI_WATER POI_PETROL POI_BANK POI_NATURE POI_LANDUSE POI_LEISURE

63 Datenmodell Oracle Tabellen ohne Geometrie RELATIONS RESTRICTIONS WAYTAGS NODETAGS RELTAGS

64 Datenmodell Oracle Tabellen für Netzwerk-Datenmodell OSM_NODE$ OSM_LINK$ OSM_PATH$ OSM_PLINK$

65 Oracle Netzwerk Datenmodell Spatial Netzwerk ohne LRS SDO_GEOMETRY Spatial Netzwerk mit LRS SDO_GEOMETRY Spatial Netzwerk mit SDO_TOPO_GEOMETRY Logisches Netzwerk ohne Geometrie

66 Oracle Netzwerk Datenmodell Benutzer/Schema anlegen Anlegen der Datenstrukturen Daten importieren Metadaten erzeugen Testen/Validieren

67 Oracle Netzwerk Datenmodell Partitionieren! Objekte auf der Grenze - Nodes Ok (Constraint) - Ways Ok (Edge Ids konfigurierbar) Directed oder Not-Directed

68 Oracle Anlegen der Datenstrukturen Verwendung von Oracle Funktionen zum erzeugen der Tabellen Erzeugen der Tabellen durch eigene Scripte

69 Oracle Anlegen der Datenstrukturen SDO_NET.CREATE_SDO_NETWORK (<name>,<hierachie-level>,<directed>,<node with cost>); --- anlegen der Netzwerk - Tabellen EXEC SDO_NET.CREATE_SDO_NETWORK('OSM',9,True,FALSE); --- eigene Spalten für ID aus OpenStreetMap ALTER TABLE OSM_NODE$ ADD (OSM_ID NUMBER); ALTER TABLE OSM_LINK$ ADD (OSM_ID NUMBER); --- Sequenz wird con CITRA verwendet create sequence LINK_SEQ;

70 Oracle Daten importieren CITRA

71 Oracle Metadaten insert into USER_SDO_GEOM_METADATA values( 'OSM_NODE$', 'GEOMETRY', MDSYS.SDO_DIM_ARRAY( MDSYS.SDO_DIM_ELEMENT( 'X', -360, 360, ), MDSYS.SDO_DIM_ELEMENT( 'Y', -360, 360, ) ), 4326 );... OSM_LINK$, OSM_PATH$

72 Oracle Validieren SDO_NET.VALIDATE_NETWORK(<name>,<check_data>) --- Validieren des Netzwerkes select SDO_NET.VALIDATE_NETWORK('OSM','True') from dual;

73 Oracle

74 Oracle Karte Benutzer anlegen Anlegen der Tabellen Daten importieren Metadaten erzeugen

75 Oracle Anlegen der Tabellen

76 Oracle Daten importieren

77 Oracle Das war s!

78 Haben Sie Fragen? CISS TDI GmbH Barbarossastraße Sinzig Tel.: ciss@ciss.de Die abgebildeten Daten wurden mit freundlicher Genehmigung von der KDZ Westfalen-Süd und den Landesvermessungen NRW, RP zur Verfügung gestellt.