Meeting the Challenges of Integrating Large and Diverse Geographic Databases

Transkript

1 Meeting the Challenges of Integrating Large and Diverse Geographic Databases M. Sc. Michael Schäfers 04. März 2014

2 Agenda: 1 Motivation: Räumliche Datenintegration 2 3 Take-Home-Message: Die Vielfältigkeit der Eingabedaten, komplexe Objekte und große Datensätze sind die größten Herausforderungen der räumlichen Datenintegration Räumliche Matching-Algorithmen müssen daher anpassbar, effizient und skalierbar sein Das hier vorgestellte SimMatching-Verfahren baut auf diesen Anforderungen auf und liefert eine hohe Ergebnisqualität bei gleichzeitig geringen Laufzeiten

3 Komplexe Objekte und große Datenbestände Komplexe Objekte: Geometrien (Lage und Form) deutlich komplexer als Zahlen oder Zeichenketten Große Datenbestände: z.b. Straßen, Flüsse, Gebäude, Briefkästen usw. für ein ganzes Land M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 3

4 Motivation: Ra umliche Datenintegration Vielfa ltigkeit der Datenquellen Gedruckte Karten Navigationssysteme Beho rden Ra umliche Daten fu r spezielle Anwendungen Wichtige Eigenschaften: (Ra umliche) Genauigkeit, Umfang und Qualita t semantischer Attribute, Vollsta ndigkeit, Aktualita t,... M. Sc. Michael Scha fers Herausforderungen bei der ra uml. Datenintegration 4

5 Integration von Daten aus verschiedenen Quellen Wichtigster Schritt: Daten-Matching (Instanzen) Matching: Zuordnung von Objekten, die das gleiche Objekt der realen Welt repräsentieren Einfach und homogen Komplex und heterogen Zwei Kartenausschnitte in verschiedenen Repräsentationen M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 5

6 Anwendungsbeispiel: Datenfusion Semantische Informationen übertragen Hier: Gedruckte Karte durch Geschwindigkeitsbegrenzungen aus Navigationssystemen anreichern M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 6

7 Motivation: Ra umliche Datenintegration Anwendungsbeispiel: A nderungen Erkennen Quelle A (2011) Luftbild (2014) Quelle B (2015) Datenquellen verschiedener Aktualita t Ungematchte Objekte deuten auf A nderungen in den Daten hin (z.b. neu gebaute Straßen) M. Sc. Michael Scha fers Herausforderungen bei der ra uml. Datenintegration 7

8 Ähnlichkeitsbasierter Algorithmus: SimMatching (similarity-based) Eingabe: Zwei räuml. Datensätze, die das gleiche Gebiet abdecken Ausgabe: Eindeutige und konfliktfreie Menge von Matchings, zwei Mengen ungematchter Objekte Ziele: Anpassbarkeit an vielfältige Eingabedaten Geometrie, Semantische Attribute, Topologie Effizienz zur Verarbeitung komplexe Objekte (Geometrien) niedrige Laufzeiten, hohe Ergebnisqualität Skalierbarkeit für große Datensätze z.b. Straßen eines ganzen Landes M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 8

9 Übersicht: DB A Vorverarbeitung Kandidaten generieren Constraints prüfen Ähnlichkeiten berechnen DB B Vorverarbeitung Aggregierungen bilden Matching-Regeln anwenden Ähnlichkeiten neu berechnen (relational) Ergebnisse Der Algorithmus ist iterativ (vorherige Ergebnisse) und als Greedy-Algorithmus implementiert (lokal optimale Lösungen) M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 9

10 Vorverarbeitung Motivation: Räumliche Datenintegration Ziele: Fehlerbereinigung, planarer Graph, Def. kleinster Teile 1 Korrektur topologischer Fehler (Overshoots, Undershoots) durch Punktharmonisierung 2 Mehrspurige Straßen (Autobahnen) werden durch ihre Mittelachse repräsentiert 3 Eine Segmentierung vereinheitlicht Modellierungsregeln (Topologie) und sorgt für Überschneidungsfreiheit 4 Nachbarschaften (inzidente Kanten im Graph des Straßennetzwerks) für einen schnellen Zugriff speichern M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 10

11 Kandidaten generieren mit Blocking-Techniken Naiver Ansatz: Kartesisches Produkt n m (praktisch unmöglich) Eine frühe Reduzierung auf relevante Kandidaten ist wichtig für Effizienz und Skalierbarkeit Blocking/Indexing-Techniken Puffer einer benutzerdefinierten Größe (anpassbar an die Eingabedaten) schränken die Generierung der Kandidaten auf die direkte Umgebung eines Objekts ein Generierung von Match-Kandidaten innerhalb eines Puffers fester Größe M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 11

12 Constraints prüfen (Must-Match, Cannot-Match) Constraints reduzieren die Anzahl an Kandidaten anhand von zusätzlichen Kriterien weiter Must-Match Constraints bestätigen Kandidaten direkt, Cannot-Match Constraints verwerfen sie (spart Berechnungen) Beispiel: ObjectTypeConstraint (bestimmte Objektarten wie Feldwege und Straßen dürfen nicht einander zugeordnet werden) Feldwege neben einer größeren Straße M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 12

13 Ähnlichkeitsmaße Berechnen einen Ähnlichkeitswert [0, 1] auf Basis einer Metrik 1 Attributbasierte Ähnlichkeit vergleicht die Geometrie oder semantische Attribute 2 Relationale Ähnlichkeit bezieht Kontextinformationen ein Gesamtähnlichkeit: Gewichtete Summe attributbasierter und relationaler Ähnlichkeit sim(a, b) = ω i sm i (a, b), ω i = 1 Die Gewichte ω i bestimmen den Einfluss der Maße Ähnlichkeitswerte werden in einer Ähnlichkeitsmatrix gespeichert (implementiert als Prioritätswarteschlange) M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 13

14 Ähnlichkeitsmaße: Attributbasierte Ähnlichkeit Attributbasierte Ähnlichkeitsmaße analysieren einen einzelnen Aspekt der Objekte eines Kandidatenpaares Geometrische Maße betrachten verschiedene Aspekte der Geometrie α Vergleich von Linienlängen und Winkeln zwischen Linien Beispiel: LengthSimilarity, AngleSimilarity Semantische Maße nutzen semantische Informationen wie Straßennamen Beispiel: StreetNameSimilarity M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 14

15 Ähnlichkeitsmaße: Relationale Ähnlichkeit Relationale Ähnlichkeitsmaße nutzen Kontextinformationen Der zugrunde liegende planare Graph jedes Straßennetzwerks enthält Informationen über benachbarte Objekte und Matchings Beispiel: DirectNeighbourhoodSimilarity (je mehr benachbarte Objekte bereits gematcht wurden, desto höher die Ähnlichkeit) c a? e d b f sim dns (a, b) = gematchte Nachbarn alle Nachbarn = 1 2 = 0.5 M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 15

16 Übersicht: DB A Vorverarbeitung Kandidaten generieren Constraints prüfen Ähnlichkeiten berechnen DB B Vorverarbeitung Aggregierungen bilden Matching-Regeln anwenden Ähnlichkeiten neu berechnen (relational) Ergebnisse M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 16

17 n:m-matchings und Aggregationen 1:1-Matching: 1 Objekt (Quelle A) matcht 1 Objekt (Quelle B) 3:1-Matching n:m-matching: n Objekte aus Quelle A matchen m Objekte aus Quelle B Matchings höherer Kardinalität werden als 1:1-Matchings zwischen aggregierten Objekten realisiert M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 17

18 Bildung von Aggregationen (n:m-matchings) Greedy-Paradigma: Aktuell bestes Matching (höchster Ähnlichkeitswert) Steigt durch das Aggregieren der Ähnlichkeitswert? x a x 2 1 y 1 b y 2 Mögliche Aggregationen für (a, b) Wiederholen, solange die Ähnlichkeit weiter steigt Aggregationen höherer Kardinalität M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 18

19 Matching-Regeln und Neuberechnung von Ähnlichkeiten Matching-Regeln klassifizieren Match-Kandidaten anhand ihrer Ähnlichkeitswerte Einfache Schwellwert-Regeln (z.b. sim(a, b) > 0.75) Aufräumen der Matrix: Matchings und Aggregationen der bestätigten Objekte entfernen Anstieg der Ähnlichkeit möglich: Neuberechnung der (relational) Ähnlichkeiten für benachbarte Objekte c! a? e d b f Neuberechnung der Ähnlichkeit nach Bestätigung eines Matchings M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 19

20 Implementierung Erfahrung aus früheren Projekten: Räumliche Erweiterungen für Datenbankmanagementsysteme sind zu langsam für räumliche/geometrische Berechnungen ist daher als In-Memory-Algorithmus implementiert und nutzt spezialisierte Software-Bibliotheken auf normalen Desktop-Systemen Technische Details: Java 7, PostgreSQL-Datenbank mit PostGIS-Erweiterung, OpenJUMP GIS, JTS-Bibliothek M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 20

21 Partitionierung Motivation: Räumliche Datenintegration Ein Partitionierungs-Framework umschließt den Algorithmus um große Datensätze verarbeiten zu können Unabhängige Partitionen (disjunkte Daten) werden parallel verarbeitet Clipping von Objekten an Partitionsgrenzen, überlappende Randbereiche enthalten Kontextinformationen M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 21

22 Highlights des SimMatching-Verfahrens Kombination geometrischer, semantischer und relationaler Ähnlichkeitsmaße Aggregationen (n:m-matchings) gleichen Unterschiede bei der Objektmodellierung aus Der iterative Algorithmus nutzt zuvor berechnete Ergebnisse Blocking-Techniken in Verbindung mit der Greedy-Strategie sorgen für eine kleine (konstante) Anzahl an Kandidaten und bevorzugen lokal optimale Lösungen (Effizienz) Vermeidung von ineffizienten räuml. DBMS-Erweiterungen durch In-Memory-Berechnungen (Geometrien) Partitionierung und parallele Verarbeitung unterstützen geringe Laufzeiten und Skalierbarkeit M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 22

23 Matching-Ergebnisse Realwelt-Geodatenbanken (DE und USA): ATKIS (Behörde, DE), TIGER (Behörde, USA), OpenStreetMap (Open Data, weltweit), D20 (gedruckte Karten) und NAV (Navigationssysteme) Matching-Ergebnis für einen kleinen Kartenausschnitt (D20, OSM) Evaluation durch manuelle Begutachtung der Visualisierung M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 23

24 Matching-Ergebnisse: München ( Objekte) Precision und Recall: 97%; Laufzeit: 5s M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 24

25 Evaluation der Laufzeit (Skalierbarkeit) Anwendung des Verfahrens auf Eingabedaten ansteigender Größe bis ca Objekte (fast das gesamte Bundesland Thüringen): 400 Gesamt Laufzeit [s] Objektanzahl 10 5 Diese Experimente zeigen eine lineare Laufzeitkomplexität M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 25

26 Fazit und Ausblick Offene Fragen: Wie lassen sich Parameter (z.b. Gewichte) automatisch optimieren (maschinelles Lernen SVM) Fazit (SimMatching): Herausforderungen: vielfältige Eingabedaten, komplexe Objekte, große Datensätze Anpassbarkeit an verschiedene Eingabedaten durch gewichtete Kombinationen von Ähnlichkeitsmaßen (geometrisch, semantisch und relational) Skalierbarkeit und Effizienz durch kleine Kandidatenmenge Exzellente Ergebnisqualität und erstaunlich niedrige Laufzeiten, verifiziert mit verschiedenen Realwelt-Geodatenbanken verschiedener Kardinalität Vielen Dank! M. Sc. Michael Schäfers Herausforderungen bei der räuml. Datenintegration 26