Konzept zur Einbeziehung historischer Daten in die Geokodierung mit dem DOG-Gazetteer

Transkript

1 Konzept zur Einbeziehung historischer Daten in die Geokodierung mit dem DOG-Gazetteer

2 Copyright: 2013 Technische Hochschule Wildau [FH] Alle Marken- oder Produktnamen in dieser Dokumentation sind Warenzeichen oder eingetragene Warenzeichen der jeweiligen Firmen oder Organisationen. Alle Rechte vorbehalten. Rechtliche ereinbarungen: Die in diesem Dokument enthaltenen Informationen können ohne orankündigung geändert werden und stellen keine erpflichtung seitens des erkäufers dar. Ohne ausdrückliche schriftliche Erlaubnis der Autoren darf für andere Zwecke als den persönlichen Gebrauch des Käufers dieses Handbuch in keinerlei Form mit irgendwelchen Mitteln, elektronisch oder mechanisch, mittels Fotokopie, durch Aufzeichnung oder mit Informationsverarbeitungssystemen reproduziert oder übertragen werden. Impressum: Technische Hochschule Wildau [FH] Bahnhofstraße Wildau Tel Stand Februar 2013 ersion 100 Technische Hochschule Wildau [FH] Seite 2 von 13

3 Änderungen Datum Beschreibung erantwortlicher Erstveröffentlichung P. Bernhardt Technische Hochschule Wildau [FH] Seite 3 von 13

4 Inhalt 1 Konzept zur Einbeziehung historischer Daten in die Geokodierung Datenbasis Erstellung der Adresshistorie Ausgang Geokodierung mit Adresshistorie Identische n in der Adresshistorie eraltete n löschen Technische Hochschule Wildau [FH] Seite 4 von 13

5 Einleitung Dieses Dokument beschreibt die theoretischen Grundlagen für die Einbeziehung historischer Daten in die Geokodierung im Rahmen des Projektes GDI-Geokoder. Technische Hochschule Wildau [FH] Seite 5 von 13

6 1 Konzept zur Einbeziehung historischer Daten in die Geokodierung Zusammen mit dem Projekt GDI-Geokoder wurde ein technisches Konzept zur Einbeziehung sogenannter historischer Daten, als den sich im zeitlichen erlauf der erwendung des Dienstes verändernden Adressinformationen, entwickelt. Zu diesem Zweck erfolgte eine Auswertung des historischen Datenbestandes zur Erkennung von Mustern möglicher eränderungen durch politische und demographische Umgestaltungen. Ebenso wurde ein Prozess zur Erkennung dieser eränderungen des Datenbestandes und Datenmodells zur Archivierung und Erschließung veränderter Daten zum Zwecke der Geokodierung entworfen. Im Kern dieses Prozesses werden während einer Aktualisierung der Georeferenzdaten die veralteten n/-paare nicht überschrieben bzw. gelöscht, sondern als alternative ersion eines aktuellen Adress/-Paares dauerhaft hinterlegt. Diese damit historischen Daten würden dann weiter für die Geokodierung zur erfügung stehen. Abbildung 1 zeigt vereinfachtes das Datenmodell für einen Teil einer solchen Adresshistorie. Die Tabelle Aktuelle Daten beinhaltet die aktuellen Georeferenzdaten, die für eine Geokodierung ohne Adresshistorie verwendet werden. In der Historie Tabelle befinden sich veraltete Datensätze aus der Aktuelle Daten Tabelle. Über eine Schlüsselbeziehung (Abbildung 1 : ) ist es möglich, von älteren ersionen einer einen Bezug zur aktuellen ersion herstellen zu können. Durch diese erbindung können auch für eine veraltete die aktuell gültigen Daten ermittelt werden. Die Einführung der veränderten Prozesse und erfahren für die periodische Aktualisierung der Daten des GDI-BE/BB Gazetteer-Service konnte letztendlich jedoch nicht umgesetzt werden, da die Heterogenität der Schemata der Ursprungsdaten z.b. von den einzelnen Landkreisen einen nicht zu bewältigenden Umfang manueller Nacharbeit erforderlich machen würde, um die Konsistenz der historischen Daten zu erhalten. Im Detail gibt es keine zuverlässige Möglichkeit die notwendige Beziehung zwischen alten und neuen Adressdaten automatisiert herzustellen. 1.1 Datenbasis oraussetzung für eine korrekte Geokodierung ist das stetige orhandensein aktueller Adressdaten. Für die Einbeziehung historischer Daten in die Geokodierung ist es daher notwendig, dass sobald die Georeferenzdaten aktualisiert werden, veraltete n nicht überschrieben, sondern als alternative ersion einer aktuellen dauerhaft hinterlegt werden. Diese würden dann weiter für die Geokodierung zur erfügung stehen. Hierfür wird eine zusätzliche Tabelle Historie mit den Spalten der aktuellen Tabelle und dem Datum der Änderung angelegt (siehe Abbildung 1). Diese Tabelle soll dann alle bisherigen ersionen einer aktuellen enthalten. Über eine Schlüsselbeziehung ( ) soll es möglich sein, von älteren ersionen einer einen Bezug zur aktuellen ersion herstellen zu können. Technische Hochschule Wildau [FH] Seite 6 von 13

7 Aktuelle Daten Änderungsdatum Straße Hausnummer Hausnr.-Zusatz Postleitzahl Ort Ortsteil 1 n Historie Änderungsdatum Straße Hausnummer Hausnr.-Zusatz Postleitzahl Ort Ortsteil Abbildung 1 : vereinfachtes Datenmodell einer Adresshistorie Die Tabelle Aktuelle Daten beinhaltet die aktuellen Georeferenzdaten, die für eine Geokodierung ohne Adresshistorie verwendet werden. In der Historie Tabelle befinden sich veraltete Datensätze aus der Aktuelle Daten Tabelle. Sie ermöglicht eine Geokodierung von veralteten n. Folgende Tabelle beschreibt die wesentlichen Attribute, die für den Aufbau einer solchen Adresshistorie notwendig sind. Tabelle 1: Für den Aufbau einer solchen Adresshistorie wesentlichen Attribute Attribut Änderungsdatum Bedeutung Tabelle aktuelle Daten : Primärschlüssel Tabelle Historie : Fremdschlüssel Tabelle aktuelle Daten : Zeitpunkt des letzten Überschreibens eines Datensatzes Tabelle Historie : Zeitpunkt des Hinzufügen eines Datensatzes in die Historie Anschrift z.b. Mozartstraße 113, Mahlow (OT Dahlewitz) Schlüssel einer bestehend aus den Schlüsseln für Land, Bezirk, Kreis, Gemeinde, Ortsteil, Straße, Hausnummer, Hausnummernzusatz, z.b.: 12; 0; 62; 320; 0175; 34531; 8; a Geographische Position einer Zusätzlich müssen auch Straße, Hausnummer, Hausnummerzusatz, Postleitzahl, Ort und Ortsteil hinterlegt werden. 1.2 Erstellung der Adresshistorie Beim Einspielen neuer Daten in die Georeferenzdaten, müssen alle Datensätze in die Historie geschrieben werden, die sich verändert haben. Es kann sich z.b. der oder der einer ändern. In diesem Falle gilt es herauszufinden, bei welchen n in den neuen Daten eine Beziehung zu Datensätzen aus den aktuellen Georeferenzdaten besteht. Im Folgenden wird der Ablauf der Erstellung/Aktualisierung der Adresshistorie (Abbildung 2) beschrieben: Technische Hochschule Wildau [FH] Seite 7 von 13

8 1.2.1 Ausgang Es stehen neue Georeferenzdaten zur erfügung. Bevor die aktuellen Georeferenzdaten durch diese ersetzt werden können, muss ein Abgleich zwischen Beiden erfolgen. Während des Abgleichs werden folgende mögliche Beziehungen für jeden Datensatz geprüft: Möglichkeit 1: Ein Datensatz der neuen Daten stimmt bei und mit einem Datensatz in den aktuellen Georeferenzdaten überein. Der aktuelle Datensatz wird mit den neuen Datensatz überschrieben. Beispiel: neuer Datensatz Magdalenenstraße 2, Eberswalde (OT Eberswalde) aktueller Datensatz Magdalenenstraße 2, Eberswalde (OT Eberswalde) 12;0;60;052;0015;01605;2; 12;0;60;052;0015;01605;2; 13, ; 52, , ; 52, Dieser Fall tritt ein, wenn keine für die Adresshistorie relevanten Änderungen bei einer aufgetreten sind. Möglichkeit 2: Ein ergleich eines s der neuen Daten mit n der aktuellen Georeferenzdaten ergibt, dass ein Paar identisch sind. Der neue Datensatz erhält die des aktuellen Datensatzes und ersetzt diesen in den aktuellen Georeferenzdaten. Der veraltete Datensatz wird in die Historie geschrieben. Technische Hochschule Wildau [FH] Seite 8 von 13

9 Beispiel: neuer Datensatz Magdalenenstraße 2, Eberswalde (OT Eberswalde) aktueller Datensatz Eichenweg 2, Eberswalde (OT Eberswalde) 12;0;60;052;0015;01605;2; 12;0;60;052;0015;01605;2; 13, ; 52, , ; 52, Im Beispiel wurde der Eichenweg in Magdalenenstraße umbenannt. Durch die Änderung im Straßennamen hat sich auch der verändert. Der bleibt allerdings gleich. Abgedeckt werden auch Änderungen bei der Postleitzahl, oder Namensänderungen bei Orten und Ortsteilen. Möglichkeit 3: Ein ergleich eines s der neuen Daten mit n der aktuellen Georeferenzdaten ergibt, dass ein Paar identisch sind. Der neue Datensatz erhält die des aktuellen Datensatzes und ersetzt diesen in den aktuellen Georeferenzdaten. Der veraltete Datensatz wird in die Historie geschrieben. Beispiel: neuer Datensatz Magdalenenstraße 2, Eberswalde (OT Eberswalde) aktueller Datensatz Magdalenenstraße 2, Eberswalde (OT Eberswalde) 12;0;60;052;0015;09613;2; 12;0;60;052;0015;01605;2; 13, ; 52, , ; 52, Änderungen im ohne gleichzeitige Änderungen beim, können nach Umstrukturierungen von Straßen, Gemeinden, Ortsteilen, Kreisen, Regierungsbezirken und Bundesländern auftreten. Im Beispiel ist es der Straßenschlüssel, der sich z.b. durch die Aufteilung einer Straße, oder die Zusammenlegung mehrerer Straßen zu Einer, verändern kann. Technische Hochschule Wildau [FH] Seite 9 von 13

10 Möglichkeit 4: Ein ergleich der der neuen Daten mit den aktuellen Georeferenzdaten ergibt, dass diese identisch sind, oder nah (z.b. Radius: 10m) beieinander liegen. Liegen mehrere in diesem Bereich, wird die ausgewählt, die geographisch am nahsten ist. Der neue Datensatz erhält die des aktuellen Datensatzes und ersetzt diesen in den aktuellen Georeferenzdaten. Der veraltete Datensatz wird in die Historie geschrieben. Beispiel: neuer Datensatz Magdalenenstraße 2, Eberswalde (OT Eberswalde) aktueller Datensatz Eichenweg 2, Eberswalde (OT Eberswalde) 12;0;60;052;0015;09613;2; 12;0;60;052;0015;01605;2; 13, ; 52, , ; 52, Wenn sowohl, als auch nicht übereinstimmen, gibt es nur noch die Möglichkeit, über die geographischen eine Beziehung herzustellen. Im Beispiel wurde die Straße zu Magdalenenstraße umbenannt und hat dabei einen neuen Straßenschlüssel erhalten. Konnte auch hier keine Beziehung, so handelt es sich um eine komplett neue, die den aktuellen Daten hinzugefügt wird. Technische Hochschule Wildau [FH] Seite 10 von 13

11 neue Daten Neue Daten stehen zur erfügung Abgleich aller Datensätze aus den neuen Daten mit den aktuellen Datensätzen aktuelle Daten Ausgang XOR Ein Datensatz der neuen Daten ist bezüglich und mit keinen aktuellen Datensatz identisch Ein Datensatz der neuen Daten ist bei und identisch mit einem aktuellen Datensatz 1. Möglichkeit ergleich der neuen und aktuellen Der aktuelle Datensatz wird durch den neuen Datensatz überschrieben, die übernommen aktuelle Daten Ein der neuen Daten ist mit keinen aktuellen identisch ergleich der neuen und aktuellen XOR Ein in den neuen Daten ist identisch mit einem aktuellen Der aktuelle Datensatz wird in die History geschrieben Der aktuelle Datensatz wird durch den neuen Datensatz ersetzt, die übernommen Historie aktuelle Daten 2. Möglichkeit XOR Ein der neuen Daten ist mit keinen aktuellen identisch Gibt es eine Koordinate in den aktuellen Daten, die in unmittelbarer Nähe zu einer Koordinate in den neuen Daten liegt? Der in den neuen Daten ist identisch mit einem aktuellen Der aktuelle Datensatz wird in die History geschrieben Der aktuelle Datensatz wird durch den neuen Datensatz ersetzt, die übernommen Historie aktuelle Daten 3. Möglichkeit XOR Es existiert keine Koordinate einer in unmittelbarer Nähe Der neue Datensatz wird den aktuellen Datensätzen mit einer neuen hinzugefügt Die Koordinate einer wurde in unmittelbarer Nähe Aktuelle Daten Der aktuelle Datensatz wird in die History geschrieben Der aktuelle Datensatz wird durch den neuen Datensatz ersetzt, die übernommen Historie aktuelle Daten 4. Möglichkeit Abbildung 2 : Zusammenfassung des Aufbaus einer Adresshistorie Technische Hochschule Wildau [FH] Seite 11 von 13

12 1.3 Geokodierung mit Adresshistorie Die folgende Übersicht zeigt, wie eine Geokodierung mit Einbindung historischer Daten ablaufen könnte: Aufruf der Geokodierung sfunktion Scharfe Suche in den aktuellen Daten 1 Eine soll geokodiert werden. 1. Schritt Es erfolgt eine scharfe Suche in den aktuellen Georeferenzdaten. Kann die geokodiert werden, wird der Algorithmus verlassen und die geokodierte zurückgegeben. nicht Geokodierte Scharfe suche in der Adresshistorie 2 2. Schritt War die Geokodierung im ersten Schritt erfolglos, erfolgt eine scharfe Suche in der Adresshistorie. Bei Erfolg wird der Algorithmus verlassen und die geokodierte zurückgegeben. nicht Geokodierte Unscharfe Suche in den aktuellen Daten nicht 3 Geokodierte 3. Schritt War die Geokodierung im zweiten Schritt erfolglos, erfolgt eine unscharfe Suche in den aktuellen Georeferenzdaten. Bei Erfolg wird der Algorithmus verlassen und die geokodierte zurückgegeben. Unscharfe Suche in der Adresshistorie 4 4. Schritt nicht Geokodierte War die Geokodierung bisher erfolglos, wird eine unscharfe Suche in der Adresshistorie gestartet. Bei Erfolg wird der Algorithmus verlassen und die geokodierte zurückgegeben. Abbildung 3 : Erstellung einer Adresshistorie Technische Hochschule Wildau [FH] Seite 12 von 13

13 1.3.1 Identische n in der Adresshistorie Sollten bei der Geokodierung einer mehrere veraltete ersionen werden, die sich voneinander nicht unterscheiden, wird mit dem jüngsten Änderungsdatum ausgewählt eraltete n löschen n, die in den neuen Daten nicht mehr vorhanden sind, verbleiben zunächst in den aktuellen Georeferenzdaten. So können n, die gar nicht mehr existieren noch geokodiert werden. Sollte ein Datensatz in den aktuellen Daten älter als z.b. 10 Jahre sein (siehe Änderungsdatum), ist es denkbar ihn samt Historie automatisch löschen zu lassen. Technische Hochschule Wildau [FH] Seite 13 von 13