Dokumentation Authentische Strukturdaten

Transkript

1 Dokumentation Version 1.1 Version 1.0 Seite 1/

2 Inhaltsverzeichnis 1. Allgemeines Phasenmodell Phase I Phase II Phase III Datenaktualität Phase I Konfiguration der Provider Beschreibung der Daten Metadaten Echtdaten Start der Datenübernahme Init-Mode Cronjob-Mode Phase II Schritt 1: Vergabe eines Eintragstatus Schritt 2: Durchführung Schritt 3: Rücksetzung (für Entwicklungszwecke) Nachbearbeitung Phase III Auslieferung der Daten per Webservice Search by Example Search by Id Webapplikation zum Testen des Webservice Search by Example Search by Id Datenprovider Statistik Austria Bundesland Politischer Bezirk Gerichtsbezirk Gemeinde Postleitzahl Ort Mehrsprachige Ortsbezeichnung Zuordnung Postleitzahlen Ort Referenzen...18 Version 1.0 Seite 2/

3 1. Allgemeines Aufgabe des Projektes ist es, Strukturdaten von mehreren möglichen Datenprovidern zentral in einer Datenbank zu sammeln und anderen Nutzern zur Verfügung zu stellen. Der Zugriff erfolgt dabei über Web Services (SOAP - Request bzw. Response, siehe [soap]). 1.1 Phasenmodell Die Verarbeitung und zur Verfügung stellen der Daten geschieht in drei Phasen Phase I In dieser Phase werden die Daten von einem Datenprovider, z.b. Statistik Austria, in Zwischentabellen übernommen Phase II Die Daten werden aus den Zwischentabellen in die Echtdatenbank übernommen und entsprechend der Konfiguration eingeordnet Phase III Die Daten werden Anwendungen zum Abruf über ein Web Service zur Verfügung gestellt. 1.2 Datenaktualität Für die Aktualität der Daten ist grundsätzlich der Datenprovider zuständig. Um Änderungen der Quelldaten beim Datenprovider möglichst zeitnah zu übernehmen, ist eine regelmäßige Durchführung der Phasen I und II erforderlich. Version 1.0 Seite 3/

4 2. Phase I 2.1 Konfiguration der Provider In dieser Konfigurationsdatei wird angegeben, welche Provider existieren und unter welchen URLs die Daten abgerufen werden können. Diese Konfiguration hat beispielsweise folgendes Aussehen: <?xml version="1.0" encoding="utf-8"?> <strukturdatenconfig xmlns= xmlns:xsi= xsi:schemalocation=" authstrukturdatenconfig.xsd"> <statusurls> <statusurl providerpraefix="stat" providername="statistik Austria"> </statusurl> </statusurls> </strukturdatenconfig> 2.2 Beschreibung der Daten Metadaten Im Wesentlichen besteht diese Konfiguration aus der URL, von der die Daten bezogen werden können, sowie den Namen der einzelnen Datenfelder sowie deren Datentyp. Weiters ist in diesen Daten angegeben, wann sich die Struktur zuletzt geändert hat. Als Beispiel ein Auszug aus der Konfiguration für die Übernahme der Gemeindeinformationen: <metadaten datenname="tgem" datenuri=" <letzteaenderung> t08:56:00</letzteaenderung> <datenstruktur> <elementname datatype="char(5)">gemnr</elementname> <elementname datatype="char(1)">gernr</elementname> <elementname datatype="char(2)">gemst</elementname> <elementname datatype="char(50)">gemnam</elementname> <elementname datatype="char(4)">gemplz</elementname> </datenstruktur> </metadaten> Version 1.0 Seite 4/

5 2.2.2 Echtdaten Die Echtdaten folgen der in den Metadaten angegebenen Struktur und enthalten die eigentlichen Datenbestände. 2.3 Start der Datenübernahme Init-Mode In diesem Modus werden die konfigurierten Tabellen in der Datenbank angelegt, aber keine Daten übernommen. Die Applikation parst die angegebene Konfiguration, holt sich alle Metadaten- Information aus den Strukturdaten und erstellt eine lokale Kopie der Metadaten-Elemente. Es werden nur die Metadaten-Elemente übernommen, denen der User zugestimmt hat. Als letzte Änderung des Metadaten-Elements wird das aktuelle Datum eintragen Cronjob-Mode In diesem Modus werden die Daten vom Provider geholt und in die im Init- Mode angelegten Tabellen übernommen. In diesem Modus wird vorausgesetzt, dass die entsprechenden Datenbanktabellen zuvor durch einen Aufruf im Init- Mode angelegt wurden. Die Anwendung führt dabei folgende Aktionen durch: 1. In der "lokalen Kopie" wird nach allen Metadaten-Elementen gesucht. 2. Die Konfiguration wird eingelesen. 3. Es wird nach Änderungen in den angegebenen Status-URLs gesucht. 3.1 Wenn die lokalen Metadaten ungleich der neuen Metadaten sind, dann wird die Verarbeitung abgebrochen. 4. Wenn das Datum der lokalen Kopie ungleich dem Datum in der Status-URL ist, dann 4.1. werden die Daten geholt wird eine Überprüfung der Datenstruktur durchgeführt, d.h. es wird geprüft, ob die Datenstruktur der erwarteten entspricht. Bei einem Fehler wird die Verarbeitung vollständig abgebrochen werden die Temporärtabellen gelöscht (die Daten des vorigen Durchlaufs) 4.4. werden die Daten übernommen wird das Datum in der lokalen Kopie aktualisiert. Version 1.0 Seite 5/

6 3. Phase II In dieser Phase werden die Daten aus dem Temporärtabellen in die Datenbank übernommen. Für einen Provider muss dabei die entsprechende Datenbankstruktur angelegt sein. Weiter müssen die entsprechenden Java-Klassen existieren, die die Verbindung zwischen dem Programm und der Datenbank herstellen. 3.1 Schritt 1: Vergabe eines Eintragstatus In diesem Schritt werden die Temporärtabellen mit den Echttabellen verglichen, wobei jedem Datensatz einer der folgenden Eintragsstatus zugewiesen wird: U NV NVM V VG VGM unbearbeitet nicht vorhanden nicht vorhanden, aber Hinzufügen nicht möglich vorhanden vorhanden und geändert vorhanden, geändert aber Änderung nicht möglich Weiters werden Datensätze, die in den Echttabellen, aber nicht in den Temporärtabellen vorhanden sind, in die Temporärtabellen eingefügt mit einem der folgenden Stati: G GM gelöscht gelöscht, aber Entfernen nicht möglich Version 1.0 Seite 6/

7 3.2 Schritt 2: Durchführung Hier findet die eigentliche Datenübernahme statt. In diesem Schritt werden die Datensätze bearbeitet, die in Schritt 1 einen der Status NV, VG oder G erhalten haben: A abgeschlossen 3.3 Schritt 3: Rücksetzung (für Entwicklungszwecke) In diesem Schritt werden alle Eintragsstatus auf U Unbearbeitet zurückgesetzt. Dieser Schritt wird im Normalbetrieb nicht benötigt und dient nur Testzwecken. 3.4 Nachbearbeitung Je nach Datenprovider kann noch eine Nachbearbeitung erforderlich sein, um beispielsweise die Daten für die Beschleunigung der Suche mit XML-Search aufzubereiten. Version 1.0 Seite 7/

8 4. Phase III 4.1 Auslieferung der Daten per Webservice Das Webservice ermöglicht eine Suche entsprechend der Spezifikation von [xmlsearch]. Generell lassen sich bei Suchanfragen folgende Anwendungsfälle unterscheiden: Search by Example Bei Search by Example werden Inhalte für einige der Datenfelder vorgegeben. Die Suche wird damit eingegrenzt auf Daten, die die vorgegebenen Informationen enthalten Search by Id Wird nach Search by Example durchgeführt, um genauere Informationen zu einem einzelnen Datensatz zu holen. Die Ids, die bei der Search by Example zurückgeliefert werden, sind nur zum Zeitpunkt der Suche gültig. Eine Anwendung, die auf das Webservice zugreift, darf sich auf keinen Fall darauf verlassen, dass die Ids über einen längeren Zeitraum (Wochen, Monate) gleich bleiben. 4.2 Webapplikation zum Testen des Webservice Mit Hilfe dieser Testapplikation kann wird aus den per Webformular eingegebenen Daten ein SOAP-Request zusammengestellt und an das Webservice geschickt. Der Request und die erhaltene Antwort können anschließend in einem geeigneten Editor betrachtet werden. Die Applikation kann unter aufgerufen werden. Version 1.0 Seite 8/

9 4.2.1 Search by Example Schritt 1: Angabe StartRecord, MaxRecord und Duplikate In diesem Schritt wird dabei ausgewählt, wie viele Datensätze ausgegeben werden sollen und mit welchem dabei begonnen werden soll. In [xmlsearch] ist es möglich, zuerst z.b. die ersten 10 Ergebnisse zu holen, dann die nächsten 10 usw., solange weitere Ergebnisse gefunden werden. Dies erfolgt durch das geeignete Setzen der hier angegebenen Parameter. Weiters muss angegeben werden, ob Datensätze mehrfach ausgegeben werden. Die Suche beispielsweise nach Bundesländern liefert einen Datensatz pro Ort dieses Bundeslandes. Damit jedes Bundesland im Suchergebnis nur einmal gefunden wird, muss hier ausgewählt sein, dass keine Duplikate ausgegeben werden sollen. Version 1.0 Seite 9/

10 Schritt 2: Sortierungen definieren Her kann eine gewünschte Sortierung der Ergebnisdaten ausgewählt werden. Wahlmöglichkeiten sind hier keine Sortierung, aufsteigend sortieren oder absteigend sortieren. Version 1.0 Seite 10/

11 Schritt 3: Ausgabeelemente definieren Hier kann ausgewählt werden, welche Teile eines Datensätzen im Ergebnis ausgegeben werden sollen. Version 1.0 Seite 11/

12 Schritt 4: Suchkriterien definieren Hier wird die Suche entsprechend den hier gemachten Angaben eingeschränkt. Wird im Feld Bundeslandnummer beispielsweise 1 eingegeben, so enthält das Suchergebnis nur Datensätze aus dem Bundesland Burgenland. Mehrfache Angaben werden logisch UND verknüpft, d.h. das Ergebnis muss alle angegebenen Kriterien erfüllen. Im Anschluss an diese Eingabe werden alle gemachten Eingaben noch einmal angezeigt. Es besteht weiters die Möglichkeit, die an das Webservice gesandte Anfrage im XML-Format anzeigen zu lassen. Durch Klick auf Senden wird die Anfrage dann tatsächlich an das Webservice gesandt. Es besteht die Möglichkeit, die erhaltene Antwort im XML-Format anzeigen zu lassen. Version 1.0 Seite 12/

13 4.2.2 Search by Id Schritt 1: Angabe der Record-Id Hier ist nur die Angabe der Record ID erforderlich, die bei einer vorhergehenden Search by Example erhalten wurde. Ähnlich wie bei Search by Example können hier nach einem Klick auf Weiter die an das Webservice gesandten Daten sowie die erhaltene Antwort angezeigt werden. Version 1.0 Seite 13/

14 5. Datenprovider Statistik Austria Von der Statistik Austria werden folgende Daten übernommen: Bundesland Politischer Bezirk Gerichtsbezirk Gemeinde Postleitzahlen Ort Bei mehrsprachigen Orten die entsprechende Bezeichnung Zuordnung Postleitzahlen Orte Zusätzlich wird zu diesen Daten die hierarchische Beziehung zwischen den Datensätzen gespeichert, d.h. welche pol. Bezirke ein Bundesland umfasst, welche Gerichtsbezirke ein pol. Bezirk usw. Ein Datensatz, wie er von der Suche als Ergebnis zurückgeliefert wird, umfasst dabei alle oben angeführten Informationen. Wird beispielsweise nach einer Gemeinde gesucht, so werden so viele Ergebnisdatensätze gefunden, als dieser Gemeinde Orte bzw. Postleitzahlen zugeordnet sind, auch wenn von der Suche nicht all diese Datenfelder erfasst sind. Dies kann verhindert werden, indem bei der Suche angegeben wird, dass Duplikate aus dem Suchergebnis entfernt werden sollen. 5.1 Bundesland Ein Bundesland-Datensatz umfasst folgende Daten: Bezeichnung ÖSTAT-Nummer Da die Bundesländer in der Datenbank dem Staat Österreich untergeordnet sind, ist ein entsprechender Datenbankeintrag erforderlich, ansonsten schlägt das Einfügen von Bundesländern fehl. Ein Bundesland-Eintrag kann nicht aus der Datenbank gelöscht werden, solange ihm noch untergeordnete räumliche Einheiten (Bezirke, Statutarstädte) zugeordnet sind. Version 1.0 Seite 14/

15 5.2 Politischer Bezirk Ein Datensatz zu einem politischen Bezirk umfasst folgende Daten: Bezeichnung ÖSTAT-Nummer Die pol. Bezirke sind jeweils einem Bundesland untergeordnet. Das Einfügen eines pol. Bezirks ist erst möglich, wenn das entsprechende Bundesland angelegt ist. Ein pol. Bezirk kann nicht aus der Datenbank gelöscht werden, solange ihm noch untergeordnete räumliche Einheiten (Gerichtsbezirke) zugeordnet sind. 5.3 Gerichtsbezirk Ein Datensatz zu einem Gerichtsbezirk umfasst folgende Daten: Bezeichnung ÖSTAT-Nummer Ein Gerichtsbezirk ist hierarchisch einem politischen Bezirk untergeordnet. Das Einfügen eines Gerichtsbezirks ist erst möglich, wenn der entsprechende pol. Bezirk angelegt ist. Ein Gerichtsbezirk kann nicht aus der Datenbank gelöscht werden, solange noch ihm untergeordnete räumliche Einheiten (Gemeinden) zugeordnet sind. Version 1.0 Seite 15/

16 5.4 Gemeinde Ein Datensatz zu einer Gemeinde umfasst folgende Daten: Postleitzahl Bezeichnung ÖSTAT-Nummer Eine Gemeinde ist jeweils einem Gerichtsbezirk zugeordnet. Das Einfügen einer Gemeinde ist erst möglich, wenn der entsprechende Gerichtsbezirk in der Datenbank existiert. Ebenso muss die angegebene Postleitzahl in der Datenbank angelegt sein. Eine Gemeinde kann nicht aus der Datenbank gelöscht werden, solange noch ihre zugeordneten Datensätze (Orte) vorhanden sind. 5.5 Postleitzahl Ein Datensatz zu einer Postleitzahl umfasst folgende Daten: Postleitzahl Postleitzahlen können nicht aus der Datenbank gelöscht werden, solange noch ihre zugeordneten Datensätze (Orte) vorhanden sind. 5.6 Ort Ein Datensatz zu einem Ort umfasst folgende Daten: Bezeichnung ÖSTAT-Nummer Ein Ort ist jeweils einer Gemeinde zugeordnet. Das Einfügen eines Ortes ist erst möglich, wenn die entsprechende Gemeinde in der Datenbank angelegt ist. Version 1.0 Seite 16/

17 5.7 Mehrsprachige Ortsbezeichnung In Orten mit amtlichen Bezeichnungen in mehreren Sprachen wird die Ortsbezeichnung in der jeweiligen Volksgruppensprache übernommen. Diese Bezeichnung kann nur zu bereits in der Datenbank angelegten Orten hinzugefügt werden. 5.8 Zuordnung Postleitzahlen Ort Einem Ort können mehrere Postleitzahlen zugeordnet werden, eine Postleitzahl kann auch mehreren Orten zugeordnet sein. Version 1.0 Seite 17/

18 6. Referenzen [xmlsearch] XML Search abgerufen am [soap] SOAP Simple Object Access Protocol Version abgerufen am [sd-wsdl] WSDL-Beschreibung des Webservice abgerufen am Version 1.0 Seite 18/