Geoinformatik 2 (GI-2) Kapitel 4 Geodatenbanken

Transkript

1 Geoinformatik 2 (GI-2) Kapitel 4 Univ.-Prof. Dr.-Ing. Wolfgang Reinhardt AGIS / Inst. Für Angewandte Informatik (INF4) Universität der Bundeswehr München Wolfgang.Reinhardt@unibw.de

2 Inhalte Motivation / Hintergrund Wiederholung Datenbanken und ausgewählte Eigenschaften Organisationsformen von Räumlicher Index Anmerkungen 2 / 35

3 Wiederholung: Charakteristika von Geodaten Bzgl. der Speicherung und Abfrage in Datenbanken besonders zu berücksichtigen: Große Anzahl von Objekten in einer Geodatenbank, oft mehrere Millionen Komplexe Datentypen (s. Kap. 3), dabei ist auch der Test ob sich 2 Geoobjekte z.b. schneiden wesentlich aufwändiger als festzustellen ob 2 einfache Datentypen (z.b. Zahlen) identisch sind Sehr heterogene Datenbestände, unterschiedliche Objektdichte, sehr kleinräumige aber auch sehr großräumige bzw. langgestreckte Objekte, sehr vielfältige Formen von Attributen Geodatenerfassung ist relativ aufwändig und teuer, daraus ergibt sich die Anforderung einer langfristigen Nutzung. Dies erfordert wiederum eine ständige Aktualisierung, da die Welt sich ja ständig ändert. 3 / 35

4 Räumliche Basisanfragen Punktanfrage, ermittelt für einen gegebenen Punkt alle betroffenen Geoobjekte (-> Selektion) Rechteck- oder Fenster- Anfrage (s. Skizze), berechnet alle Geoobjekte, die das Rechteck schneiden Regions- oder Polygonanfrage (statt Rechteck allg. Polygon) Richtungsanfrage (z.b. alle Objekte nördl. eines Objektes / einer Linie, die durch das Objekt definiert wird -> unbegrenzte Region Abstandsanfrage Nächste-Nachbar-Anfrage Räumlicher / geometrischer Verbund (z.b. Verschneidung) Rechteckanfrage Weitere Anfragen werden weitgehend auf Basisanfragen zurückgeführt Anfragen werden auf Grund der großen Objektanzahl und der Komplexität mehrstufig durchgeführt -> Filter and Refine (s.unten) 4 / 35

5 Wiederholung Datenbank Eine Datenbank besteht aus der Datenbasis, d. h. einer Sammlung strukturierter Daten mit ihrem Datenschema und einem Datenbankmanagementsystem zur Verwaltung der Datenbasis. Ein Datenbankmanagementsystem (DBMS) ist ein Softwaresystem, das die Daten in der Datenbasis entsprechend vorgegebener Beschreibungen effizient verwaltet (Speichern, Auffinden, weitere Operationen). Typischerweise enthält ein DBMS Routinen zur Dateneingabe, Datenüberprüfung, Speicherung, Abfrage, Kombination und Analyse. 5 / 35

6 Anforderungen an : - Raumbezogene Objekte (komplexe Datentypen) - Verwaltung großer Datenmengen mit räumlicher Indizierung - Abfragen hinsichtlich der Existenz, Position und den Eigenschaften / Beziehungen von raumbezogenen Objekten (interaktiv) Eine Geodatenbank ist eine Datenbank, deren Datenbasis neben den Standard- Datentypen (Zeichen, Zahlen usw.) auch Objekte mit Raumbezug verwalten kann. Der Zugriff auf die Daten und die Verwaltung der gesamten Datenbasis (z.b. auch Indexdaten und Metadaten) erfolgt über ein Geo-Datenbankmanagementsystem. Ein Geo-Datenbank-Management-System (GeoDBMS) ist ein vollständiges DBMS mit zusätzlichen Möglichkeiten zur Verwaltung (Repräsentation, Abfrage, Manipulation + weitere Operatoren) von Objekten mit Raumbezug. 6 / 35

7 Datentypen in Ein Datentyp legt eine Menge von Werten und eine Menge von darauf zugeschnittenen Operationen fest. Wertebereich (Ganze Zahlen) Operationen INTEGER von bis Addition, Subtraktion, Multiplikation, Division, Beispiel: Datentyp Integer Unterscheidung zwischen: Basisdatentyp: im System enthalten, z.b. Integer benutzerdefinierten Datentyp: durch Benutzer festgelegt nichtraumbezogene Datentypen: Datentypen, die keine raumbezogenen Eigenschaften eines Objekts definieren, z.b. Integer, Character... oder komplexe Datentypen, wie Foto, Ton, Video... raumbezogene Datentypen: definieren die räumlichen Eigenschaften eines Objekts (geometrische und topologische Eigenschaften). 7 / 35

8 Organisationsformen von Relationales GeoDBMS Alle Entitäten werden in Tabellen bzw. Relationen gehalten. Anfragen an die Datenbank über SQL. Zeile = Objekt Duales GeoDBMS Es gibt zwei Datenbasen: GEO-Daten Sachdaten Spalte = Attribut - Nicht räumliche Entitäten werden in Tabellen bzw. Relationen gehalten (relationales Datenmodell) - Raumbezogene Entitäten in proprietären Strukturen - Verknüpfungsmöglichkeiten / Objektbildung durch spezielle Software realisiert Objektorientiertes GeoDBMS - Abstrakte und vom Benutzer definierbare Datentypen - Objektbildung auf mehreren Komplexitätsniveaus - Klassenbildung, gekoppelt mit Vererbung von elementaren und strukturierten Attributen - Kapselung von Objekteigenschaften, -bedingungen, -operationen - Anfragen an die Datenbank über objektorientierte query language Objekt Attribut 1 Methode 1 8 / 35

9 Gegenüberstellung: objektorientiert - relational Grundelemente Datentypen Eigenschaften und Begriffe objektorientiert Klassen, Objekte, Attribute, Methoden komplexe Datentypen Object Query Language (OQL), Kapselung, Vererbung, Identität, Polymorphismus, Aggregation relational Tabellen (Relationen), Zeilen, Spalten einfache Datentypen Strukturierte Anfragesprache (z.b. SQL), Abfrageverarbeitung und - optimierung, Primär-schlüssel, Fremdschlüssel Objektklasse Attribut 1 Methode 1 Objekt Attribut 1 Attribut 2 Methode 1 Methode 2 Vererbung: Objekte einer Unterklasse erben Eigenschaften und Methoden der Oberklasse STUDENT Nummer PLZ Primärschlüssel ORT PLZ Ort München München Berlin Berlin Beziehungen zwischen relationalen Tabellen Fremdschlüssel 9 / 35

10 Objektrelationales GeoDBMS Konsequente Erweiterung der relationalen GeoDBMS: Erweiterung der relationalen Datenbanken um objektorientierte Eigenschaften Komplexe Datentypen, benutzerdefiniert, in einer Spalte einer Tabelle: - Objekte mit eigenen Attributen und Methoden - erweiterte Anfragesprache - Methoden zur effizienten Speicherung und Indizierung dieser Datentypen ID Nutzung Fläche Geometrie Acker 17593,81 Polygon Sachdaten und Geometriedaten als Attribut -> Datentypen Spatial Schema 10 / 35

11 Allgemeine Datenbankeigenschaften (1) Verteilte Datenhaltung / verteilte Datenbanken Teile einer Datenbasis befinden sich auf unterschiedlichen Rechnern (z. B. in einem Netzwerk), jeweils verwaltet durch ein DBMS. Das DBMS führt diese zusammen und unterstützt den Zugriff auf die Datenbasen. Die verteilte Datenhaltung verläuft aus Sicht der Benutzer unbemerkt (Transparenz). Vorteile: - Lokalität der Daten (dezentrale Speicherung) - Leistungssteigerung durch Parallelisierung (bei Anfrageberechnungen) Probleme: - Netzausfall (keine Verbindung) - langsames, Teures Netz - bei redundanter Speicherung: evtl. Widersprüche bei Zusammenführung der Daten Datenbank 2 Abteilung B Datenbank 1 Abteilung A N E T Z W E R K Datenbank 3 Abteilung C Client Anwendung: Unterteilung nach: Zuständigkeit, thematisch, geographisch Beispiel: geographisch verteilte Datenhaltung 11 / 35

12 Allgemeine Datenbankeigenschaften (2) Mehrbenutzerbetrieb / Transaktionskonzept: Mehrere Benutzer arbeiten gleichzeitig mit einer Datenbank (auch verteilt). Das DBMS hat dabei die Aufgabe, die Benutzer so zu verwalten, dass sie sich nicht gegenseitig behindern (unterschiedliche Benutzergruppen mit unterschiedlichen Benutzerrechten). Wenn mehrere Benutzer gleichzeitig an einer Datenbank arbeiten, können sich die Aktionen gegenseitig beeinflussen bzw. behindern (mehrere mit Schreibrechten!!!). Nimmt mehr als ein Benutzer Änderungen vor, kann es zu Konflikten kommen. Viele Lösungen sind möglich (abhängig von der Semantik), z. B.: Optimistischer Ansatz: Es werden keine Vorkehrungen gegen das Entstehen von Konflikten getroffen. Treten diese auf, sind sie von den Benutzern oder dem DBMS zu beseitigen. Aufdecken und beseitigen durch Benutzer problematisch, daher Ansätze durch DBMS: - Benachrichtigung: die von einem Konflikt Betroffenen werden benachrichtigt. - Semantische Konfliktlösung: Automatische Bereinigung durch das System (Wiederherstellen eines konsistenten Zustands). Dazu ist Wissen über die Semantik des Datenbasis notwendig. Pessimistischer Ansatz: Lesen für Änderungen nur für einen Benutzer erlaubt (beachte: Sperrgranularität). 12 / 35

13 Allgemeine Datenbankeigenschaften (3) Replikation Mehrfaches Vorhalten von Datenbeständen (redundant) - auf die replizierten Daten kann von unterschiedlichen Benutzern gleichzeitig zugegriffen werden. Ziel: Verbessern der Performance bei Netzverbindungen mit schmalen Bandbreiten Erhöhung der Verfügbarkeit bei unterbrochener Verbindung (s. o). Um Probleme bei der Konsistenthaltung / Aktuellhaltung der Datenbasen zu vermeiden werden folgende Methoden benötigt: Schreibsperren Transaktionsmechanismen: - lange Transaktionen - kurze Transaktionen Konfliktauflösung (vgl. Mehrbenutzerbetrieb) 13 / 35

14 Allgemeine Datenbankeigenschaften (4) Constraints: Constraints sind im Datenbankschema enthaltene Vorschriften, die Eigenschaften der Daten in der Datenbasis beschreiben. Das DBMS überwacht die Erfüllung aller constraints. Entstehen bei Änderungsoperationen an der Datenbasis Verstöße gegen constraints im Datenbankschema, meldet das DBMS diese Verstöße und lehnt die entsprechenden Operationen ab. Beispiele für Konstrukte von constraints: - Schlüsseleigenschaften / Fremdschlüsselbeziehungen - Einschränkungen des Wertebereichs von Attributen - Komplexere geom./top./semant. constraints Trigger: Trigger sind weitere Konstrukte (Prozeduren) zur Sicherung der Integrität, die automatisch nach bestimmten Datenbankoperationen aufgerufen werden. Beispiele für Geo-Constraints (semantisch/topologisch) : - Straßen müssen an Kreuzungen miteinander verbunden sein - Straßen dürfen nur an Brücken einen Fluss überqueren - Eine Hausanschluss Leitung muss mit einer Hauptleitung verbunden sein 14 / 35

15 Allgemeine Datenbankeigenschaften (5) Benutzerrechte: - Einzelne Benutzer oder Gruppen - Rechte nach thematischen oder räumlichen Kriterien, z. B.: - Leserechte - Schreibrechte - Änderungsrechte - Löschrechte - Administrationsrechte - Versionsmanagement Version = Inhalt (Zustand) der Datenbank zu einem bestimmten Zeitpunkt - stichpunktsbezogen / diskret - kontinuierlich abrufbar (temporale Datenbank) Versionen, z.b. für Historienbildung Vollversionierung durch Speicherung der gesamten DB zu einem Stichpunkt inkrementelle Versionierung durch Speicherung der Änderungen gegenüber einem bestimmten Stichpunkt 15 / 35

16 Geometrische Zugriffsstrukturen (Räumlicher Index) - Indexstrukturen in Datenbanken - Räumliche Anfragen - Motivation - R-Baum (1) - R-Baum (2) - Strategie: Filter and Refine - R-Baum - Punktsuche - R-Baum - Bereichsanfrage - Quadtree - Aufbau des Quadtree - Beispiel - Weitere Quadtree- Anwendungen - Zusammenfassung 16 / 35

17 Indexstrukturen in Datenbanken Um Anfragen an die Datenbank zu beschleunigen, verwendet man Indexe (gespeicherte, zusätzliche Informationen über die Daten in der Datenbasis). Kunden-Nr Sortierung nach Größe Index Beispiel: Standarddatentyp Integer Bei Anfragen mit sehr großen Datenmengen werden als Standard- Indexstrukturen Binär - Bäume verwendet. Wurzel n < n Blätter > n Standarddatentypen lassen sich linear sortieren. Für Komplexe Datentypen (z.b. Geometrien) sind Anfragen wie In welchem Polygon liegt Punkt P zu lösen. Für mehrdimensionale Daten wurden deshalb eigene Indexstrukturen entwickelt. 17 / 35

18 Räumliche Anfragen Gegeben: Menge von flächenhaften Geoobjekten z.b.: Orte (ID, Name, Einwohner, Orte Geometrie) Name Einwohner Geometrie Paunzhausen Gewünschte Anfragetypen: Walterskirchen 250 Punktanfrage: In welchem Ort (Polygon) liegt der Punkt P? Angerköfe 200 Bereichs- (Rechteck-) anfrage: Welche Orte (Polygone) liegen innerhalb des achsenparallelen Rechtecks Q? Animation: 3x klicken 18 / 35

19 Motivation Naive Lösung: Sequentieller Test aller Polygone Probleme: 1. Die naive Berechnung ist sehr aufwendig 2. Suchzeit linear von der Anzahl der Polygone abhängig - Nicht vertretbar für große Mengen! Lösungsansätze: zu 1): Filterschritt: Zuerst das minimal umschließende, achsenparallele Rechteck (minimum Bounding Box = BB) testen, der Polygontest erfolgt, wenn der BB-Test dies erforderlich macht (Filter -> Refine) zu 2): Indexstrukturen für BBs aufbauen Animation: 3x klicken 19 / 35

20 Indexstrukturen - Einführung Räumliche Indexstrukturen beruhen auf einer (geographischen) Einschränkung des Suchraums bzw. einer Unterstützung der Suche durch Baumstrukturen Eine einfache, denkbare Lösung wäre eine Aufteilung des Raumes in gleich große Bereiche (s. Skizze) mit einer entsprechenden Verwaltung. Probleme: 1. Die Datendichte ist bei Geodaten i.d.r. nicht homogen 2. Zuordnung von Objekten zu einem Bereich mit Standardverfahren nicht möglich (s. Skizze) Weitergehende Lösungsansätze: Gridfile (hier nicht behandelt) R-Baum (R-Tree) Quadtree 20 / 35

21 R-Baum (1) Definition: dynamische Zugriffsmethode oder Indexstruktur in der Datenhaltung für mehrdimensionale Räume Struktur entspricht einem balancierten Baum: Jede Baumebene gruppiert und aggregiert die Elemente der nachfolgenden Ebene. In jedem Blatt werden Referenzen auf die eigentlichen Geometrien, sowie deren Bounding Boxes gespeichert. Jeder Vaterknoten speichert für jeden seiner Nachfolger wieder die Bounding Box über alle seine Teilgeometrien. 01 R R15 07 R16 04 R12 R R Beispiel: innere Knoten zeigen auf einen Teilbaum, welcher von einer BB begrenzt wird. Hinweis: Mit R-Bäumen können n-dimensionale Räume verwaltet werden, Legende: Innere Knoten Blattknoten Blattknoten Animation: 3x klicken hier Beschränkung auf 2D 21 / 35

22 R-Baum (2) Vorgegeben: min. Anzahl Einträge pro Knoten: m max. Anzahl Einträge pro Knoten: M mit m<=(m+1)/2 Für die Wurzel des Baumes gilt die untere Schranke m=2 M und m ist an die Eigenschaften des Speichermediums anzupassen Eigenschaften Außer Punktanfragen auch Bereichsanfragen möglich Objekte werden räumlich sortiert und können effizient abgefragt werden keine disjunkte Aufteilung des Suchraumes (Rechtecke können sich überlappen) Knoten realisieren räumliche Nachbarschaft Alle Blätter haben die gleiche Distanz zur Wurzel Knotengröße entspricht Seitengröße des DBMS Der Vorteil des R-Baumes besteht, ähnlich eines B-Baumes, darin, daß er dynamisch, d.h. während der Einfüge- und Löschoperationen, ausgeglichen wird und so keine periodische Reorganisation der Baumstruktur notwendig wird 22 / 35

23 Strategie: Filter und Refine Gegeben: Ein räumliches Objekt P des gewünschten Anfragetyps: "schneidet Rechteck Q" oder "enthält Punkt q" Problem: 1. Bounding Boxes (BBs) approximieren räumliche Objekte. Es treten also Fälle auf, in denen P für eine BB erfüllt ist, nicht aber für deren approximiertes räumliches Objekt. 2. Die Indexstruktur liefert Anfrageresultate immer auf Basis der BBs, die in ihm gespeichert sind. Lösung: Punkt- und Bereichsanfragen mit Indexunterstützung werden in zwei Schritten bearbeitet: 1. Filter-Schritt: Anfrage an den Index; Ergebnis ist eine Kandidatenmenge auf Basis der BBs. 2. Refine-Schritt: Die Objekte der Kandidatenmenge werden auf der exakten Geometrie getestet, wobei falsche Kandidaten aussortiert werden. 23 / 35

24 R-Raum - Punktsuche Welche Bounding Boxes (BBs) enthalten den Punkt P? Beginne an der Wurzel innere Knoten: Durchsuche jeden Sohnknoten, dessen DirBB P enthält Blattknoten: Suche alle BBs, die P enthalten Fertig! Achtung: Ggf. muss in mehreren Teilbäumen gesucht werden! 01 R R15 04 R R13 08 R P R16 Animation: klicken 24 / 35

25 R-Baum - Bereichsanfrage Welche BBs liegen im Rechteck Q? Beginne an der Wurzel 01 innere Knoten: R Suche in jedem Sohnknoten, dessen DirBB das Rechteck Q schneidet Blattknoten: Suche alle BBs, die Q schneiden R R12 Q R13 R16 08 R14 10 Fertig! Animation: klicken 25 / 35

26 R-Baum Praktisches Arbeiten erfordert: - Einfügeoperationen (von Geoobjekten) in den R-Baum - Löschoperationen (von Geoobjekten) im R-Baum Siehe hierzu Bzw. Literatur im Anhang 26 / 35

27 Quadtree Datenstruktur, die einen k-dim. Datenraum rekursiv in 2 K große Zellen zerlegt 2D: Quadtree, 3D: Octree Zerlegung des Raumes, jeweils eine Zelle in 4 neue Zellen (NW, NO, SO, SW) NW NO NW NO SW SO SW SO Zerlegung nach vorgegebenem Kriterium (z.b. Überschreitung der Speichergröße Aufbau einer korrespondierenden Baumstruktur (-> Zugriffsstruktur) Die Wurzel entspricht einer Aufteilung des Raumes in vier Quadranten Die Blätter repräsentieren jeweils eine Zelle bzw. sind leer 27 / 35

28 Quadtree Beispiel - jeder Knoten hat 0 oder 4 Nachfolger: Nordwest 0 NW NO SW SO Nordost Südwest NW NO NW NO SO SW Südost NW NO - Blattknoten sind homogen SW SO SW SO Animation: 5x klicken 28 / 35

29 Aufbau des Quadtree Animation: 4x klicken - Gegeben: Interessensgebiet begrenzt durch Rechteck - Einfügen eines Objektes (Polygon) - Einfügen eines weiteren Objektes (Linie) - Überschreitung der vorgegebenen Speichergröße des Quadrats und Unterteilung in 4 Unterquadrate - Einfügen von weiteren Objekten und weitere Aufteilung der Zellen 29 / 35

30 Beispiel einer Punktanfrage Gegeben: P1 (x1, y1) Gesucht: Unterquadrat mit P1 1.) liegt P1 in 1, 2, 3, oder 4; Ergebnis: 4 2.) liegt P1 in 41, 42, 43 oder 44; Ergebnis: ) liegt P1 in 421, 422, 423 oder 424; Ergebnis: P Animation: klicken Ergebnis: P1 liegt in / 35

31 Quadtree Weitere Hinweise Der Quadtree stellt ein reines Organisationsprinzip dar Die Speicherung der Objekte erfolgt in sep. Blöcken Für die Zellen werden Objekt- Directories geführt (Liste mit id s der relevanten Objekte bzw. Verweis auf den Speicherort) Auf große / langestreckte Objekte muss in allen relevanten Zellen verwiesen werden (s. Skizze) 31 / 35

32 Weitere Quadtree- Anwendungen Das Quadtree- Verfahren wird auch für die effiziente Verwaltung von Rasterdaten verwendet (Pixeldaten). Reduktion von Speicherplatz Quadtree- Zerlegung von flächenhaften Objekten (aus: Bill u. Fritsch, 1994) 32 / 35

33 Verwendung räumlicher Operatoren in SQL - Beispiel Wie in Kap. 2 dargestellt, gibt es im GeoDB Umfeld vielfältige räumliche Operatoren. Diese können in vielen Systemen auch in SQL-Anfragen verwendet werden, unten ein Beispiel für Oracle SQL Abfragestruktur SELECT spaltenname FROM tabellenname [WHERE bedingung]; Spatial SQL Beispiel: SELECT Cities.shape, Cities.City_Name FROM Cities, Countries WHERE SDO_INSIDE( Cities.shape, Countries.shape ) = `TRUE` AND Countries.Country_Name = `Germany`; 33 / 35

34 Allgemeine Hinweise Zugriff auf Datenbanken erfolgt z.b. über ODBC, JDBC (siehe Literatur bzw. Vorlesung DB) Zugriff auf Geodaten z.b. über SQL bzw. GML Schnittstellen (s. Kap 3 und Übungen) bzw. über Geo Web Services Nutzung von - Langfristige Datenverwaltung / Haltung (mit Aktualisierung) - Abfragen und Analysen - Komplexe Analysen, Datenerfassung/aktualisierung und Visualisierung durch GIS-Clients - Zunehmende Nutzung über standardisierte Dienste (s. Übungen) - Auch als Basis für die Programmierung von Applikationen mit Hilfe weiterer Werkzeuge (s. Übungen) 34 / 35

35 Literatur Brinkhoff, T. (2008): Geodatenbanksysteme in Theorie und Praxis (2. Auflage), Wichmann 35 / 35

36 Vielen Dank für die Aufmerksamkeit! Weitere Fragen? 36 / 35