Kap. 6: Geometrische Algorithmen 6.1 Mehrdimensionale Suchstrukturen

Transkript

1 Kap. 6: Geometrische Algorithmen 6.1 Mehrdimensionale Suchstrukturen Professor Dr. Petra Mutzel Lehrstuhl für Algorithm Engineering, LS11 Fakultät für Informatik, TU Dortmund 23./24. VO A&D WS 08/09 20./22. Januar

2 Literatur M. de Berg, O. Cheong, M. van Krefeld, und M. Overmars: Computational Geometry, Springer 2008, Kap. 5: Orthogonal Range Searching, Kap. 14: Quadtrees F. P. Preparata und M. I. Shamos: Computational geometry: an introduction, 1985, Springer, Kap. 2.3 Range-Searching Problems R.A. Finkel und J.L. Bentley: Quad trees: A data stucture for retrieval on composite keys, Acta Informatica 4, 1974, S. 1-9 J. L. Bentley: Multidimensional binary search trees used for associative searching, Communications of the ACM, vol. 18, no. 9, 1975, S

3 Überblick: 6.1 Mehrdimensionale Suchstrukturen Einführung in mehrdimensionale Suchstrukturen Point-region quad trees Point quad trees K-d trees Range trees 3

4 6.1.1 Einführung in mehrdimensionale Suchstrukturen Gegeben: Menge S von N Punkten in R k Familie U von Untermengen von R k (Ranges) δ U Gesucht: Vorverarbeitung von S, so dass Abfragen der Art: ``Berichte alle Punkte in S δ effizient berichtet werden können. Beispiel: Datenbankabfragen 4

5 Anwendungsbereiche Datenbanken Computergraphik / Computer Vision Computer-Aided Design Geographische Informationssysteme Bildverarbeitung Mustererkennung Document-Retrieval Data Mining... 5

6 Charakterisierung (1) Welche Datentypen werden gespeichert? S ist ungeordnete Menge (z.b. Index) S ist kartes. Produkt S 1 S 2... S k geordn. Mengen Dimension: k ist kleiner gleich 10 Operationen: Find, Insert, Delete, (Pred., Succ., Min, Max) Welche Speichermedien? intern vs. extern 6

7 Charakterisierung (2) Welche Objekttypen werden gespeichert? Punkte, Container (z.b. Quader in 3D), komplexere Lage fixiert oder beweglich? Welche Abfragen und wie oft? Ist Punkt enthalten? Aufzählung aller Punkte, die in gewünschtem k-dim. Bereich liegen Welche Punkte liegen in der Nähe eines Punktes? Finde die n nächsten Nachbarn eines Punktes Exakte vs. partielle Abfragen Einmalige vs. viele Abfragen 7

8 Wir betrachten folgende Abfragen: Punkt-Abfrage (Point Query): Ist ein gegebener Datenpunkt in S R k enthalten, und falls ja, dann finde diesen. Bereichsabfrage (Range Query): Berichte alle Punkte aus S, deren k Schlüssel in den gewünschten Bereichen liegen. 8

9 Einfache Datenstrukturen Name X-key Y-key Sequentielle Liste Aufwand: O(N k) D 5 45 C O M Invertierte Liste (Knuth 1973) Sortierte Liste pro Schlüssel Durchschnittlicher Aufwand: O(N 1-1/k ) Aufwand: O(N k) X-key D O C M Y-key M O C D 9

10 ``Fixed Grid Methode Suchraum wird in gleiche Teile (Buckets) der Größe r aufgeteilt, wobei r der Suchradius ist Realisiert als k-dim. Array mit einem Eintrag per Bucket; jeder Bucket enthält Punkte in Form einer einfachen Liste Durchschnittlicher Suchaufwand für Bereichssuche (Bentley 1977): O(F 2 k ), wobei F die Anzahl der berichteten Punkte ist Effizient, wenn fixer Radius und Datenpunkte gleichmäßig im Raum verteilt sind (Kartographie) Teilt den Raum auf 10

11 Trie Region Quadtrees Repräsentation eines 2-dim. Binärbildes (Region Data) Rekursive Teilung eines 0/1-Bereiches in vier gleich große Quadranten, STOP falls Block nur 0 oder nur 1 enthält Suchbaum mit Grad 4 (s. Beispiel) Jedes Kind eines Knotens repräsentiert Quadranten (NW,NE,SW,SE) Blätter Aufteilung nicht weiter notwendig Blätter sind entweder ``weiß oder ``schwarz, innere Knoten sind ``grau 11

12 6.1.2 Point-Region Quadtrees Repräsentation von eines Punkten 2-dim. in einem Binärbildes k-dim. Bereich (Region Data) Rekursive Teilung eines quadratischen 0/1- Bereiches in vier gleich große Quadranten, STOP falls Block nur 0 oder nur 1 Punkt enthält Jedem Feld wird ein Knoten in einem Suchbaum mit Maximal- Grad 4 zugeordnet Jedes Kind eines Knotens repräsentiert Quadranten (NW,NE,SW,SE) Blätter Aufteilung nicht weiter notwendig Blätter sind entweder ``weiß (falls kein Punkt enthalten ist) oder ``schwarz (sonst), innere Knoten sind ``grau 12

13 Point-Region Quadtrees: k=2 Beispiel N=10 Punkte (0,100) (100,100) y (0,0) x (100,0)

14 PR Quadtree für Beispiel (50,50) (75,75) (25,25) (75,25) 14

15 k=2: Aufbau eines PR Quadtrees Top-Down Aufbau: Starte mit Feld B, das alle Knoten enthält Sei v B der zugehörige Knoten im Suchbaum Falls B mehr als einen Knoten enthält, dann erzeuge 4 Kinder von v B im Suchbaum weise jedem Kind-Feld B i alle Knoten aus B zu, welche in B i enthalten sind entferne leere Kind-Felder v B i im Baum Alternativ: Insert-Aufbau: Starte mit leerem Feld B und füge iterativ die Knoten ein Einfügen geht ähnlich wie bei binären Suchbäumen: suche das richtige Feld, Suche endet an Blatt, füge ein.

16 Z-Order, DFS-Order Morton Order [Morton 1966] space filling curve: bildet einen k-dimensionalen Bereich auf eine Dimension ab Abb. aus Wikipedia

17 Laufzeit? Baum hat Tiefe N Laufzeiten beider Aufbau-Algorithmen: O(N 2 ) (0,100) (100,100) 1 1 y (0,0) x (100,0) 4 5

18 6.1.3 Point Quad Trees Eingeführt von Finkel & Bentley 1974 Multidimensionale Verallgemeinerung von binären Suchbäumen Verheiratung von ``Fixed Grid mit binären Suchbäumen Rekursive Teilung an Datenpunkten in jeweils vier Teile: NW,NE,SW, SE Hier Annahme: k=2, Verallg. einfach Jeder Punkt wird nur einmal besetzt 18

19 Beispiel: K L J D B H E C F G I A M N

20 Point Quadtree zu Beispiel A J F M N K L H G B I D C E

21 Point Quad Trees: Operation Insert Jeder innere Knoten enthält Zeiger zu Kindern NW,NE,SW,SE CHILD(P,I): gibt Kind im Quadranten I von Knoten P an XCOORD, YCOORD: Koordinaten von Punkt NAME: Information über Punkt (z.b. Name) Ähnlich wie für binäre Suchbäume: Suche den Punkt (nach x und y-key) Wenn Blatt erreicht ist, dann bestimme Position, an die eingefügt werden muss. 21

22 Beispiel: Insert Z K L J D B H E C F Z G I A M N 22

23 Point Quadtree zu Beispiel: Insert Z A J F M N K L H G B I D C E Z

24 Point Quadtrees: Analyse Aufbau Aufbau eines Point Quadtrees: Aufwand ist äquivalent zur Gesamtpfadlänge = Kosten, um nach allen Elementen einmal zu suchen Gesamtpfadlänge: Hängt von Reihenfolge der Einfügungen der Punkte ab Empirisch: N log 4 N (Finkel & Bentley) Worst Case: θ(n 2 ) Aufwand für Insert und Search Empirisch: O(log 4 N) Worst Case: O(N) Re-Balancing Methoden sind möglich 26

25 Point Quadtrees: Deletion Problem: Geht nicht so leicht wie bei binären Suchbäumen Beispiel: Entfernung von A 27

26 Delete A: Beispiel: Deletion K L J D B H E C F G I A M N

27 Delete A: Beispiel: Deletion K L J D B H E C F G I A M N

28 Point Quadtrees: Deletion Problem: Unterbäume des gelöschten Knotens müssen eventuell neu eingefügt werden, denn sie sind nicht mehr im richtigen Quadranten bzgl. der neuen Wurzel Original-Vorschlag war daher: alle diese Unterbäume neu einfügen Besser: Vorschlag von Samet: 30

29 Point Quadtrees: Deletion Problem: Unterbäume des entfernten Knotens müssen neu eingefügt werden Alle Knoten mit deren Unterbäumen, die in der Zwischenregion liegen, müssen neu eingefügt werden. Idee: Wähle in jedem Unterquadranten des zu entfernenden Knotens einen Kandidaten aus, der am nächsten bei x oder y-koordinate ist. Wähle aus diesen vier Kandidaten dann den besten aus. 31

30 Wunsch: Finde einen Punkt Z, so dass die Zwischen-Region Beispiel: def. durch Z und A leer ist K L J D B H E C F G I A M N Problem: Z muss Petra Mutzel nicht Alg. existieren! & Dat. WS 08/09 32

31 Deletion: FIND_CANDIDATE(P,Q) Pointer node procedure FIND_CANDIDATE(P,Q) // P pointer to the son in quadrant Q of the node to be deleted. // // OPQUAD(Q) gives quadrant 180 degrees apart from Q // 1. begin 2. if not(null(p)) 3. while not(null(child(p,opquad(q)))) do 4. P CHILD(P,OPQUAD(Q)); 5. return(p); 6. end; 33

32 Kriterium 1: Wähle denjenigen, der am nächsten Beispiel: bei A liegt Kandidaten bzgl. x und y nach FIND_CAND Punkt mit Kriterium 1 muss nicht existieren: Bsp K L J D B H E C F G I A M Kriterium 1 garantiert, dass Zwischenregion leer ist N

33 Kriterium 1: Wähle denjenigen, der am nächsten bei A liegt bzgl. x und Beispiel: y Kandidaten nach Kriterium 2 (NEU): Punkt mit Kriterium FIND_CAND Wähle denjenigen Punkt i mit kleinstem Abstand zu einer Koordinatenachse: 1 muss nicht min existieren: ( x Bsp i -x, y i -y ) K M L J y A Kriterium 1 garantiert, dass Zwischenregion leer ist Kriterium 2 garantiert, dass höchstens ein anderer Kandidat innerhalb der Zwischenregion liegt D B H E C F N G I Denn: Punkt im Quadranten gegenüber liegt sicher nicht in Zwischenregion und mind. ein anderer Punkt ist auch außerhalb. x

34 Point Quadtrees: Deletion - Vorgehen Sei P der zu entfernende Punkt, R ist Wurzel Falls P kein oder nur ein Kind hat: einfach Sonst: Bestimme die vier Kandidaten pro Quadrant Bestimme den besten Kandidaten nach Kriterien 1,2 Sei J bester Kandidat, J liegt in Quadrant Q bzgl. P: Kopiere xcoord, ycoord, name Rekursiver Umbau des nächsten Quadranten im Uhrzeigersinn CQUAD(Q) mit Hilfe von ADJQUAD() Rekursiver Umbau des nächsten Quadranten im Gegenuhrzeigersinn CCQUAD(Q) mit Hilfe von ADJQUAD() Rekursiver Umbau des Quadranten Q mit Hilfe von NEWROOT()

35 Delete Punkt A Beispiel: K L J D B H E C F G I A M N

36 Beispiel nach Deletion von A K D H F G L J B E C I M N

37 Quadtree zu Beispiel nach Deletion von A B J F M N K D H G C L E I 42

38 Point Quadtree vor Delete A A J F M N K L H G B I D C E

39 Point Quadtrees: Analyse Theoretisch (Bentley 1988): Deletion Aufwand bei gleichmäßig verteilten Daten für die Anzahl der Neueinfügungen geht um 83% zurück gegenüber der Neueinfügung aller Teilbäume. Empirisch (Bentley 1988): Empirisch: N log 4 N vs. deutlich größer in Original Gesamtpfadlänge verringert sich leicht vs. deutlich Verlängerung in Original Worst Case: O(N 2 ) Deletion sehr komplex! Alternative: Pseudo Quadtrees 50

40 Pseudo Quadtrees Overmars und van Leeuwen 1982 Idee: Rekursive Aufteilung des Raumes an Punkten, die nicht Datenpunkte sind, in Quadranten, Unterquadranten, etc., bis jeder Unterquadrant höchstens einen Datenpunkt enthält. 51

41 Pseudo Quadtrees: Beispiel (0,100) (100,100) (60,75) TORONTO 70,70 y (5,45) DENVER (25,35) OMAHA (40,50) (35,40) CHICAGO (26,37) (65,12) (80,65) BUFFALO (85,15) ATLANTA (50,10) (90,5) Mobile MIAMI (0,0) x (100,0)

42 Pseudo Quadtree für Beispiel (40,50) (70,70) (26,37) (65,12) TORONTO BUFFALO DENVER OMAHA CHICAGO ATLANTA MIAMI MOBILE 53

43 Pseudo Quadtrees: Aufbau: Für je N Datenpunkte im k-dim. Raum existiert ein Partitionierungspunkt, so dass jeder Quadrant höchstens N/(k+1) Datenpunkte enthält. Analyse: Dann besitzt der Pseudo Quadtree eine Tiefe von höchstens log k+1 N und kann in Zeit O(N log k+1 N) gebaut werden. 54

44 Point Quadtrees: Diskussion Nachteile bei höheren Dimensionen: An jedem Knoten des Baumes sind k Vergleiche notwendig (um den Quadranten zu bestimmen) Hoher Speicherplatzverbrauch: Jedes Blatt benötigt k viele NULL Pointer, auch jeder innere Knoten besitzt immer wieder NULL Pointer Speicherplatzverbrauch pro Knoten: k+2 k +1 Wörter für Koordinaten, Kinder und Info 55

45 Jon Louis Bentley K-D Trees: Idee: Binärer Suchbaum mit der Eigenschaft, dass in jeder Tiefe nach einer anderen Dimension orthogonal aufgeteilt wird. Z.B. k=2: nach x-koordinaten auf den Schichten mit gerader Nummer (Beginn bei Schicht 0), nach y- Koordinaten auf den ungeraden Schichten. Aufteilung basiert auf den Datenpunkten BSP Trees (Fuchs, Kedem, Naylor 1980): K-D Trees, bei denen nicht orthogonal aufgeteilt wird (beliebige Hyperebenen) 56

46 K-D Tree: Beispiel (0,100) (100,100) (60,75) TORONTO (80,65) BUFFALO y (5,45) DENVER (25,35) OMAHA (35,40) CHICAGO (85,15) ATLANTA (50,10) Mobile (90,5) MIAMI (0,0) x (100,0)

47 Datenstruktur: K-D Trees: LEFT, RIGHT: linkes und rechtes Kind (referenziert als CHILD(P,I) bzw. LOCHILD(P) und HICHILD(P)) XCOORD, YCOORD,... NAME DISC: Diskriminator bzgl. k-tem Schlüssel Abmachung für Diskriminatoren: gleiche Schlüsselwerte befinden sich im rechten Teilbaum 58

48 K-D Tree: Einfügen (0,100) (100,100) y (5,45) DENVER (60,75) TORONTO Z (80,65) BUFFALO (25,35) OMAHA (35,40) CHICAGO (85,15) ATLANTA (50,10) Mobile (90,5) MIAMI (0,0) x (100,0)

49 K-D Trees: INSERT Analog zu binären Suchbäumen: Wir suchen den Punkt abwechselnd basierend auf den k Schlüsseln Wenn das Blatt erreicht ist, haben wir die Einfüge- Position gefunden Analyse: Form des Baumes hängt von Einfügereihenfolge ab Durchschnittliche Tiefe: O(log 2 N) Worst Case Tiefe: O(N), Aufbau: O(N 2 ) Optimierung ähnlich wie bei Quad Trees Alternative: Adaptive K-D Tree 60

50 Idee: Adaptive K-D Trees Wie K-D Trees, ausser, dass die Aufteilung zwischen (statt an) den Datenpunkten gemacht wird Datenpunkte werden nur in den Blättern gespeichert Jeder innere Knoten enthält den Median der Menge der noch übrigen, in diesem Teil befindlichen Knoten (bzgl. einem Schlüssel) Aufteilung nicht mehr abwechselnd nach Schlüsseln, sondern nach dem Schlüssel, der noch die größte Differenz zwischen min und max besitzt. 61

51 Adaptiver K-D Tree: Beispiel (0,100) (100,100) (60,75) TORONTO (80,65) BUFFALO y (5,45) DENVER (35,40) CHICAGO (25,35) OMAHA (85,15) ATLANTA (50,10) Mobile (90,5) MIAMI (0,0) x Petra Mutzel (100,0) Alg. & Dat. WS 08/09 62

52 Diskussion: Adaptive K-D Trees Ist nicht notwendigerweise balanciert Statische Datenstruktur (alle Punkte müssen vorher bekannt sein, sonst nicht sinnvoll) Deletion ist sehr komplex Suchen: ähnlich wie bei K-D Trees 63

53 Diskussion (k=2): K-D Trees: Deletion Deletion ist nicht so leicht wie bei binären Suchbäumen Problem: nach Entfernung von Knoten aus Baum stimmen die Diskriminatoren nicht mehr (z.b. 2 Mal x- Koordinaten hintereinander) Idee: Rekursiv: DELETION(a,b) Finde Ersatzknoten (c,d) in einem Unterbaum Überschreibe (a,b) mit (c,d) DELETION(c,d) 64

54 K-D Trees: Deletion Kandidaten für Ersatzknoten: Sei (a,b) x-diskriminator, dann: (1) Entweder Knoten im linken Teilbaum mit größter x- Koordinate (2) Oder Knoten im rechten Teilbaum mit kleinster x- Koordinate (1) scheidet aus wegen Abmachung bzgl. gleicher Schlüsselwerte, denn Annahme: sei (c,d) aus linkem Teilbaum, dann könnte ein anderer Knoten (c,z) in linkem Teilbaum existieren 65

55 K-D Trees: Deletion Kandidaten für Ersatzknoten: Sei (a,b) x-diskriminator, dann ist Kandidat: Knoten im rechten Teilbaum von a mit kleinster x- Koordinate Problem: rechter Teilbaum von a ist leer Lösung: Finde Knoten (c,d) mit kleinster x-koordinate in linkem Teilbaum von a Hänge den linken Teilbaum von (a,b) an den rechten Teilbaum von (c,d) Rekursiver Aufruf von DELETION(c,d) Beispiel: 66

56 K-D Trees: Beispiel Deletion (0,60) (60,60) C(25,50) E(30,45) G(55,40) H(45,35) y B(10,30) F(30,35) I(50,30) A(20,20) D(35,25) (0,0) x (60,0)

57 K-D Trees: Deletion Problem reduziert auf: Bestimme den Knoten mit kleinsten x- bzw. y-koordinate in Teilbaum von (a,b): Muss im linken Teilbaum eines x-diskrimina-tors sein Kann im linken oder rechten Teilbaum eines y- Diskriminators sein Analyse: Dieser Aufwand ist O(N 1-1/k ) 68

58 K-D Trees: Bereichssuche Ausgabe aller Knoten (x,y), die sich innerhalb des Gebietes mit Radius d (euklidisch) um (a,b) befinden,d.h. (a-x) 2 +(b-y) 2 d 2 72

59 K-D Trees: Bereichssuche (0,100) (100,100) (60,75) TORONTO (80,65) BUFFALO y (5,45) DENVER (25,35) OMAHA (35,40) CHICAGO (85,15) ATLANTA (50,10) Mobile (90,5) MIAMI (0,0) x (100,0) (88,6), d=3

60 K-D Trees: Bereichssuche Analyse: Worst Case für vollständigen K-D Tree: O(k N 1-1/k ) 74

61 Diskussion K-D Trees An jedem Knoten muss nur jeweils ein Schlüsselvergleich durchgeführt werden. Speicherplatz: Blätter: es gibt nur maximal zwei NULL-Pointer Benötigter Speicherplatz pro innerer Knoten: k für LEFT, RIGHT, NAME, DISC + k Wörter für k Schlüssel Adaptive K-D Trees: Innere Knoten benötigen nur 5 Wörter Nachteil gegenüber Quadtree: Quadtree ist eine parallele Datenstruktur (k Schlüsselvergleiche), K-D Trees nicht 75