WS18 Algorithmen und Datenstrukturen 1 4. Kapitel Suchbäume

Transkript

1 WS18 Algorithmen und Datenstrukturen 1 4. Kapitel Suchbäume Martin Dietzfelbinger November 2018 FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4

2 4.1 Binäre Suchbäume Binäre Suchbäume implementieren den Datentyp Wörterbuch Schlüsselmenge (U, <) (total geordnet) und Wertemenge R Wörterbuch: f : S R, wobei S U endlich. empty: leeres Wörterbuch erzeugen lookup: falls x S: f(x) ausgeben (sonst: undefined ) insert: neue Paare (x, f(x)) einfügen (bzw. aktualisieren) delete: anhand von x Paar (x, f(x)) löschen (falls x S) FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 1

3 Beispiel: U = {A, B, C,..., Z} (Standardsortierung), R = N. Ein binärer Suchbaum T : G 4 E 7 K 2 B 9 4 I M 11 D 2 Dargestellte Funktion f = f T : S = D(f) = {B, D, E, G, I, K, M}, f(b) = 9, f(d) = 2, usw. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 2

4 Binärer Suchbaum Knoteneinträge (hier in inneren Knoten): key(v): Schlüssel (aus U) data(v): Daten, Wert (aus R) (oft: Zeiger, Referenz) Definition Ein Binärbaum T mit Einträgen aus U R heißt ein binärer Suchbaum, falls für jeden Knoten v in T gilt: Knoten w im linken Unterbaum von T v key(w) < key(v) Knoten w im rechten Unterbaum von T v key(v) < key(w) engl.: binary search tree. Abk.: (U, R)-BSB oder (U, R)-BST FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 3

5 Alternative Definition: Rekursive Auffassung. (i) ist (U, R)-BSB, mit Schlüsselmenge S =. (ii) Wenn x U und r R und T 1, T 2 (U, R)-BSB mit Schlüsselmengen S 1, S 2 U, und wenn y S 1 : y < x und z S 2 : x < z, dann ist (T 1, (x, r), T 2 ) ein (U, R)-BSB mit Schlüsselmenge S 1 {x} S 2. T 1 <x (x,r) T 2 Falls (ii): key(t ) := x und data(t ) := r. >x FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 4

6 T: (G,4) (E,3) (K,7) (B,1) (I,5) (M,8) (D,2) (J,6) Implementierung von binären Suchbäumen: Verzeigerte Struktur. Knoten hat Komponenten für Schlüssel, Daten und Zeiger/Referenzen auf linkes und rechtes Kind: T.key, T.data, T.left, T.right Baum ist gegeben durch Zeiger/Referenz auf Wurzel. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 5

7 Suchen, rekursiv lookup(t, x), für BSB T, x U. // Ergebnis: Zeiger auf Knoten mit x, falls vorhanden 1. Fall: T =. return nicht gefunden Ab hier: T, also T = (T 1, (y, r), T 2 ). 2. Fall: x = y. return (r, [Zeiger auf den Wurzelknoten von] T ). 3. Fall: x < y. return lookup(t.left, x) // rekursiver Aufruf. 4. Fall: x > y. return lookup(t.right, x) // rekursiver Aufruf. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 6

8 Beispiel: H 4. Fall D K 4. Fall B F W 3. Fall 4. Fall O Y S 3. Fall Z 2. Fall Q V Suche: Q S. U FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 7

9 Beispiel: H 4. Fall D K 4. Fall B F W 3. Fall 4. Fall O Y 2. Fall S Z Q V Suche: S S. U FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 8

10 Beispiel: H 4. Fall D K 4. Fall B F W 3. Fall 4. Fall O Y S 3. Fall Z 4. Fall Q V 1. Fall Suche: R / S. U FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 9

11 Korrektheit folgt sofort aus der Struktur von BSB und der rekursiven Struktur des Algorithmus. (Formal: Per Induktion über den Aufbau von Binärbäumen zeige: Ausgabe von lookup(t ) ist korrekt.) Zeitaufwand: Wenn x in Knoten v x : Für jeden Knoten v auf dem Weg von der Wurzel zu v x Kosten O(1). Kosten O(d(v x )) = O(d(T )). Wenn x nicht in T : Suche endet in externem Knoten l x. Kosten O(1) für jeden Knoten auf dem Weg. Kosten O(d(v x )) = O(d(T )). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 10

12 Einfügen, rekursiv insert(t, x, r), für BSB T, x U, r R. // T : Zeiger 1. Fall: T =. Erzeuge neuen (Wurzel-)Knoten v mit Eintrag (x, r). T v; return T. Ab hier: T = (T 1, (y, r ), T 2 ). 2. Fall: x = y. T.data r; return T. // Update-Situation! 3. Fall: x < y. T.left insert(t.left, x, r); return T. 4. Fall: y < x. T.right insert(t.right, x, r); return T. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 11

13 Beispiel: 3. Fall H 4. Fall D K B F 3. Fall W 1. Fall O Y S Z Q V Füge ein: E / S. U FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 12

14 Beispiel: H D K B F W E O Y S Z Q V Füge ein: E / S. U FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 12

15 Beispiel: H 4. Fall D K 4. Fall B F W 3. Fall 1. Fall 3. Fall O Y S Z Q V Füge ein: N / S. U FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 13

16 Beispiel: H D K B F W O Y N S Z Q V Füge ein: N / S. U FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 13

17 Beispiel: H 4. Fall D K 4. Fall B F W 3. Fall 4. Fall O Y 2. Fall S Z Q V Füge ein: S S. U FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 14

18 Korrektheit: Behauptung: Aufruf insert(t, x, r) erzeugt einen binären Suchbaum (der wieder T heißt), der das modifizierte Wörterbuch insert(f T, x, r) darstellt. Beweis: Induktion über den Aufbau von Binärbäumen. Zeitaufwand: Wenn x im Knoten v x schon vorhanden: Kosten O(d(v x )) = O(d(T )). Wenn x nicht in T : O(1) für jeden Knoten auf dem Weg von Wurzel zu l x. Kosten O(d(l x )) = O(d(T )). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 15

19 Löschen, rekursiv delete(t, x), für BSB T, x U. 1. Fall: T =. // Nichts zu tun. (x nicht vorhanden.) Ab hier: T, also T = (T 1, (y, r), T 2 ). 2. Fall: x < y. T.left delete(t.left, x); return T ; 3. Fall: y < x. T.right delete(t.right, x); return T ; 4. Fall: x = y. // Lösche Wurzel! Unterfälle 4a 4c, s.u. return T. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 16

20 Fall 4a: T.left = : return T.right. (auch wenn T.right = ist!) T: x T : T 2 T 2 Fall 4b: T.right = : return T.left. T : x T : T 1 T 1 FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 17

21 Fall 4c: T 1 und T 2. T : x T 2 Schlüssel minimal in T y 2 y u Suche in T 2 Eintrag (y, r ) mit minimalem y, in Knoten u. (Dies ist der Inorder-Nachfolger der Wurzel von T.) T 2 T 2 ohne u; T besteht aus u als Wurzel, T 1 als linkem und T 2 als rechtem Unterbaum. (Zeiger/Referenzen umhängen, nicht Daten/Schlüssel kopieren!) FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 18

22 Extrahieren des Minimums, rekursiv Extrahieren des Knotens mit kleinstem Schlüssel aus einem nichtleeren BSB T = (T 1, (z, r), T 2 ): extractmin(t ). Ebenfalls rekursiv zu realisieren. Rückgabewerte: Veränderter Baum T und ein separater Baumknoten (via Zeiger auf diesen Knoten). 1. Fall: T.left =. Schlüssel z in der Wurzel ist minimal in T. T T.right; T.right ; return([baum] T, [Knoten] T ). 2. Fall: T.left. (T.left, u) extractmin(t.left); return(t, u). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 19

23 Beispiel: H 3. Fall D K 3. Fall B F W 2. Fall 3. Fall O Y S 2. Fall Z Fall 4a Q V Lösche: Q. U FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 20

24 Beispiel: H D K B F W O Y S Z V Lösche: Q. U FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 20

25 Beispiel: H 3. Fall D K Fall 4a B F W O Y S Z Q V Lösche: K. U FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 21

26 Beispiel: H D W B F O Y S Z Q V U Lösche: K. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 21

27 Beispiel: H Fall 4c D W minimal B F O Y S Z Q V U Lösche: H. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 22

28 Beispiel: O H D W B F Y S Z Q V U Lösche: H. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 22

29 Intuitive, iterative Beschreibung des Löschvorgangs: 1) Suche Schlüssel x in T. 2) Falls nicht gefunden, ist nichts zu tun. 3) Falls x in Knoten v, gibt es drei Fälle: 3a) v hat keinen linken Unterbaum. Biege Zeiger vom Vorgänger von v zu v auf den rechten Unterbaum von v um. (Der Fall, dass v Blatt ist, ist in 3a) inbegriffen.) 3b) v hat keinen rechten Unterbaum. Biege Zeiger vom Vorgänger von v zu v auf den linken Unterbaum von v um. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 23

30 3c) v hat linken und rechten Unterbaum. Suche Inorder-Nachfolger u von v, d.h. den Knoten mit kleinstem Schlüssel im rechten Unterbaum von v. (Gehe zum rechten Kind von v und dann immer links, bis Knoten u erreicht, der kein linkes Kind hat.) Der linke Unterbaum von u ist immer leer! Klinke u aus durch Umbiegen des Zeigers vom Vorgänger von u auf den rechten Unterbaum an u. Ersetze in T den Knoten v durch u (Zeiger zu den Kindern kopieren, Zeiger auf v nach u umbiegen). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 24

31 Korrektheit: Behauptung: Aufruf delete(t, x) erzeugt einen binären Suchbaum (der wieder T heißt), der das modifizierte Wörterbuch delete(f T, x) darstellt. Beweis: Induktion über den Aufbau von Binärbäumen. Dabei muss man gesondert beweisen, und dann benutzen, dass extractmin(t ), angewendet auf einen nichtleeren BSB, das verlangte Resultat liefert. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 25

32 Zeitaufwand: x im Knoten v x, Fälle 2/3: O(d(v x ) = O(d(T )). x im Knoten v x, Fall 4: O(d(v + x )) = O(d(T )), für Inorder-Nachfolger v + x von v x. x in T nicht vorhanden: O(d(l x )) = O(d(T )), für externen Knoten l x. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 26

33 4.2 Erwartete mittlere Tiefe in zufälligen BSBs Schon gesehen:. a c d 0 f k 1 1 h m n p Summe der Tiefen: = 17 Totale innere Weglänge TIPL(T ) := v V d(v) 1 Mittlere innere Weglänge: TIPL(T ). n Entspricht erwarteten Kosten, wenn jeder Schlüssel mit Wahrscheinlichkeit 1 n gesucht wird. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 27

34 Zufällig erzeugte binäre Suchbäume T zufällig erzeugt: Starte mit leerem Baum, füge Schlüssel aus Menge S = {x 1, x 2,..., x n } ein. Eingabereihenfolge der Schlüssel x 1 < x 2 < < x n ist rein zufällig jede Reihenfolge hat Wahrscheinlichkeit 1/n!. A(n) := E(TIPL(T )). Dann ist der erwartete (über Eingabereihenfolge zufällig) mittlere (über n Schlüssel x S gemittelte) Aufwand für lookup(x): O (1 + 1n ) A(n). Was ist A(n)? A(0) = 0, A(1) = 0, A(2) = 1. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 28

35 A(3) =? 6 Einfügereihenfolgen für (x 1, x 2, x 3 ) = (1, 2, 3): TIPL(T): ! Derselbe Baum! TIPL(T): 2 2 A(3) = E(TIPL(T )) = 1 6 ( ) = 8 3. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 29

36 Rekursionsformel Wenn x i der erste eingefügte Schlüssel ist, dann hat der linke Unterbaum i 1 Schlüssel, der rechte n i. x i x 1,..., x i- 1 x i+1,..., x n Die Unterbäume sind selbst zufällig erzeugte binäre Suchbäume. Also: E(TIPL(T ) falls x i erster) = = ((i 1) + A(i 1)) + ((n i) + A(n i)). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 30

37 Begründung: Der Weg in T zu jedem der n 1 Knoten in den Teilbäumen ist um 1 länger als der Weg im Teilbaum; daher die Summanden (i 1), (n i). Vereinfachung: E(TIPL(T ) falls x i erster) = (n 1) + A(i 1) + A(n i). Jeder der n Schlüssel x 1,..., x n hat dieselbe Wahrscheinlichkeit 1/n, als erster eingefügt zu werden und die Wurzel zu bilden. Also Mittelung: A(n) = 1 n 1 i n [(n 1) + A(i 1) + A(n i)]. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 31

38 Rekurrenzgleichung für A(n): A(0) = 0 und A(n) = (n 1) + 1 n (A(i 1) + A(n i)), für n 1. 1 i n Lösung, nach größerer Rechnung: A(n) = 2(n + 1)H n 4n, wobei H n = n. Erwartete mittlere Knotentiefe (Einfügereihenfolge zufällig; Mittelung über x 1,..., x n ): Teilen durch n liefert 1 n A(n) = 2H n 4 + 2H n n < 2H(n) 4. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 32

39 Was ist H n? Für jedes i 2: Für jedes i 1: Daraus: 1 i < i+1 i i i 1 dt t. dt t < 1 i. H n 1 = n < n ln n = n 1 1 dt t = ln n. dt t n 1 < H n. Also: ln n < H n < 1 + ln n, für n 2. H(n) ist die diskrete Version von ln n. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 33

40 Satz A(n) 2 ln n Ω(1) n Wenn man Zweierlogarithmen lieber mag: 1 A(n) = (2 ln 2) log n Ω(1) (2 ln 2) log n. n Dabei: 2 ln 2 = 1, Satz (Kurzform) In zufällig erzeugten natürlichen binären Suchbäumen ist die erwartete mittlere Knotentiefe < 1,39 log n + O(1). Mitteilung: Erwartete Baumtiefe ist ebenfalls O(log n), genauer: E(d(T )) 3 log n + O(1/n). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 34

41 Idee: 4.3 Balancierte binäre Suchbäume Lasse nur Bäume zu, die bestimmte Strukturbedingungen erfüllen. Strukturbedingungen erzwingen geringe Tiefe (z. B. O(log n) bei n Einträgen). Implementiere Wörterbuch-Operationen insert und delete, so dass sie die Strukturbedingungen erhalten und in Zeit O(Baumtiefe) durchführbar sind. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 35

42 ?? Attraktiv: Perfekte Balance. D. h.: Alle Blätter auf zwei benachbarten Levels: Tiefe d erfüllt 2 d 1 < n 2 d+1 1, also d = log(n + 1) 1 log n. Attraktiv?? Nein! Einfüge- und Lösch-Operationen zu teuer. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 36

43 Häufig benutzte Strukturbedingungen: (mit Literatur) AVL-Bäume Rot-Schwarz-Bäume [Cormen et al.], [Sedgewick] 2-3-Bäume Bäume [Cormen et al.], [Sedgewick], [D./Mehlhorn/Sanders] B-Bäume [Cormen et al.] FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 37

44 4.3.1 AVL-Bäume Höhenbalancierte binäre Suchbäume [G. M. Adelson-Velski und J. M. Landis 1962] T : v d 1 d 2 T T v,2 v,1 d 2 d 1 1 FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 38

45 Definition Ein Binärbaum T heißt höhenbalanciert, falls in jedem Knoten v in T für den Teilbaum T v = (T v,1, v, T v,2 ) mit Wurzel v gilt: d(t v,2 ) d(t v,1 ) }{{} Balancefaktor bal in v { 1, 0, 1}. Äquivalent ist die rekursive Charakterisierung: (i) Der leere Baum ist höhenbalancierter BB über U. (ii) Sind T 1 und T 2 höhenbalancierte BB, x U, und ist bal = d(t 2 ) d(t 1 ) { 1, 0, 1}, so ist (T 1, x, T 2 ) höhenbalancierter BB über U (mit Balancefaktor bal). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 39

46 Beispiele: Stets: Nicht.. hohenbalanciert: FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 40

47 Definition Ein höhenbalancierter binärer Suchbaum heißt AVL-Baum. Für die Implementierung von AVL-Bäumen muss man in jedem inneren Knoten v seinen Balancefaktor speichern. Notation: bal(v) ist der Balancefaktor in Knoten v. Hoffnung: AVL-Bäume sind nicht allzu tief. Tatsächlich:... logarithmisch tief. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 41

48 Satz Ist T ein höhenbalancierter Baum mit n 1 Knoten, so gilt d(t ) 1,4405 log 2 n. D.h.: AVL-Bäume sind höchstens um den Faktor 1,4405 tiefer als vollständig balancierte binäre Suchbäume mit derselben Knotenzahl. Beweisansatz: Wir zeigen, dass ein AVL-Baum mit Tiefe d exponentiell in d viele Knoten haben muss, nämlich mindestens Φ d viele für eine Konstante Φ > 1, mit log Φ 2 1,4405. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 42

49 Beweis des Satzes: Für d = 0, 1, 2,... setze N(d) := die minimale Zahl innerer Knoten in einem AVL-Baum T mit d(t ) = d. N(0) = Knoten N(1) = 2 1 oder 2 Knoten FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 43

50 N (2) = 4 2 oder oder... N (3) = 7 oder oder FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 44

51 Behauptung 1: N(d) = 1 + N(d 1) + N(d 2), für d 2. v T1 : T : 2 d 1 N( d 1) N( d 2) d 2 Beweis: Es ist klar, dass N(d) > N(d 1) für alle d. Damit der höhenbalancierte Baum der Tiefe d minimale Knotenzahl hat, müssen die Unterbäume Tiefe d 1 und d 2 haben und selbst minimale Knotenzahl für diese Tiefe haben. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 45

52 N(d) = 1 + N(d 1) + N(d 2), für d 2. N(d) für kleine d: d N(d) Eindruck: exponentielles Wachstum. Man kann zeigen: N(d) = F d+3 1, für Fibonacci-Zahlen F 0, F 1, F 2,.... FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 46

53 Behauptung 2: N(d) Φ d, für d 0, wo Φ = 1 2 (1 + 5) 1, ( goldener Schnitt ). ( ) Φ ist Lösung der quadratischen Gleichung x 2 = x + 1. Beweis von Beh. 2: Vollständige Induktion. Für d = 0: N(0) = 1 = Φ 0 ; für d = 1: N(1) = 2 > Φ. Sei nun d 2. N(d) Beh. 1 = 1 + N(d 1) + N(d 2) I.V. Φ d 1 + Φ d 2 = Φ d 2 (Φ + 1) ( ) = Φ d 2 Φ 2 = Φ d. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 47

54 Nun sei T ein höhenbalancierter Baum mit Höhe d(t ) 0 und n Knoten. Nach Behauptung 2: Φ d(t ) n. Durch Logarithmieren: d(t ) log Φ (n), d. h. d(t ) log Φ (2) log 2 (n). Es gilt: log Φ (2) = (ln 2)/(ln Φ) = 1, < 1,4405. Damit ist Satz bewiesen. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 48

55 AVL-Bäume: höhenbalancierte binäre Suchbäume. Wissen: haben logarithmische Tiefe. Müssen noch zeigen: Man kann die Wörterbuchoperationen so implementieren, dass die AVL-Eigenschaft erhalten bleibt, und der Zeitbedarf proportional zur Tiefe ist. Knotenformat: x : key r : data left bal: Z right x: key; r: data; bal: integer; // Legal: { 1, 0, 1} left, right: AVL Tree // Zeiger auf Baumknoten FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 49

56 4.3.2 Implementierung der Operationen bei AVL-Bäumen AVL empty: Erzeuge NULL-Zeiger. (Wie bei gewöhnlichem BSB.) AVL lookup: Wie bei gewöhnlichem BSB. Brauchen nur: AVL insert(t, x, r) und AVL delete(t, x). Grundansatz: Führe diese Operationen aus wie bei gewöhnlichem BSB. Eventuell wird dadurch Bedingung Höhenbalancierung verletzt. Reparatur : Rebalancierung, erfolgt rekursiv. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 50

57 Rotationen: Hilfsoperationen Rechtsrotation: kippe 1 Kante nach rechts : v u liefert: v u FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 51

58 Rotationen: Hilfsoperationen Rechtsrotation: Mit Unterbäumen: T : v y v T u : 1 x u u 1 x 2 3 T 3 T 1 y v 2 3 T 1 T 2 T 3 T 2 Beobachte: Knotenmenge gleich T u binärer Suchbaum. Denn: Weil T v binärer Suchbaum ist, gilt für v 1 in T 1, v 2 in T 2, v 3 in T 3 : key(v 1 ) < x < key(v 2 ) < y < key(v 3 ). Also ist T u auch BSB. Beim Umbau ändert sich nur: rechtes Kind von u und linkes Kind von v, sowie der Zeiger von außen (von v auf u umsetzen). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 52

59 Rechtsrotation als Programm: Funktion rotater(v : AVL Tree): AVL Tree (1) // v, v.left (2) u : AVL Tree ; // Hilfsvariable (3) u v.left ; (4) v.left u.right ; (5) u.right v ; (6) return u (7) //!! Balancefaktoren in u und v sind falsch! FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 53

60 Linksrotation: Umkehrung von Rechtsrotation, Implementierung analog. u 1 x 2 y v 3 u 1 x v 2 y 3 T 1 T 3 T 2 T 2 T 3 T1 Hier und in den folgenden Beispielen: Nummern bezeichnen Anschlussstellen für die Unterbäume. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 54

61 y r_r 3 1 x a 1 x c 2 2 l_r a y 3 c y 3 r_r 1 x 1 x 2 a c l_r a 2 y 3 c c 1 x 2 a y 3 r_r l_r c 1 x a 2 y 3 FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 55

62 Doppelrotationen: Links-Rechts, Rechts-Links Beispiel: Links-Rechts-Doppelrotation u x z v y w links an u u x v y z w rechts an w u x v y w z Anzuwenden auf Zick-Zack-Weg aus zwei Kanten, Form links-rechts. Effekt: Tiefster Knoten v wird Wurzel. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 56

63 Links-Rechts-Doppelrotation: Mit Unterbäumen 1 u x 2 v y w 3 z 4 T 4 1 u x v y w z T 2 T 3 T 4 T 1 T 1 T 2 T 3 Gesamteffekt: Der unterste Knoten v des Zick-Zack-Wegs ( links-rechts ) wandert nach oben, wird Wurzel; die beiden anderen Knoten u und w werden linkes und rechtes Kind. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 57

64 LR-Doppelrotation als Programm Funktion rotatelr(w : AVL Tree) : AVL Tree (1) // Eingabe: w mit (2) // w.left, w.left.right (3) u, v : AVL Tree ; (4) u w.left ; (5) v u.right ; (6) w.left v.right ; (7) u.right v.left ; (8) v.left u ; (9) v.right w ; (10) return v (11). //!! Balancefaktoren in u, v, w sind falsch!. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 58

65 Rechts-Links-Doppelrotation: Symmetrisch zu Links-Rechts-Doppelrotation T 1 1 x u v y 2 3 T T 2 3 z w 4 T 4 T 1 1 u x 2 T 2 y v 3 T 3 z w 4 T 4 Implementierung: Analog zu Links-Rechts-Doppelrotation. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 59

66 Beispiel: links rechts D A B P F S R T D A B P F S R T D A B P F S R T D A B P F S R T D A B P F S R T links rechts rechts links FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 60

67 AVL insert(t, x, r) Füge ein wie bei gewöhnlichem BSB: erzeugt neuen Knoten. Laufe dann Einfügeweg von unten nach oben ab, kontrolliere Balancebedingung. Nirgendwo verletzt: fertig. Sonst: v = tiefster Knoten auf Einfügeweg mit bal(v) { 2, 2}. An v: Einfach- oder Doppelrotation. (Dann Rebalancierung beendet.) Wenn ein äußerer Teilbaum (links-links oder rechts-rechts) zu tief ist: Einfache Rotation hebt diesen Teilbaum ein Level höher. Wenn ein mittlerer Teilbaum (links-rechts oder rechts-links) zu tief ist: Doppelrotation hebt den mittleren Teilbaum ein Level höher. Zum Ausprobieren: FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 61

68 Beispiel: Einfügen von 1, 3, 9, 11, 12, 10, 2, 6, 4, 7, 0 in anfangs leeren AVL-Baum. Wir zeichnen nur Situationen, in denen Rotationen stattfinden. Der tiefste Knoten, an dem die Balancebedingung verletzt ist, ist rot gezeichnet. 1 links 3 3 rechts links links FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 62

69 1 3 rechts links 11 links rechts links rechts links FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 63

70 9 rechts 9 2 links FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 64

71 Etwas knifflig: Rekursive Programmierung des Ablaufs. Kann/will nicht verwenden: Globale Sicht, Vergleichen von Tiefen durch Hinschauen. Benutzt werden: Balancefaktoren T.bal in den Knoten, Flagbit deeper, das als Resultat eines rekursiven Aufrufs mitteilt, ob der bearbeitete Unterbaum tiefer geworden ist. Steuerung einer großen Fallunterscheidung durch alte Balancefaktoren und deeper -Meldungen aus rekursivem Aufruf. Details, Programme: siehe Literatur (oder AuD-Folien im SS2018). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 65

72 Proposition Die rekursive Prozedur AVL insert(t, x, r) führt die Wörterbuchoperation insert korrekt durch. D. h.: Aus T entsteht ein AVL-Baum für insert(f T, x, r). Die Prozedur hat Laufzeit O(log n) und führt höchstens eine Einfach- oder Doppelrotation durch. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 66

73 4.3.5 Folgerung (aus Algorithmus AVL insert): Für jedes n 0 gibt es einen höhenbalancierten Baum mit n Knoten. Beweis: Man fügt 1,..., n mittels AVL insert in einen anfangs leeren AVL-Baum ein. Gute Übung: Führe dies für n = 16 (z. B.) von Hand aus. Bemerkung: Wenn T ein beliebiger höhenbalancierter Baum mit n Knoten ist, dann gibt es eine Einfügereihenfolge für Schlüssel 1,..., n, die genau diesen Baum erzeugt sogar ohne jede Rotation (Übung). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 67

74 AVL delete(t,x) Lösche wie bei gewöhnlichem BSB: Fälle, ExtractMin Effekt: Knoten u wird entfernt, dem mindestens ein Unterbaum fehlt. Dadurch rutscht der andere Unterbaum von u eine Ebene höher. Laufe den Weg von der Stelle, wo u gelöscht wurde, zur Wurzel, teste an jedem Knoten die Balancebedingung, führe gegebenenfalls eine Einfach- oder eine Doppelrotation aus. Regeln zur Auswahl der richtigen Rotationsart: wie bei AVL insert. Achtung: Möglicherweise auf mehreren Levels nacheinander Rotation nötig. Beispiel: Fibonacci-Bäume... FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 68

75 Tiefe Knoten Fibonacci-Bäume der Tiefe 1, 0, 1, 2, 3 FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 69

76 4 12 Knoten 5 20 Knoten Fibonacci-Bäume der Tiefe 4, 5 FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 69

77 FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 69

78 Rechtsrotation! FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 69

79 Fertig! Programmierung von AVL delete: Nicht prüfungsrelevant! Können muss man: Ausführen der Löschung und Rebalancierung an Beispiel. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 69

80 Proposition Die rekursive Prozedur AVL delete(t, x) führt die Wörterbuchoperation delete korrekt durch. D.h.: es entsteht ein AVL-Baum für delete(t, x). Die Prozedur hat Laufzeit O(log n) und führt an jedem Knoten auf dem Weg vom gelöschten Knoten zur Wurzel höchstens eine Einfach- oder Doppelrotation durch. Satz In AVL-Bäumen kostet jede Wörterbuchoperation Zeit O(log n), wenn n die Anzahl der Wörterbucheinträge ist. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 70

81 4.4 Mehrweg-Such-Bäume Bäume aus Knoten mit variablem Ausgrad. Knoten mit mehreren Schlüsseln und mehr als zwei Unterbäumen: x 1 x l T0 T 1 Tl-1 T l x 1 < < x l. Für y i in T i, 0 i l: y 0 < x 1 < y 1 < x 2 < < y l 1 < x l < y l FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 71

82 Beispiel eines N-MwSB: Wurzel ohne Pfeil steht für einen Zeiger auf einen leeren Baum. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 72

83 Definition Mehrweg-Suchbäume (MwSBe) über dem (angeordneten) Universum U sind wie folgt induktiv definiert: (0) Der leere Baum ist ein U-MwSB. (1) Ist l 1 und sind x 1 < x 2 < < x l Schlüssel in U und sind T 0, T 1,..., T l U-MwSBe mit: Für y i in T i, 0 i l: y 0 < x 1 < y 1 < x 2 < < y l 1 < x l < y l dann ist auch (T 0, x 1, T 1, x 2,..., x l 1, T l 1, x l, T l ) ein U-Mehrweg-Suchbaum. Analog: (U, R)-Mehrweg-Suchbäume. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 73

84 Implementierung eines Knotens in Mehrwegsuchbaum: Variante 1: Jeder Knoten enthält 2 Arrays. keys: l max l: sons: 3 l_max: l max FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 74

85 Implementierung eines Knotens in Mehrwegsuchbaum: Variante 2: Schlüssel und Kinder als Listen. keys: sons: l: 3 FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 75

86 Implementierung eines Knotens in Mehrwegsuchbaum: Variante 3: Ein MwSB-Knoten wird durch eine aufsteigend sortierte lineare Liste von Binärbaumknoten dargestellt. T: * 7 16 * * * * 9 * 12 * FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 76

87 Jeder Knoten hat Platz für: Schlüssel, (Daten,) Zeiger auf Unterbaum, Zeiger auf nächsten in Liste. Im Knoten muss als Boolescher Wert vermerkt sein, ob es sich um den Knoten am Listenende handelt. (Im Bild: *.) Dieser Knoten hat zwei Zeiger auf Unterbäume. Elegant: Für die Suche kann man die gewöhnliche Suchprozedur für binäre Suchbäume benutzen. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 77

88 Spezialfall: 2-3-Bäume Definition Ein Mehrweg-Suchbaum T heißt ein 2-3-Baum, wenn gilt: (a) Jeder Knoten enthält 1 oder 2 Schlüssel (also hat jeder Knoten 2 oder 3 Unterbäume, was der Struktur den Namen gibt); (b) Für jeden Knoten v in T gilt: wenn v einen leeren Unterbaum hat, so sind alle Unterbäume unter v leer, d.h. v ist dann Blatt; (c) Alle Blätter von T haben dieselbe Tiefe. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 78

89 Beispiele: Leerer 2-3-Baum: 2-3-Baum mit 2 Ebenen: G O Level 1 A I L R Level 0 = Blattebene NB: Die Ebenen werden von den Blättern her nummeriert. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 79

90 Beispiele: I Level 2 G O T Level 1 A H L M R S U Level 0 = Blattebene FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 80

91 L O T A M R U Kein 2-3-Baum (zu großer Grad). G A O L M R Kein 2-3-Baum (Blätter in verschiedenen Tiefen). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 81

92 G O A I L Kein 2-3-Baum (Leerer Unterbaum in Nicht-Blatt). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 82

93 Level h h Proposition Die Tiefe eines 2-3-Baums mit n Einträgen ist mindestens log 3 (n+1) 1 und höchstens log(n+1) 1. [log 3 x 0.63 log 2 x] Beweis: Übung. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 83

94 Operationen in 2-3-Bäumen lookup(t, x), für 2-3-Baum T, x U, insert(t, x, r), für 2-3-Baum T, x U, r R, delete(t, x), für 2-3-Baum T, x U, können so implementiert werden, dass die Laufzeit O(log n) ist. Mitteilung Einfügungen und Löschungen lassen sich in 2-3-Bäumen ähnlich wie in AVL-Bäumen in Zeit O(log n) ausführen. Die nötigen Strukturänderungen werden dabei entlang des Wegs von der geänderten Stelle aus nach oben zur Wurzel gehend durchgeführt. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 84

95 2-3-4-Bäume Ein Baum ist ein Mehrweg-Suchbaum mit: (a) Jeder Knoten hat 2, 3 oder 4 Kinder (1, 2 oder 3 Schlüssel) (b) Für jeden Knoten v in T gilt: v hat einen leeren Unterbaum alle Unterbäume unter v sind leer, d. h. v ist Blatt; (c) Alle Blätter von T haben dieselbe Tiefe. Mitteilung Die Wörterbuchoperationen können auch mit Bäumen so implementiert werden, dass sie logarithmische Zeit benötigen. Die Rebalancierung lässt sich alternativ top-down implementieren, auf dem Weg zur Einfügestelle bzw. Löschstelle, ohne Zurücklaufen. Lit.: [D./Mehlhorn/Sanders]. Dort: Einträge nur in Blättern. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 85

96 Rot-Schwarz-Bäume M E P D I R B G K FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 86

97 Rot-Schwarz-Bäume Ein (linksgeneigter) Rot-Schwarz-Baum ist ein binärer Suchbaum mit: (a) Jede Kante hat eine Farbe rot oder schwarz (1 Flagbit!). (b) Kanten zu (leeren, externen!) Blättern sind schwarz. (c) Auf keinem Weg folgen zwei rote Kanten aufeinander. (d) Wenn ein Knoten nur eine rote Ausgangskante hat, so führt diese zum linken Kind. (e) Auf jedem Weg von der Wurzel zu einem Blatt liegen gleich viele schwarze Kanten. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 87

98 Die Schwarz-Tiefe b(v) eines Knotens v ist die Anzahl der schwarzen Kanten auf einem Weg von v zu einem Blatt. Die Schwarz-Tiefe b(t ) des Rot-Schwarz-Baums T ist die Schwarz-Tiefe des Wurzelknotens von T. M E P D I R B G K Schwarz-Tiefe: 2. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 88

99 Mitteilung Die Wörterbuchoperationen können auch mit Rot-Schwarz- Bäumen so implementiert werden, dass sie logarithmische Zeit benötigen. Weiterführende Operationen (wie das Spalten von Bäumen oder die Vereinigung von Bäumen) lassen sich mit Rot-Schwarz-Bäumen gut implementieren. Lit.: [Cormen, Leiserson, Rivest, Stein] und [Sedgewick]. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 89

100 Wenn man einen schwarzen Knoten mit seinen roten Kindern (0, 1 oder 2) zu einem Super-Knoten zusammenfasst, erhält man einen Baum. D. h.: Rot-Schwarz-Bäume sind spezielle Darstellungen von Bäumen, die nur Binärbaumknoten benutzen. M E P D I R B G K FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 90

101 B-Bäume Ein B-Baum zum Parameter t 2 ist ein Mehrweg-Suchbaum mit: (a) Jeder Knoten hat maximal 2t Kinder ( 2t 1 Schlüssel) (b) Jeder Knoten außer der Wurzel hat mindestens t Kinder ( t 1 Schlüssel); die Wurzel hat mindestens 2 Kinder ( 1 Schlüssel) (c) Für jeden Knoten v in T gilt: v hat einen leeren Unterbaum alle Unterbäume unter v sind leer, d. h. v ist Blatt; (d) Alle Blätter von T haben dieselbe Tiefe. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 91

102 Mitteilung Die Tiefe eines B-Baums mit Parameter t für n Einträge ist Θ(log t n) = Θ((log n)/(log t)), genauer mindestens (log n)/ log(2t) 1, höchstens (log n)/ log t. Beispiel: t = 32. Tiefe: (log n)/5. Jede Wörterbuchoperation betrifft höchstens zwei Knoten auf jedem Level, also höchstens 2(log n)/ log t viele. B-Bäume werden für die Implementierung von Wörterbüchern auf externen Speichermedien (Festplatte, SSD) benutzt, die eine höhere Latenzzeit haben und Lesen in größeren Blöcken erlauben. Details: Vorlesungen zu Datenbanktechniken. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS18 Kapitel 4 92