Bemerkung: Heapsort. Begriffsklärung: (zu Bäumen) Begriffsklärung: (zu Bäumen) (2) Heapsort verfeinert die Idee des Sortierens durch Auswahl:

Transkript

1 Heapsort Bemerkung: Heapsort verfeinert die Idee des Sortierens durch Auswahl: Minimum bzw. Maximum wird nicht durch lineare Suche gefunden, sondern mit logarithmischem Aufwand durch Verwendung einer besonderen Datenstruktur, dem sogenannten Heap. Algorithmische Idee: 1. Schritt: Erstelle den Heap zur Eingabeliste. 2. Schritt: Entferne Maximumelement aus Heap (konstanter Aufwand) und hänge es an die Ausgabeliste. Stelle Heap-Bedingung wieder her (logarithmischer Aufwand). Fahre mit Schritt 2 fort bis der Heap leer. Ziele des Vorgehens: Beispiel für komplexe, abstrakte Datenstruktur Zusammenhang der algorithmischen Idee und der Datenstruktur. Der Begriff Heap ist in der Informatik überladen. Auch der Speicher für zur Laufzeit angelegte Variablen wird im Englischen heap genannt. Arnd Poetzsch-Heffter TU Kaiserslautern 357 Arnd Poetzsch-Heffter TU Kaiserslautern 358 Begriffsklärung: (zu Bäumen) Begriffsklärung: (zu Bäumen) (2) Ein Binärbaum der Höhe h heißt fast vollständig, wenn Wir betrachten im Folgenden Binärbäume, die entweder leer sind oder aus einem markierten Knoten mit zwei Unterbäumen bestehen. Ein Blatt ist dann ein Knoten mit zwei leeren Unterbäumen. Ein Binärbaum heißt strikt, wenn jeder Knoten ein Blatt ist oder zwei nicht-leere Unterbäume besitzt. Ein Binärbaum der Höhe h heißt vollständig, wenn er strikt ist und alle Blätter die Tiefe h 1 haben. jedes Blatt die Tiefe h 1 oder h 2 hat, jeder Knoten mit einer Tiefe kleiner h 2 zwei nicht-leere Unterbäume hat, für die Knoten K des Niveaus h 2 gilt: 1. Hat K 2 nicht-leere Unterbäume, dann auch alle linken Nachbarn von K. 2. Ist K ein Blatt, dann sind auch alle rechten Nachbarn von K Blätter. 3. Es gibt maximal ein K mit genau einem nicht-leeren Unterbaum und der ist links. Ein Baum der Größe n heißt indiziert, wenn man seine Knoten mittels der Indizes 0,..., n 1 ansprechen kann. Arnd Poetzsch-Heffter TU Kaiserslautern 359 Arnd Poetzsch-Heffter TU Kaiserslautern 360

2 Bemerkung: Im Folgenden gehen wir bei indizierten Bäumen immer davon aus, dass die Reihenfolge der Indices einem Breitendurchlauf folgt (siehe Beispiel). Beispiel: (Fast vollst., indizierter und markierter Binärbaum) Modulschnittstelle für fast vollständige, markierte, indizierte Binärbäume: module FvBintree ( FVBintree, create, size,get, swap, removelast, hasleft, hasright, left, right) where create :: [ Dataset] -> FVBintree -- Erzeugt fast vollstaendigen Binaerbaum, wobei die -- Schluessel der Listenelemente zu Markierungen werden size :: FVBintree -> Int -- Anzahl der Knoten des Baums get :: FVBintree -> Int -> Dataset -- Liefert Markierung am Knoten mit Index i, -- 0 <= i < size b Arnd Poetzsch-Heffter TU Kaiserslautern 361 Arnd Poetzsch-Heffter TU Kaiserslautern 362 Modulschnittstelle für fast vollständige, markierte, indizierte Binärbäume: (2) Modulschnittstelle für fast vollständige, markierte, indizierte Binärbäume: (3) swap :: FVBintree -> Int -> Int -> FVBintree -- Vertauscht Markierungen der Knoten mit Index i und j -- Modifiziert fbt; 0 <= i,j < size b removelast :: FVBintree -> FVBintree -- Entfernt letzten Knoten hasleft :: FVBintree -> Int -> Bool -- Knoten mit Index i hat linkes Kind -- 0 <= i < size b left :: FVBintree -> Int -> Int -- Liefert Index des linken Kinds von Knoten mit Index i -- 0 <= i < size b && hasleft i right :: FVBintree -> Int -> Int -- Liefert Index des rechten Kinds von Knoten mit Index i -- 0 <= i < size b && hasright i hasright :: FVBintree -> Int -> Bool -- Knoten mit Index i hat rechtes Kind -- 0 <= i < size b Arnd Poetzsch-Heffter TU Kaiserslautern 363 Arnd Poetzsch-Heffter TU Kaiserslautern 364

3 Vorgehen Bemerkung: Wir gehen im Folgenden davon aus, dass wir eine Implementierung von FvBintree haben (steht zum Testen bereit) und realisieren heapsort damit; d.h. ohne die Struktur/Implementierung zu kennen. Im Zusammenhang mit der objektorientierten Programmierung werden wir dann eine sehr effiziente Implementierung für fast vollständige Binärbäume kennen lernen. Wir benutzen die Datenstruktur ohne die Implementierung zu kennen; man sagt die Datenstruktur ist für den Nutzer abstrakt und spricht von abstrakter Datenstruktur. Die Signatur beschreibt die Schnittstelle der abstrakten Datenstruktur. Die Benutzung von Schnittstellen abstrakter Datenstrukturen ist ein zentraler Bestandteil der SW-Entwicklung. Eine abstrakte Datenstruktur kann unterschiedliche Implementierungen haben. Implementierungen können ausgetauscht werden, ohne dass der Nutzer seine Programme ändern muss! Arnd Poetzsch-Heffter TU Kaiserslautern 365 Arnd Poetzsch-Heffter TU Kaiserslautern 366 Begriffsklärung: (Heap) Beispiel: (Heap) Ein markierter, fast vollständiger, indizierter Binärbaum mit n Knoten heißt ein Heap der Größe n, wenn die folgende Heap-Eigenschaft erfüllt ist: Ist M ein Knoten und N ein Kind von M mit Markierungen k M und k N, dann gilt: Heap der Größe 8: k M k N Bei einem Heap sind die Knoten entsprechend einem Breitendurchlauf indiziert (siehe Beispiel unten). Arnd Poetzsch-Heffter TU Kaiserslautern 367 Arnd Poetzsch-Heffter TU Kaiserslautern 368

4 Bemerkung: Herstellen der Heap-Eigenschaft: Sei ein markierter, fast vollständiger Binärbaum gegeben, der die Heap-Eigenschaft nur an der Wurzel verletzt. Die Heap-Eigenschaft garantiert, dass der Schlüssel eines Knotens M größer gleich aller Schlüssel in den Unterbäumen von M ist. Insbesondere steht in der Wurzel ein Element mit einem maximalen Schlüssel. Die Heap-Eigenschaft kann hergestellt werden, indem man den Wurzelknoten M rekursiv in dem Unterbaum mit dem größeren Schlüssel versickern lässt: Gibt es kein Kind, ist nichts zu tun. Gibt es genau ein Kind N, dann ist dies links und kinderlos: Ist k M < k N, vertausche die Markierungen. Gibt es zwei Kinder und ist N das Kind mit dem größeren Schlüssel: Ist k M < k N, vertausche die Markierungen und fahre rekursiv mit dem Unterbaum zu N fort. Arnd Poetzsch-Heffter TU Kaiserslautern 369 Arnd Poetzsch-Heffter TU Kaiserslautern 370 Beispiel: (Versickern lassen) Beispiel: (Versickern lassen) (2) Arnd Poetzsch-Heffter TU Kaiserslautern 371 Arnd Poetzsch-Heffter TU Kaiserslautern 372

5 Beispiel: (Versickern lassen) (3) Funktion heapify formuliert auf Basis von FVBINREE: heapify :: FVBintree -> Int -> FVBintree -- Stelle Heap - Eigenschaft im Knoten ix her -- Annahme: die Kinder von ix erfuellen die -- Heap - Eigenschaft heapify b ix = let ds = get b ix in if hasleft b ix && not ( hasright b ix) then let lx = left b ix in if get b lx leq ds then b else swap b ix lx -- else... Arnd Poetzsch-Heffter TU Kaiserslautern 373 Arnd Poetzsch-Heffter TU Kaiserslautern 374 Funktion heapify formuliert auf Basis von FVBINREE: (2) Konkretisierung des Heapsort-Algorithmus: else -- hat linken und rechten Unterbaum -- oder ist Blatt if hasright b ix then let lx = left b ix rx = right b ix largerkid = if get b lx leq get b rx then rx else lx in if get b largerkid leq ds then b else heapify (swap b ix largerkid) largerkid else b 1. Schritt: Erzeuge Binärbaum-Repräsentation aus Eingabefolge. Stelle Heap-Eigenschaft her, indem heapify ausgehend von den Blättern für jeden Knoten aufgerufen wird. Es reicht, nur Knoten mit Kindern zu berücksichtigen. Arnd Poetzsch-Heffter TU Kaiserslautern 375 Arnd Poetzsch-Heffter TU Kaiserslautern 376

6 Konkretisierung des Heapsort-Algorithmus: (2) Heapsort: Abstrakte Version 2. Schritt: Schreibe den Wurzel-Datensatz in die Ausgabe. Schreibe den Datensatz des letzten Elementes in den Wurzelknoten (swap) Entferne das letzte Element. Stelle die Heap-Eigenschaft wieder her. Fahre mit Schritt 2 fort, solange die Größe > 0. Lemma: In einem fast vollständigen Binärbaum der Größe n sind die Knoten mit den Indizes (ndiv2) bis n 1 Blätter. Wir betrachten zunächst Heapsort auf Basis des abstrakten Datentyps für markierte, fast vollständige, indizierte Binärbaume: heapifyall :: FVBintree -> FVBintree hpfyemb :: FVBintree -> Int -> FVBintree -- Hilfsfunktionen fuer den ersten Schritt heapifyall b = hpfyemb b ((size b) div 2) hpfyemb b 0 = if size b == 0 then b else heapify b 0 hpfyemb b ix = hpfyemb ( heapify b ix) (ix -1) Arnd Poetzsch-Heffter TU Kaiserslautern 377 Arnd Poetzsch-Heffter TU Kaiserslautern 378 Heapsort: Abstrakte Version (2) Bemerkungen: -- heapsort: sortiert gegebene Liste heapsort :: [Dataset] -> [Dataset] heapsort xl = reverse ( sortheap ( heapifyall ( create xl))) sortheap :: FVBintree -> [ Dataset] sortheap hp = if size hp == 0 then [] else let maxds = get hp 0 hp1 = swap hp 0 (size hp - 1) hp2 = removelast hp1 hp3 = heapify hp2 0 in maxds : ( sortheap hp3) Wie wir in Kapitel 4 zeigen, profitiert Heapsort davon, dass sich fast vollständige, markierte, indizierte Binärbäume sehr effizient mit Feldern realisieren lassen. Zu einem algorithmischen Problem (hier Sortieren) gibt es im Allg. viele Lösungen. Algorithmische Lösungen unterscheiden sich in: der Laufzeiteffizienz (messbar) der Speichereffizienz (messbar) der Komplexität der Verfahrensidee (im Allg. nicht messbar). Arnd Poetzsch-Heffter TU Kaiserslautern 379 Arnd Poetzsch-Heffter TU Kaiserslautern 380

7 Bemerkungen: (2) Unterabschnitt In den folgenden Kapiteln werden wir demonstrieren, wie einige der obigen Algorithmen in anderen Programmierparadigmen formuliert werden können; wie der Effizienz/Komplexitätsbegriff präzisiert werden kann. Suchen Arnd Poetzsch-Heffter TU Kaiserslautern 381 Arnd Poetzsch-Heffter TU Kaiserslautern 382 Suchen Schnittstell zum Suchen Die Verwaltung von Datensätzen basiert auf drei grundlegenden Operationen: Einfügen eines Datensatzes in eine Menge von Datensätzen; Suchen eines Datensatzes mit Schlüssel k; Löschen eines Datensatzes mit Schlüssel k. Bemerkung: Weitere oft gewünschte Operationen sind: Sortierte Ausgabe, Suchen aller Datensätze mit bestimmten Eigenschaften, Bearbeiten von Daten ohne eindeutige Schlüssel, etc. Wir betrachten die folgende Schnittstelle: module Dictionary ( Dict, emptydict,get,put, remove) where type Dict = STree emptydict :: Dict -- type des Dictionarys -- leeres Dictionary get :: Dict -> Int -> ( Bool, String) -- Nachschauen des Eintrags zu Schluessel i put :: Dict -> Int -> String -> Dict -- Einfuegen des Eintrags (i,s), -- Ueberschreibt ggf. alten Eintrag zu i remove :: Dict -> Int -> Dict -- Loeschen des Eintrags zu Schluessel i Arnd Poetzsch-Heffter TU Kaiserslautern 383 Arnd Poetzsch-Heffter TU Kaiserslautern 384

8 Bemerkung: Begriffsklärung: (Binärer Suchbaum) In der Literatur zur funktionalen Programmierung wir get oft lookup oder search, put oft insert und remove oft delete genannt. Um den Zusammenhang zu OO-Schnittstellen augenfälliger zu machen, benutzen wir die dort üblichen Namen. Ziel ist es, Datenstrukturen zu finden, bei denen der Aufwand für obige Operationen gering ist. Wir betrachten hier die folgenden Dictionary-Realisierungen: lineare Datenstrukturen (Übung) (natürliche) binäre Suchbäume (Vorlesung) Ein markierter Binärbaum B ist ein natürlicher binärer Suchbaum (kurz: binärer Suchbaum), wenn die Suchbaum-Eigenschaft gilt, d.h. wenn für jeden Knoten K in B gilt: Alle Schlüssel im linken Unterbaum von K sind echt kleiner als der Schlüssel von K. Alle Schlüssel im rechten Unterbaum von K sind echt größer als der Schlüssel von K. Arnd Poetzsch-Heffter TU Kaiserslautern 385 Arnd Poetzsch-Heffter TU Kaiserslautern 386 Bemerkung: Datenstruktur für Suchbäume: Natürlich bezieht sich auf das Entstehen der Bäume in Abhängigkeit von der Reihenfolge der Einfüge-Operationen (Abgrenzung zu balancierten Bäumen). In einem binären Suchbaum gibt es zu einem Schlüssel maximal einen Knoten mit entsprechender Markierung. Wir stellen Dictionaries als Binärbäume mit Markierungen vom Typ Dataset dar: data STree = Node Dataset STree STree Empty deriving (Eq, Show) emptydict = Empty Die Konstante emptydict repräsentiert das leere Dictionary. Arnd Poetzsch-Heffter TU Kaiserslautern 387 Arnd Poetzsch-Heffter TU Kaiserslautern 388

9 Invariante für Suchbäume: Suchen eines Eintrags: Binärbäume, die als Dictionary verwendet werden, müssen die Suchbaum-Eigenschaft erfüllen. Alle Funktionen, die Dictionaries als Parameter bekommen, gehen davon aus, dass die Suchbaum-Eigenschaft für die Parameter gilt. Die Funktionen müssen garantieren, dass die Eigenschaft auch für Ergebnisse gilt. Man sagt: Die Suchbaum-Eigenschaft ist eine Datenstrukturinvariante von Dictionaries. Wir guarantieren die Datenstrukturinvariante u.a. dadurch, dass wir Nutzern des Moduls Dictionary keinen Zugriff auf die Konstruktoren geben. Wenn kein Eintrag zum Schlüssel existiert, liefere (False,""); sonst liefere (True,s), wobei s der String zum Schlüssel ist: get Empty k = (False,"") get (Node (km,s) l r) k k < km = get l k km < k = get r k otherwise = ( True,s) Arnd Poetzsch-Heffter TU Kaiserslautern 389 Arnd Poetzsch-Heffter TU Kaiserslautern 390 Einfügen eines Eintrags: Beispiel: Algorithmisches Vorgehen: Neue Knoten werden immer als Blätter eingefügt. Einfügen von 33: Die Position des Blattes wird durch den Schlüssel des neuen Eintrags festgelegt. Beim Aufbau eines Baumes ergibt der erste Eintrag die Wurzel. Ein Knoten wird in den linken Unterbaum der Wurzel eingefügt, wenn sein Schlüssel kleiner ist als der Schlüssel der Wurzel; in den rechten, wenn er größer ist. Dieses Verfahren wird rekursiv fortgesetzt, bis die Einfügeposition bestimmt ist. Arnd Poetzsch-Heffter TU Kaiserslautern 391 Arnd Poetzsch-Heffter TU Kaiserslautern 392

10 Implementierung von put: Bemerkungen: Die algorithmische Idee lässt sich direkt umsetzen. Beachte aber, dass das Dictionary nicht verändert wird, sondern ein neues erzeugt und abgeliefert wird: put Empty k s = Node (k,s) Empty Empty put ( Node (km, sm) l r) k s k == km = Node (k,s) l r k < km = Node (km, sm) ( put l k s) r otherwise = Node (km, sm) l ( put r k s) Die Reihenfolge des Einfügens bestimmt das Aussehen des binären Suchbaums: Reihenfolgen: 2 ; 3 ; 1 1 ; 3 ; 2 1 ; 2 ; 3 Arnd Poetzsch-Heffter TU Kaiserslautern 393 Arnd Poetzsch-Heffter TU Kaiserslautern 394 Bemerkungen: (2) Löschen: Es gibt sehr viele Möglichkeiten, aus einer vorgegebenen Schlüsselmenge einen binären Suchbaum zu erzeugen. Bei sortierter Einfügereihenfolge entartet der binäre Suchbaum zur linearen Liste. Der Algorithmus zum Einfügen ist schnell, insbesondere weil keine Ausgleichs- oder Reorganisationsoperationen vorgenommen werden müssen. Löschen ist die schwierigste Operation, da ggf. innere Knoten entfernt werden und dabei die Suchbaum-Eigenschaft erhalten werden muss. Algorithmisches Vorgehen: Die Position eines zu löschenden Knotens K mit Schlüssel X wird nach dem gleichen Verfahren wie beim Suchen eines Knotens bestimmt. Dann sind drei Fälle zu unterscheiden: Arnd Poetzsch-Heffter TU Kaiserslautern 395 Arnd Poetzsch-Heffter TU Kaiserslautern 396

11 Löschen: (2) Löschen: (3) 1. Fall: K ist ein Blatt. Lösche K : 2. Fall: K mit Schlüssel X hat genau einen Unterbaum. K wird im Eltern-Knoten durch sein Kind ersetzt und gelöscht: Entsprechend, wenn Knoten mit Schlüssel X in rechtem Unterbaum. Die anderen links-rechts-varianten entsprechend. Arnd Poetzsch-Heffter TU Kaiserslautern 397 Arnd Poetzsch-Heffter TU Kaiserslautern 398 Löschen: (4) Löschen: (5) 3. Fall: K mit Schlüssel X hat genau zwei Unterbäume. Problem: Wo werden die beiden Unterbäume nach dem Löschen von K eingehängt? Hier gibt es 2 symmetrische Lösungsvarianten: Ermittle den Knoten KR mit dem kleinsten Schlüssel im rechten Unterbaum, Schlüssel von KR sei XR. Speichere XR und die Daten von KR in K. Lösche KR gemäß Vorgehen zu Fall 1 bzw. 2, möglich da für KR einer der Fälle zutrifft. (andere Variante: größten Schlüssel im rechten UB) Arnd Poetzsch-Heffter TU Kaiserslautern 399 Arnd Poetzsch-Heffter TU Kaiserslautern 400

12 Umsetzung in Haskell Umsetzung in Haskell (2) Die Fälle 1 und 2 lassen sich direkt behandeln. Für Fall 3 realisiere Hilfsfunktion removemin, die nichtleeren binären Suchbaum b als Parameter nimmt; ein Paar (mnm, br) als Ergebnis liefert, wobei mnm der kleinste Datensatz in b ist und br der Baum ist, der sich durch Löschen von mnm aus b ergibt. removemin :: STree -> ( Dataset, STree) -- Parameter: nichtleerer binaerer Suchbaum b. -- Liefert Eintrag d mit kleinstem Schluessel in b -- und Baum nach Loeschen von d in b removemin (Node d Empty r) = (d,r) removemin (Node d l r) = let (mnm, ll) = removemin l in (mnm, Node d ll r) Arnd Poetzsch-Heffter TU Kaiserslautern 401 Arnd Poetzsch-Heffter TU Kaiserslautern 402 Umsetzung in Haskell (3) Diskussion: remove Empty k = Empty remove (Node (km,s) l r) k k < km = Node (km,s) ( remove l k) r km < k = Node (km,s) l ( remove r k) l == Empty = r r == Empty = l otherwise = -- k == km && l /= Empty /= r let (mnm, rr) = removemin r in Node mnm l rr Arnd Poetzsch-Heffter TU Kaiserslautern 403 Der Aufwand für die Grundoperationen Einfügen, Suchen und Löschen eines Knotens ist proportional zur Tiefe des Knotens, bei dem die Operation aus- geführt wird. Ist h die Höhe des Suchbaumes, ist der Aufwand der Grundoperationen im ungünstigsten Fall also O(h), wobei für Knotenanzahl N. log(n + 1) h N Folgerung: Bei degenerierten natürlichen Suchbäumen kann linearer Aufwand für alle Grundoperationen entstehen. Im Mittel verhalten sich Suchbäume aber wesentlich besser. Zusätzlich versucht man durch gezielte Reorganisation eine gute Balancierung zu erreichen (siehe Kapitel 5). Arnd Poetzsch-Heffter TU Kaiserslautern 404