Greedy Algorithmen. Grundlegendes. Organisatorisches. VL-21: Greedy Algorithmen. (Datenstrukturen und Algorithmen, SS 2017) Gerhard Woeginger

Transkript

1 Organisatorisches VL-21: Greedy Algorithmen (Datenstrukturen und Algorithmen, SS 2017) Gerhard Woeginger Vorlesung: Gerhard Woeginger (Zimmer 4024 im E1) Sprechstunde: Mittwoch 11:15 12:00 Übungen: Tim Hartmann, David Korzeniewski, Björn Tauer Webseite: SS 2017, RWTH Nächste Vorlesung: Dienstag, Juli 18, Aula 1, zur gewohnten Zeit DSAL/SS 2017 VL-21: Greedy Algorithmen 1/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 2/9 Greedy Algorithmen Grundlegendes optimal versus gut versus schlecht Grundlegendes Sequentielle Speicherung Stundenplanung Huffman Codes DSAL/SS 2017 VL-21: Greedy Algorithmen /9 DSAL/SS 2017 VL-21: Greedy Algorithmen 4/9

2 Greedy Algorithmen Greedy Algorithmen (greedy = gierig) Trifft in jedem Schritt eine Entscheidung, die bezüglich eines kurzsichtigen Kriteriums optimal ist. Dieses Kriterium ist einfach und schnell auszuwerten. Wenn eine Wahl getroffen wurde, kann sie nicht mehr rückgängig gemacht werden. Greedy Algorithmen finden nicht immer die beste Lösung: Wiederholte Wahl eines lokalen Optimums führt nicht automatisch zum globalen Optimum Greedy kann optimal sein (Beispiel folgt) Greedy kann gut sein (Beispiel folgt) Greedy kann beliebig schlecht sein (Beispiel folgt) Greedy: kann optimal sein Wiederholung aus VL-16: Minimale Spannbäume Eingabe: ein gewichteter zusammenhängender Graph G mit n Knoten Ausgabe: ein minimaler Spannbaum von G Kruskal s Algorithmus So lange weniger als n 1 Kanten markiert sind: 1. Wähle eine billigste unmarkierte Kante 2. Markiere sie, falls sie keinen Kreis mit anderen markierten Kanten schliesst Bei Terminierung bilden die markierten Kanten einen MST n 1 kurzsichtige, lokale Entscheidungen ergeben globales Optimum DSAL/SS 2017 VL-21: Greedy Algorithmen 5/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 6/9 Greedy: kann gut sein Greedy: kann beliebig schlecht sein (1) Wiederholung aus VL-18: Matchings Eingabe: ein ungerichteter Graph G = (V, E) Ausgabe: ein Matching mit maximaler Kardinalität Greedy Algorithmus Wiederhole so lange es geht: Markiere neue Kante, die mit keiner markierten Kante kollidiert Bei Terminierung bilden die markierten Kanten ein Matching M Kardinalität von Greedy Matching M ist mindestens 50% der Kardinalität des optimalen Matchings (Beweis: Jede Greedy Kante blockiert 2 optimale Kanten) Knotenfärbungsproblem für Graphen Gegeben: ein ungerichteter Graph G = (V, E) Ziel: Färbe die Knoten in V mit möglichst wenigen Farben, sodass benachbarte Knoten immer verschiedene Farben erhalten Offizielle Definition Eine Färbung ist eine Funktion f : V {1,..., k} sodass f (x) f (y) für alle {x, y} E gilt. Die chromatische Zahl χ(g) ist die kleinste Zahl k, für die eine derartige Färbung der Knoten existiert. χ(k n ) = n Für jeden Baum T mit mindestens zwei Knoten gilt χ(t ) = 2 Für n 1 gilt χ(c 2n+1 ) = DSAL/SS 2017 VL-21: Greedy Algorithmen 7/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 8/9

3 Greedy: kann beliebig schlecht sein (2) Greedy Algorithmus für Knotenfärbung So lange es einen ungefärbten Knoten gibt: 1. Wähle einen beliebigen Knoten v 2. Färbe Knoten v mit der kleinstmöglichen legalen Farbe Beispiel Wir betrachten bipartiten Graphen mit Knoten x 1,... x n und y 1,... y n Kanten {x i, y j } E genau dann wenn i j Sequentielle Speicherung Falls Greedy die Reihenfolge x 1, y 1, x 2, y 2, x, y,... x n, y n verwendet, so braucht Greedy n verschiedene Farben Aber: χ(g) = 2!! DSAL/SS 2017 VL-21: Greedy Algorithmen 9/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 10/9 Sequentielle Speicherung Sequentielle Speicherung: Analyse Problem: Dateien am Magnetband Eingabe: 1. Dateien D 1,..., D n mit Längen L[1],..., L[n] 2. Ein Magnetband Ausgabe: Eine Anordnung der Dateien auf dem Magnetband, die die durchschnittliche Lesezeit minimiert. Problem Eingabe: Zahlen L[1],..., L[n] Ausgabe: Permutation π, die 1 n (n k + 1) L[π(k)] minimiert k=1 Angenommen, die Dateien sind in Reihenfolge D 1,..., D n abgespeichert Bei jedem Lesezugriff wird das Band vom Anfang an gelesen, bis korrekte Datei gefunden Lesezeit für D k ist dann k L[i] Durchschnittliche Lesezeit beträgt dann 1 n k=1 k L[i] = 1 n (n k + 1) L[k] k=1 Angenommen, an Stelle k liegt Datei mit Länge x und an Stelle k + 1 liegt Datei mit Länge y < x Beitrag zur Zielfunktion ist (n k + 1)x + (n k)y Vertauschen der Dateien liefert neuen Beitrag (n k + 1)y + (n k)x Neuer Beitrag ist besser/kleiner DSAL/SS 2017 VL-21: Greedy Algorithmen 11/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 12/9

4 Sequentielle Speicherung: Lösung Satz / Folgerung / Zusammenfassung Um die durchschnittliche Lesezeit zu minimieren, müssen Dateien nach monoton steigender Länge abgespeichert werden. Greedy Algorithmus für Sequentielle Speicherung So lange noch (ungespeicherte) Dateien vorhanden sind: 1. Wähle eine kürzeste Datei 2. Speichere die Datei an der nächsten Stelle am Band ab Resultierende Laufzeit ist O(n log n) Variante mit Wahrscheinlichkeiten Problem Eingabe: 1. Dateien D 1,..., D n 2. Längen L[1],..., L[n] der Dateien. Zugriffswahrscheinlichkeiten p[1],..., p[n] der Dateien (wobei Summe der p[i] gleich 1) Ausgabe: Eine Anordnung der Dateien auf dem Magnetband, die die erwartete Lesezeit minimiert. Angenommen, die Dateien sind in Reihenfolge D 1,..., D n abgespeichert Lesezeit für D k ist dann k L[i] Durchschnittliche Lesezeit beträgt dann p[k] k=1 k L[i] = L[i] p[k] k=i DSAL/SS 2017 VL-21: Greedy Algorithmen 1/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 14/9 Variante mit Wahrscheinlichkeiten: Analyse Angenommen, an Stelle k liegt Datei mit Länge x und Wahrscheinlichkeit p an Stelle k + 1 liegt Datei mit Länge y und Wahrscheinlichkeit q k 1 Beitrag = (p + q) L[i] + (x + y) j=k+2 p[j] + px + qy + qx Beitrag nach Vertauschen der beiden Dateien k 1 = (p + q) L[i] + (x + y) p[j] + px + qy + py j=k+2 Genaues Hingucken liefert: alter Beitrag < neuer Beitrag genau dann wenn qx < py Variante mit Wahrscheinlichkeiten: Lösung Angenommen, an Stelle k liegt Datei mit Länge x und Wahrscheinlichkeit p an Stelle k + 1 liegt Datei mit Länge y und Wahrscheinlichkeit q alter Beitrag < neuer Beitrag genau dann wenn qx < py alter Beitrag < neuer Beitrag genau dann wenn x/p < y/q Satz / Folgerung / Zusammenfassung Um die erwartete Lesezeit zu minimieren, müssen die Dateien nach monoton steigendem Quotienten L[i]/p[i] abgespeichert werden. Wir erhalten einfachen Greedy Algorithmus Kurze und populäre Dateien am Anfang des Bandes Lange und unpopuläre Dateien am Ende des Bandes Resultierende Laufzeit ist O(n log n) DSAL/SS 2017 VL-21: Greedy Algorithmen 15/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 16/9

5 Stundenplanung: Beispiel Stundenplanung DSAL/SS 2017 VL-21: Greedy Algorithmen 17/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 18/9 Stundenplanung: Beispiel Stundenplanung: Problemstellung Problem: Stundenplanung Eingabe: 1. Vorträge V 1,..., V n 2. Startzeiten L[1],..., L[n] der Vorträge. Endzeiten R[1],..., R[n] der Vorträge Ausgabe: Eine möglichst grosse Teilmenge von Vorträgen, die zeitlich nicht überlappen DSAL/SS 2017 VL-21: Greedy Algorithmen 19/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 20/9

6 Stundenplanung: Beispiel, umgeordnet Greedy Algorithmus 1 Sortiere Vortraege nach ansteigendem Endpunkt R[ i] 2 // R [1] <= R [2] <=... <= R[n] 4 count = 1; 5 Loesung [ count ] = 1; 6 7 for (i =2; i <=n; i ++) { 8 if (L[i] > R[ count ]) 9 { Loesung [++ count ] = i; } 10 } return Loesung [1.. count ]; DSAL/SS 2017 VL-21: Greedy Algorithmen 21/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 22/9 Korrektheit (1) Korrektheit (2) Wir nehmen R[1] R[2] R[] R[n] an Satz Es gibt eine optimale Lösung des Stundenplanung-Problems, die Vortrag V 1 (mit kleinstem rechten Endpunkt R[1]) verwendet. Beweis: Betrachte beliebige optimale Lösung X, die V 1 nicht verwendet Betrachte Vortrag V k in X mit kleinstem rechten Endpunkt R[k] Dann gilt R[k] R[1] Wir können problemlos in X den Vortrag V k durch V 1 ersetzen Neue zulässige Lösung mit gleich vielen Vorträgen wie X Ergo: neue Lösung ebenfalls optimal Wir nehmen R[1] R[2] R[] R[n] an Satz Der Greedy Algorithmus berechnet eine optimale Lösung. Beweis: Wir betrachten optimale Lösung X, die V 1 enthält Dann enthält X keinen Vortrag, der mit V 1 überlappt Wir löschen V 1 und alle überlappenden Vorträge Wir argumentieren induktiv für die weiteren Vorträge DSAL/SS 2017 VL-21: Greedy Algorithmen 2/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 24/9

7 Anmerkung zu Greedy Algorithmen Die Korrektheitsargumente für den Greedy Algorithmus zur sequentiellen Speicherung und für den Greedy Algorithmus zur Stundenplanung sind ganz ähnlich strukturiert. Intermezzo: Anmerkung zu Greedy Algorithmen Angenommen, es gibt eine optimale Lösung, die sich von der Greedy Lösung unterscheidet Finde den ersten Unterschied zwischen den beiden Lösungen Argumentiere, dass man die optimale Entscheidung durch die Greedy Entscheidung ersetzen kann, ohne die Qualität zu verschlechtern Sequentielle Speicherung: kleinster Index mit L[π(k)] > L[π(k + 1)] Stundenplanung: frühester Vortrag mit (lokal) nicht-kleinstem rechten Endpunkt DSAL/SS 2017 VL-21: Greedy Algorithmen 25/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 26/9 Definitionen (1) Huffman Codes Ein Binär-Code kodiert jeden Buchstaben eines Alphabets Σ durch einen String von 0en und 1en Ein Binär-Code ist präfix-frei, wenn kein Codewort der Präfix eines anderen Codeworts ist. Beispiel 7-Bit ASCII kodiert jeden Buchstaben durch einen String mit 7 Bits. 7-Bit ASCII ist ein präfix-freier Binär-Code. Der Morse-Code ist ein Binär-Code. Der Morse-Code ist nicht präfix-frei: Codewort für A ( ) ist Präfix des Codeworts für J ( ) DSAL/SS 2017 VL-21: Greedy Algorithmen 27/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 28/9

8 Definitionen (2) Jeder präfix-freie Binär-Code kann durch Binär-Baum dargestellt werden: Die Buchstaben des Alphabets Σ sind in den Blättern Das Codewort für Buchstaben entspricht Pfad von Wurzel zu Blatt Entlang des Pfades gilt: Links=0 und Rechts=1 Länge des Codeworts = Tiefe des Blattes im Baum Definitionen () Optimierungsziel: Kodierte Botschaften sollen so kurz wie möglich sein Problem: Optimaler präfix-freier Binär-Code Eingabe: 1. Ein Alphabet Σ mit n Buchstaben 2. Die Texthäufigkeiten h 1, h 2,..., h n der Buchstaben Ausgabe: Ein präfix-freier Binär-Code, der die Gesamtlänge der kodierten Botschaft minimiert: k Gesamtlänge = h i Tiefe[i] DSAL/SS 2017 VL-21: Greedy Algorithmen 29/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 0/9 Beispiel (1) Beispiel (2) A C D E F G H I L N O R S T U V W X Y Z S 27 H 8 16 W N T I 1 E 26 8 O 9 F 5 V 5 Y 5 R X 4 4 A C G L 2 U 2 D 2 Z 1 DSAL/SS 2017 VL-21: Greedy Algorithmen 1/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 2/9

9 Huffman Algorithmus David Albert Huffman ( ): Amerikanischer Computer Scientist; MIT; UC Santa Cruz Greedy Algorithmus (Huffman, 1951) So lange zwei oder mehr Buchstaben vorhanden sind: 1. Verschmilz die beiden Buchstaben mit kleinster Häufigkeit h und h 2. Das verschmolzene Resultat erhält Häufigkeit h + h Implementierung: mit MinHeap (ExtractMin; Insert) Huffman Algorithmus Build-Huffman-Tree 1 void HuffmanTree ( int & frequency [2n], 2 &L[2n], &R[2n], & parent [2n]) { 4 for (i =1; i <=n; i ++) { 5 L[i ]=0; R[i ]=0; 6 insert (i, frequency [ i]) 7 } 8 9 for (i=n +1; i <=2n -1; i ++) { 10 x= ExtractMin (); 11 y= ExtractMin (); 12 frequency [ i] = frequency [ x]+ frequency [ y] 1 L[ i]= x; R[ i]=y; 14 parent [ x]=i; parent [ y]=i; 15 Insert (i, frequency [ i]) 16 } parent [2n -1]= 0; 19 } DSAL/SS 2017 VL-21: Greedy Algorithmen /9 DSAL/SS 2017 VL-21: Greedy Algorithmen 4/9 Korrektheit (1) Korrektheit (2) Unser Ziel: Wir wollen nun zeigen, dass der Huffman Algorithmus für jede Folge h 1,..., h n von Häufigkeiten einen optimalen präfix-freien Binär-Code berechnet. Die Fälle n 2 sind trivial. Wir nehmen von jetzt an n an. Beobachtung Wir betrachten einen optimalen präfix-freien Binär-Code. Es sei b ein Blatt mit maximaler Tiefe im entsprechenden Binär-Baum. Dann gibt es ein anderes Blatt b, das die selbe Tiefe und den selben Vater wie b hat. Beobachtung Es seien a mit Häufigkeit h a und b mit Häufigkeit h b zwei Buchstaben mit geringster Häufigkeit. Dann existiert ein optimaler präfix-freier Binär-Code, in dessen Baum die beiden Buchstaben a und b 1. Geschwister sind, und 2. zwei Blätter mit maximaler Tiefe sind. Beweis: Andernfalls vertauschen wir Blatt a mit Blatt x mit maximaler Tiefe Tiefe[a] = alte Tiefe von a; Tiefe[x] = alte Tiefe von x Man rechnet leicht nach: h a Tiefe[a] + h x Tiefe[x] h a Tiefe[x] + h x Tiefe[a] DSAL/SS 2017 VL-21: Greedy Algorithmen 5/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 6/9

10 Korrektheit () Wir betrachten Häufigkeiten H = (h 1,..., h n ) mit h 1 h 2 h n Es sei T der optimale Baum für H OBdA: Die beiden Buchstaben mit Häufigkeiten h n 1 und h n sind Blätter in T, mit maximaler Tiefe und mit selbem Vater Wir konstruieren neuen Baum T : Wir verschmelzen diese beiden Blätter mit Vater, und geben Vater v die Häufigkeit h := h n 1 + h n Tiefe[v ] = Tiefe[n] 1 cost(t ) = k h i Tiefe[i] = cost(t ) + h n 1 Tiefe[n] + h n Tiefe[n] h Tiefe[v ] = cost(t ) + (h n 1 + h n h ) Tiefe[n] + h = cost(t ) + (h n 1 + h n ) Korrektheit (4) Aus der Gleichung cost(t ) = cost(t ) + (h n 1 + h n ) folgt, dass wir nur die Kosten von T minimieren müssen, falls wir die Kosten von T minimieren wollen Restproblem: Finde einen optimalen präfix-freien Binär-Code für die Häufigkeiten H = (h 1, h 2,..., h n 2, h n 1 + h n ) Induktives Argument: Huffman liefert optimalen Binär-Baum für H Ergo: Huffman liefert optimalen Binär-Baum für H Satz Der Huffman Algorithmus bestimmt für jede Häufigkeits-Verteilung einen optimalen präfix-freien Binär-Code. DSAL/SS 2017 VL-21: Greedy Algorithmen 7/9 DSAL/SS 2017 VL-21: Greedy Algorithmen 8/9 Organisatorisches Nächste Vorlesung: Dienstag, Juli 18, Aula 1, zur gewohnten Zeit Webseite: DSAL/SS 2017 VL-21: Greedy Algorithmen 9/9