Hallo Welt für Fortgeschrittene

Transkript

1 Hallo Welt für Fortgeschrittene Gierige Algorithmen Michael Baer Informatik 2 Programmiersysteme Martensstraße Erlangen

2 Gliederung Einführung Definition Verwendung und Grenzen Abgrenzung zur DP Lösungsprinzip Beispiele Fractional Knapsack Scheduling-Probleme Huffman-Codierung Münzwechsel-Problem Zusammenfassung Quellen Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 2

3 Einführung - Definition Gieriger Algorithmus: Algorithmus, der die momentane Teillösung schrittweise um den Teil erweitert, der das beste Ergebnis erwarten lässt. Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 3

4 Einführung Verwendung und Grenzen Gierige Algorithmen werden bei Optimierungsproblemen verwendet. Gegeben: Menge von Daten mit Wertigkeiten; Funktion zur Wertberechnung der Lösung Gesucht: Anordnung der Daten für max./min. Wertigkeit der Lösung Findet lokales Maximum, aber nicht immer ein globales Maximum. Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 4

5 Einführung Wann darf man sie verwenden? Greedy-choice property: Durch fortlaufende Wahl des momentan besten Weges kann man ein globales Optimum erreichen Optimal Substructure Eine optimale Gesamtlösung besteht aus den optimalen Lösungen von Teilproblemen speziell für gierige Algorithmen: Eine optimale Gesamtlösung entsteht durch die Kombination einer optimalen Teillösung mit einer gierigen Wahl der restlichen Elemente Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 5

6 Einführung Abgrenzung zur DP DP Teilprobleme lösen und zusammenführen Nachdenken Häufig rekursiv Aufwand unbestimmt Findet optimale Lösung - Speicherplatz Gierig Lösung schrittweise aufbauen Intuitiv Häufig iterativ Aufwand meist O(n log n) Findet nicht zwingend optimale Lösung - Zeit Korrektheit muss bewiesen werden Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 6

7 Einführung - Lösungsprinzip Allgemeiner Lösungsweg: 1. Sortieren nach Wertigkeit 2. Schleife, solange Ziel nicht erreicht: a) Nimm Maximum und füge es in Lösung ein b) Reduzieren Ziel um Fortschritt durch Maximum c) Entferne Maximum aus Liste 3. Fertig Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 7

8 Beispiele Einführung Definition Verwendung und Grenzen Abgrenzung zur DP Lösungsprinzip Fragen? Beispiele Fractional Knapsack Scheduling-Problem Huffman-Codierung Münzwechsel-Problem Zusammenfassung Quellen Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 8

9 Beispiele Fractional Knapsack Frage: Was nehme ich am besten in meinem Rucksack mit? Gegeben: Menge von Objekten mit ihrem Gewicht und Wert Rucksack mit bekannter Traglast Gesucht: Maximaler Wert im Rucksack Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 9

10 Beispiele Fractional Knapsack 0-1-knapsack: Prämissen: - Gegenstände sind unteilbar - Jeder Gegenstand darf nur entweder eingepackt werden, oder nicht eingepackt werden Dynamische Programmierung Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 10

11 Beispiele Fractional Knapsack Fractional knapsack: Prämissen: - Gegenstände sind teilbar - Jeder Gegenstand darf maximal einmal eingepackt werden - Es dürfen Gegenstände auch nur zum Teil einpackt werden - Wert is gleichmäßig auf Gegenstand verteilt effizienter Gieriger Algorithmus Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 11

12 Beispiele Fractional Knapsack Rucksack: Traglast T, momentane Füllung t, noch frei f Gegenstand: Gewicht g, Wert w, Verhältnis v = w/g Wertigkeit W der Lösung: Summe aller Werte im Rucksack gesuchte Wertigkeit: maximal Ziel: t = T bzw. f = 0 Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 12

13 Beispiele Fractional Knapsack Allgemeiner Lösungsweg: 1. Sortieren nach Wertigkeit 2. Schleife, solange Ziel nicht erreicht: a) Nimm Maximum und füge es in Lösung ein b) Reduzieren Ziel um Fortschritt durch Maximum c) Entferne Maximum aus Liste 3. Fertig Lösungsweg: 1. Sortiere Gegenstände absteigend nach v 2. Solange f > 0: a) Nimm wertvollsten Gegenstand G und packe davon soviel wie möglich ein b) Reduzieren f um g(g) c) Entferne G aus Liste 3. Fertig Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 13

14 Beispiele Fractional Knapsack Lager: G1 (5kg, 5, 1 /kg) G2 (3kg, 6, 2 /kg) G3 (1kg, 5, 5 /kg) G4 (10kg, 1, 0.1 /kg) G5 (2kg, 6, 3 /kg) Rucksack: 0 kg / 10 kg 0 Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 14

15 Beispiele Fractional Knapsack Lager: G3 (1kg, 5, 5 /kg) G5 (2kg, 6, 3 /kg) G2 (3kg, 6, 2 /kg) G1 (5kg, 5, 1 /kg) G4 (10kg, 1, 0.1 /kg) Rucksack: 0 kg / 10 kg 0 Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 15

16 Beispiele Fractional Knapsack Lager: G3 (1kg, 5, 5 /kg) G5 (2kg, 6, 3 /kg) G2 (3kg, 6, 2 /kg) G1 (5kg, 5, 1 /kg) G4 (10kg, 1, 0.1 /kg) Rucksack: G3 (1kg, 5, 5 /kg) : 1kg 1 kg / 10 kg 5 Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 16

17 Beispiele Fractional Knapsack Lager: G3 (1kg, 5, 5 /kg) G5 (2kg, 6, 3 /kg) G2 (3kg, 6, 2 /kg) G1 (5kg, 5, 1 /kg) G4 (10kg, 1, 0.1 /kg) Rucksack: G3 (1kg, 5, 5 /kg) : 1kg G5 (2kg, 6, 3 /kg) : 2kg 3 kg / 10 kg 11 Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 17

18 Beispiele Fractional Knapsack Lager: G3 (1kg, 5, 5 /kg) G5 (2kg, 6, 3 /kg) G2 (3kg, 6, 2 /kg) G1 (5kg, 5, 1 /kg) G4 (10kg, 1, 0.1 /kg) Rucksack: G3 (1kg, 5, 5 /kg) : 1kg G5 (2kg, 6, 3 /kg) : 2kg G2 (3kg, 6, 2 /kg) : 3kg 6 kg / 10 kg 17 Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 18

19 Beispiele Fractional Knapsack Lager: G3 (1kg, 5, 5 /kg) G5 (2kg, 6, 3 /kg) G2 (3kg, 6, 2 /kg) G1 (5kg, 5, 1 /kg) G4 (10kg, 1, 0.1 /kg) Rucksack: G3 (1kg, 5, 5 /kg) G5 (2kg, 6, 3 /kg) G2 (3kg, 6, 2 /kg) G1 (5kg, 5, 1 /kg) : 1kg : 2kg : 3kg : 4kg 10 kg / 10 kg 21 Man packt die Gegenstände G2, G3 und G5 vollständig ein und 4/5 vom Gegenstand G1, um einen maximalen Wert im Rucksack zu erhalten. Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 19

20 Beispiele Scheduling Frage: Wann mache ich was? Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 20

21 Beispiele Scheduling (1) In welchem Semester belege ich welche Vorlesung um in möglichst wenigen Semestern alle nötigen Vorlesungen besucht zu haben? (Überschneidungen sind natürlich verboten) Gegeben: Liste der Vorlesungen mit Beginn und Endzeiten (in jedem Semester gleich) Gesucht: minimale Semesterzahl Analog: Verteilung von Vorlesungen auf wenige Räume Verteilung von Aufträgen an wenige Mitarbeiter... Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 21

22 Beispiele Scheduling (1) Lösung: 1. Sortiere Vorlesungen aufsteigend nach Startzeitpunkt 2. Solange noch Vorlesungen vorhanden sind: a) Nimm Vorlesung mit niedrigstem Anfangszeitpunkt b) Finde Semester bei dem Endzeit < Startzeit der Vorlesung Falls gefunden: Füge Vorlesung in dieses Semester ein Falls nicht gefunden: Erstelle neues Semester d) Setzte Endzeit dieses Semesters auf Endzeit der Vorlesung e) Entferne Vorlesung aus Liste 3. Fertig Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 22

23 Beispiele Scheduling (1) Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 23

24 Beispiele Scheduling (1) Neues Semester Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 24

25 Beispiele Scheduling (1) Neues Semester S1 Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 25

26 Beispiele Scheduling (1) Neues Semester S1 S2 Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 26

27 Beispiele Scheduling (1) S1 S1 S2 S3 Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 27

28 Beispiele Scheduling (1) S2 S1 S3 S1 S2 S3 S2 S3 S2 S1 S2 S3 Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 28

29 Beispiele Scheduling (1) Ein mögliche Lösung S1 S2 S3 Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 29

30 Beispiele Scheduling (2) Wann führt man auf einem Prozessor welchen Prozess aus? Jeder Prozess hat eine Frist, vor der er erledigt sein muss. Ansonsten fallen Strafen an. Gegeben: Liste der Prozesse mit Frist und Strafe Gesucht: Verteilung der Prozesse für minimale Strafe Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 30

31 Beispiele Scheduling (2) Lösung: 1. Sortiere Prozesse absteigend nach Strafe 2. Solange noch Prozesse vorhanden sind: a) Nimm teuersten Prozess b) Kann man ihn noch straffrei ausführen? Falls ja: Füge ihn an letzte noch straffreie Position ein Falls nein: Füge ihn an letzte mögliche Position ein d) Entferne Prozess aus Liste 3. Fertig Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 31

32 Beispiele Scheduling (2) Prozess P1 P2 P3 P4 P5 Bis spätestens Strafe Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 32

33 Beispiele Scheduling (2) Prozess P3 P1 P2 P4 P5 Bis spätestens Strafe Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 33

34 Beispiele Scheduling (2) Prozess P3 P1 P2 P4 P5 0 P2 P2 P2 Bis spätestens P3 P1 P3 P1 P3 P1 P3 P1 P3 Strafe P5 Strafe: = 2 Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 34 4 P4 P4

35 Beispiele Scheduling (3) Wann führe ich welche zeitlich festgelegte Aufgabe durch, um möglichst viele Aufgaben zu lösen? Gegeben: Menge aller Aufgaben xi mit Startzeit si und Endzeit fi Gesucht: Die größte Menge von Aufgaben, die sich nicht überschneiden Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 35

36 Beispiele Scheduling (3) 1. Lösungsansatz: Wähle immer die Aufgabe, die möglichst kurz ist(um möglichst viel Zeit davor und danach zu haben). Ansatz funktioniert normalerweise ganz gut, allerdings nicht hier: Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 36

37 Beispiele Scheduling (3) 2. Lösungsansatz: Wähle immer die Aufgabe, die möglichst wenige Überschneidungen mit anderen (noch nicht verwendeten) Aufgaben hat. Ansatz funktioniert häufig; Auch bei vorherigem Beispiel. Allerdings auch nicht immer: Lösung nach Ansatz Optimale Lösung Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 37

38 Beispiele Scheduling (3) 3. Lösungsansatz: Wähle immer die Aufgabe, die möglichst früh zu ende ist. Liefert immer die beste Lösung Optimale Lösung Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 38

39 Beispiele Huffman-Codierung Wie kann man eine Datei maximal komprimieren? Gegeben: Eine Zeichenkette (z.b. Eine Datei) Gesucht: Eine Codierung der einzelnen Zeichen, sodass die entstehende Bitfolge minimal ist. Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 39

40 Beispiele Huffman-Codierung Bedingungen an Code: Häufige Zeichen mit weniger Bits kodieren (ähnlich UTF-8) Kein Codewort darf Präfix eines anderen sein Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 40

41 Beispiele Huffman-Codierung Codierbeispiel: Helloworld ( 7 versch. Zeichen) Huffman Fixed-length encoding h e l l o w o r l d Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 41

42 Beispiele Huffman-Codierung Erzeugung des Codes: 1. Erstellen einer Liste aller zu codierenden Zeichen, sowie deren Häufigkeit 2. Solange Liste mehr als ein Element enthält a) Nimm die zwei unwahrscheinlichsten Zeichen b) Erzeuge einen gemeinsamen Elternknoten c) Wahrscheinlichkeit des EK ist Summe der Kinderwahrsch. d) Reihe Knoten in Liste ein 3. Das letzte verbleibende Element ist die Wurzel 4. Durchlaufe den kompletten Baum: Die Verbindung zum linken Blatt erhält das Bit 0, die zum rechten Blatt die 1 5. Das Zeichen in einem Blatt wird codiert durch die Bitfolge, die zu diesem Blatt führt. Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 42

43 Beispiele Huffman-Codierung Zeichenkette: helloworld Zeichen gesamt: 10; verschiedene Zeichen: 7 Bits/Zeichen: 3 Gesamtlänge: 30 Bits Huffman: 10 h: e: l: 10 o: w: r: d: h e l l o w o r l d h e l o w r d Bits: 27; Kompression: 10% Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 43

44 Beispiele Huffman-Codierung Vorteile: gute Kompression(häufige Elemente benötigen weniger Bits) verlustfrei Nachteile: Codiertabelle muss mitgespeichert werden Häufigkeit der Elemente muss bekannt sein Ein Übertragungsfehler(1 falsches Bit) kann den ganzen Rest zerstören Verwendung: Bilder (JPG, PNG, TIFF) Audio (MP3) Video (HDTV) Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 44

45 Beispiele Huffman-Codierung Deutscher Standarttext a: b: c: d: e: f: g: h: i: j: k: l: m: n: o: p: q: r: s: t: u: v: w: x: y: z: Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 45

46 Beispiele Münzwechsel-Problem Mit welchen Münzen zahle ich, um möglichst wenige Münzen zu verwenden. Gegeben: Münzwert, Betrag zum Zahlen Gesucht: Geringste Münzanzahl Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 46

47 Beispiele Münzwechsel-Problem Gierige Lösung: 1. Sortiere Münzwerte absteigend 2. Solange Restbetrag > 0 a) Nimm größtmögliche Münze b) Reduziere Restbetrag um den Wert dieser Münze 3. Fertig Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 47

48 Beispiele Münzwechsel-Problem Münzen: 200, 100, 50, 20, 10, 5, 2, 1 Betrag: 5,67 = 567 Betrag MünzeGesamt x x200, x200,100, x200,100,50,10 5 2x200,100,50,10,5 2 2x200,100,50,10,5,2 7 Münzen verwendet Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 48

49 Beispiele Münzwechsel-Problem There is always an easy solution to every human problem neat, plausible, and wrong. H. L. Mencken Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 49

50 Beispiele Münzwechsel-Problem Münzen: 100, 50, 25, 20, 10, 5, 1 Betrag: 90 Betrag MünzeGesamt , ,25, ,25,10,5 4 Münzen verwendet Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 50

51 Beispiele Münzwechsel-problem Münzen: 100, 50, 25, 20, 10, 5, 1 Betrag: 90 Aber wie wäre es mit: 50, 20, 20? = 90 3 Münzen verwendet Wie man sieht führt der gierige Algorithmus zwar zu einer guten Lösung, allerdings nicht zur Besten Problem ist mit DP lösbar Moderne Münzsysteme sind so aufgebaut, dass der gierige Algorithmus funktioniert Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 51

52 Beispiele weitere gierige Algorithmen Weitere gierige Algorithmen: Dijkstra (kürzeste Pfade) Kruskal (minimaler Spannbaum) Prim (minimaler Spannbaum) Topologische Sortierung Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 52

53 Zusammenfassung Gierige Algorithmen sind leicht zu implementierende Algorithmen, die meinst auf einem sehr intuitiven Ansatz basieren. Im Gegensatz zur DP benötigen sie sehr wenig Speicher, führen aber nicht immer zu optimalen Lösung Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 53

54 Quellen Thomas H. Cormen: Introduction to Algorithms Jon Kleinberg: Algorithm Design, Chapter 4 Mathijs de Weerd: Huffmancodes Jeff Erikson: Algorithms Christoph Erhardt: Gierige Algorithmen (HelloWorld: 2008) Wikipedia Hallo Welt für Fortgeschritten Gierige Algorithmen Michael Baer Folie 54