Erinnerung VL

Transkript

1 Erinnerung VL Union-Find-Datenstruktur (für Kruskals Algorithmus) Ackermann-Funktion (in der Analyse) Optimierungsprobleme (Beispiel: Rucksackproblem) Im Allgemeinen (NP-)schwer Z.B. für unteilbare Gegenstände (bei Rucksackproblem) Lineare Programmierung: löse Ax b für x mit x i 0 Ezient (mit poly-aufwand) möglich, wenn bel. x R n 0 erlaubt Schwer, wenn (einige) ganzzahlige x i gefordert KIT Institut für Theoretische Informatik 1

2 Erinnerung VL Heute: Mehr zu Optimierung Greedy-Algorithmen Dynamische Programmierung KIT Institut für Theoretische Informatik 2

3 Wiederholung Beispiel: Rucksackproblem M n Gegenstände mit Gewicht w i N und Prot p i Wähle eine Teilmenge x von Gegenständen derart, dass i x w i M und maximiere den Prot i x p i KIT Institut für Theoretische Informatik 3

4 Nie zurückschauen Greedy-Algorithmen (deutsch: gierige Algorithmen, Ausdruck wenig gebräuchlich) Idee: tree jeweils eine lokal optimale Entscheidung KIT Institut für Theoretische Informatik 4

5 Optimale Greedy-Algorithmen Dijkstras Algorithmus für kürzeste Wege Minimale Spannbäume Jarník-Prim Kruskal Selection-Sort (wenn man so will) Viel häuger, z.t. mit Qualitätsgarantien. Mehr: Vorlesungen Algorithmen II und Approximations- und Onlinealgorithmen KIT Institut für Theoretische Informatik 5

6 Beispiel: Rucksackproblem Procedure rounddownknapsack sort items by prot density p i { } w i nd min j : j w i=1 j > M output items 1..j 1 Procedure greedyknapsack sort items by prot density p i w i for i := 1 to n do if there is room for item i then insert it into the knapsack // critical item KIT Institut für Theoretische Informatik 6

7 Dynamische Programmierung Aufbau aus Bausteinen Anwendbar, wenn das Optimalitätsprinzip gilt: Optimale Lösungen bestehen aus optimalen Lösungen für Teilprobleme. Mehrere optimale Lösungen es ist egal, welche benutzt wird. KIT Institut für Theoretische Informatik 7

8 Beispiel: Rucksackproblem Annahme: ganzzahlige Gewichte P(i,C):= optimaler Prot für Gegenstände 1,...,i unter Benutzung von Kapazität C. P(0,C):= 0 Lemma: 1 i n : P(i,C) = max(p(i 1,C), P(i 1,C w i ) + p i ) KIT Institut für Theoretische Informatik 8

9 Dynamische Programmierung auszufüllende Tabelle Wdh. Lemma: 1 i n : P(i,C) = max(p(i 1,C), P(i 1,C w i ) + p i ) KIT Institut für Theoretische Informatik 9

10 Beweis des Lemmas P(i,C):= optimaler Prot für Gegenstände 1,...,i bei Kap. C. Lemma: P(i,C) = max(p(i 1,C),P(i 1,C w i ) + p i ) Beweis: Sei x optimale Lösung für Objekte 1..i, Kapazität C, d. h. c x = P(i,C). KIT Institut für Theoretische Informatik 10

11 Beweis des Lemmas P(i,C):= optimaler Prot für Gegenstände 1,...,i bei Kap. C. Lemma: P(i,C) = max(p(i 1,C),P(i 1,C w i ) + p i ) Beweis: Sei x optimale Lösung für Objekte 1..i, Kapazität C, d. h. c x = P(i,C). Fall x i = 0: x ist auch (opt.) Lösung für Objekte 1..i 1, Kapazität C. P(i,C) = c x = P(i 1,C) KIT Institut für Theoretische Informatik 10

12 Beweis des Lemmas P(i,C):= optimaler Prot für Gegenstände 1,...,i bei Kap. C. Lemma: P(i,C) = max(p(i 1,C),P(i 1,C w i ) + p i ) Beweis: Sei x optimale Lösung für Objekte 1..i, Kapazität C, d. h. c x = P(i,C). Fall x i = 0: x ist auch (opt.) Lösung für Objekte 1..i 1, Kapazität C. P(i,C) = c x = P(i 1,C) Fall x i = 1: x ohne i ist auch Lösung für Objekte 1..i 1, Kapazität C w i. Wegen Austauschbarkeit muÿ x ohne i optimal für diesen Fall sein. P(i,C) p i = P(i 1,C w i ) P(i,C) = P(i 1,C w i ) + p i KIT Institut für Theoretische Informatik 10

13 Beweis des Lemmas P(i,C):= optimaler Prot für Gegenstände 1,...,i bei Kap. C. Lemma: P(i,C) = max(p(i 1,C),P(i 1,C w i ) + p i ) Beweis: Sei x optimale Lösung für Objekte 1..i, Kapazität C, d. h. c x = P(i,C). Fall x i = 0: x ist auch (opt.) Lösung für Objekte 1..i 1, Kapazität C. P(i,C) = c x = P(i 1,C) Fall x i = 1: x ohne i ist auch Lösung für Objekte 1..i 1, Kapazität C w i. Wegen Austauschbarkeit muÿ x ohne i optimal für diesen Fall sein. P(i,C) p i = P(i 1,C w i ) P(i,C) = P(i 1,C w i ) + p i Insgesamt, wegen Optimalität von x, P(i,C) = max(p(i 1,C),P(i 1,C w i ) + p i ) KIT Institut für Theoretische Informatik 10

14 Berechung von P(i, C) elementweise: P(i,C) = max(p(i 1,C),P(i 1,C w i ) + p i ) Procedure knapsack(p, c, n, M) array P[0...M] = [0,...,0] bitarray decision[1...n,0...m] = [(0,...,0),...,(0,...,0)] for i := 1 to n do // invariant: C {1,...,M} : P[C] = P(i 1,C) for C := M downto w i do if P[C w i ] + p i > P[C] then P[C] := P[C w i ] + p i decision[i,c] := 1 KIT Institut für Theoretische Informatik 11

15 Rekonstruktion der Lösung C := M array x[1...n] for i := n downto 1 do x[i] := decision[i,c] if x[i] = 1 then C := C w i endfor return x Analyse: Zeit: O(nM) pseudopolynomiell Platz: M + O(n) Maschinenwörter plus nm bits. KIT Institut für Theoretische Informatik 12

16 Beispiel Maximiere (10,20,15,20) x, so dass (1,3,2,4) x 5 P(i,C),(decision[i,C]) i \ C , (0) 10, (1) 10, (1) 10, (1) 10, (1) 10, (1) KIT Institut für Theoretische Informatik 13

17 Beispiel Maximiere (10,20,15,20) x, so dass (1,3,2,4) x 5 P(i,C),(decision[i,C]) i \ C , (0) 10, (1) 10, (1) 10, (1) 10, (1) 10, (1) 2 0, (0) 10, (0) 10, (0) 20, (1) 30, (1) 30, (1) 3 4 KIT Institut für Theoretische Informatik 13

18 Beispiel Maximiere (10,20,15,20) x, so dass (1,3,2,4) x 5 P(i,C),(decision[i,C]) i \ C , (0) 10, (1) 10, (1) 10, (1) 10, (1) 10, (1) 2 0, (0) 10, (0) 10, (0) 20, (1) 30, (1) 30, (1) 3 0, (0) 10, (0) 15, (1) 25, (1) 30, (0) 35, (1) 4 KIT Institut für Theoretische Informatik 13

19 Beispiel Maximiere (10,20,15,20) x, so dass (1,3,2,4) x 5 P(i,C),(decision[i,C]) i \ C , (0) 10, (1) 10, (1) 10, (1) 10, (1) 10, (1) 2 0, (0) 10, (0) 10, (0) 20, (1) 30, (1) 30, (1) 3 0, (0) 10, (0) 15, (1) 25, (1) 30, (0) 35, (1) 4 0, (0) 10, (0) 15, (0) 25, (0) 30, (0) 35, (0) KIT Institut für Theoretische Informatik 13

20 Algorithmenentwurf mittels dynamischer Programmierung 1. Was sind die Teilprobleme? Kreativität! 2. Wie setzen sich optimale Lösungen aus Teilproblemlösungen zusammen? Beweisnot 3. Bottom-up Aufbau der Lösungstabelle einfach 4. Rekonstruktion der Lösung einfach 5. Verfeinerungen: Platz sparen, Cache-ezient, Parallelisierung Standard-Trickkiste KIT Institut für Theoretische Informatik 14

21 Anwendungen dynamischer Programmierung Bellman-Ford-Alg. für kürzeste Wege Teilpfade Edit distance/approx. string matching Algorithmen II? Verkettete Matrixmultiplikation Übung? Rucksackproblem Gegenstände 1..i füllen Teil des Rucksacks Geld wechseln Übung? KIT Institut für Theoretische Informatik 15

22 Gegenbeispiel: Teilproblemeigenschaft Angenommen, die schnellste Strategie für 20 Runden auf dem Hockenheimring verbraucht den Treibsto vollständig. Keine gute Teilstrategie für 21 Runden. Frage: Wie kann man constrained shortest path trotzdem mittels dynamischer Programmierung modellieren? KIT Institut für Theoretische Informatik 16

23 Gegenbeispiel: Austauschbarkeit Optimale Graphfärbungen sind nicht austauschbar. KIT Institut für Theoretische Informatik 17