5.4 Das Rucksackproblem

Transkript

1 Problemstellung: 5.4 Das Rucksackproblem Eingabe: Ganzzahlige Volumina a 1,..., a n > 0, Nutzenwerte c 1,..., c n > 0, ganzzahlige Volumenschranke b. Aufgabe: Packe die Objekte in einen Rucksack von Volumen b, so dass der Gesamtnutzen maximiert wird. (Wird gleich noch formalisiert.) Wir betrachten zwei Problemvarianten: 1 Rucksackproblem mit Wiederholungen. (Von jedem Objekt sind beliebig viele Kopien vorhanden.) Rucksackproblem. (Jedes Objekt ist genau einmal vorhanden.) Im Gegensatz zum fraktionalen Rucksackproblem (Kap. 3.1) ist es hier nicht erlaubt, Objekte zu teilen. Der Lösungsvektor (x 1,..., x n ) muss also ganzzahlig sein. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

2 Mit Wiederholungen Das Rucksackproblem mit Wiederholungen Eingabe: Ganzzahlige Volumina a 1,..., a n > 0, Nutzenwerte c 1,..., c n > 0, ganzzahlige Volumenschranke b. Aufgabe: Wähle x 1,..., x n N mit x i a i b, 1 i n 1 i n x i c i möglichst groß. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

3 Mit Wiederholungen Ansatz: Dynamische Programmierung. Identifizierung von nützlichen Teilproblemen: Für d = 0,..., b sei w(d) := maximaler erreichbarer Nutzenwert für Volumen a 1,..., a n, Nutzenwerte c 1,..., c n, und Rucksackgröße d. Klar: w(0) = 0. Bellman sche Optimalitätsgleichungen: w(d) = { 0, d = 0 max ({c i + w(d a i ) 1 i n, a i d} {0}), sonst. Laufzeit: O(n b). (Für jedes d, 1 d b, muss ein Maximum über n + 1 Werte gebildet werden.) FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

4 Mit Wiederholungen Interessant: Wie berechnet man den Lösungsvektor x 1,..., x n? Dafür legen wir ein Array I [0..b] an. I [d] gibt ein i {1,..., n} an, welches c i + w(d a i ) maximiert. (Wenn kein solches Objekt existiert, setzen wir I [d] 0.) Wir nutzen den folgenden Algorithmus zur Berechnung des Lösungsvektors: 1 Initialisiere ein Array X [1..n] mit 0 en 2 d := b 3 while d > 0 do 4 X [I [d]]++ 5 d := d a I [d] Ausgabe: X [1..n]. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

5 Mit Wiederholungen Beispiel: b = 10: i a i c i d w(d) I [d] Rekonstruierte Bepackung: x 1 = 1, x 2 = 0, x 3 = 0, x 4 = 2. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

6 Mit Wiederholungen Resultat Satz Das Rucksackproblem mit Wiederholungen (mit Ausgabe einer optimalen Lösung) ist in Zeit O(n b) und Platz O(b) lösbar. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

7 0-1-Variante Das 0-1-Rucksackproblem Eingabe: Ganzzahlige Volumina a 1,..., a n > 0, Nutzenwerte c 1,..., c n > 0, ganzzahlige Volumenschranke b. Ausgabe: I {1,..., n} derart, dass i I a i b und i I c i möglichst groß. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

8 0-1-Variante Ansatz: Dynamische Programmierung. Identifizierung von nützlichen Teilproblemen: Für 1 k n und 0 v b definieren wir { m(k, v) := max c i I {1,..., k} i I i I a i v }. Das Teilproblem P(k, v) besteht darin, ein I {1,..., k} mit i I a i v zu finden, das i I c i maximiert. Wir suchen also nach einer Auswahl, die nur Objekte Nummer 1,..., k benutzt, eine modifizierte Gewichtsschranke v einhält, und den Nutzen maximiert. Trivial: m(0, v) = 0 für alle v. P(n, b) ist das Gesamtproblem. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

9 0-1-Variante Eigenschaft Optimale Substruktur : Sei I optimale Lösung für P(k, v), d. h.: m(k, v) = i I c i, I {1,..., k}, i I a i v. Dann tritt einer der folgenden Fälle ein. 1. Fall: k I. Dann ist I {k} optimale Lösung für P(k 1, v a k ), d. h.: m(k, v) c k = i I {k} c i = m(k 1, v a k ). 2. Fall: k I. Dann ist I optimale Lösung für P(k 1, v), d. h.: m(k, v) = m(k 1, v). FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

10 0-1-Variante Beweis: Indirekt. 1. Fall: k I. Annahme: I {k} nicht optimal für P(k 1, v a k ). Dann gäbe es eine bessere Teilmenge J {1,..., k 1} mit i J a i v a k und i J c i > i I {k} c i. Dann wäre aber J {k} eine bessere Lösung für P(k, v) als I, Widerspruch. 2. Fall: k I. Annahme: I nicht optimal für P(k 1, v). Dann gäbe es eine bessere Teilmenge J {1,..., k 1}. Dann wäre aber J auch besser als I für P(k, v), Widerspruch. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

11 0-1-Variante Die optimale Lösung für P(k, v) enthält also eine optimale Lösung für P(k 1, v ) für ein v v. Eigenschaft Optimale Substruktur! Bellman sche Optimalitätsgleichungen: m(k 1, v a k ) + c k, falls v a k und diese Summe m(k, v) = größer als m(k 1, v) ist; m(k 1, v), sonst. für 1 k n, 0 v b; m(0, v) = 0, für 0 v b. In diesem Fall ist k Element jeder optimalen Lösung von P(k, v). Wir berechnen alle m(k, v) mittels einer iterativen Prozedur. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

12 0-1-Variante Algorithmus DP-Zero-One-Knapsack(a 1,..., a n, c 1,..., c n, b) Eingabe: a 1,..., a n : Volumina; c 1,..., c n : Nutzenwerte; b: Schranke Ausgabe: I {1,..., n}: Optimale legale Auswahl. Datenstrukturen: m[0..n,0..b]: integer; (1) for v from 0 to b do m[0,v] 0; (2) for k from 1 to n do (3) for v from 0 to b do (4) if v a k 0 (5) then s m[k 1,v a k ] + c k else s 0; (6) if s > m[k 1,v] (7) then m[k,v] s; (8) else m[k,v] m[k 1,v]; ( Konstruktion der optimalen Menge: ) (9) I ; r m[n,b]; (10) for k from n downto 1 do (11) if m[k 1,r a k ] + c k > m[k 1,r] (12) then r r a k ; I I {k}; (13) return I. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

13 0-1-Variante Korrektheit des ermittelten Wertes m[n,b] ergibt sich aus den Bellman schen Optimalitätsgleichungen durch Induktion über k. Korrektheit der ausgegebenen Menge I folgt aus der obigen Überlegung, dass die Bedingung m(k 1, v a k ) + c k > m(k 1, v) entscheidend ist für die Frage, ob k in der optimalen Lösung von P(k, v) enthalten ist oder nicht, und mit Induktion. Laufzeit des Algorithmus: O(n b). FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

14 0-1-Variante Beispiel: b = 6: i a i c i m[k, v]: v: k = FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

15 0-1-Variante Ablesen von I aus dem Array m[0..n,0..b]: Benutze m(k 1, v a k ) + c k > m[k 1, v] als Kriterium. (Eingerahmte Einträge der Tabelle.) m[4, 6] = 11 > 8 = m[3, 6], also I := {4}, v := 6-1 = 5 m[3, 5] = 6 6 = m[2, 5], m[2, 5] = 6 > 4 = m[1, 5], also I := I {2}, v := 5-4 = 1 m[1, 1] = 0 0 = m[0, 1]. Resultat: Optimale Menge ist I = {2, 4}. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

16 0-1-Variante Man kann auf die Speicherung des gesamten Arrays m verzichten. Man hält immer nur die letzte Zeile, und aktualisiert die Einträge von rechts nach links. (Rechts vom Arbeitspunkt v: Einträge m(k, v ), links davon: Einträge m(k 1, v ).) Eine Bitmatrix b[1..n,0..b] führt mit, ob Objekt k für eine optimale Bepackung notwendig ist oder nicht. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

17 0-1-Variante Algorithmus DP-Zero-One-Knapsack(a 1,..., a n, c 1,..., c n, b) Eingabe: a 1,..., a n : Volumina; c 1,..., c n : Nutzenwerte; b: Schranke Ausgabe: I {1,..., n}: Optimale legale Auswahl. Datenstrukturen: m[0..b]: integer; b[1..n,0..b]: Boolean; (1) for v from 0 to b do m[v] 0; (2) for k from 1 to n do (3) for v from b downto 0 do (4) if v a k 0 then s m[v a k ] + c k else s 0; (5) if s > m[v] (6) then m[v] s; b[k,v] 1; (7) else b[k,v] 0; ( Konstruktion der optimalen Menge: ) (8) I ; r m[b]; (9) for k from n downto 1 do (10) if b[k,r] = 1 then (11) r r a k ; I I {k}; (12) return I. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

18 0-1-Variante Resultat Satz Das 0-1-Rucksackproblem (mit Ausgabe der optimalen Lösung) ist in Zeit O(nb) lösbar. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

19 0-1-Variante Wie gut sind diese beiden Algorithmen? Die Größe, nicht die Bitlänge der Gewichtsschranke b geht in die Laufzeit ein. Wir nennen Algorithmen mit einer Laufzeit O(p(n, B)), wo n die (strukturelle) Größe der Eingabe und B eine obere Schranke für einige oder alle Zahlenkomponenten der Eingabe, und p ein Polynom in zwei Variablen ist, pseudopolynomiell. Die Existenz eines pseudopolynomiellen Algorithmus für das Rucksackproblem widerspricht nicht der Tatsache, dass das 0-1-Rucksackproblem wahrscheinlich keinen Polynomialzeitalgorithmus hat (nächstes Semester: NP-Vollständigkeit!): Die natürliche Eingabegröße berücksichtigt log b und nicht b. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

20 TSP 5.5. Traveling Salesperson 1 Eingabe: Vollständiger, gerichteter Graph mit Kantengewichten a i,j 0. (Also eine Matrix ((a i,j )) 1 i,j n.) Gesucht: Eine günstigste Rundreise, bei der jede Stadt (also jeder Knoten) genau einmal besucht wird und zum Startpunkt zurückgekehrt wird. Formal: Gesucht ist eine Permutation π von {1,..., n}, so dass c(π) = 2 i n a π(i 1),π(i) + a π(n),π(1) minimal unter allen möglichen Permutationen. 1 Das Problem, was ihr beim Sommerfest 2012 lösen solltet! FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

21 TSP Ein Beispiel A B E C 2 2 D 4 Kürzeste Tour: (A, B, E, C, D, A) mit Länge 10. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

22 TSP Klar: Wir können den Anfangspunkt fest wählen. (Hier: Tour startet im Knoten 1.) Naiver Ansatz: Probiere alle (n 1)! mögliche Rundtouren aus. Wir entwickeln einen sehr viel besseren Algorithmus, basierend auf Dynamischer Programmierung. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

23 TSP Zentrale Frage: Wie sehen sinnvolle Teilprobleme aus? Wir betrachten P(S, l) mit S {1,..., n}, 1 l n, wobei 1, l S. P(S, l) fragt nach dem kürzesten, einfachen Weg von 1 durch alle Knoten in S mit Ende l. Basisfälle: P({1}, 1) = 0, P(S, 1) = für S > 1. Am Ende: Länge einer kürzesten Rundtour: min(p({1,..., n}, l) + a l,1 1 l n). FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

24 TSP Für S > 1 gilt: P(S, j) = min(p(s {j}, i) + a i,j i S {j}). Iterativ programmiert sieht der Algorithmus wie folgt aus: 1 P({1}, 1) 0 2 for s 2 to n do 3 foreach S {1, 2,..., n} with S = s and 1 S do 4 P(S, 1) 5 foreach j S, j 1 do 6 P(S, j) min(p(s {j}, i) + a i,j i S {j}). 7 return min(p({1,..., n}, l) + a l,1 1 l n) FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

25 TSP Resultat Satz Das Problem Traveling Salesperson kann mittels dynamischer Programmierung in Zeit O(2 n n 2 ) gelöst werden. (Dies ist eine wesentliche Verbesserung gegenüber dem naiven Ansatz mit Laufzeit O(n!).) Beweis Die Anzahl aller Teilmengen von {1,..., n} ist 2 n. Zu jeder solcher Teilmenge gibt es maximal n Teilprobleme. Jedes Teilproblem kann in Zeit O(n) gelöst werden. Für Zuhause: Wie konstruiert man eine optimale Rundtour (also die Knotenfolge)? FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

26 Matrixkettenmultiplikation Das folgende Problem wurde in der Vorlesung nicht besprochen und ist deswegen nicht prüfungsrelevant. Es stellt jedoch ein weiteres schönes Beispiel für einen auf dem Paradigma Dynamische Programmierung basierenden Algorithmus dar. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

27 Matrixkettenmultiplikation 5.6 Optimale Matrizenmultiplikation Sei A 1 = (α ij ) 1 i r0,1 j r 1 eine r 0 r 1 -Matrix, A 2 = (β jk ) 1 j r1,1 k r 2 eine r 1 r 2 -Matrix. Berechne Produkt A 1 A 2 =: C = (γ ik ) 1 i r0,1 k r 2. Standardmethode (nicht Strassen-Methode o.ä.): γ ik = 1 j r 1 α ij β jk, für 1 i r 0, 1 k r 2. r 0 r 1 r 2 Multiplikationen. Kosten : c(r 0, r 1, r 2 ) := r 0 r 1 r 2 Gesamtzeit = Θ(r 0 r 1 r 2 ). FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

28 Matrixkettenmultiplikation Gegeben: A 1, A 2,..., A k, wobei A i eine r i 1 r i -Matrix ist. Aufgabe Berechne A 1 A 2... A k, möglichst kostengünstig. Die Matrizenmultiplikation ist assoziativ. Bei der Berechnung von A 1 A 2 A 3 entstehen Kosten von Kosten r 0 r 1 r 2 + r 0 r 2 r 3 bei der Reihenfolge (A 1 A 2 )A 3 und Kosten r 0 r 1 r 3 + r 1 r 2 r 3 bei der Reihenfolge A 1 (A 2 A 3 ). Beispiel: (r 0, r 1, r 2, r 3 ) = (5, 10, 3, 10): Kosten 300 bei der ersten Reihenfolge, 800 bei der zweiten. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

29 Matrixkettenmultiplikation Problem: Eingabe: Dimensionen r 0 r 1, r 1 r 2,..., r k 1 r k von Matrizen A 1,..., A k. Ausgabe: Eine ( optimale ) Klammerung, die bei der Berechnung von A 1 A k die Gesamtkosten (Anzahl aller Multiplikationen von Zahlen) minimiert. Seien c(r 0,..., r k ) die Kosten bei optimaler Klammerung, wobei k 2 und r 0, r 1,..., r k 1 beliebige ganze Zahlen sind. Für k = 1 setzen wir c(r 0, r 1 ) := 0 für alle r 0, r 1. Klar: c(r 0, r 1, r 2 ) = r 0 r 1 r 2. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

30 Matrixkettenmultiplikation Die optimale Lösung des Klammerungsproblems hat die Form (A 1 A l ) }{{} irgendwie geklammert (A l+1 A k ) }{{} irgendwie geklammert für ein 1 l < k (das wir nicht kennen!). Zentrale Beobachtung ( Optimale Substruktur ): Die Klammerungen in den Teilen A 1 A l bzw. A l+1 A k müssen optimale Kosten für die Teilprobleme liefern. Wäre z. B. die Teilklammerung von A 1 A l nicht optimal, dann könnte man durch Verbesserung dieses Teils die Gesamtkosten senken. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

31 Matrixkettenmultiplikation Aus dieser Beobachtung ergibt sich: Es gibt ein l, 1 l < k mit c(r 0,..., r k ) = c(r 0,..., r l ) + c(r l,..., r k ) + r 0 r l r k }{{} äußerste Matrizenmult.. Das l, das die Summe auf der rechten Seite minimiert, ist das richtige. Müssen: Optimale Klammerungen bzw. ihre Kosten für die Teilprobleme A 1 A l und A l+1 A k berechnen. Ansatz: Betrachte die Teilprobleme TP(i, j), das Teilprodukt A i A j, 1 i j n, mit minimalen Kosten zu berechnen. Parameter zu TP(i, j): r i 1,..., r j. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

32 Matrixkettenmultiplikation Beobachtung ( Optimale Substruktur ), angewendet auf das Teilproblem, liefert: Rekursionsformel Basisfall: c(r i 1, r i ) = 0, für 1 i k. Schrittfall: c(r i 1,..., r j ) = min i l<j {c(r i 1,..., r l ) + c(r l,..., r j ) + r i 1 r l r j }, für 1 i < j k. Bellman sche Optimalitätsgleichungen. (Checke diese Gleichung für j = i + 1!) Iterative Auflösung der Rekursionsformel! FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

33 Matrixkettenmultiplikation MatrixOptimal((r 0,..., r k )) Eingabe: Dimensionsvektor (r 0,..., r k ) Ausgabe: Kosten c(r 0,..., r k ) bei der optimalen Klammerung l[1..k,1..k]: Plan zur Ermittlung der optimalen Unterteilung; Datenstruktur: Matrizen C[1..k,1..k], l[1..k,1..k] (1) for i from 1 to k do (2) C[i,i] 0; (3) for i from 1 to k 1 do (4) C[i,i+1] r i 1 r i r i+1 ; (5) for d from 2 to k 1 do (6) for i from 1 to k d do (7) bestimme das l, i l < i+d, (8) das C = C[i,l] + C[l + 1,i+d] + r i 1 r l r i+d minimiert; (9) l[i,i+d] dieses l; (10) C[i,i+d] das minimale C; (11) Ausgabe: C[1..k,1..k] und l[1..k,1..k]. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

34 Matrixkettenmultiplikation Korrektheit: Man beweist durch Induktion über d = 0, 1,..., k 1 mit Hilfe der Bellman schen Optimalitätsgleichung, dass C[i,i + d] die Zahl c(r i 1,..., r i+d ) enthält. Übung: Man zeige, dass mit Hilfe der l[i,j]-werte die optimale Klammerung in Linearzeit ermittelt werden kann. Laufzeit: Die Minimumssuche in Zeile (8) kostet Zeit O(k); (6) (10) und (5) (10) ergibt sich eine Laufzeit von Θ(k 3 ). FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester

35 Matrixkettenmultiplikation Beispiel: (r 0,..., r 4 ) = (3, 2, 2, 5, 6) C: l: i * * * * * * * Optimale Klammerung: (M 1 M 2 )(M 3 M 4 ). Kosten: 108 Multiplikationen. FG KTuEA, TU Ilmenau Effiziente Algorithmen Sommersemester