Programmierung 2. Dynamische Programmierung. Sebastian Hack. Klaas Boesche. Sommersemester

Transkript

1 1 Programmierung 2 Dynamische Programmierung Sebastian Hack hack@cs.uni-saarland.de Klaas Boesche boesche@cs.uni-saarland.de Sommersemester 2012

2 2 Übersicht Stammt aus den Zeiten als mit Programmierung noch Tabellierung gemeint war DP ähnlich zu teile und herrsche: Setze Lösung aus Lösung von Teilproblemen zusammen DP dann gut, wenn Teilprobleme überlappen Teile und herrsche würde dann zwar noch funktionieren, jedoch zuviel berechnen überlappende Teilprobleme wieder und wieder berechnen DP meistens für Optimierungsprobleme eingesetzt Betrachten wir zunächst überlappende Teilprobleme

3 3 Ein erstes Beispiel Die Fibonacci-Zahlen Rekursiv definierte Zahlenfolge F 0 = 1, F 1 = 1, F n = F n 1 + F n 2 Direkt in ein rekursives Programm übersetzbar class Fibonacci { public static int fib ( int n) { if ( n < 0) throw new IllegalArgumentException (); if ( n <= 1) return 1; return fib ( n - 1) + fib ( n - 2); } } Wieviele Additionen/Funktionsaufrufe werden für n ausgeführt?

4 Fiobonacci-Zahlen Betrachten wir fib(6) Anzahl Aufrufe: Fibonacci-Zahl selbst fib(45) hat rekursive Aufrufe! 4

5 5 Fibonacci-Zahlen Die rekursiven Aufrufe berechnen immer wieder dasselbe Zwischenspeichern der Ergebnisse senkt die Ausführungszeit drastisch: class Fibonacci { private int [] table ; public Fibonacci ( int n) { table = new int [ n + 1]; } public int calculate ( int n) { if (n < 0) throw new IllegalArgumentException (); if (n <= 1) return 1; if ( table [n] == 0) table [ n] = calculate ( n - 1) + calculate ( n - 2); return table [n]; } Lineare Anzahl von Additionen Speichere nur die noch benötigte Zwischenergebnisse

6 6 Binomialkoeffizienten Wir wollen den Binomialkoeffizienten berechnen: ( ) n n! = k k!(n k)! Erste Abschätzung für die Anzahl der benötigten Multiplikationen: (n 2) + (k 2) + (n k 2) = 2n 6 k! und (n k)! fallen als Zwischenergebnisse an: ( ) n n(n 1) (n m + 1) = m = min(k, n k) n k m! 2 Also nur n 2 Multiplikationen Aber: Zähler und Nenner werden schnell groß 12! ist die größte Fakultät, die in einen int passt

7 7 Binomialkoeffizienten Momentan größter BK, den wir berechnen können: ( 17 8 ) = Der größte BK, der in einen int passt ist aber ( 33 17) = Daher rekursive Berechnung mittels Pascal schem Dreieck: ( ) ( ) ( ) n n 1 n 1 = + k k k

8 8 Binomialkoeffizienten Implementierung mit Rekursion class Binomial { public static int recursive ( int n, int k) { if ( n < 0 k < 0) throw new IllegalArgumentException (); if ( k == 0) return 1; if ( k == 1) return n; return recursive ( n - 1, k) + recursive ( n - 1, k - 1); } } Exponentielle Laufzeit ( n ( k) wird von n+1 ) ( k+1 und von n+1 ) k berechnet

9 9 Binomialkoeffizienten Nutze Symmetrie: ( ) ( ) n n = k n k Berechne nur rechte Hälfte des Dreiecks Nur das Band der Breite n k + 1 Nur diese Werte haben Einfluss auf das Ergebnis Tabelliere Zwischenergebnisse Beispiel: ( ) 8 = 56 5 n k k

10 Binomialkoeffizienten Dynamische Programmierung, mit Rekursion class Binomial { private final int [][] a; public Binominal ( int n, int k) { this.a = new int [n + 1][ k + 1]; } public int get ( int n, int k) { if ( n >= a. length k > n) throw new IllegalArgumentException (); if ( k > n - k) k = n - k; if ( k == 0) return 1; if ( k == 1) return n; } } if (a[n][k] == 0) a[ n][ k] = get ( n - 1, k) + get ( n - 1, k - 1); return a[n][k]; Speichere Zwischenergebnisse in Matrix a Maximal (n k)(k 1) Additionen 10

11 11 Binomialkoeffizienten Dynamische Programmierung, iterativ class Binomial { public static int iterative ( int n, int k) { if ( k > n - k) k = n - k; if ( k == 0) return 1; if ( k == 1) return n; } } int [] a = new int [k +1]; a[k -1] = 1; a[ k] = 1; for ( int i = 2; i < n; i ++) for ( int j = 0; j < k; j ++) a[ j] += a[ j + 1]; return a [0] + a [1];

12 Routenplanung Kürzeste Pfade 12

13 13 Routenplanung Kürzeste Pfade Nonnweiler 42 Merzig 20 Merchweiler Neunkirchen 16 Saarlouis 32 Homburg Riegelsberg Sulzbach St. Ingbert Völklingen Saarbrücken 6 Güdingen Forbach 18

14 14 Routenplanung Kürzeste Pfade Nonnweiler 42 Merzig 20 Merchweiler Neunkirchen 16 Saarlouis 32 Homburg Riegelsberg Sulzbach St. Ingbert Völklingen Saarbrücken 6 Güdingen Forbach 18

15 15 Kürzeste Pfade Gegeben ein gerichteter Graph G = (V, E), E V 2

16 15 Kürzeste Pfade Gegeben ein gerichteter Graph G = (V, E), E V 2 Gewichte der Kanten (in unserem Beispiel Entfernung ) gegeben durch Funktion: w : E R Alle Gewichte sind nicht-negativ: v V : w(v) 0

17 15 Kürzeste Pfade Gegeben ein gerichteter Graph G = (V, E), E V 2 Gewichte der Kanten (in unserem Beispiel Entfernung ) gegeben durch Funktion: w : E R Alle Gewichte sind nicht-negativ: v V : w(v) 0 Eine Folge von Knoten p = v 1..., v k heißt Pfad, wenn (v i, v i+1 ) E für 1 i < k

18 15 Kürzeste Pfade Gegeben ein gerichteter Graph G = (V, E), E V 2 Gewichte der Kanten (in unserem Beispiel Entfernung ) gegeben durch Funktion: w : E R Alle Gewichte sind nicht-negativ: v V : w(v) 0 Eine Folge von Knoten p = v 1..., v k heißt Pfad, wenn (v i, v i+1 ) E für 1 i < k

19 16 Kürzeste Pfade Berechne kürzeste Pfade von einer Quelle q V zu allen anderen Knoten in G Beschränkung auf einen Zielknoten ändert Komplexität nicht Erlaubt unter Umständen frühere Beendigung der Suche Entscheidend für effiziente Berechenbarkeit: Eigenschaft der optimalen Teilstruktur

20 17 Kürzeste Pfade Optimale Teilstruktur Lemma Sei p = v 1,..., v k ein kürzester Pfad von v 1 nach v k. Dann ist p = v i,..., v j mit 1 i < j k ein kürzester Pfad von v i nach v j.

21 17 Kürzeste Pfade Optimale Teilstruktur Lemma Sei p = v 1,..., v k ein kürzester Pfad von v 1 nach v k. Dann ist p = v i,..., v j mit 1 i < j k ein kürzester Pfad von v i nach v j. Proof. Durch Widerspruch. Angenommen, p sei kein kürzester Pfad und p sei der kürzeste. Dann kann p durch das Ersetzen von p durch p kürzer gemacht werden. Das widerspricht der Annahme, dass p ein kürzester Pfad ist.

22 Kürzeste Pfade Optimale Teilstruktur Betrachten wir einen Knoten v und die Menge pred(v) = {u (u, v) E} der Knoten von denen Kanten zu v führen. 1 Dann ist die Länge des kürzesten Pfades sp(q, v) von q nach v sp(q, v) = min [sp(q, u) + w(u, v)] u pred(v) 1 pred = predecessors = Vorgänger 18

23 Kürzeste Pfade Optimale Teilstruktur Betrachten wir einen Knoten v und die Menge pred(v) = {u (u, v) E} der Knoten von denen Kanten zu v führen. 1 Dann ist die Länge des kürzesten Pfades sp(q, v) von q nach v Beispiel: 10 a 3 sp(q, v) = min [sp(q, u) + w(u, v)] u pred(v) q b v 5 c pred = predecessors = Vorgänger sp(q, v) = min[10+3, 5+4, +1] = 9 18

24 19 Kürzeste Pfade auf azyklischen Graphen Die Rekursionsformel sp(q, v) = min [sp(q, u) + w(u, v)] u pred(v) eignet sich in Graphen mit Zyklen nicht zur Berechnung Ihre direkte Anwendung führt dort zu Endlosrekursion Sie eignet sich aber auf azyklischen Graphen Sie berechnet dort den kürzesten Pfad von q zu jedem Vorgänger eines Knoten v, bevor der kürzeste Pfad zu v berechnet wird Das Speichern der Zwischenergebnisse vermeidet unnötige Neuberechnungen

25 20 Elemente dynamischen Programmierens Optimale Teilstruktur Lösung des Problems besteht aus Aufteilen in Teilprobleme Optimale Lösung setzt sich aus optimalen Lösungen der Teilprobleme zusammen A priori nicht bekannt welche Teilprobleme gewählt werden müssen Löse alle, und wähle die beste Kombination Pro Probleminstanz verschieden: Aus wie vielen Teilproblemen setzt sich meine optimale Lösung zusammen? Wie viele Wahlmöglichkeiten für Teilprobleme habe ich? Laufzeit grob: (#Teilprobleme gesamt) (#Wahlmöglichkeiten)

26 21 Elemente dynamischen Programmierens Optimale Teilstruktur DP nutzt optimale Teilstruktur bottom up Berechne zuerst optimale Lösungen für Teilprobleme Dann wähle welche in der optimalen Lösung des Problems verwendet werden Vorsicht: DP nicht auf jedes Optimierungsproblem anwendbar Siehe folgende Probleme: Längster Pfad von Ecke u zu Ecke v in einem Graphen G Kürzester Pfad von Ecke u zu Ecke v in einem Graphen G

27 22 Elemente dynamischen Programmierens Beispiel für optimale Teilstruktur: Kürzester Pfad Sei G = (E, K) ein gerichteter Graph. Finde den kürzesten Pfad von u E nach v E (minimale Anzahl von Kanten). u p 1 w p 2 } {{ v} p Kürzester Pfad hat optimale Teilstruktur Sei p der kürzeste Pfad von u nach v Angenommen, es existiert ein kürzerer Pfad p 1 von u nach w Dann ersetze p 1 durch p 1, dann ist u p 1 w p 2 v kürzer als p

28 23 Elemente dynamischen Programmierens Beispiel für keine optimale Teilstruktur: Längster Pfad Betrachte folgenden Graphen: q r s t Längster Pfad (ohne Schleifen) von q nach t: q r t Sind seine Teilpfade längste Pfade?

29 23 Elemente dynamischen Programmierens Beispiel für keine optimale Teilstruktur: Längster Pfad Betrachte folgenden Graphen: q r s t Längster Pfad (ohne Schleifen) von q nach t: q r t Sind seine Teilpfade längste Pfade? Nein! Länsgter Pfad (ohne Schleifen) von q r ist q s t r

30 Elemente dynamischen Programmierens Überlappende Teilprobleme Raum der auftretenden Teilprobleme ist klein Polynomiell begrenzt bezüglich der Länge der Eingabe Lösungen der Teilprobleme werden mehrfach verwendet Tabellierung möglich Unterschied zu Teile-und-herrsche: TuH generiert neue Teilprobleme in jedem Rekursionsschritt 24

31 Längste gemeinsame Teilfolge Problem aus der Biologie Ein Strang einer DNA besteht aus einer Kette von Basen Jede Base ist eines von vier Molekülen, abgekürzt durch den ersten Buchstaben A,C,G,T Wie ähnlich sind zwei Stränge S 1 und S 2 : Finde S3, so dass alle Elemente in S 3 sowohl in S 1 als auch in S 2 vorkommen in aufsteigender Reihenfolge aber nicht notwendigerweise konsekutiv Beispiel: S 1 = ACCGGTCGAGTGCGCGGAAGCCGGCCGAA S 2 = GTCGTTCGGAATGCCGTTGCTCTGTAAA S 3 = GTCGTCGGAAGCCGGCCGAA 25

32 26 Längste gemeinsame Teilfolge Definition (Teilfolge) Sei X = x 1 x 2... x m eine Folge. Z = z 1 z 2... z k ist eine Teilfolge von X wenn eine Folge i 1,..., i k N existiert, so dass x ij = z j für alle 1 j k Beispiel: Z = B, C, D, B ist Teilfolge von X = A, B, C, B, D, A, B mit Indexfolge 2, 3, 5, 7 Definition (Gemeinsame Teilfolge) Eine Folge Z ist eine gemeinsame Teilfolge von X und Y wenn sie Teilfolge von X und Y ist Beispiel: B, C, A ist Teilfolge von A, B, C, B, D, A, B und B, D, C, A, B, A

33 27 Längste gemeinsame Teilfolge Wir wollen eine längste gemeinsame Teilfolge (LGT) von X und Y Roher-Gewalt Ansatz: Zähle alle Teilfolgen von X auf und überprüfe jede, ob sie Teilfolge von Y ist. Merke die längste Exponentiell, da exponentiell viele Teilfolgen Das Problem hat aber optimale Teilstruktur

34 28 Längste gemeinsame Teilfolge Optimale und gemeinsame Teilprobleme Theorem Sei X = x 1... x m, Y = y 1... y n und sei Z = z 1... z k eine LGT von X und Y. Dann gilt: 1 Wenn x m = y n, dann z k = x m = y n und Z k 1 ist LGT von X m 1 und Y n 1 2 Wenn x m y n, dann impliziert z k x m, dass Z LGT von X m 1 und Y ist 3 Wenn x m y n, dann impliziert z k y n, dass Z LGT von X und Y n 1 ist Erlaubt simplen rekursiven Algorithmus Exponentiell, da gleiche Teilprobleme mehrfach berechnet werden: { 1 + LGT (X m 1, Y n 1 ) x m = y n LGT (X m, Y n ) = max{lgt (X m 1, Y ), LGT (X, Y n 1 )} sonst

35 29 Längste gemeinsame Teilfolge Optimale und gemeinsame Teilprobleme Algorithmus mit DP DP Matrix M der Größe (m + 1) (n + 1) X beschreibt die Zeilen, Y, die Spalten M ij ist die Länge der LGT (X i, Y j ) Berechnung vom M ij : for ( int i = 1; i <= m; i ++) { for ( int j = 1; j <= n; j ++) { if (x[i] == y[j]) M[i][j] = 1 + M[i -1][j -1]; else M[i][j] = Math. max (M[i -1][ j], M[i][j -1]); } } LGT (X m, Y n ) dann in M[m][n]

36 30 Längste gemeinsame Teilfolge y j B D C A B A x i A B C B D A B

37 31 Längste gemeinsame Teilfolge Rekonstruktion der Teilfolge Bisher berechnen wir nur die Länge Wir wollen aber die Teilfolge Wir müssen uns in jeder Matrixzelle unsere Entscheidung merken Zweite Matrix: Eintrag entweder, oder Beschreibt die Auslassungen, bzw. Passungen: Beide Teilfolgen haben gleiches Zeichen Überlese in Y Überlese in X Als Übung