Informatik II Dynamische Programmierung

Transkript

1 /9/ lausthal Informatik II Dynamische Programmierung. Zachmann lausthal University, ermany Zweite Technik für den Algorithmenentwurf Zur Herkunft des Begriffes: " Programmierung" hat nichts mit "Programmieren" zu tun, sondern mit "Verfahren" - Vergleiche "lineares Programmieren", "Integer-Programmieren" (alles Begriffe aus der Optimierungstheorie) Dynamic programming = planning over time Secretary of Defense was hostile to mathematical research Bellman sought an impressive name to avoid confrontation - "it's impossible to use dynamic in a pejorative sense" - "something not even a ongressman could object to" Typische Anwendung für dynamisches Programmieren: Optimierung. Zachmann Informatik 2 SS Dynamische Programmierung 2

2 /9/ Matrix hain Multiplication Problem (MMP) egeben: eine Folge (Kette) A, A 2,, A n von Matrizen mit verschiedenen Dimensionen esucht: das Produkt A. A. 2. A n Optimierungsaufgabe: Organisiere die Multiplikationen so, daß möglichst wenig skalare Multiplikationen ausgeführt werden enerelle Idee hier: nutze Assoziativität aus Definition: Ein Matrizenprodukt heißt vollständig geklammert, wenn es entweder eine einzelne Matrix oder das geklammerte Produkt zweier vollständig geklammerter Matrizenprodukte ist. Zachmann Informatik 2 SS Dynamische Programmierung Multiplikation zweier Matrizen p A q q B r = r p # Eingabe: p q Matrix A, q r Matrix B # Ausgabe: p r Matrix = A B for i in range(,p ): for j in range(,r ): [i,j] = for k in range(,q ): [i,j] += A[i,k] * B[k,j] Anzahl der Muliplikationen und Additionen = p q r Erinnerung: für 2 n n-matrizen werden hier n Multiplikationen benötigt, aber es geht auch mit O(n 2.xxx ). Zachmann Informatik 2 SS Dynamische Programmierung 4 2

3 /9/ Beispiel Berechnung des Produkts von A, A 2, A mit A : Matrix A 2 : 5 Matrix A : 5 5 Matrix. Klammerung (A A 2 )A erfordert 2. Klammerung A (A 2 A ) erfordert A' = (A A 2 ) 5 Mult. A' A 25 Mult. A'' = (A 2A ) 25 Mult. A A'' 5 Mult. Summe: 75 Mult. Summe: 75 Mult.. Zachmann Informatik 2 SS Dynamische Programmierung 5 Problemstellung egeben: Folge von Matrizen A, A 2,, A n und die Dimensionen p, p,, p n, wobei Matrix A i Dimension p i- p i hat esucht: eine Multiplikationsreihenfolge, die die Anzahl der Multiplikationen minimiert Beachte: der Algorithmus führt die Multiplikationen nicht aus, er bestimmt nur die optimale Reihenfolge! Anwendungen: ermittle die optimale Ausführungsreihenfolge für eine Menge von Operationen Z.B. im ompilerbau: ode-optimierung Bei Datenbanken: Anfrageoptimierung. Zachmann Informatik 2 SS Dynamische Programmierung

4 /9/ Beispiel für A A 2 A n Alle vollständig geklammerten Matrizenprodukte der Folge A, A 2, A, A 4 sind: Klammerungen entsprechen strukturell verschiedenen Auswertungsbäumen: A A 4 A A 4 etc A A 2 A A 4 A A 2 A A 4 A 4 A 2 A A 4 A 4 A 2 A A A 2 A A 4 A A A 4 A 2 A A A 2. Zachmann Informatik 2 SS Dynamische Programmierung 7 Anzahl der verschiedenen Klammerungen P(n) sei die Anzahl der verschiedenen Klammerungen von A A k A k + A n : Definition: P(n +)=: n = n-te atalan'sche Zahl Es gilt (o. Bew.): P(n +)= 2n 4n 4 n n + n n πn + O n 5 Folge: Finden der optimalen Klammerung durch Ausprobieren aller Möglichkeiten ist sinnlos. Zachmann Informatik 2 SS Dynamische Programmierung 8 4

5 /9/ Die Struktur der optimalen Klammerung Bezeichne mit A i j das Produkt der Matrizen i bis j A i j ist eine p i- p j -Matrix Behauptung: Jede optimale Lösung des MMP enthält optimale Lösungen von Teilproblemen Anders gesagt: Jede optimale Lösung des MMP setzt sich zusammen aus optimalen Lösungen von bestimmten Teilproblemen. Zachmann Informatik 2 SS Dynamische Programmierung 9 Beweis (durch Widerspruch) Sei eine optimale Lösung so geklammert A i j = (A i k ) (A k+ j ), i k < j Behauptung: die Klammerung innerhalb A i k muß ihrerseits optimal sein Ann.: die Klammerung von A i k innerhalb der optimalen Lösung zu A i j sei nicht optimal Es gibt bessere Klammerung von A i k mit geringeren Kosten Setze diese Teillösung in Lösung zu A i j = (A i k ) (A k+ j ) ein Ergibt eine bessere Lösung für A i j Widerspruch zur Annahme der Optimalität der ursprünglichen Lösung zu A i j. Zachmann Informatik 2 SS Dynamische Programmierung 5

6 /9/ Eine rekursive Lösung Die optimalen Kosten können beschrieben werden als i = j Folge enthält nur eine Matrix, keine Kosten i < j kann geteilt werden, indem jedes k, i k < j betrachtet wird: Kosten für ein bestimmtes k = "Kosten links" + "Kosten rechts" + Kosten für die Matrix-Multiplikation (A i k ). (A k+ j ) Daraus lässt sich die folgende rekursive Regel ableiten: m[i,j] sei die minimale Anzahl von Operationen zur Berechnung des Teilprodukts A i j. Zachmann Informatik 2 SS Dynamische Programmierung Ein naiver rekursiver Algorithmus # Input p = Vektor der Array-rößen # Output m[i,j] = optimale Kosten für die # Multiplikation der Arrays i,.., j def mcm_rek( p, i, j ): if i = j: return m = for k in range( i,j ): q = p[i-]*p[k]*p[j] + \ mcm_rek( p, i, k ) + \ mcm_rek( p, k+, j ) if q < m: m = q return m Aufruf für das gesamte Problem: mcm_rek( p,, n ). Zachmann Informatik 2 SS Dynamische Programmierung 2

7 /9/ Laufzeit des naiven rekursiven Algorithmus' Sei T(n) die Anzahl der Operationen zur Berechnung von mcm_rek für Eingabefolge der Länge n Exponentielle Laufzeit! L. Zachmann Informatik 2 SS Dynamische Programmierung Formulierung mittels Dynamischer Programmierung Beobachtung: die Anzahl der Teilprobleme A i j n(n+) mit i j n ist nur Θ n 2 2 n Folgerung: der naive rekursive Algo berechnet viele Teilprobleme mehrfach! Idee: Bottom-up-Berechnung der optimalen Lösung: Speichere Teillösungen in einer Tabelle j n n i Daher "dynamische Programmierung" Welche Tabelleneinträge werden für m[i,j] benötigt? n n Hier: bottom-up = von der Diagonale nach "rechts oben" n. Zachmann Informatik 2 SS Dynamische Programmierung 4 7

8 /9/ Berechnungsbeispiel A : 5 A 2 : 5 5 A : 5 5 A 4 : 5 A 5 : 2 A : 2 25 p = (, 5, 5, 5,, 2, 25) j i m Zachmann Informatik 2 SS Dynamische Programmierung 5 ewinnung der optimalen Reihenfolge Speichere die Position für die beste Trennung, d.h., denjenigen Wert k, der zum minimalen Wert von m[i,j] führt Speichere dazu in einem zweiten Array s[i,j] dieses optimale k: s[i,j] wird nur für Folgen mit mindestens 2 Matrizen und j > i benötigt m s s[i,j] gibt an, welche Multiplikation zuletzt ausgeführt werden soll Für s[i,j] = k und die Teilfolge A i j ist es optimal, zuerst A i k, danach A k+ j und zum Schluss die beiden Teilergebnisse zu multiplizieren:. Zachmann Informatik 2 SS Dynamische Programmierung 8

9 /9/ Algorithmus mittels dynamischer Programmierung n = len(p) - for i in range(, n+ ): # assume m has dim (n+). (n+) m[i,i] = for L in range( 2,n+ ): # consider chains of length L for i in range(,n-l ): j = i+l- # len = L j-i = L- m[i,j] = for k in range( i,j ): q = m[i,k] + m[k+,j] + p[i-]*p[k]*p[j] if q < m[i,j]: m[i,j] = q s[i,j] = k Komplexität: es gibt geschachtelte Schleifen, die jeweils höchstens n-mal durchlaufen werden, die Laufzeit beträgt also O(n ). Zachmann Informatik 2 SS Dynamische Programmierung 7 Beispiel egeben: die Folge von Dimensionen (5, 4,, 2, 7) Multiplikation von A (5 4), A 2 (4 ), A ( 2) und A 4 (2 7) Optimale Folge ist ((A (A 2 A ))A 4 ) j 2 4 j A 4 A i s[i,j] 2 2 i 2 m[i,j] A 2 A A A 2 A 2 A 2 optimale Folge. Zachmann Informatik 2 SS Dynamische Programmierung 8 9

10 /9/ Die Technik der dynamischen Programmierung Rekursiver Ansatz: Lösen eines Problems durch Lösen mehrerer kleinerer Teilprobleme, aus denen sich die Lösung für das Ausgangsproblem zusammensetzt Häufiger Effekt: Mehrfachberechnungen von Lösungen Bottom-up-Berechnung: fügt Lösungen kleinerer Unterprobleme zusammen, um größere Unterprobleme zu lösen und liefert so eine Lösung für das gesamte Problem Methode: iterative Erstellung einer Tabelle. Zachmann Informatik 2 SS Dynamische Programmierung 9 Wichtige Begriffe Optimale Unterstruktur (optimal substructure): Ein Problem besitzt die (Eigenschaft der) optimalen Substruktur, bzw. gehorcht dem Prinzip der Optimalität : :. Die Lösung eines Problems setzt sich aus den Lösungen von Teilproblemen zusammen - Bsp. MMP: gesuchte Klammerung von A A n setzt sich zusammen aus der Klammerung einer (bestimmten) Teilkette A A k und einer Teilkette A k+ A n 2. Wenn die Lösung optimal ist, dann müssen auch die Teillösungen optimal sein! (meistens durch Widerspruchsbeweis) - Bsp. MMP: wir haben folgende Behauptung bewiesen: Falls Klammerung zu A A k nicht optimal Klammerung zu A A n (die gemäß Ann. die Teillsg zu A A k enthält) kann nicht optimal sein. Zachmann Informatik 2 SS Dynamische Programmierung 2

11 /9/ Achtung: die zweite Bedingung (Teillösungen müssen optimal sein) ist manchmal nicht erfüllt: Beispiel: längster Pfad durch einen raphen a b Aufgabe hier: bestimme längsten Pfad von a nach c d c Im Beispiel rechts: Lösung besteht aus Teilpfaden a b und b c Aber diese sind nicht optimale(!) Lösungen der entspr. Teilprobleme - Optimale (d.h., längste) Lösung für a b = a d c b. Zachmann Informatik 2 SS Dynamische Programmierung 2 Unabhängigkeit der Teillösungen: Die Teilprobleme heißen (im Sinne der Dyn. Progr.) unabhängig : : die Optimierung des einen Teilproblems beeinflußt nicht die Optimierung des anderen (z.b. bei der Wahl der Unterteilung) - Bsp. MMP: die Wahl der Klammerung für A A k ist völlig unabhängig von der Klammerung für A k+ A n - egenbsp. "längster Pfad": die optimale Lsg für a b (nämlich a d c b) nimmt der optimalen Lsg für b c Elemente weg a d b c. Zachmann Informatik 2 SS Dynamische Programmierung 22

12 /9/ Überlappende Teilprobleme: Ein Problem wird zerlegt in Unterprobleme, diese wieder in Unter- Unterprobleme, usw. Ab irgendeinem rad müssen dieselben Unter-Unterprobleme mehrfach vorkommen, sonst ergibt das DP wahrscheinlich keine effiziente Lösung - Bsp. MMP: Rekursionsbaum enthält viele überlappende Teilprobleme Zachmann Informatik 2 SS Dynamische Programmierung 2 Rekonstruktion der optimalen Lösung: Optimale Lösung für esamtproblem beinhaltet Schritte:. Entscheidung treffen zur Zerlegung des Problems in Teile 2. Optimalen Wert für Teilprobleme berechnen. Optimalen Wert für esamtproblem "zusammensetzen" Dynamische Programmierung berechnet zunächst oft nur den "Wert" der optimalen Lösung, aber gesucht ist i.a. der "Weg" zur optimalen Lösung - Bsp. MMP: gesucht ist die Klammerung an sich Übliche Methode: - Entscheidungen einfach speichern und diese in geeigneter Form ausgeben - Beispiel MMP: speichere Index k, der zum optimalen Wert führt, in 2-tem Array s m s. Zachmann Informatik 2 SS Dynamische Programmierung 24 2

13 /9/ Schritte zur dynamischen Programmierung. harakterisiere die (rekursive) Struktur der optimalen Lösung (Prinzip der optimalen Substruktur) 2. Definiere den Wert einer optimalen Lösung rekursiv. Transformiere die rekursive Methode in eine iterative bottom-up Methode, bei der alle Zwischenergebnisse in einer Tabelle gespeichert werden. Zachmann Informatik 2 SS Dynamische Programmierung 25 Das Rucksack-Problem (Knapsack Problem) Das Problem: "Die Qual der Wahl" Beispiel: ein Dieb raubt einen Laden aus; um möglichst flexibel zu sein, hat er für die Beute nur einen Rucksack dabei Im Laden findet er n egenstände; der i-te egenstand hat den Wert v i und das ewicht w i Sein Rucksack kann höchstens das ewicht c tragen w i und c sind ganze Zahlen(!) (die v i können aus sein) Aufgabe: welche egenstände sollten für den maximalen Profit gewählt werden?. Zachmann Informatik 2 SS Dynamische Programmierung 2

14 /9/ Beispiel Rucksack = = 8 = 22 Fazit: es ist keine gute Strategie, das Objekt mit dem besten Verhältnis Profit/ewicht als erstes zu wählen. Zachmann Informatik 2 SS Dynamische Programmierung 27 Einige Varianten des Knapsack-Problems Fractional Knapsack Problem: Der Dieb kann Teile der egenstände mitnehmen Lösungsalgo später (mit reedy-strategie) - Knapsack Problem: Binäre Entscheidung zwischen und : jeder egenstand wird vollständig genommen oder gar nicht Formale Problemstellung: x i = / : egenstand i ist (nicht) im Rucksack. Zachmann Informatik 2 SS Dynamische Programmierung 28 4

15 /9/ Die rekursive Lösung Betrachte den ersten egenstand i=; es gibt zwei Möglichkeiten:. Der egenstand wird in den Rucksack gepackt (x =) Rest-Problem: 2. Der egenstand wird nicht in den Rucksack gepackt (x =) Rest-Problem: Berechne beide Fälle, wähle den besseren. Zachmann Informatik 2 SS Dynamische Programmierung 29 Der Rekursionsbaum vorhandene Rest-Kapazität Wert des Rucksacks c Objekt c c - w v 2 c c - w 2 v 2 c - w v c - w - w 2 v + v 2 c c - w v c - w v c - w - w v + v. Zachmann Informatik 2 SS Dynamische Programmierung 5

16 /9/ Sei V(i,k) = der maximal mögliche Wert für die egenstände i, i+,, n bei gegebener max. Kapazität k V(i,k) kann dann für i n geschrieben werden als i = n w n > k v n V (i, k) = V (i +,k) V (i +,k), max v i + V (i +,k w i ) i = n w n k i < n w i > k i < n w i k. Zachmann Informatik 2 SS Dynamische Programmierung Beispiel: n = 5, c =, w = (2, 2,, 5, 4), v = (,, 5, 4, ) V(,) V(2,) V(2,8) V(,) V(,8) V(,8) V(,) gleiches Unterproblem Algorithmus, basierend auf diesen 4 Fällen, hat Laufzeit von O(2 n ) Ist ineffizient, denn V(i,k) wird für die gleichen i und k mehrmals berechnet dynamic programming. Zachmann Informatik 2 SS Dynamische Programmierung 2

17 /9/ Lösung mittels Dynamischer Programmierung Ineffizienz kann vermieden werden, indem alle V(i,k), einmal berechnet, in einer Tabelle gespeichert werden Die Tabelle wird in der Reihenfolge i = n, n-,, 2, für k c gefüllt k 2 j- j j+ c V(n, k) v n v n v n j ist das erste k mit w n k. Zachmann Informatik 2 SS Dynamische Programmierung Beispiel n = 5, c =, w = (2, 2,, 5, 4), v = (, (2,, 5, 4, ) i k Zachmann Informatik 2 SS Dynamische Programmierung 4 7

18 /9/ (Re-)konstruktion der Lösung n = 5, c =, w = (2, 2,, 5, 4), v = (2,, 5, 4, ) x = [,,,,] oder x = [,,,,] i k Zachmann Informatik 2 SS Dynamische Programmierung 5 Bemerkungen Aufwand: O(n c), c = Kapazität des Rucksacks Solche Komplexitäten nennt man auch pseudo-polynomial time Dabei erscheint nicht (nur) die Länge des Inputs, sondern (auch) dessen Wert in der Komplexitätsfunktion! Achtung: dieser Algorithmus klappt nur, wenn c und die w i Integers sind! Falls c oder die w i keine Integers sind, dann ist das Problem "NPvollständig", und es gibt (wahrscheinlich) keinen polynomiellen Algorithmus. Zachmann Informatik 2 SS Dynamische Programmierung 8

19 /9/ Die längste gemeinsame Teilfolge Seien X = (x,, x m ) und Y = (y,, y n ) zwei Folgen, wobei x i, y i A für ein endliches Alphabet A. Dann heißt Y Teilfolge von X, wenn es aufsteigend sortierte Indizes i,, i n gibt, mit x ij = y j für j =,, n Beispiel: Y = BA ist Teilfolge von X = ABAAB; wähle (i, i 2, i, i 4 ) = (2,4,5,7) Sind X, Y, Z Folgen über A, so heißt Z gemeinsame Teilfolge von X und Y, wenn Z Teilfolge sowohl von X als auch Y ist Beispiel: Z = BA ist gemeinsame Teilfolge von X = ABAAB und Y = BAABB. Zachmann Informatik 2 SS Dynamische Programmierung 7 Z heißt längste gemeinsame Teilfolge von X und Y, wenn Z gemeinsame Teilfolge von X und Y ist und es keine andere gemeinsame Teilfolge von X und Y gibt, die länger ist Beispiel: Z = BA ist nicht längste gemeinsame Teilfolge von X =ABAAB und Y = BAABB, denn BAA ist eine längere gemeinsame Teilfolge von X und Y Beim Problem Längste-emeinsame-Teilfolge (longest-commonsubsequence problem, LSP) sind als Eingabe zwei Folgen X = (x,, x m ) und Y = (y,, y n ) gegeben, gesucht ist eine längste gemeinsame Teilfolge X und Y Anwendung: "Distanz" zwischen Strings messen (Edit-Distanz). Zachmann Informatik 2 SS Dynamische Programmierung 8 9

20 /9/ Ein naiver Algorithmus Für jede mögliche Unterfolge von X: prüfe ob es eine Unterfolge von Y ist Laufzeit: Θ(n 2 m ) Es gibt 2 m mögliche Unterfolgen von X Für jede Unterfolge wird Zeit Θ(n) benötigt, um zu überprüfen, ob diese Unterfolge von Y ist: - Scanne Y, "verbrauche" jeweils den nächsten Buchstaben von X, falls er passt - X ist Unterfolge von Y, wenn am Ende von Y kein Zeichen von X mehr übrig ist. Zachmann Informatik 2 SS Dynamische Programmierung 9 Die Struktur des LSP Definition: sei X = (x,, x m ) eine beliebige Folge. Für i =,,, m ist der i-te Präfix von X definiert als X i = (x,, x i ). Der i-te Präfix von X besteht also aus den ersten i Symbolen von X, der -te Präfix ist die leere Folge.. Zachmann Informatik 2 SS Dynamische Programmierung 4 2

21 /9/ Satz: Seien X = (x,, x m ) und Y = (y,, y n ) beliebige Folgen und sei Z = (z,, z k ) eine längste gemeinsame Teilfolge von X und Y. Dann gilt eine der folgenden drei Aussagen:. Ist x m = y n, dann ist z k = x m = y n, und Z k- ist eine längste gemeinsame Teilfolge von X m- und Y n- 2. Ist x m y n und z k x m, dann ist Z eine längste gemeinsame Teilfolge von X m- und Y. Ist x m y n und z k y n, dann ist Z eine längste gemeinsame Teilfolge von X und Y n-. Zachmann Informatik 2 SS Dynamische Programmierung 4 Beweis Fall (x m = y n ):. Jede gemeinsame Teilfolge Z', die nicht mit z ' l = x m = y n endet, kann verlängert werden, indem x m = y n angefügt wird die LS Z muß mit x m = y n enden; 2. Z k- ist längste gemeinsame Teilfolge von X m- und Y n-, denn es gibt keine längere gemeinsame Teilfolge von X m- und Y n-, oder Z wäre keine längste gemeinsame Teilfolge. Fall 2 (x m y n und z k x m ): Da Z nicht mit x m endet Z ist gemeinsame Teilfolge von X m- und Y; daher gibt es keine längere gemeinsame Teilfolge von X m- und Y, oder Z wäre keine längste gemeinsame Teilfolge. Zachmann Informatik 2 SS Dynamische Programmierung 42 2

22 /9/ Eine Rekursion für die Länge der LS Lemma: Sei c[i,j] die Länge einer längsten gemeinsamen Teilfolge des i-ten Präfix X i von X und des j-ten Präfix Y j von Y, dann gilt falls i = j = c[i, j] = c[i, j ] + falls i, j > x i = y j max{c[i, j], c[i, j ]} falls i, j > x i = y j Beobachtung: Die rekursive Berechnung der c[m,n] würde immer wieder zur Berechnung derselben Werte führen! Also dynamische Programmierung: berechne die Werte c[i,j] iterativ bottom-up, z.b. zeilenweise Zusätzlich: speichere in b[i,j] Informationen zur späteren (Re-) Konstruktion einer längsten gemeinsamen Teilfolge. Zachmann Informatik 2 SS Dynamische Programmierung 4 Beispiel falls α leer oder β leer c[präfix α, präfix 2 β]= c[präfix, präfix 2 ] + falls end(α) =end(β) max{c[präfixα, präfix 2 ], c[präfix, präfix 2 β]} falls end(α) = end(β) c[springtime, printing] c[springtim, printing] c[springtime, printin] c[springti, printing] c[springtim, printin] c[springtim, printin] c[springtime, printi] c[springt, printing] c[springti, printin] c[springtim, printi] c[springtime, print]. Zachmann Informatik 2 SS Dynamische Programmierung 44 22

23 /9/ Berechnung der Werte c[i,j] def lcs_length( x, y ): for i in range(, len(x) ): c[i,] = for j in range(, len(y) ): c[,j] = for i in range(, len(x) ): for j in range(, len(y) ): if x[i] == y[j]: c[i,j] = c[i-,j-] + b[i,j] = "NW" else: if c[i-,j] >= c[i,j-]: c[i,j] = c[i-,j] b[i,j] = "N" else: c[i,j] = c[i,j-] b[i,j] = "W" return b, c. Zachmann Informatik 2 SS Dynamische Programmierung 45 Beispiele für die Tabellen c[i,j] und b[i,j] j i y j B D A B A x i A 2 B 4 B 5 D A 7 B b c. Zachmann Informatik 2 SS Dynamische Programmierung 4 2

24 /9/ Laufzeit Lemma: Der Algorithmus lcs_length hat die Laufzeit O(nm), wenn die Folgen X und Y die Längen n bzw. m haben.. Zachmann Informatik 2 SS Dynamische Programmierung 47 Verwandte Probleme Es gibt viele Probleme, die sehr ähnlich zum LSP sind Z.B. die Edit-Distanz (ein anderes Maß für den Abstand/Distanz 2-er Strings): egeben 2 Strings A, B Aufgabe: welches ist die minimale Folge von elementaren Editieroperationen, um A in B zu überführen? Zugelassene Operationen: Zeichen löschen und einfügen Beispiele: springtime ncaa tournament basketball printing north carolina krzyzewski. Zachmann Informatik 2 SS Dynamische Programmierung 48 24

25 /9/ Approximative Stringsuche: egeben Text T und String S Finde dasjenige Teilstück T[i:j], das am ähnlichsten zu S ist (von allen anderen Teilstücken T[i':j']) Anwendungen: DNA-Sequence-Alignment, oogle, Spell-hecker. Zachmann Informatik 2 SS Dynamische Programmierung 49 Memoisierung im Top-down-Ansatz "Memo" = edächtnis Üblicherweise ist Formulierung der optimalen Lösung rekursiv, aber Algorithmus geht bottom-up vor Memoization [sic] = Technik in der dynamischen Programmierung, falls ein Bottom-up-Algorithmus nicht klar ist Notizblock-Methode zur Beschleunigung einer rekursiven Problemlösung: Algo bleibt rekursiv Ein Teilproblem wird nur beim ersten Auftreten gelöst Die Lösung wird in einer Tabelle (z.b. Hash Table) gespeichert und bei jedem späteren Auftreten desselben Teilproblems (d.h., rekursiver Aufruf mit denselben Parametern) wird die Lösung (ohne erneute Rechnung!) in der Tabelle nachgeschlagen. Zachmann Informatik 2 SS Dynamische Programmierung 5 25

26 /9/ Beispiel: MMP mittels Memoisierung def mcm_mem_rek( p, i, j ): if i == j: return if m[i,j] < : return m[i,j] for k in range( i,j ): q = p[i-]*p[k]*p[j] + \ mcm_rek(p,i,k) + \ mcm_rek(p, k+, j) if q < m[i,j]: m[i,j] = q return m[i,j] # check first, # if already computed def mcm_mem( p ): for i in range(, len(p)+ ): for j in range(, len(p)+ ): m[i,j] = return mcm_mem_rek( p,, len(p)- ) # z.b. maxint. Zachmann Informatik 2 SS Dynamische Programmierung 5 Aufwand Behauptung: Zur Berechnung aller Einträge m[i,j] mit Hilfe von mcm_mem_rek genügen insgesamt O(n ) Schritte Beweis: O(n 2 ) Einträge jedes Element m[i,j] wird einmal eingetragen j n i n jeder Eintrag m[i,j] wird zur Berechnung von weniger als 2n weiteren Einträgen m[i',j'] herangezogen, wobei i = i' j < j' oder i > i' j= j' Bemerkungen zum MMP Es gibt einen Algorithmus mit linearer Laufzeit O(n), der eine Klammerung mit Multiplikationsaufwand.55. M opt findet Es gibt einen Algorithmus mit Laufzeit O(n log n), der eine optimale Klammerung findet. Zachmann Informatik 2 SS Dynamische Programmierung 52 2

27 /9/ Zusammenfassung Dynamische Programmierung = Algorithmenentwurfstechnik, die oft bei Optimierungsproblemen angewandt wird Man muß eine Menge von Entscheidungen treffen, die Bedingungen unterliegen, um eine optimale (min. / max.) Lösung zu erlangen Es kann verschiedene Lösungswege geben Allgemein einsetzbar bei rekursiven Verfahren, wenn Teillösungen (von Unterproblemen) mehrfach benötigt werden Lösungsansatz: Tabellieren von Teilergebnissen Vergleich mit Divide-and-onquer: Ähnlich: DP berechnet Lösung eines Problems aus Lösungen von Teilproblemen Anders: Teilprobleme werden oft nicht rekursiv gelöst sondern iterativ, beginnend mit den Lösungen der kleinsten Teilprobleme (bottom-up). Zachmann Informatik 2 SS Dynamische Programmierung 5 Zwei verschiedene Ansätze Bottom-up + kontrollierte effiziente Tabellenverwaltung, spart Zeit + spezielle optimierte Berechnungsreihenfolge, spart Platz - weitgehende Umcodierung des Originalprogramms erforderlich - möglicherweise Berechnung nicht benötigter Werte Top-down (Memoisierung, Notizblockmethode) + Originalprogramm wird nur gering oder nicht verändert + nur tatsächlich benötigte Werte werden berechnet - eventuell unnötige rekursive Aufrufe - Tabellengröße oft nicht optimal. Zachmann Informatik 2 SS Dynamische Programmierung 54 27