WS18 Algorithmen und Datenstrukturen 11. Kapitel Dynamische Programmierung

Transkript

1 WS18 Algorithmen und Datenstrukturen 11. Kapitel Dynamische Programmierung Martin Dietzfelbinger Januar 2019 FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11

2 Kapitel 11: Dynamische Programmierung (DP) Algorithmenparadigma für Optimierungsprobleme. Typisch: Definiere (viele) Teilprobleme (einer Instanz) Identifiziere einfache Basisfälle Formuliere eine Version der Eigenschaft Substrukturen optimaler Strukturen sind optimal Finde Rekursionsgleichungen für Werte optimaler Lösungen: Bellman sche Optimalitätsgleichungen Berechne optimale Werte (und Strukturen) iterativ FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 1

3 11.1 Das All-Pairs-Shortest-Paths-Problem Zentrales Beispiel: Das APSP-Problem. Kürzeste Wege zwischen allen Knoten. Eingabe: Gerichteter Graph G = (V, E, c) mit V = {1,..., n} und E {(v, w) 1 v, w n, v w}. c: E R {+ }: Gewichts-/Kosten-/Längenfunktion. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 2

4 Länge eines Kantenzugs p = (v = v 0, v 1,..., v r = w) ist c(p) = c(v s 1, v s ). 1 s r Gesucht: für alle (v, w), 1 v, w n: Kantenzug von v nach w mit minimalem c(p) ( kürzester Weg ). Hier: Algorithmus von Floyd-Warshall. Wir verlangen: Es darf keine Kreise mit negativem Gesamtgewicht geben: ( ) v = v 0, v 1,..., v r = v Kreis 1 s r c(v s 1, v s ) 0. Grund: Wenn es einen negativen Kreis von v nach v gibt, und irgendein Weg von v nach w existiert, dann gibt es Kantenzüge von v nach w mit beliebig stark negativer Länge die Frage nach einem kürzesten Weg ist sinnlos. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 3

5 Konsequenzen: (1) Wenn p Kantenzug von v nach w ist, dann existiert auch (einfacher) Weg p von v nach w mit c(p ) c(p). Grund: ((u,..., u)-segmente aus p herausschneiden, gegebenenfalls wiederholt. Hierdurch kann sich der Kantenzug nicht verlängern.) (2) Wenn es einen Kantenzug von v nach w gibt, dann auch einen mit minimaler Länge (einen kürzesten Weg ). Grund: Wegen (1) muss man nur (einfache) Wege (mit nicht mehr als n 1 Kanten) betrachten; davon gibt es nur endlich viele. Es kann aber mehrere kürzeste Wege von v nach w geben. (Wege und eventuell auch Kantenzüge mit Kreisen der Länge 0.) Zunächst: Suche Länge S(v, w) eines kürzesten Weges von v nach w, für alle v, w V. (, falls nicht existent.) Ausgabe: Matrix S = (S(v, w)) 1 v,w n. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 4

6 O. B. d. A.: E = V V {(v, v) v V } Nicht vorhandene Kanten (v, w) werden mit c(v, w) = repräsentiert. Erster Schritt: Identifiziere geeignete Teilprobleme. Gegeben ein k, 0 k n, betrachte Wege von v nach w, die unterwegs (also vom Start- und Endpunkt abgesehen) nur Knoten in {1,..., k} besuchen. k = 0: Kein Knoten darf unterwegs besucht werden; es handelt sich nur um die Kanten (v, w) mit c(v, w) <, oder um Wege (v, v) der Länge 0. k = 1: Es kommen nur Wege in Frage, die aus der Kante (v, w) bestehen oder aus den Kanten (v, 1) und (1, w). usw. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 5

7 S(v, w, k) := Länge eines kürzesten Weges von v nach w, der nur Zwischenknoten in {1,..., k} benutzt. ( =, falls kein solcher Weg existiert.) Beispiel: (Die nicht eingezeichneten Kanten haben Länge.) S(2,4,0) = S(2,4,1) = 5 S(2,4,2) = 5 monoton fallend S(2,4,3) = 2 FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 6

8 Bellman sche Optimalitätsgleichungen : Betrachte Weg p von v nach w; dabei seien die Zwischenknoten v 1,..., v l 1 aus {1,..., k}: v v 1 v 2 v l 1 w Angenommen, dieser Weg ist optimal. Der Knoten k kommt nur einmal oder gar nicht vor. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 7

9 1) Falls der Knoten k auf dem Weg nicht vorkommt, ist p für Zwischenknoten 1,..., k 1 optimal. 2) Falls der Knoten k auf p vorkommt, zerfällt p in zwei Teile v k k w }{{} Zwischenknoten k 1 }{{} Zwischenknoten k 1 die beide bezüglich der Zwischenknotenmenge {1,..., k 1} optimal sind (sonst könnte ein Teilweg durch einen billigeren ersetzt werden, Widerspruch zur Optimalität von p). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 8

10 Punkte 1) und 2) drücken aus, dass Substrukturen (Teilwege) einer optimalen Lösung (kürzester Weg) selbst wieder optimal sind, für ein anderes Teilproblem. Die Bellman schen Optimalitätsgleichungen für den Algorithmus von Floyd-Warshall lauten dann: S(v, w, k) = min{s(v, w, k 1), S(v, k, k 1) + S(k, w, k 1)}, für 1 v, w n, 1 k n. Basisfälle: S(v, v, 0) = 0. S(v, w, 0) = c(v, w), für v w. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 9

11 Wir beschreiben einen iterativen Algorithmus. Zur Aufbewahrung der Zwischenergebnisse benutzen wir ein Array S[1..n,1..n,0..n], das durch S[v,w,0] c(v, w), 1 v, w n, v w; S[v,v,0] 0, 1 v n initialisiert wird. Unser Algorithmus füllt das Array S gemäß wachsendem k aus: for k from 1 to n do for v from 1 to n do for w from 1 to n do S[v,w,k] min{s[v,w,k-1], S[v,k,k-1] + S[k,w,k-1]}. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 10

12 Korrektheit: Folgt aus der Vorüberlegung. Es werden genau die Werte S(v, w, k) gemäß den Bellman schen Optimalitätsgleichungen berechnet. Laufzeit: Drei geschachtelte Schleifen: Θ(n 3 ). Bei dieser simplen Implementierung wird noch Platz verschwendet, da für den k-ten Schleifendurchlauf offenbar nur die (k 1)-Komponenten des Arrays S benötigt werden. Man überlegt sich leicht, dass man mit zwei Matrizen auskommt, eine alte ((k 1)-Version) und eine neue (k-version), zwischen denen jeweils passend umzuschalten ist. Der Platzaufwand beträgt dann O(n 2 ), der Zeitbedarf O(n 3 ). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 11

13 Dieser Spezialfall des Ansatzes dynamische Programmierung lässt noch eine weitere Verbesserung zu. Es gilt ( ) S(v, k, k) = S(v, k, k 1) und S(k, w, k) = S(k, w, k 1), für 1 v, w, k n, da der Knoten k auf einem Weg von v nach k bzw. von k nach w nicht im Innern vorkommen kann. Man braucht dann kein altes und neues Array, und erhält mit einem zweidimensionalen Array S[1..n,1..n]: S[v,v] 0; S[v,w] c(v, w), für 1 v, w n, v w; for k from 1 to n do for v from 1 to n do for w from 1 to n do S[v,w] min{s[v,w], S[v,k] + S[k,w]}. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 12

14 Wollen nicht nur die Kosten des kürzesten Weges wissen, sondern auch zu gegebenen v, w diesen Weg konstruieren können. Hierfür: Hilfsarray I[1..n,1..n], in dem durch die Runden k = 0, 1,..., n hindurch für jedes Paar (v, w) die folgende Information gehalten wird: Was ist der Knoten mit der größten Nummer, der für die Konstruktion eines Weges von v nach w der Länge S(v, w, k) benötigt worden ist? Dies liefert den Floyd-Warshall-Algorithmus. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 13

15 Algorithmus Floyd-Warshall(C[1..n,1..n]) Eingabe: C[1..n,1..n]: Matrix der Kantenkosten/längen Ausgabe: S[1..n,1..n]: Kosten S(v, w) der kürzesten Wege I[1..n,1..n]: minimale max. Knoten auf kürzesten (v, w)-wegen (1) for v from 1 to n do (2) for w from 1 to n do (3) if v = w then S[v,w] 0; I[v,w] 0 (4) else S[v,w] C[v,w]; (5) if S[v,w] < then I[v,w] 0 else I[v,w] 1; (6) for k from 1 to n do (7) for v from 1 to n do (8) for w from 1 to n do (9) if S[v,k] + S[k,w] < S[v,w] then (10) S[v,w] S[v,k] + S[k,w]; I[v,w] k; (11) Ausgabe: S[1..n,1..n] und I[1..n,1..n]. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 14

16 Korrektheit: Es gilt folgende Schleifeninvariante: Nach dem Schleifendurchlauf k ist S[v, w] = S(v, w, k). (Beweis durch vollständige Induktion, unter Ausnutzung der Bellman- Gleichungen und von ( ).) Zudem: I[v, w] ist das kleinste l mit der Eigenschaft, dass es unter den kürzesten Wegen von v nach w über 1,..., k einen gibt, dessen maximaler Eintrag l ist. (Beweis durch Induktion über k.) Ein kürzester Weg von v nach w kann dann ausgehend von I[1..n,1..n] mit einer einfachen rekursiven Prozedur printpathinner gefunden werden. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 15

17 11.1.1a Algorithmus printpathinner(v, w) Global: I[1..n,1..n]: Matrix der maximalen inneren Knoten Eingabe: v, w V Ausgabe: über Printfunktion (1) if v w then (2) k I[v,w]; (3) if k > 0 then (4) printpathinner(u, k); print(k); printpathinner(k, w); b Algorithmus printpath(v, w) Global: I[1..n,1..n]: Matrix der maximalen inneren Knoten Eingabe: v, w V Ausgabe: über Printfunktion (1) if v = w (2) then print(v, Länge 0 ) (3) else if I[v,w] < 0 then print( kein Weg ) (4) else print(v); printpathinner(v, w); print(w); Übung: Man führe dies an einem Beispiel durch. Wieso ist die Ausgabe korrekt? FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 16

18 Satz Der Algorithmus von Floyd-Warshall löst das All-Pairs- Shortest-Paths-Problem in Zeit O(n 3 ) und Platz O(n 2 ). Das Ergebnis ist eine Datenstruktur der Größe O(n 2 ), mit der sich zum Argument (v, w) ein kürzester Weg von v nach w in Zeit O(#(Kanten auf dem Weg)) ausgeben lässt. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 17

19 11.2 Editierdistanz Problemstellung: Sei Σ ein Alphabet. Beispiele: Lateinisches Alphabet, ASCII-Alphabet, {A,C,G,T}. Wenn x = a 1... a m Σ und y = b 1... b n Σ zwei Zeichenreihen über Σ sind, möchte man herausfinden, wie ähnlich (oder unähnlich) sie sind. Freizeit und Arbeit sind nicht identisch, aber intuitiv einander ähnlicher als Informatik und Schwimmen. Wie messen? Wir definieren Elementarschritte (Editier-Operationen), die einen String verändern: FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 18

20 Lösche einen Buchstaben aus einem String: Aus uav wird uv (u, v Σ, a Σ) Beispiel: Haut Hut Füge einen Buchstaben in einen String ein: Aus uv wird uav (u, v Σ, a Σ) Beispiel: Hut Haut Ersetze einen Buchstaben: Aus uav wird ubv (u, v Σ, a, b Σ) Haut Hast FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 19

21 Der Abstand oder die Editierdistanz d(x, y) von x und y ist die minimale Anzahl von Editieroperationen, die benötigt werden, um x in y zu transformieren. Überlege: Äquivalenz Transformation/Zuordnung: F r e i z e i t A r b - - e i t Man schreibt Strings aus Buchstaben und dem Sonderzeichen - untereinander, wobei die beiden Zeilen jeweils das Wort x bzw. y ergeben, wenn man die - s ignoriert. Die Kosten einer solchen Anordnung: Die Anzahl der Positionen, an denen die Einträge nicht übereinstimmen. Die minimalen Kosten, die eine solche Anordnung erzeugt, sind gleich der Editierdistanz. (Im Beispiel: 4.) FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 20

22 Input: x = a 1... a m, y = b 1... b n. Aufgabe: Berechne d(x, y) (und eine Editierfolge, die x in y transformiert). Ansatz: Dynamische Programmierung Unser Beispiel: x = Exponentiell und y = Polynomiell. Relevante Teilprobleme identifizieren! Betrachte Präfixe x[1..i] = a 1... a i und y[1..j] = b 1... b j. E(i, j) := d(x[1..i], y[1..j]), für 0 i m, 0 j n. Beispiel: E(7, 6): Berechne d(exponen, Polyno). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 21

23 Um von x[1..i] = a 1... a i gegenüber y[1..j] = b 1... b j optimal anzuordnen, gibt es drei Möglichkeiten: 1. Fall 2. Fall 3. Fall x[1..i 1] a i x[1..i 1] a i x[1..i] ε y[1..j 1] b j y[1..j] ε y[1..j 1] b j 1. Fall: die letzte Stelle kostet diff(a i, b j ) = [a i b j ] = 1 falls a i b j, und = 0 falls a i = b j ; x[1..i 1] und y[1..j 1] sind einander optimal zuzuordnen: d(x[1..i], y[1..j]) = d(x[1..i 1], y[1..j 1]) + diff(a i, b j ). 2. Fall: die eine unpassende Stelle kostet 1; x[1..i 1] und y[1..j] sind einander optimal zuzuordnen: d(x[1..i], y[1..j]) = 1 + d(x[1..i 1], y[1..j]). 3. Fall: analog Fall 2: d(x[1..i], y[1..j]) = 1 + d(x[1..i], y[1..j 1]). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 22

24 Zusammengefasst: Bellman sche Optimalitätsgleichungen für Editierdistanz: E(i, j) = min{e(i 1, j 1)+diff(a i, b j ), 1+E(i 1, j), 1+E(i, j 1)}. Der Induktionsanfang wird von den leeren Präfixen ε = x[1..0] und ε = y[1..0] definiert. Es ist klar, dass d(ε, y[1..j]) = j und d(x[1..i], ε) = i ist (man muss alle Buchstaben einfügen bzw. streichen). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 23

25 Die Zahlen E(i, j) tragen wir in eine Matrix E[0..m,0..n] ein: Initialisierung: E[0,j] j, für j = 0,..., n. E[i,0] i, für i = 0,..., m. Dann füllen wir die Matrix (z. B.) zeilenweise aus, genau nach den Bellman schen Optimalitätsgleichungen: for i from 1 to m do for j from 1 to n do E[i,j] min{e[i-1,j-1] + diff(a i, b j ), 1 + E[i-1,j], 1 + E[i,j-1]}; return E[m,n]. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 24

26 E P o l y n o m i e l l E x p o n e n t i e l l FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 25

27 Rot, unterstrichen: die Positionen (i, j) mit a i = b j. Für die Arbeit von Hand ist es bequem, in die Matrix zuerst die Werte diff(a i, b j ) einzutragen! Ermittlung der Editier-Operationen Gegeben x und y, möchte man nicht nur die Editierdistanz d(x, y), sondern auch die Schritte einer möglichst kurzen Transformation ermitteln, die x in y überführt. Wenn die Matrix E[0..m,0..n] vorliegt, die alle Werte E(i, j) enthält, ist das leicht: FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 26

28 Wir wandern einen Weg von (m, n) nach (0, 0). Dabei gehen wir von (i, j) nach (1) (i 1, j 1), falls E(i, j) = E(i 1, j 1) + diff(a i, b j ), (2) (i 1, j), falls E(i, j) = 1 + E(i 1, j), (3) (i, j 1), falls E(i, j) = 1 + E(i, j 1). Wenn mehr als eine Gleichung zutrifft, können wir einen der möglichen Schritte beliebig wählen. Der so gefundene Weg endet in (0, 0). FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 27

29 Den so ermittelten Weg lesen wir dann (weil wir von links nach rechts lesen) rückwärts, also von (0, 0) nach (m, n) laufend. Er repräsentiert in offensichtlicher Weise einer Transformation von x in y, wobei man Buchstaben gleich lässt, ersetzt, einfügt oder löscht. (1) (i 1, j 1) (i, j) entspricht einem identischen Buchstaben oder einer Ersetzung an Stelle i; (2) (i 1, j) (i, j) entspricht dem Streichen von a i ; (3) (i, j 1) (i, j) entspricht dem Einfügen von b j. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 28

30 Im Beispiel: (0, 0) (1, 1) (2, 2) (3, 3) (4, 4) (5, 5) (6, 6) (7, 6) (8, 7) (9, 8) (10, 9) (11, 10) (12, 11). Dies führt zu der folgenden Zuordnung, wobei die sieben kostenpflichtigen Positionen rot markiert sind: E x p o n e n t i e l l P o l y n o - m i e l l FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 29

31 Weiteres Beispiel, mit Streichungen und Einfügungen: x = speziell und y = beliebig. Ausfüllen der Matrix liefert: E b e l i e b i g s p e z i e l l Rot, unterstrichen: die Positionen (i, j) mit a i = b j. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 30

32 Zurückverfolgen liefert nach Umdrehen zum Beispiel die folgende Transformationsfolge: (0, 0) (1, 1) (2, 1) (3, 2) (4, 3) (5, 4) (6, 5) (6, 6) (7, 7) (8, 8). Dies führt zu der folgenden Zuordnung, wobei die sechs kostenpflichtigen Positionen rot markiert sind: s p e z i e - l l b - e l i e b i g Es gibt hier auch andere Zuordnungen, und damit andere kürzeste Transformationsfolgen, etwa s p e z i e l l - - b e l i e b i g. FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 31

33 Schönen Dank für Ihre Aufmerksamkeit! Beste Erfolge in der Prüfung! FG KTuEA, TU Ilmenau Algorithmen und Datenstrukturen 1 WS 2018/19 Kapitel 11 32