Algorithmen und Datenstrukturen I - Strategien der algorithmischen Problemlösung -

Transkript

1 Algorithmen und Datenstrukturen I - Strategien der algorithmischen Problemlösung - Thies Pfeiffer Technische Fakultät tpfeiffe@techfak.uni-bielefeld.de Vorlesung, Universität Bielefeld, Winter 2012/ / 104

2 Kapitel 4 - Strategien der algorithmischen Problemlösung 1 Strategien 2 Strukturelle Rekursion 3 Divide and Conquer 4 Brute Force 5 Greedy 6 Dynamische Programmierung 2 / 104

3 Kapitel 4: Strategien der algorithmischen Problemlösung Ziele des Kapitels Hier werden an einfachen Beispielen verschiedene Strategien erklärt, die zur Lösung eines wohldefinierten algorithmischen Problems benutzt werden können. In diesem Kapitel nehmen wir an, dass wir die Probleme der Modellierung (Kapitel 2) bereits erfolgreich hinter uns gelassen haben. 3 / 104

4 Unsere Beispiele sind einfach, um die Strategien in Reinform darzustellen. Für umfangreichere Aufgaben werden in der Regel Kombinationen und Mischformen der Strategien eingesetzt. Die Nutzung dieser Strategien ist vergleichbar mit dem Dreisatz: Wer das Rechnen mit Proportionen einmal verstanden hat, wendet bei Bedarf eine Variante des Dreisatzes an, ohne explizit an ein Schema zu denken. Zusammen mit den Strategien betrachten wir auch den Rechenaufwand, den sie erfordern. Dies allerdings nur intuitiv eine mathematische Behandlung wird später nachgeholt. 4 / 104

5 Eine einfache Aufwandsabschätzung für Arithmetik Zum Aufwand A[... ] für Arithmetik: Wir nehmen an: A[ + ] = A[ (x + y) ] x, y N 5 / 104

6 Eine einfache Aufwandsabschätzung für Arithmetik Zum Aufwand A[... ] für Arithmetik: Wir nehmen an: A[ + ] = A[ (x + y) ] x, y N Diese Annahme ist eine starke Vereinfachung Sie gilt auf dem Computer für das Rechnen in einem beschränkten Zahlenbereich (32 Bit, 64 Bit) Sie gilt nicht für uns für den Computer beim Rechnen mit beliebig großen Zahlen (In Haskell: Typ Int versus Typ Integer.) 6 / 104

7 Eine einfache Aufwandsabschätzung für Arithmetik Rechnen mit großen Zahlen hat wichtige Anwendungen, z.b. in der Verschlüsselungstechnik. Rechenaufwand hängt auch vom Zahlsystem ab. Dezimal: = 21 (3 A[ + Ziffer ]) Binär: = (9 A[ + Ziffer ]) Unär: = (17 A[ 1 ]) 7 / 104

8 Eine einfache Aufwandsabschätzung für Arithmetik Leibniz hat als Erster die Binärzahlen beschrieben und bemerkt, dass durch diese Zahldarstellung das kleine und 1 1 einfacher werden, die Zahlen und damit die Rechnungen länger werden. Er hielt die Binärzahlen für elegant, aber unpraktisch. 8 / 104

9 Ausrechnen von Formeln Ausrechnen von Formeln Der einfachste Fall ist das Ausrechnen von Formeln. Die Modellierung hat schon ganze Arbeit geleistet und fertige Formeln für die Lösung aufgestellt: Beispiel: Tübinger Parkplatz Variante 1: Variante 2: r(p, m) = 4p + 2m p(n, r) = r 2n 2 m(n, r) = n r 2n 2 9 / 104

10 Ausrechnen von Formeln Betrachtet man arithmetische Grundoperationen als einen Rechenschritt, sieht man leicht: A[ r(p, m) ] = 3, A[ p(n, r) ] = 3, A[ m(n, r) ] = 4 Die Lösung der Variante 2 erfordert so 7 Schritte es geht aber auch mit 4: r 2n p(n, r) = 2 =: P m(n, r) = n P 10 / 104

11 Lösungsansätze Probleme, deren Lösungen sich allgemein als fertige Formeln beschreiben lassen, sind zugleich die einfachsten Aufgaben. Das ganze Problem wird auf einen Schlag gelöst. Meistens jedoch müssen Aufgaben erst in Teilaufgaben zergliedert, diese gelöst und deren Lösungen anschließend kombiniert werden. 11 / 104

12 Lösungsansätze Möglichkeiten zur Problemzerlegung Wir beschäftigen uns im folgenden mit diesen offenen Fragen: Welche Strategien zur Problemzerlegung gibt es? Wovon hängen diese Strategien ab? Wie entscheidet man, welche Strategie zum Einsatz kommen soll? 12 / 104

13 Strukturelle Rekursion Allgemeines zur Rekursion: Rekursion heißt: Eine Methode M benutzt sich selbst zur Lösung von Problem X Terminierungsfall: Problem direkt lösbar Rekursiver Fall: M(X) benutzt Lösung von M(X ) Endlose Rekursion tritt auf, wenn beim Übergang M(X) M(X ) M(X )... nie der Terminierungsfall erreicht wird. Es gibt verschiedene Wege, Endlosrekursion auszuschließen. 13 / 104

14 Strukturelle Rekursion Strukturelle Rekursion bedeutet Problemzerlegung durch direkte Zerlegung der Datenstruktur. D.h. die Struktur der Daten ist entscheidend für die Anwendbarkeit der Rekursion. Beispiel: Berechnen der Spieldauer eines Musikstückes (in Takten): playtime(p(d)) = d playtime(n(t, d)) = d playtime(m 1 m 2 ) = playtime(m 1 ) + playtime(m 2 ) playtime(m 1 + m 2 ) = max(playtime(m 1 ), playtime(m 2 )) 14 / 104

15 Schema Grundschema der Strukturellen Rekursion Eine Gleichung pro Konstruktor des Datentyps Nicht-rekursive Konstruktoren Terminierungsfall Rekursive Konstruktoren rekursive Problemzerlegung 15 / 104

16 Schema Grundschema der Strukturellen Rekursion Eine Gleichung pro Konstruktor des Datentyps Nicht-rekursive Konstruktoren Terminierungsfall Rekursive Konstruktoren rekursive Problemzerlegung Beispiele aus den Vorlesungen bisher: Permutationen erzeugen Musik: Instrument austauschen Auf Subsequenz prüfen Hamming-Abstand / 104

17 Schema Strukturelle Rekursion über Listen Kleinstes Element einer nichtleeren Liste: minimum(x : xs) = min x xs where min a [] = a min a (x : xs) = if a <= x then min a xs else min x xs Hier folgt die Hilfsfunktion min dem Schema der Strukturellen Rekursion. Die Funktion minimum selbst kann nicht durch Strukturelle Rekursion definiert werden, da sie für den Terminierungsfall gerade nicht definiert ist. 17 / 104

18 Überlegungen zur Strukturellen Rekursion Als Invariante gilt: Das erste Argument a ist zu jedem Zeitpunkt das Minimum des bisher bearbeiteten Präfixes der Liste. Aufwand: Entspricht der Größe der Datenstruktur pro Konstruktor wird eine Gleichung angewandt. Das ist der Aufwand des rekursiven Schemas. Hinzu kommt der Aufwand für die sonstige Operationen auf den rechten Seiten der Gleichungen. 18 / 104

19 Überlegungen zur Strukturellen Rekursion Terminierung bei Struktureller Rekursion Terminierung ist gesichert, wenn die Datenstruktur eine endliche Formel ist. Endlos-Rekursion kann auf unendlichen Datenstrukturen eintreten. Beispiel: playtime(ad_libitum(p(1/2))). 19 / 104

20 Wohlfundierte Rekursion Wohlfundierte Rekursion (Teile-und-Herrsche) Allgemeiner als die Strukturelle ist die Wohlfundierte Rekursion. Die Zerlegung des Problems folgt nicht dem rekursiven Aufbau der Datenstruktur. Die Aufgabe wird auf beliebige Aufgaben (der gleichen Art) zurückgeführt, die in einem wohldefinierten Sinn einfacher sein müssen. Als Hilfskonstrukt führen wir dazu eine Ordnungsrelation ein. 20 / 104

21 Ordnungsrelation Eine (partielle) Ordnungsrelation auf einer Menge M erfüllt die Gesetze x y und y z impliziert x z (Transitivität) x y und y x impliziert x = y (Antisymmetrie) x x (Reflexivität) Die Relation < ist definiert als x < y gdw x y und x y und > als y > x gdw x < y 21 / 104

22 Ordnungsrelation Partielle vs. Totale Ordnungsrelation Zwei Elemente einer Menge mit partieller Ordnungsrelation heißen vergleichbar, wenn für diese beiden Elemente die Ordnungsrelation eine Aussage macht bzw. gilt. Eine Ordnungsrelation über einer Menge heißt total, wenn für jedes beliebige Paar aus Elementen der Menge die Ordnungsrelation gilt. 22 / 104

23 Ordnungsrelation Eine absteigende Kette aus M ist eine Folge von Elementen x 1 > x 2 > x 3 >... Wohlfundierte Ordnungsrelation Eine Ordnungsrelation auf M heißt wohlfundiert, wenn jede absteigende Kette aus M endlich ist (und damit ein kleinstes Element hat). 23 / 104

24 Beispiele Beispiele aus der Zahlenwelt (N, >) ist wohlfundiert (N, >) ist wohlfundiert für alle N N (Z, >) ist nicht wohlfundiert (Gegenbeispiel: 2 > 1 > 0 > 1 > 2... ) (R + 0, >) ist nicht wohlfundiert (Gegenbeispiel: 1 > 1/2 > 1/4 >... ) (N N, >) mit (a, b) (c, d) gdw a < c oder a = c und b d ist wohlfundiert. Man nennt dies lexikographische Erweiterung von (N, >). 24 / 104

25 Beispiele Ein Schukarton ist größer als ein anderer, wenn man den anderen in ihn reinpacken kann. 25 / 104

26 Beispiele Ein Schukarton ist größer als ein anderer, wenn man den anderen in ihn reinpacken kann. Ist das eine Ordnungsrelation? 26 / 104

27 Beispiele Ein Schukarton ist größer als ein anderer, wenn man den anderen in ihn reinpacken kann. Ist das eine Ordnungsrelation? Partiell oder total? 27 / 104

28 Schema der Wohlfundierten Rekursion Schema der Wohlfundierten Rekursion zur Lösung von X, gegeben eine wohlfundierte Ordnung auf Problemen der Art X: Falls X einfach, löse X direkt. Andernfalls: Teile X auf in Probleme X 1,..., X k mit X > X i Löse X 1,..., X k (rekursiv) Kombiniere diese Lösungen zur Lösung von X Das Verfahren terminiert, weil alle so von X ausgehenden Ketten endlich sind und die Teilprobleme irgendwann einfach werden. 28 / 104

29 Schema der Wohlfundierten Rekursion Die vier Bestandteile dieser Methode: Was ist einfach?, Löse direkt, Teile X auf!, und Kombiniere Teil-Lösungen! muss man sich für jede Anwendung neu überlegen. 29 / 104

30 Schema der Wohlfundierten Rekursion Die vier Bestandteile dieser Methode: Was ist einfach?, Löse direkt, Teile X auf!, und Kombiniere Teil-Lösungen! muss man sich für jede Anwendung neu überlegen. Dabei ist die Relation < ( einfacher ) frei wählbar, nur wohlfundiert muss sie sein. 30 / 104

31 Quicksort Beispiel: Quicksort Sortiere Liste von n Elementen aufsteigend. Wohlfundierte Ordnung auf Listen: l 1 < l 2 gdw length(l 1 ) < length(l 2 ) Da length(l) N, ist diese Ordnung wohlfundiert. 31 / 104

32 Quicksort Beispiel: Quicksort Sortiere Liste von n Elementen aufsteigend. Wohlfundierte Ordnung auf Listen: l 1 < l 2 gdw length(l 1 ) < length(l 2 ) Da length(l) N, ist diese Ordnung wohlfundiert. Quicksort (l): Falls l = [] oder l = [a]: Lösung = l. Andernfalls: Wähle x aus l, so dass x nicht maximal ist. Teile auf l 1 = [a a l, a x] l 2 = [a a l, x < a] Berechne ˆl 1 = Quicksort(l 1 ) ˆl 2 = Quicksort(l 2 ) Kombiniere ˆl1 ++ ˆl 2 32 / 104

33 Quicksort Achtung x darf nicht maximales Element in l sein, weil dann l 1 < l verletzt ist. Die Listen l 1 und l 2 sind keine Unterstrukturen der Liste l, daher liegt keine Strukturelle Rekursion vor. 33 / 104

34 Quicksort Achtung x darf nicht maximales Element in l sein, weil dann l 1 < l verletzt ist. Die Listen l 1 und l 2 sind keine Unterstrukturen der Liste l, daher liegt keine Strukturelle Rekursion vor. Achtung: Es gibt einen Fall, in dem unser Verfahren nicht funktioniert. Wer sieht ihn und weiß die Lösung? 34 / 104

35 Quicksort Wenn alle Elemente gleich sind, gibt es kein nicht-maximales x! Besser x = head(l) Teile l 1 = [a a tail(l), a x] l 2 = [a a tail(l), a > x] Berechne ˆl1 = Quicksort (l 1 ) ˆl 2 = Quicksort (l 2 ) Kombiniere ˆl 1 ++[x]++ˆl 2 35 / 104

36 Quicksort Aufwand beim Kombinieren merge (1, bzw. merge ( merge (1, merge (1,1) merge (1,1)) merge (1,1))) 36 / 104

37 Quicksort guter Fall: Teile: Rekursionstiefe: Kombiniere: insgesamt kritischer Fall: Teile: Kombiniere: Rekursionstiefe: insgesamt: auf jeder Ebene 2 n Schritte log 2 n Ebenen n/2 Schritte pro Ebene 3 n log 2 n Schritte auf Ebene i 2 (n i) Schritte auf jeder Ebene 1 Schritt n Ebenen n 1 ( ) 2(n i) + 1 = n + 2 i=0 n j j=1 (n + 1) n = n = n 2 + 2n Schritte 37 / 104

38 Schnelle Multiplikation Beispiel: Schnelle Multiplikation langer Zahlen Vorüberlegung: Wir betrachten zwei n-stellige Zahlen x = x 1,..., x n, y = y 1,..., y n. A[ + ] ist der Aufwand einer Ziffern-Addition. A[ x + y ] 2 n A[ + ] (Addition der Überträge nicht vergessen!) A[ x y ] n 2 A[ ] + 2n 2 A[ + ] Multiplikation ist also erheblich aufwendiger. 38 / 104

39 Schnelle Multiplikation Schon weil jede Ziffer im Inneren des Diagramms Resultat einer Multiplikation ist, braucht man n 2 elementare Multiplikationen. Besser geht es nicht oder doch? 39 / 104

40 Schnelle Multiplikation Wir zerlegen die Zahlen in der Mitte x = x 1 x 0 x = x 1 10 n/2 + x 0 y = y 1 y 0 y = y 1 10 n/2 + y 0 x y = (x 1 10 n/2 + x 0 ) (y 1 10 n/2 + y 0 ) = x 1 y 1 10 n + (x 1 y 0 + x 0 y 1 ) 10 n/2 + x 0 y 0 Jetzt haben wir 1 Mulitplikation mit Aufwand n 2 durch vier ( ) 2 n Multiplikationen mit Aufwand je 2 ersetzt. Nichts ist dabei eingespart. 40 / 104

41 Schnelle Multiplikation x y 1 1 x y 1 x y x y 0 0 xy Idee: Wir können den Wert x 1 y 0 + x 0 y 1 mit nur einer Multiplikation der Länge n/2 berechnen. 41 / 104

42 Schnelle Multiplikation (x 0 x 1 )(y 0 y 1 ) = x 0 y 0 (x 1 y 0 + x 0 y 1 ) + x 1 y 1 Da x 0 y 0 und x 1 y 1 ohnehin berechnet werden, und Subtraktionen nur Aufwand 4 n/2 haben, erhalten wir billig (x 1 y 0 + x 0 y 1 ) = x 1 y 1 + x 0 y 0 + (x 1 x 0 )(y 0 y 1 ) 42 / 104

43 Schnelle Multiplikation x 1 y 1 x y 0 x y 1 (x x )(y y ) xy x y / 104

44 Schnelle Multiplikation Die Teilaufgaben x 1 y 1, x 0 y 0, (x 1 x 0 ) (y 0 y 1 ) der Länge n/2 werden nach der gleichen Methode (wohlfundiert rekursiv) berechnet. Wir schätzen ab A[n] 3 A[n/2] < n 2. Ist dies eine signifikante Verbesserung? Damit werden wir uns in Kapitel 5 näher beschäftigen. 44 / 104

45 Vollständige Suche Vollständige Suche heißt auch Brute Force oder Exhaustive Search. Ein Beispiel der Strategie Vollständige Suche haben wir bereits kennengelernt beim Problem des Handlungsreisenden. Alle möglichen Rundreisen wurden aufgestellt und bewertet, um die beste zu finden. Was ist daran schon strategisch? 45 / 104

46 Auch die vollständige Suche muss organisiert werden keine Lösung darf übersehen werden, keine Lösung sollte mehrfach berechnet werden, Lösungswege, die nicht erfolgreich sein können, sollten möglichst früh abgebrochen werden. 46 / 104

47 Beispiel Als weiteres Beispiel zur vollständigen Suche betrachten wir das 8-Damen-Problem. Es ist zugleich eine Anwendung der wohlfundierten Rekursion. Wir werden allerdings sehen, dass das Problem erst verallgemeinert werden muss, ehe man es zerlegen kann. Vermutlich muss man das n-damen-problem lösen (für beliebige n), um das 8-Damen-Problem rekursiv zu lösen. 47 / 104

48 Problembeschreibung: Das n-damen-problem Das n-damen-problem Aufgabe Platziere n Damen auf einem Schachbrett mit n n Feldern, so dass sie einander nicht bedrohen. 48 / 104

49 Problembeschreibung: Das n-damen-problem Erinnerung: Damen schlagen längs, quer und diagonal. Fragen zur Existenz/Eindeutigkeit von Lösungen 49 / 104

50 Problembeschreibung: Das n-damen-problem Erinnerung: Damen schlagen längs, quer und diagonal. Fragen zur Existenz/Eindeutigkeit von Lösungen Gibt es immer eine Lösung? 50 / 104

51 Problembeschreibung: Das n-damen-problem Erinnerung: Damen schlagen längs, quer und diagonal. Fragen zur Existenz/Eindeutigkeit von Lösungen Gibt es immer eine Lösung? Nein, nicht für n = 2, / 104

52 Problembeschreibung: Das n-damen-problem Erinnerung: Damen schlagen längs, quer und diagonal. Fragen zur Existenz/Eindeutigkeit von Lösungen Gibt es immer eine Lösung? Nein, nicht für n = 2, 3. Gibt es manchmal mehr als eine Lösung? 52 / 104

53 Problembeschreibung: Das n-damen-problem Erinnerung: Damen schlagen längs, quer und diagonal. Fragen zur Existenz/Eindeutigkeit von Lösungen Gibt es immer eine Lösung? Nein, nicht für n = 2, 3. Gibt es manchmal mehr als eine Lösung? Ja, für große n gibt es viele Lösungen. 53 / 104

54 Problembeschreibung: Das n-damen-problem Lösung des n-damen-problem für n = 4 1 Q 2 Q 3 Q 4 Q / 104

55 Problembeschreibung: Das n-damen-problem Grundidee der vollständigen Suche 1 Wir setzen eine Dame versuchsweise auf ein unbedrohtes Feld x. 2 Wir setzen die weiteren Damen, indem wir das Problem für n 1 Damen lösen. 3 Dies ergibt 0, 1, 2... Lösungen mit der Dame auf x. 4 Nach dem gleichen Schema versuchen wir noch andere Felder x. 55 / 104

56 Problembeschreibung: Das n-damen-problem Die obige Idee ist zu schlicht: (a) Jede Lösung würde mehrfach gefunden (stehen Damen auf Feld x und y, kann sowohl x wie y im 1. Schritt gewählt werden). 56 / 104

57 Problembeschreibung: Das n-damen-problem Die obige Idee ist zu schlicht: (a) Jede Lösung würde mehrfach gefunden (stehen Damen auf Feld x und y, kann sowohl x wie y im 1. Schritt gewählt werden). (b) Das Schema der wohlfundierten Rekursion funktioniert nicht so einfach: 57 / 104

58 Problembeschreibung: Das n-damen-problem Die obige Idee ist zu schlicht: (a) Jede Lösung würde mehrfach gefunden (stehen Damen auf Feld x und y, kann sowohl x wie y im 1. Schritt gewählt werden). (b) Das Schema der wohlfundierten Rekursion funktioniert nicht so einfach: Das Restproblem nach Setzen der 1. Dame ist kein (n 1)-Damen-Problem. 58 / 104

59 Problembeschreibung: Das n-damen-problem Die obige Idee ist zu schlicht: (a) Jede Lösung würde mehrfach gefunden (stehen Damen auf Feld x und y, kann sowohl x wie y im 1. Schritt gewählt werden). (b) Das Schema der wohlfundierten Rekursion funktioniert nicht so einfach: Das Restproblem nach Setzen der 1. Dame ist kein (n 1)-Damen-Problem. Warum nicht? 59 / 104

60 Problembeschreibung: Das n-damen-problem Die obige Idee ist zu schlicht: (a) Jede Lösung würde mehrfach gefunden (stehen Damen auf Feld x und y, kann sowohl x wie y im 1. Schritt gewählt werden). (b) Das Schema der wohlfundierten Rekursion funktioniert nicht so einfach: Das Restproblem nach Setzen der 1. Dame ist kein (n 1)-Damen-Problem. Warum nicht? Das verbleibende Feld ist kein (n 1) (n 1) Schachbrett. 60 / 104

61 Problembeschreibung: Das n-damen-problem Die obige Idee ist zu schlicht: (a) Jede Lösung würde mehrfach gefunden (stehen Damen auf Feld x und y, kann sowohl x wie y im 1. Schritt gewählt werden). (b) Das Schema der wohlfundierten Rekursion funktioniert nicht so einfach: Das Restproblem nach Setzen der 1. Dame ist kein (n 1)-Damen-Problem. Warum nicht? Das verbleibende Feld ist kein (n 1) (n 1) Schachbrett. Einige Felder im verbleibenden Feld sind schon bedroht. 61 / 104

62 Problembeschreibung: Das n-damen-problem Wir haben also im Ausgangspunkt ein quadratisches Brett mit unbedrohten Feldern, im allgemeinen einen Teil eines (größeren) quadratischen Bretts, in dem einige Felder besetzt und andere bedroht sind. Wir bauen die Lösung spaltenweise auf, und vermeiden damit Problem (a). (Die Spalten heißen Linien im Schach.) 62 / 104

63 Entwicklung einer Lösung Festlegung der Repräsentation Lösung: Liste der Zeilenposition in Spalte 1, 2, 3,..., n (restliches) Brett: c = Nummer der ersten freien Spalte Bedrohungen: Liste von freien Zeilen (alias Reihen im Schach) belegten Diagonalen belegten Diagonalen 63 / 104

64 Entwicklung einer Lösung Darstellung der Diagonalen aufsteigend: j i = konstant ([ 3,..., +3]) absteigend: j + i = konstant ([2,..., 8]) / 104

65 Entwicklung einer Lösung Schnappschuss 4 3 Q 2 1 Q Lösung soweit: [3, 1,...?] nächste freie Spalte: c = 3 freie Zeilen: [2, 4] bedroht aufsteigend: [ 2, 1] bedroht absteigend: [3, 4] 65 / 104

66 Entwicklung einer Lösung Startsituation Lösung soweit: [ ] nächste freie Spalte: c = 1 freie Zeilen: [1, 2, 3, 4] bedroht aufsteigend: [ ] bedroht absteigend: [ ] 66 / 104

67 Entwicklung einer Lösung Eine Sackgasse 4 3 Q 2 1 Q Lösung soweit: [1, 3] nächste freie Spalte: 3 freie Zeilen: [2, 4] bedroht aufsteigend: [ 1, 0] bedroht absteigend: [2, 5] Die Felder (2,3) und (4,3) sind beide bedroht diese Anfangslösung hat keine Fortsetzung. 67 / 104

68 Entwicklung einer Lösung Bestandteile des Schemas der wohlfundierten Rekursion einfach: direkte Lösung: teile auf: kombiniere: alle Zeilen besetzt (fertig) alle Felder der aktuellsten Spalte bedroht (Sackgasse) [ ] (komplettiert bisherige Lösung) finde neue Platzierung und die daraus resultierende Konfiguration hänge Teil-Lösung vor Rest-Lösung 68 / 104

69 Umgang mit Sackgassen Zwei Sichtweisen der Suchstrategie bei Sackgassen: Zurücksetzen (back tracking): Bei Sackgasse (Failure) zurück zur letzten Wahl-Entscheidung, dort anderes Feld wählen. Bei Erfolg: ebenso, weil wir alle Lösungen finden wollen. Vorwärtsrechnen (List of Successes): Alles wird probiert. Unvollständige Lösungen (Sackgassen) werden weggelassen. 69 / 104

70 Umgang mit Sackgassen Phil Wadler: How to replace failure by a list of successes Wir verwenden die Methode List of Successes. 70 / 104

71 Umgang mit Sackgassen queens n = place 1 [1..n] [] [] place c [] ud dd = [[]] - der erfolgreiche Fall place c rs ud dd = [q:qs - gewähltes Feld, weitere Lösung q <- rs, - aus freier Reihe (q - c) not Elem ud, - unbedroht up (q + c) not Elem dd, - unbedroht down qs <- place (c+1) (delete q rs) ((q-c):ud)((q+c):dd) ] delete q (x:xs) = if q == x then xs else x:(delete q xs) 71 / 104

72 Umgang mit Sackgassen Beachte: Für jede Spalte werden alle freien Zeilen genau einmal untersucht. Sind alle Felder bedroht, ist die im gegebenen Aufruf berechnete Liste von Lösungen leer. Sie kann damit auch keine Rest-Lösungen für frühere Aufrufe beisteuern. Sackgassen verschwinden einfach. Wichtig für den Rechenaufwand ist, dass die Überprüfung dieser Bedingungen vor dem rekursiven Aufruf erfolgt. 72 / 104

73 Einbettung Das Prinzip der Einbettung Oft lässt sich ein Problem A dadurch besser lösen, dass man es als Spezialfall eines allgemeineren Problems B betrachtet, und dieses löst. Wie kann es sein, dass das allgemeine Problem B einfacher zu lösen ist als A? Siehe Beispiele: minimum mini 8-Damen-Problem für teilbesetzte Felder 73 / 104

74 Einbettung Die Wirksamkeit der Einbettung liegt an der Rekursion: Wir haben dann im Rekursionsschritt eine mächtigere Funktion zur Verfügung, die wir nutzen können. Die gleiche Situation liegt vor, wenn ein Mathematiker per Induktion erst einen allgemeinen Satz B beweist, um daraus Satz A als Korollar abzuleiten. 74 / 104

75 Greedy-Algorithmus Die opportunistische Suche, auch greedy -Strategie, haben wir ebenfalls bereits in Kapitel 2 kennengelernt beim Problem des Handlungsreisenden. Dort war Greedy eine Heuristik ein (schnelles) Verfahren, das eine (hoffentlich) gute Lösung findet aber vielleicht nicht die beste. Allgemein sucht die greedy -Strategie stets nur lokal den nächsten besten Folgezustand und achtet nicht auf die Qualität bzw. Exaktheit der globalen Lösung. Es gibt aber auch Probleme, für die eine Greedy-Strategie die exakte Lösung findet. 75 / 104

76 Strategien Strukturelle Rekursion Divide and Conquer Brute Force Greedy Dynamische Programmierung Beispiel TSP Revisited Scotland Yard Ravensburger Spiele Erstellen eines Künstlichen Intelligenz-Spielers Projekt in den Übungen zur Veranstaltung Spezielle Themen der Künstlichen Intelligenz im SoSe / 104

77 Strategien Strukturelle Rekursion Divide and Conquer Brute Force Greedy Dynamische Programmierung Beispiel Ausschnitt - Dijkstras Algorithmus 10 1 u v 6 s 3 5 x 2 y Initialisierung: Pro Wegpunkt die Kosten zum Startpunkt festhalten. Initial für S = 0 und alle anderen. Alle Tupel (Knoten, Distanz) in eine geordnete Liste L einfügen. Ordnung nach absteigenden Distanzen. Algorithmus-Schritte: erstes Tupel t = (kt, dt ) aus L entnehmen. Distanz dt ist derzeit beste Distanz. Für alle zu kt benachbarten Knoten kn prüfen, ob deren Distanzen dn schlechter (=höher) sind als die Summe von dt plus der Kosten von kt nach kn. Falls ja, dn entsprechend aktualisieren. 77 / 104

78 Strategien Strukturelle Rekursion Divide and Conquer Brute Force Greedy Dynamische Programmierung Beispiel Ausschnitt - Dijkstras Algorithmus 10 1 u v 6 s 3 5 x 2 y Gesucht ist der kürzeste Weg von s nach v. L = [(s, 0), (u, ), (v, ), (x, ), (y, )] L = [(x, 5), (u, 10), (v, ), (y, )] L = [(y, 7), (u, 8), (v, )] L = [(u, 8), (v, 13)] L = [(v, 9)] L = [] 78 / 104

79 Dynamische Programmierung Die rekursive Problemzerlegung kann an mehreren Stellen auf das gleiche Teilproblem führen. Dann sollte dessen Lösung gespeichert werden, um sie wieder zu verwenden statt neu zu berechnen. 79 / 104

80 Beispiel Gedankenlose Wiederberechnung führt meistens zu exponentieller Explosion: E B A C D F A braucht B, C, D, B braucht E, C, usw. 8 Probleme werden gelöst, wenn G, C, H, F, tabelliert werden. G H 80 / 104

81 Beispiel A Problemzerlegung ohne Tabellierung: 18 Probleme werden gelöst. E G B C C G G H H F H D C G H F H C wird 3 mal, F wird 2 mal, G wird 4 mal H wird 5 mal gelöst. A, B, D, E müssen nicht tabelliert werden. 81 / 104

82 Beispiel: Fibonacci Beispiel zur Wirkung der Tabellierung: Fibonacci-Zahlen Berechne: fib(1) = 1 (1) fib(2) = 1 (2) fib(n) = fib(n 1) + fib(n 2) für n > 2 (3) 82 / 104

83 Beispiel: Fibonacci Zählen wir die Aufrufe von fib zur Berechnung von fib(n): A[ fib(1) ] = 1 (4) A[ fib(2) ] = 1 (5) A[ fib(3) ] = 3 (6) A[ fib(4) ] = 5 (7) allgemein: A[ fib(n) ] = 1+A[ fib(n 1) ]+A[ fib(n 2) ] (8) Daraus folgt: A[ fib(n) ] > fib(n) 83 / 104

84 Beispiel: Fibonacci Aufgabe: Mit B[ fib(n) ] berechnen wir die Anzahl der Aufrufe der Basisfälle fib(1) und fib(2) in der rekursiven Berechnung von fib(n). Wie verhält sich B[ fib(n) ] verglichen mit fib(n)? 84 / 104

85 Beispiel: Fibonacci Berechnung von Tabelle F mit F (i) = fib(i) F (1) = 1 (9) F (2) = 1 (10) F(n) = F(n 1) + F (n 2) für n = 3, 4,... (11) Hier wird F (n) in n Schritten berechnet. 85 / 104

86 Beispiel: Fibonacci Bottom-Up versus Top-Down Die tabellierende Berechnung beginnt mit F(1). Die rekursive Berechnung beginnt mit dem Aufruf fib(n). fib und F haben die gleiche rekursive Definition. Nur die Reihenfolge garantiert, dass kleine Probleme bereits tabelliert vorliegen, wenn größere sie als Teillösungen brauchen. 86 / 104

87 Beispiel: Fibonacci Verbesserung: Sobald F (n) berechnet ist, kann man hier F (1)... F(n 2) vergessen. Statt der Tabelle reichen 2 Vorgängerwerte. Oder eine Funktion mit Gedächtnis / 104

88 Beispiel: Fibonacci fastfib(n) = fst (twofib(n)) (12) fst(x, y) = x (13) twofib(1) = (1, 1) (14) twofib(n) = (b, a + b) where (15) (a, b) = twofib(n 1) Diese Lösung ist wieder ein Fall von Einbettung. 88 / 104

89 Schema der Dynamischen Programmierung Schema der Dynamischen Programmierung Rekursion + Tabellierung Aspekte Wie wird Problem zerlegt? Welche Teillösungen werden tabelliert? Wie organisiert man die Tabellierung? Berechnungs-Reihenfolge der Tabellen? 89 / 104

90 Schema der Dynamischen Programmierung Es genügt, zu jedem Teilproblem eine optimale Lösung zu speichern, wenn folgendes Prinzip gilt Bellman s Optimalitätsprinzip Eine optimale Lösung hat stets eine Zerlegung in optimal gelöste Teilprobleme. Offensichtlich ist dieses Prinzip für die Kettenmultiplikation von Matrizen erfüllt. 90 / 104

91 Schema der Dynamischen Programmierung Zwei Möglichkeiten zur Organisation der Berechnung: Top-Down: Rekursive Zerlegung, vom Gesamtproblem ausgehend. Tabellierung von Teillösungen bei erster Berechnung. Bottom-Up: Es werden die einfachsten Teillösungen auf Vorrat berechnet, danach die zusammengesetzten... bis zum Gesamtergebnis. 91 / 104

92 Beispiel Schnelle Matrizenmultiplikation in Ketten Erinnerung: A m,n B n,r = C m,r n c ij = a ik b kj k=1 A[ A m,n B n,r ] = m n r 92 / 104

93 Beispiel Matrix-Kette: M 1 M 2 M 3 M K mit Dimension (d 0, d 1 ), (d 1, d 2 )... (d K 1, d K ) Matrix-Multiplikation ist assoziativ (A B) C = A (B C) 93 / 104

94 Beispiel Matrix-Kette: M 1 M 2 M 3 M K mit Dimension (d 0, d 1 ), (d 1, d 2 )... (d K 1, d K ) Matrix-Multiplikation ist assoziativ (A B) C = A (B C) Beobachtung Der Aufwand hängt von der Klammerung ab, da Zwischenergebnisse unterschiedlicher Dimension anfallen. 94 / 104

95 Beispiel A B C (A. B). C A.(B. C) C 10 A B. C 50 A. B A. B. C 95 / 104

96 Beispiel Rechnung (A B) C Rechnung A (B C) = = Der Rechenweg (A B) C ist hier deutlich schneller. 96 / 104

97 Beispiel Rechnung (A B) C Rechnung A (B C) = = Der Rechenweg (A B) C ist hier deutlich schneller. Problem der Matrix-Kettenmultiplikation Bestimme optimalen Aufwand und Klammerung für Matrixkette M 1 M K. 97 / 104

98 Beispiel Rechnung (A B) C Rechnung A (B C) = = Der Rechenweg (A B) C ist hier deutlich schneller. Problem der Matrix-Kettenmultiplikation Bestimme optimalen Aufwand und Klammerung für Matrixkette M 1 M K. Wir suchen zunächst den optimalen Aufwand. 98 / 104

99 Beispiel Rekursive Lösung: Der Gesamtaufwand zerlegt sich gemäß der letzten Multiplikation: A[ (M 1... M s ) (M s+1... M K ) ] = (16) A[ M 1 M s ] + A[ M s+1 M K ] + d 0 d s d K 99 / 104

100 Beispiel Minimal ist der Aufwand dann, 1 wenn die Teilprodukte optimal berechnet werden, 2 wenn der Punkt der letzten Multiplikation (s) optimal gewählt wurde. (1) bedeutet einfach wohlfundierte Rekursion (2) hier müssen wir über alle Punkte s optimieren. 100 / 104

101 Beispiel Rekursive Bestimmung des Aufwands: w(i, i) = 0 für i = 1... K w(i, j) = d i 1 d i d i+1 für j = i + 1 w(i, j) = min [w(i, s) + w(s, s + 1) + w(s + 1, j) s [i... j 1]] Gesamtaufwand = w(1, K ) 101 / 104

102 Beispiel Rekursion + Tabellierung Betrachte w als (K K ) Tabelle, in der das obere Dreieck berechnet wird. w(i, i) = 0 für i = 1... K w(i, i + 1) = d i 1 d i d i+1 für i = 1... K 1 l für l = 2... K 1 für i = 1... K l sei j = i + l berechne w(i, j) wie in (17). 102 / 104

103 Beispiel Bestimmung der besten Klammerung In der Tabelle wird neben w(i, j) in (17) auch noch derjenige Wert von s gespeichert, der das Minimum ergab. Ist also w(1, K ) = (..., s), so ist die Klammerung, die zum minimalen Aufwand führt, (M 1 M s ) (M s+1 M K ), und in den Teilketten verfährt man analog. 103 / 104

104 Beispiel Zusammenfassung Strukturelle Rekursion Wohlfundierte Rekursion (Divide and Conquer) Brute Force Greedy Dynamische Programmierung 104 / 104