Große Lösungsräume. Leon Schmidtchen Hallo Welt Seminar - LS Leon Schmidtchen Große Lösungsräume Hallo Welt Seminar - LS2

Transkript

1 Große Lösungsräume Leon Schmidtchen Hallo Welt Seminar - LS 2!1

2 Gliederung Motivation Brute Force Backtracking Pruning Leon Schmidtchen Branch & Bound Hallo Welt Seminar - LS 2 Wann soll ich das im ICPC verwenden? A* Iterative Deepening A*!2

3 Motivation Leon Schmidtchen Hallo Welt Seminar - LS 2!3

4 Motivation Leon Schmidtchen Hallo Welt Seminar - LS 2!4

5 Brute Force!5

6 Brute Force Lösungen sind Vektoren Komponenten sind einzelne Schritte der Lösung ( abzählbar endlich) Trägermengen vom Problem abhängig, oft unterschiedliche Bspw. Knoten, Zahlen, Permutationen, Züge von Spielern, Endliche Menge an potentiellen Lösungen Wir probieren einfach jede aus!6

7 Backtracking!

8 Backtracking Schlaueres Brute Force Lösungsvektoren können Schritt für Schritt aufgebaut werden Wenn wir aus currsol keinen korrekten, vollständigen Vektor mehr bauen können currsol verwerfen!

9 Backtracking c = currsol issol(c) // true wenn c bereits valid solution ist notpartofvalidsol(c) // true wenn c nicht zu korrekter Lösung // erweitert werden kann firstextension(c) nextextension(c) // erweitert c um a_i+1 // wählt nächstes Element für a_i+1 Backtrack(c) if issol(c) print(c) if notpartofvalidsol(c) return e = firstextension(c) while (e!= null) Backtrack(e) e = nextextension(e)!9

10 Pruning!10

11 Pruning Anderer Name für notpartofvalidsol(c). prune(c)!11

12 Pruning a0 1 a a3 4 a2 2 1 ( ) (1) (2) (3) (4) (1,1) (1,2) (1,3) (1,4) (1,2,1) (1,2,2) (1,2,3) (1,2,4) (1,2,2,1) (1,2,2,2) (1,2,2,3) (1,2,2,4) Teilbäume, die auf keine richtige Lösung führen, können wir beim ersten betreten abschneiden!12

13 Pruning a0 1 a a3 4 a2 2 1 ( ) Backtrack(c) if issol(c) print(c) if prune(c) return e = firstextension(c) while (e!= null) Backtrack(e) e = nextextension(e)!13

14 Pruning a0 1 a a3 4 a2 2 1 (1) ( ) Backtrack(c) if issol(c) print(c) if prune(c) return e = firstextension(c) while (e!= null) Backtrack(e) e = nextextension(e)!14

15 Pruning a0 1 a a3 4 a2 2 1 (1) ( ) Backtrack(c) if issol(c) print(c) if prune(c) return e = firstextension(c) while (e!= null) Backtrack(e) e = nextextension(e)!15

16 Pruning a0 1 a a3 4 a2 2 1 (1) (2) ( ) Backtrack(c) if issol(c) print(c) if prune(c) return e = firstextension(c) while (e!= null) Backtrack(e) e = nextextension(e)!16

17 Pruning a0 1 a a3 4 a2 2 1 (1) (2) ( ) Backtrack(c) if issol(c) print(c) if prune(c) return e = firstextension(c) while (e!= null) Backtrack(e) e = nextextension(e)!1

18 Pruning a0 1 a a3 4 a2 2 1 ( ) (1) (2) (3) (4) Backtrack(c) if issol(c) print(c) if prune(c) return e = firstextension(c) while (e!= null) Backtrack(e) e = nextextension(e)!1

19 Pruning a0 1 a a3 4 a2 2 1 ( ) (1) (2) (3) (4) (4,1) Backtrack(c) if issol(c) print(c) if prune(c) return e = firstextension(c) while (e!= null) Backtrack(e) e = nextextension(e)!19

20 Pruning a0 1 a a3 4 a2 2 1 ( ) (1) (2) (3) (4) (4,1) (4,2) Backtrack(c) if issol(c) print(c) if prune(c) return e = firstextension(c) while (e!= null) Backtrack(e) e = nextextension(e)!20

21 Pruning a0 1 a a3 4 a2 2 1 ( ) (1) (2) (3) (4) (4,1) (4,2) Backtrack(c) if issol(c) print(c) if prune(c) return e = firstextension(c) while (e!= null) Backtrack(e) e = nextextension(e) (4,2,1) (4,2,2) (4,2,3) (4,2,3,1) (4,2,3,2) (4,2,3,3)!21

22 Branch & Bound!22

23 Branch & Bound Pruning-Methode, die vor allem bei Optimierungsproblemen verwendet wird Im Weiteren wird versucht zu maximieren Alle möglichen Eingaben für Lösungsraum/Suchraum liegen in unserem B&B nutzt Heuristiken um rekursiv zu verkleinern!23

24 Einschub - Heuristik Schätzung Faustregel Intuitives und/oder intelligentes Raten Zusätzliche Hilfsannahmen durch konkretes Problem Für B&B sollte Heuristik schnell zu berechnen sein Je genauer Heuristik ist, desto schneller wird die optimale Lösung gefunden!24

25 Branch & Bound Globale Variable best, initialisiert auf 0, danach größte bisher gefundene Lösung. Untere Schranke für Branch: Teile den aktuellen Suchraum in zwei (rekursiver Abstieg) Nicht zwingend disjunkt, aber erwünscht Bound: Bestimme optimistische Schätzung für obere Schranke von F(x) für bestes x aus aktuellem Suchraum Falls Schätzung < best: Teilbaum kann verworfen werden!25

26 Branch & Bound Untere Schranke für Gesamtproblem kann auch auf anderen Wert initialisiert werden, falls bessere Schätzung bekannt ist Knoten mit größter oberen Schranke (Bound) immer zuerst besuchen Achtung! Falls best initial zu groß ist, wird keine Lösung gefunden. Heuristik, die im Bound-Schritt obere Schranke angibt, darf nie fälschlicherweise zu klein sein. Sonst werden Teilmengen abgeschnitten, die ein optimales Ergebnis enthalten könnten.!26

27 Backtracking und große Lösungsräume im ICPC!2

28 ICPC Woher wissen wir, dass es für ein Problem X (noch) keinen effizienten Algorithmus gibt? Zeige: SAT CLIQUE IS TSP <=p X!2

29 ICPC für manche Leute spaßig, für den ICPC eher ungeeignet Andere Frage: Woher wissen wir, dass X einen großen Lösungsraum hat? Optimierungsproblem Ausprobieren und kombinieren notwendig Abwandlung von bekannten NP-schweren Problemen Weder Greedy, noch DP, noch spezielle Algorithmen für Graphen, Flüsse, Zeichenketten, etc. sind anwendbar!29

30 ICPC Jedoch das einfachste Kriterium: Eingabegröße! Eingabe erwartete Laufzeit O(N) O(N log(n)) O(N^2) 100 O(N^3) 20 O(2^N) 15 O(N * 2^N) oder O(3^N) 9 O(N!) Bis N = 20 ist exponentielle Laufzeit sehr wahrscheinlich ein richtiger Weg. Dann können Backtracking-Algorithmen verwendet werden.!30

31 ICPC - Rechenbeispiel Berechne die Anzahl der Lösungen des -Damen-Problems!31

32 ICPC - Rechenbeispiel Berechne die Anzahl der Lösungen des -Damen-Problems Erster Ansatz: Lösungsvektor - Koordinaten einer Dame Brute Force wohl zu langsam!32

33 ICPC - Rechenbeispiel Berechne die Anzahl der Lösungen des -Damen-Problems Zweiter Ansatz: Lösungsvektor - Position der Dame in Spalte i Brute Force wohl immer noch zu langsam!33

34 ICPC - Rechenbeispiel Berechne die Anzahl der Lösungen des -Damen-Problems Dritter Ansatz: Lösungsvektor - Position der Dame in Spalte i Pro neuer Dame fällt eine mögliche Zeile für die restlichen Damen weg (Ignorieren der Diagonalen) Backtracking mit Prune-check auf besetzte Zeilen alleine sollte im Time Limit liegen!34

35 A*!35

36 A* (A star) Kürzester Pfad zwischen Startknoten S und Endknoten E in einem Graph Dijkstra ist uninformierter Suchalgorithmus, nutzt viele problembedingte Informationen nicht aus Dijkstra zerfällt bei uniformen Netzen zu Breitensuche Dijkstra-Algorithmus, erweitert um Heuristik Bessere ( klügere ) Knotenwahl führt schneller zum Ziel Benötigt positive Kantengewichte Findet immer optimale Lösung Exponentieller Zeit- und Speicheraufwand!36

37 A* (A star) OPEN Prioritätswarteschlange initial S auf 0, alle anderen Knoten auf Inf CLOSED vollständig bearbeitete Knoten initial leer Gewicht eines Knoten x in OPEN wird berechnet durch f(x) = g(x) + h(x) g(x) sei das Gewicht von S h(x) sei das geschätzte Gewicht zu E!3

38 A* (A star) Astar(nodes[], S, E) OPEN = PriorityQueue(S:0, rest:inf) CLOSED = EmptySet() k = OPEN.pop() while (k!= null) if (k == E) return foreach n //Nachbar von k, noch nicht in CLOSED cost = g(n) + h(n) if (cost < OPEN[n]) OPEN[n] = cost CLOSED.add(k) k = OPEN.pop()!3

39 A* (A star) Beispiel - Dijkstra S E!39

40 A* (A star) Beispiel - Dijkstra S E Markiert sind Knoten in OPEN!40

50 A* (A star) Beispiel - Dijkstra Bei uniformen Kantengewichten S ist Dijkstra effektiv Breitensuche E!50

51 A* (A star) Beispiel - A* S E Markiert sind Knoten in OPEN!51

52 A* (A star) Beispiel - A* Mit Manhattan Distanz Heuristik S Markiert sind Knoten in OPEN E!52

55 A* (A star) Beispiel - A* Mit Manhattan Distanz Heuristik 6 4 S Markiert sind Knoten in OPEN E!55

59 A* (A star) Beispiel - A* Mit Manhattan Distanz Heuristik 6 S Markiert sind Knoten in OPEN E!59

70 A* (A star) Beispiel - A* Mit Manhattan Distanz Heuristik 6 A*-Algorithmus sucht durch Heuristik stets Knoten aus, Sdie tendenziell 5 5 näher am Ziel liegen E!0

71 Iterative Deepening A*!1

72 IDA* A* benötigt exponentiellen Speicher Durch Iterative Tiefensuche längere Laufzeit, aber deutlich geringerer Speicherverbrauch Durchsuche Graph mit A*, brich aber ab einer gewissen Tiefe ab (wenn Knotengewicht threshold überschreitet, füge Knoten nicht mehr in OPEN ein)!2

73 IDA* threshold für Tiefensuche: Zu Beginn threshold = f(s) = h(s) (mit Heuristik geschätzte Distanz zu E) In jedem Durchgang: Falls f(x) > threshold, füge Knoten x nicht mehr in OPEN ein, speichere aber niedrigstes f(x) Im nächsten Durchgang ist neuer threshold das niedrigste f(x) aus dem vorherigen Durchgang (Graph muss in jeder Iteration neu aufgebaut werden)!3

74 Quellen und Fragen!4

75 Quellen Folien aus den letzten Jahren: Hans Spath (2010) Christopher Bahn (2012) Marcel Rupprecht (2015) Nico Meyer (201) Brute Force, Backtracking, Pruning: Branch & Bound: A* und IDA*:

76 Danke für Eure Aufmerksamkeit! Fragen?!6