09. Übung zu Algorithmen I 12. Juli 2017

Transkript

1 09. Übung zu Algorithmen I 12. Juli 2017 Björn Kaidel bjoern.kaidel@kit.edu mit Folien von Lukas Barth 1 / 67

2 Roadmap Ausblick: Was sind schwierige Probleme? Travelling Salesman Problem - Reprise ein ILP ein Algorithmus mit Ameisen Vertex Cover ein Annäherungsversuch 2 / 67

3 Schwierige Probleme Bisher: Identiziere Problem und löse es mit einem ezienten Algorithmus Frage: Ist das immer möglich? 3 / 67

4 Schwierige Probleme Bisher: Identiziere Problem und löse es mit einem ezienten Algorithmus Frage: Ist das immer möglich? Antwort: Wissen wir nicht! Komplexitätstheorie Klassiziert Probleme in Klassen Klassen machen Aussagen über benötigten Speicherplatz, Laufzeit, Lösbarkeit durch randomisierte Algorithmen,... 4 / 67

5 Schwierige Probleme Eine Menge Probleme Intuitiv: NP ist die Menge aller Probleme, zu denen eine gegebene Lösung ezient überprüft werden kann Achtung: es kann schwer sein eine solche Lösung zu nden 5 / 67

6 Schwierige Probleme Eine Menge Probleme Intuitiv: NP ist die Menge aller Probleme, zu denen eine gegebene Lösung ezient überprüft werden kann Achtung: es kann schwer sein eine solche Lösung zu nden Schwierige Probleme Intuitiv: Ein Problem ist NP-schwierig, wenn esgenauso schwierig wie das schwierigste Problem in NP ist Einfache Probleme Intuitiv: P ist die Menge aller Probleme, die in Polynomialzeit lösbar sind. 6 / 67

7 Schwierige Probleme Wie schwierig sind die schwierigsten Probleme? Sind sie ezient lösbar? Was bedeutet hier ezient? hier: ezient = existiert ein Polynomialzeit-Algorithmus Das ist die berühmte P? = NP-Frage! groÿe ungelöste Frage der Informatik! Dafür gibt es gute Gründe! 7 / 67

8 Schwierige Probleme Wie schwierig sind die schwierigsten Probleme? Sind sie ezient lösbar? Was bedeutet hier ezient? hier: ezient = existiert ein Polynomialzeit-Algorithmus Das ist die berühmte P? = NP-Frage! groÿe ungelöste Frage der Informatik! Dafür gibt es gute Gründe! viele vermuten die Antwort ist nein jedes Jahr einige Beweise - für beide Richtungen NP-schwierige Probleme nach heutigem Forschungsstand also nicht ezient lösbar 8 / 67

9 Schwierige Probleme Wie schwierig sind die schwierigsten Probleme? Sind sie ezient lösbar? Was bedeutet hier ezient? hier: ezient = existiert ein Polynomialzeit-Algorithmus Das ist die berühmte P? = NP-Frage! groÿe ungelöste Frage der Informatik! Dafür gibt es gute Gründe! viele vermuten die Antwort ist nein jedes Jahr einige Beweise - für beide Richtungen NP-schwierige Probleme nach heutigem Forschungsstand also nicht ezient lösbar Wie löst man solche Probleme trotzdem möglichst ezient? Approximation Heuristiken 9 / 67

10 Erinnerung: Lineare Programme Ein lineares Programm mit n Variablen und m Constraints (NB) wird durch das folgende Minimierungs-/Maximierungsproblem deniert: Kostenfunktion f (x) = c x c ist der Kostenvektor m Constraints der Form a i x i b i mit i {,, =}, a i R n. Wir erhalten: L = {x R n : j 1..n : x j 0 i 1..m : a i x i b i }. 10 / 67

11 LP graphisch x 2 opt x 1 11 / 67

17 LP graphisch Integer LP x 2 opt x 1 17 / 67

20 (I)LP: Komplexität LPs können ezient gelöst werden ILPs dagegen nicht Das Problem ist sogar in NP-schwierig! Approximation: Löse ILP als LP und runde das Endergebnis 20 / 67

21 Erinnerung: Travelling Salesman Problem Gegeben ungerichteter Graph G = (V, E), c : E R Gesucht kürzester Kreis, der alle Knoten besucht NP-schweres Problem 21 / 67

22 Ein ILP für TSP Städte: 1, 2,..., n Distanzen: d {i,j} := c({i, j}) Variablen x {i,j} = 1, wenn die Tour durch Kante {i, j} geht, = 0 sonst 22 / 67

23 Ein ILP für TSP Zielfunktion minimiere i,j : i j x {i,j} d {i,j} x {i,j} = 1 nur für Kanten, die Teil der Tour sind die Zielfunktion ist gerade die Länge der Tour! 23 / 67

24 Ein ILP für TSP Bedingung I - Tour Für alle i V gelte: x {i,j} = 2 j : i j jeder Knoten muss durch genau eine Kante betreten werden und durch genau eine Kante verlassen werden 24 / 67

25 Ein ILP für TSP Frage: Was fehlt noch? 25 / 67

26 Ein ILP für TSP Frage: Was fehlt noch? Abbildung: Von User:Sdo - self-made using xg, CC BY-SA 2.5, Bedingung II - Zusammenhängende Tour Für alle S V gelte: i S,j / S x {i,j} 2 26 / 67

27 Heuristiken Heuristik altgr. heurísko: ich nde in begrenzter Zeit gute Lösungen zu schwierigen Problemen berechnen... ohne Garantien! Metaheuristik eine Heuristik für alle Probleme... eigentlich eher eine Familie 27 / 67

28 Ameisenalgorithmen I Vorbild: Ameisenstraÿen I Ameisen versprühen Pheromone... I... und folgen diesen dann I selbstverstärkender E ekt! Abbildung: Ameisenstraÿe. c Mehmet Karatay 28 / 67

29 Ameisenalgorithmen für das TSP Jede Ameise startet irgendwo... läuft immer zu einer zufälligen (neuen) Nachbarstadt abhängig davon, wie viele Pheromone auf der Kante sind!... legt einen Pheromon-Pfad, wenn sie alle Städte gesehen hat 29 / 67

30 Ameisenalgorithmen für das TSP auf der schnellsten Tour wird mehr Pheromon abgelegt 30 / 67

31 Ameisenalgorithmen für das TSP Ergebnisse [M. Dorigo, V. Maniezzo, et A. Colorni, Ant system: optimization by a colony of cooperating agents, IEEE Transactions on Systems, Man, and CyberneticsPart B, volume 26, numéro 1, pages 29-41, 1996.] Experimentelle Resultate sehr gute Lösungsqualität (meist 95%) sehr schnell anwendbar auf viele Probleme (mehrere im Paper) 31 / 67

32 Vertex Cover Gegeben ungerichteter Graph G = (V, E) Gesucht minimale Menge S V, sodass jede Kante mindestens einen Endpunkt in S hat: {u, v} E : {u, v} S NP-schwer! 32 / 67

33 Approximation Erinnerung: Heuristik ezient gute Lösungen zu schwierigen Problemen berechnen... ohne Garantien! Approximation in begrenzter Zeit gute Lösungen zu schwierigen Problemen berechnen... die nicht mehr als einen (konstanten!) Faktor k schlechter sind als die Optimallösung Algorithmen für Steinerbaum- und TSP-Problem aus letzter Übung waren Approximationen! 33 / 67

34 Eine Approximation für Vertex Cover Function Approx-Vertex-Cover(G = (V, E) : Graph) C = while E do e = pickrandom(e) // e = {e 1, e 2 } C = C e e E, e e : E = E \ e return C 34 / 67

35 Eine Approximation für Vertex Cover Korrektheit Frage: Warum sind nachher alle Kanten abgedeckt? es werden nur abgedeckte Kanten entfernt es wird immer eine Kante entfernt! wichtig: immer zeigen, dass der Algorithmus terminiert! alle Kanten abgedeckt 35 / 67

36 Eine Approximation für Vertex Cover Beweis: 2-Approximation sei A Menge der in der Schleife zufällig gewählten Kanten C = 2 A keine zwei Kanten in A haben einen Knoten gemeinsam 36 / 67

37 Eine Approximation für Vertex Cover Beweis: 2-Approximation sei A Menge der in der Schleife zufällig gewählten Kanten C = 2 A keine zwei Kanten in A haben einen Knoten gemeinsam sei Ĉ eine Optimallösung für jede Kante in A ist mindestens ein Knoten in Ĉ Ĉ A C 2 Ĉ 37 / 67

38 Metaheuristiken und Nachbarschaften Wie kann man Metaheuristiken für Vertex Cover verwenden? Idee: deniere eine Nachbarschaft auf den zulässigen Lösungen Wie sieht das bei Vertex Cover aus? Lösung: eine Menge von Knoten Nachbarlösungen: jede Menge, die sich nur um einen Knoten unterscheidet natürlich nicht unbedingt minimal! 38 / 67

39 Nachbarschaftsmetaheuristiken Lokale Suche Lokale Suche gehe immer zur besten Lösung in der Nachbarschaft der aktuellen Lösung f(x) x 39 / 67

40 Nachbarschaftsmetaheuristiken Lokale Suche Lokale Suche gehe immer zur besten Lösung in der Nachbarschaft der aktuellen Lösung f(x) x 40 / 67

41 Nachbarschaftsmetaheuristiken Lokale Suche Lokale Suche gehe immer zur besten Lösung in der Nachbarschaft der aktuellen Lösung f(x) x lokale Optima sind ein Problem 41 / 67

42 Nachbarschaftsmetaheuristiken Tabu-Suche Tabu-Suche gehe immer zur besten Lösung in der Nachbarschaft der aktuellen Lösung... auÿer den letzten k Lösungen f(x) x 42 / 67

43 Nachbarschaftsmetaheuristiken Tabu-Suche Tabu-Suche gehe immer zur besten Lösung in der Nachbarschaft der aktuellen Lösung... auÿer den letzten k Lösungen f(x) x 43 / 67

44 Nachbarschaftsmetaheuristiken Tabu-Suche Tabu-Suche gehe immer zur besten Lösung in der Nachbarschaft der aktuellen Lösung... auÿer den letzten k Lösungen f(x) x läuft aus lokalen Optima heraus wenn die Tabu-Liste gut gewählt ist 44 / 67

45 Lokale Suche für Vertex Cover 45 / 67

49 Lokale Suche für Vertex Cover lokales Optimum, aber nicht global optimal! 49 / 67

50 Tabu-Suche für Vertex Cover Gröÿe der Tabu-Liste: 1 derzeit tabu: 50 / 67

52 Tabu-Suche für Vertex Cover Gröÿe der Tabu-Liste: 1 derzeit tabu: {1, 2, 3, 4, 5, 6} 52 / 67

53 Tabu-Suche für Vertex Cover Gröÿe der Tabu-Liste: 1 derzeit tabu: {1, 3, 4, 5, 6} 53 / 67

54 Tabu-Suche für Vertex Cover Gröÿe der Tabu-Liste: 1 derzeit tabu: {1, 3, 4, 6} 54 / 67

55 Tabu-Suche für Vertex Cover Gröÿe der Tabu-Liste: 1 derzeit tabu: {1, 2, 3, 4, 6} 55 / 67

56 Tabu-Suche für Vertex Cover Gröÿe der Tabu-Liste: 1 derzeit tabu: {1, 2, 3, 4} 56 / 67

57 Tabu-Suche für Vertex Cover Gröÿe der Tabu-Liste: 1 derzeit tabu: {1, 2, 3, 4} globales Optimum! 57 / 67

58 Tabu-Suche für Vertex Cover Gröÿe der Tabu-Liste: 1 derzeit tabu: {1, 2, 3, 4} globales Optimum! Sind gröÿere Tabu-Listen zwangsläug besser...? 58 / 67

59 Tabu-Suche für Vertex Cover Gröÿe der Tabu-Liste: 1 derzeit tabu: {1, 2, 3, 4} globales Optimum! Sind gröÿere Tabu-Listen zwangsläug besser...? Nein! 59 / 67

62 Tabu-Suche für Vertex Cover Gröÿe der Tabu-Liste: 3 derzeit tabu: {1, 2, 3, 4, 5, 6} 62 / 67

63 Tabu-Suche für Vertex Cover Gröÿe der Tabu-Liste: 3 derzeit tabu: {1, 2, 3, 4, 5, 6}, {1, 2, 3, 4, 6} 63 / 67

64 Tabu-Suche für Vertex Cover Gröÿe der Tabu-Liste: 3 derzeit tabu: {1, 2, 3, 4, 5, 6}, {1, 2, 3, 4, 6}, {1, 3, 4, 6} Können nicht weitermachen! Geben daher sehr schlechte Lösung aus! 64 / 67

65 Nachbarschaftsmetaheuristiken Simulated Annealing Stahl Anlassen (engl. Annealing) stark erhitzen in erhitztem Stahl: Verbindungen ändern sich rapide langsam, kontrolliert abkühlen es bilden sich starke Kristallverbindungen Simulated Annealing Idee: Verschlechterungen zulassen Aber: mit der Zeit (sinkender Temperatur... ) weniger wahrscheinlich 65 / 67

66 Nachbarschaftsmetaheuristiken Simulated Annealing f(x)? P = e f(x ) f(x) T x Idee: erst recht global suchen, dann immer lokaler viele einzustellende Parameter Nachbarschaft ein bisschen komplizierter / 67

67 Zusammenfassung Probleme es gibt besonders schwierige Probleme Travelling Salesman Problem Vertex Cover Approximation Optimierungstechniken (I)LPs Ameisenalgorithmen Lokale Suhe, Tabu-Suche, Simulated Annealing 67 / 67