11. Übung zu Algorithmen I 6. Juli 2016

Transkript

1 11. Übung zu Algorithmen I 6. Juli 2016 Lisa Kohl lisa.kohl@kit.edu mit Folien von Lukas Barth

2 Roadmap Ausblick: Was sind schwierige Probleme? Travelling Salesman Problem - Reprise ein ILP ein Algorithmus mit Ameisen Vertex Cover ein Annäherungsversuch

3 Schwierige Probleme Eine Menge Probleme Intuitiv: NP ist die Menge aller Probleme, zu denen eine gegebene Lösung effizient überprüft werden kann Achtung: es kann schwer sein eine solche Lösung zu finden Schwierige Probleme Intuitiv: NPC ist die Menge aller Probleme, die genauso schwierig wie das schwierigste Problem in NP sind

4 Schwierige Probleme Wie schwierig sind die schwierigsten Probleme? Sind sie effizient lösbar? Was bedeutet hier effizient? hier: effizient = existiert ein Polynomialzeit-Algorithmus große ungelöste Frage der Informatik! viele vermuten die Antwort ist nein jedes Jahr einige Beweise - für beide Richtungen

5 Erinnerung: Lineare Programme Ein lineares Programm mit n Variablen und m Constraints (NB) wird durch das folgende Minimierungs-/Maximierungsproblem definiert: Kostenfunktion f (x) = c x c ist der Kostenvektor m Constraints der Form a i x i b i mit i {,, =}, a i R n. Wir erhalten: L = {x R n : j 1..n : x j 0 i 1..m : a i x i b i }.

6 LP graphisch x 2 opt x 1

7 LP graphisch x 2 opt x 1

8 LP graphisch x 2 opt x 1

9 LP graphisch x 2 opt x 1

10 LP graphisch x 2 opt x 1

11 LP graphisch x 2 opt x 1

12 LP graphisch Integer LP x 2 opt x 1

13 LP graphisch Integer LP x 2 opt x 1

14 LP graphisch Integer LP x 2 opt x 1

15 Erinnerung: Travelling Salesman Problem Gegeben ungerichteter Graph G = (V, E), c : E R Gesucht kürzester Kreis, der alle Knoten besucht NP-schweres Problem

16 Ein ILP für TSP Städte: 1, 2,..., n Distanzen: d {i,j} := c({i, j}) Variablen x {i,j} = 1, wenn die Tour durch Kante {i, j} geht, = 0 sonst

17 Ein ILP für TSP Zielfunktion minimiere i,j : i j x {i,j} d {i,j} x {i,j} = 1 nur für Kanten, die Teil der Tour sind die Zielfunktion ist gerade die Länge der Tour!

18 Ein ILP für TSP Bedingung I - Tour Für alle i V gelte: x {i,j} = 2 j : i j jeder Knoten muss durch genau eine Kante betreten werden und durch genau eine Kante verlassen werden

19 Ein ILP für TSP Frage: Was fehlt noch? Abbildung : Von User:Sdo - self-made using xfig, CC BY-SA 2.5, Bedingung II - Zusammenhängende Tour Für alle S V gelte: i S,j / S x {i,j} 2

20 Heuristiken Heuristik altgr. heurísko: ich finde in begrenzter Zeit gute Lösungen zu schwierigen Problemen berechnen... ohne Garantien! Metaheuristik eine Heuristik für alle Probleme... eigentlich eher eine Familie

21 Ameisenalgorithmen I I I I Vorbild: Ameisenstraßen Ameisen versprühen Pheromone und folgen diesen dann selbstverstärkender Effekt! Abbildung : Ameisenstraße. c Mehmet Karatay

22 Ameisenalgorithmen für das TSP Jede Ameise startet irgendwo... läuft immer zu einer zufälligen (neuen) Nachbarstadt abhängig davon, wie viele Pheromone auf der Kante sind!... legt einen Pheromon-Pfad, wenn sie alle Städte gesehen hat

23 Ameisenalgorithmen für das TSP auf der schnellsten Tour wird mehr Pheromon abgelegt

24 Ameisenalgorithmen für das TSP Ergebnisse [M. Dorigo, V. Maniezzo, et A. Colorni, Ant system: optimization by a colony of cooperating agents, IEEE Transactions on Systems, Man, and Cybernetics Part B, volume 26, numéro 1, pages 29-41, 1996.] Experimentelle Resultate sehr gute Lösungsqualität (meist 95%) sehr schnell anwendbar auf viele Probleme (mehrere im Paper)

25 Vertex Cover Gegeben ungerichteter Graph G = (V, E) Gesucht minimale Menge S V, sodass jede Kante mindestens einen Endpunkt in S hat: {u, v} E : {u, v} S NP-schwer!

26 Approximation Erinnerung: Heuristik effizient gute Lösungen zu schwierigen Problemen berechnen... ohne Garantien! Approximation in begrenzter Zeit gute Lösungen zu schwierigen Problemen berechnen... die nicht mehr als einen (konstanten!) Faktor k schlechter sind als die Optimallösung Algorithmen für Steinerbaum- und TSP-Problem aus letzter Übung waren Approximationen!

27 Eine Approximation für Vertex Cover Function Approx-Vertex-Cover(G = (V, E) : Graph) C = while E do e = pickrandom(e) C = C e e E, e e : E = E \ e return C

28 Eine Approximation für Vertex Cover Korrektheit Frage: Warum sind nachher alle Kanten abgedeckt? es werden nur abgedeckte Kanten entfernt es wird immer eine Kante entfernt! wichtig: immer zeigen, dass der Algorithmus terminiert! alle Kanten abgedeckt

29 Eine Approximation für Vertex Cover Beweis: 2-Approximation sei A Menge der in der Schleife zufällig gewählten Kanten C = 2 A keine zwei Kanten in A haben einen Knoten gemeinsam sei Ĉ eine Optimallösung für jede Kante in A ist mindestens ein Knoten in Ĉ Ĉ A C 2 Ĉ

30 Metaheuristiken und Nachbarschaften Wie kann man Metaheuristiken für Vertex Cover verwenden? Idee: definiere eine Nachbarschaft auf den zulässigen Lösungen Wie sieht das bei Vertex Cover aus? Lösung: eine Menge von Knoten Nachbarlösungen: jede Menge, die sich nur um einen Knoten unterscheidet natürlich nicht unbedingt minimal!

31 Nachbarschaftsmetaheuristiken Lokale Suche Lokale Suche gehe immer zur besten Lösung in der Nachbarschaft der aktuellen Lösung f(x) x lokale Optima sind ein Problem

32 Nachbarschaftsmetaheuristiken Tabu-Suche Tabu-Suche gehe immer zur besten Lösung in der Nachbarschaft der aktuellen Lösung... außer den letzten k Lösungen f(x) x läuft aus lokalen Optima heraus wenn die Tabu-Liste gut gewählt ist

33 Nachbarschaftsmetaheuristiken Simulated Annealing Stahl Anlassen (engl. Annealing) stark erhitzen in erhitztem Stahl: Verbindungen ändern sich rapide langsam, kontrolliert abkühlen es bilden sich starke Kristallverbindungen Simulated Annealing Idee: Verschlechterungen zulassen Aber: mit der Zeit (sinkender Temperatur... ) weniger wahrscheinlich

34 Nachbarschaftsmetaheuristiken Simulated Annealing f(x)? P = e f(x ) f(x) T x Idee: erst recht global suchen, dann immer lokaler viele einzustellende Parameter Nachbarschaft ein bisschen komplizierter...

35 Lokale Suche für Vertex Cover

36 Lokale Suche für Vertex Cover

37 Lokale Suche für Vertex Cover

38 Lokale Suche für Vertex Cover

39 Lokale Suche für Vertex Cover lokales Optimum, aber nicht global optimal!

40 Tabu-Suche für Vertex Cover Größe der Tabu-Liste: 1 derzeit tabu:

41 Tabu-Suche für Vertex Cover Größe der Tabu-Liste: 1 derzeit tabu:

42 Tabu-Suche für Vertex Cover Größe der Tabu-Liste: 1 derzeit tabu: 1, 2, 3, 4, 5, 6

43 Tabu-Suche für Vertex Cover Größe der Tabu-Liste: 1 derzeit tabu: 1, 3, 4, 5, 6

44 Tabu-Suche für Vertex Cover Größe der Tabu-Liste: 1 derzeit tabu: 1, 3, 4, 6

45 Tabu-Suche für Vertex Cover Größe der Tabu-Liste: 1 derzeit tabu: 1, 2, 3, 4, 6

46 Tabu-Suche für Vertex Cover Größe der Tabu-Liste: 1 derzeit tabu: 1, 2, 3, 4

47 Tabu-Suche für Vertex Cover Größe der Tabu-Liste: 1 derzeit tabu: 1, 2, 3, 4 globales Optimum!

48 Tabu-Suche für Vertex Cover Größe der Tabu-Liste: 1 derzeit tabu: 1, 2, 3, 4 globales Optimum! Hätte das auch mit einer Tabu-Liste der Größe 2 funktioniert...?

49 Tabu-Suche für Vertex Cover Größe der Tabu-Liste: 1 derzeit tabu: 1, 2, 3, 4 globales Optimum! Hätte das auch mit einer Tabu-Liste der Größe 2 funktioniert...? Nein!

50 Zusammenfassung Probleme es gibt besonders schwierige Probleme Travelling Salesman Problem Vertex Cover Approximation Optimierungstechniken (I)LPs Ameisenalgorithmen Lokale Suhe, Tabu-Suche, Simulated Annealing