Heuristische Verfahren

Transkript

1 Heuristische Verfahren Bei heuristischen Verfahren geht es darum in polynomieller Zeit eine Näherungslösung zu bekommen. Diese kann sehr gut oder sogar optimal sein, jedoch gibt es keine Garantie dafür. Dafür gibt es folgende Verfahren: Konstruktionsverfahren Verbesserungsverfahren Lokale Suchverfahren Metaheuristiken o Simulated Annealing o Tabu Suche o Evolutionäre Algorithmen Konstruktionsverfahren Die Konstruktionsverfahren sind meistens sehr problemspezifisch und häufig auch sehr intuitiv gestaltet. Das Konstruktionsverfahren basiert auf dem Greedy Prinzip. Wir haben in der VO schon einige Konstruktionsverfahren kennen gelernt wie zum Beispiel MST, 0/1 Rucksackproblem (First-Fit-Heuristik), Vertex Cover, Lastverteilung und TSP (Nearest-Neighbour-Heuristik). Man könnten beim TSP auch eine andere Heuristik verwenden, wie zum Beispiel die Insertion-Heuristik. Hierbei würde man mit einer Tour von 3 Knoten starten und Schrittweise Knoten zur Tour hinzufügen, bis alle Knoten eingebunden sind. Die Auswahlstrategie kann hier wieder sein, dass wir den am nächsten liegenden Knoten wählen, oder aber einfach einen zufälligen Knoten. Keine der beiden Auswahlverfahren ist immer am besten. Wichtig ist also, dass die Konstruktionsverfahren oft auf dem Greedy- Prinzip basieren.

2 Lokale Suche Das Problem bei den Konstruktionsverfahren ist, dass obwohl sie intuitiv und schnell sind, sie häufig keine ausreichend gute Lösung liefern. Die Idee bei der lokalen Suche ist, dass man versucht eine Ausgangslösung durch kleine Änderungen iterativ zu verbessern. Die lokale Suche hat meist keine Gütegarantie, findet in der Praxis aber eine deutliche Verbesserung der Lösung. Die Laufzeiten sind für die meisten Anwendungen Akzeptabel. Das Prinzip ist also, dass wir von einer Ausgangslösung ausgehen und solange eine Abbruchbedingungen nicht erfüllt ist wählen wir aus der Nachbarschaft mögliche Lösungen und falls diese besser sind als unsere Ausgangslösung, dann übernehmen wir sie. Die Wenn man also eine lokale Suche designen will muss man folgende Komponenten auswählen: Lösungsrepräsentation (kann zum Beispiel ein Array sein oder ein Graph oder irgendwas) und Zielfunktion Nachbarschaftsstruktur (welche Lösungen können von der ausgehenden unmittelbar in Erwägung gezogen werden?) Schrittfunktion (definiert, wie eine Nachbarschaft durchsucht wird) Terminierungskriterium Eine Nachbarschaftsstruktur ist eine Funktion, die jeder gültigen Lösung eine Menge von Nachbarn zuweist. Eine Nachbarschaft wird einfach mit 2

3 N(x) geschrieben was so viel heißt wie Nachbarschaft von x. Die Nachbarschaft ist üblicherweise implizit durch Veränderungen (Züge, Moves) definiert. Man kann die Nachbarschaft auch in einem Graphen darstellen wobei die Knoten den Lösungen entsprechen und die Kanten die Nachbarschaft anzeigen. Man muss natürlich die Größe der Nachbarschaft mit dem Suchaufwand abwiegen. Lokale Suche beim Vertex Cover. Die Nachbarschaftsstruktur ist wie folgt definiert: W ist ein Nachbar von W wenn W aus W durch Löschen eines einzigen Knotens erzeugt werden kann. Jedes Vertex Cover hat höchstens n Nachbarn. Wenn wir jetzt die Lokale Suche starte, sagen wir das unser W einfach alle Knoten des Graphen sind und falls wir ein W finden, sodass die Menge ein Vertex Cover mit einer geringeren Anzahl an Knoten ist, dann ersetzen wir unser W durch das W. Dieser Algorithmus terminiert nach höchstens n Schritten, da ja jeder Schritt die Größe des Vertex Covers um 1 verringert. Das muss aber auch nicht immer zum optimalen Ergebnis führen wie das folgende Beispiel zeigt. Das liegt daran, dass wir ja nur einen Knoten aus dem Graphen löschen dürfen. Da wir hier kein Vertex Cover erreichen wenn wir nur einen Knoten löschen, findet der Algorithmus nie das globale Optimum. 3

4 Lokale Suche für SAT Die Hamming-Distanz ist ein Maß für die Unterschiedlichkeit von Zeichenketten. Die Blöcke haben eine feste Länge und die Hamming- Distanz ist dabei die Anzahl der unterschiedlichen Stellen. Damit sollte man die oben angeführte Nachbarschaft verstehen. 4

5 Für die Schrittfunktion gibt es folgende Auswahlmöglichkeiten: Best Improvement (Durchsuche die Nachbarschaft von x vollständig und nimm seinen besten Nachbarn) Next Improvement (Durchsuche die Nachbarschaft von x in einer bestimmten Reihenfolge und nimm die erste Lösung die besser ist als x) Random Neighbour (einen zufälligen Nachbarn uns der Nachbarschaft von x) Die Wahl des Auswahlverfahrens hat starken Einfluss auf die Performance der lokalen Suche. Man kann also nie allgemein sagen, dass ein Verfahren besser ist als ein anders es kommt halt auf den Anwendungskontext ein. Random Neighbour ist also meist schneller aber Best Improvement braucht dafür meist erheblich weniger Iterationen. Allgemein ist es ja so, wenn die Nachbarschaft der aktuellen Lösung keine bessere Lösung mehr beinhaltet. Jetzt ist aber das Problem, dass bei Random Neighbour das nicht direkt erkannt werden kann. Und manchmal ist auch eine vollständige lokale Suche einfach zu Zeitaufwendig. Deswegen kann man alternativ mit folgenden Abbruchbedingungen vorgehen: Abbruch nach einer bestimmten maximalen Iterationszahl oder Zeit Wenn eine ausreichend gute Lösung gefunden wurde Wenn keine weitere Verbesserung über die letzten x iterationen erfolgt ist Lokale Suche für das TSP Die Nachbarschaftsstruktur hierbei ist der Austausch zweier Kanten (nennt sich 2-OPT). Die Größe der Nachbarschaft ist dabei O(n 2 ). Hierbei berechnet man also unter Berücksichtigung der hinzukommenden und wegfallenden Kanten den Wert der Aktuellen Lösung. Man benötigt hierfür nur konstante Zeit im vergleich zu O(n) Zeit für eine vollständige unabhängige Berechnung des Zielfunktionswerts. 5

6 Das Vorgehen: Dann wollen wir diesen Sauhaufen mal analysieren. 1. Hier wird lediglich die Kantenmenge beschrieben und mit der Aussage das in+1 = i1 sagt man nur, dass sich der Kreis der Tour schließt. 2. Das sieht jetzt schlimmer aus als es eigentlich ist. Z ist hier einfach eine Teilmenge der Tour und beinhaltet Paare von Kanten die nicht nebeneinander liegen. Im rechten Teil steht also lediglich die Bedingung für die Indexierung. Diese stellt einfach sicher, dass die Kanten nicht nebeneinander liegen. 3. Jetzt überprüft man für alle Kantenpaare die Distanzmatrix. Falls die obige Bedingung erfüllt ist, vertauscht man die beiden Kanten in dem man die alten raus löscht und die neuen zur Tour hinzufügt. Wenn das erledigt ist geht man wieder zu (2). 4. Wenn keine Vertauschungen mehr durchgeführt werden können liefert man die entstandene Tour zurück. Eine Iteration braucht O(n 2 ), da die Nachbarschaft O(n 2 ) groß ist. Das Problem hierbei ist nun das im Worst-Case O(n!) und somit nicht mehr polynomiell beschränkt ist. In der Praxis ist das Verfahren aber auch auf große Instanzen anwendbar, wenn man von einer sinnvollen ausgangslösung startet. 6

7 Die Laufzeit von r-opt liegt in O(n r ). Nach der Terminierung von 2-OPT oder r-opt sollten sich keine Kanten mehr kreuzen. 7

8 Maximaler Schnitt (Maximal Cut) Wird die lokale Suche ausgeführt bis eine lokal optimale Lösung gefunden wurde, so gilt eine Approximationsgüte von ½. 8

9 Metaheuristiken Simulated Annealing: 9

10 Ich habe hier zu dem Thema nichts geschrieben weil die Folien die ich hier anführe das Konzept sehr gut beschreiben. Beim Pseudocode braucht man sich nur alles in Ruhe durchlesen und dann sollte auch das kein Prolem darstellen. 10

11 Tabu Suche Auch bei der Tabu Suche wähle ich wieder die wichtigsten Folien da sie meiner Meinung nach sehr gut beschrieben sind. 11

12 12

13 Evolutionäre Algorithmen Charles Darwin war ein Informatiker (obviously not). Also begeben wir uns in das Galapagos der Informatik. 13

14 14

15 Als Alternative gibt es noch die Tournament Selektion. 15

16 Auch hier meiner Meinung nach alles sehr verständlich beschrieben. 16