Algorithmische Methoden für schwere Optimierungsprobleme

Transkript

1 Algorithmische Methoden für schwere Optimierungsprobleme Prof. Dr. Henning Meyerhenke Institut für Theoretische Informatik 1 KIT Henning Universität desmeyerhenke, Landes Baden-Württemberg Institutund für Theoretische Informatik nationales Algorithmische Forschungszentrum Methoden in der Helmholtz-Gemeinschaft für schwere Optimierungsprobleme

2 Vorlesung 8 Programm: Max-SAT randomisiert Tabusuche ILS 2 Henning Meyerhenke, Institut für Theoretische Informatik

3 Inhalt Gierige lokale Suche für (Max-)SAT Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS) 3 Henning Meyerhenke, Institut für Theoretische Informatik Gierige lokale Suche für (Max-)SAT

4 Lokale Suche für (Max-)SAT Diskussion: Wie könnte eine gierige lokale Suche für (Max-)SAT aussehen? 4 Henning Meyerhenke, Institut für Theoretische Informatik Gierige lokale Suche für (Max-)SAT

5 Lokale Suche für (Max-)SAT Diskussion: Wie könnte eine gierige lokale Suche für (Max-)SAT aussehen? GSAT, siehe Selman et al., AAAI 1992: Startlösung: Zufällig generiert Wiederhole bis Abbruch: Belegung der Variable wechseln (engl.: flip), die die höchste Verbesserung bzgl. wahr ergibt Frage: Was sind vernünftige Abbruchkriterien? 4 Henning Meyerhenke, Institut für Theoretische Informatik Gierige lokale Suche für (Max-)SAT

6 Lokale Suche für (Max-)SAT Diskussion: Wie könnte eine gierige lokale Suche für (Max-)SAT aussehen? GSAT, siehe Selman et al., AAAI 1992: Startlösung: Zufällig generiert Wiederhole bis Abbruch: Belegung der Variable wechseln (engl.: flip), die die höchste Verbesserung bzgl. wahr ergibt Frage: Was sind vernünftige Abbruchkriterien? Erfüllende Belegung oder maximale Anzahl Iterationen erreicht Danach: Wiederholung mit neuer zufälliger Startlösung bis zum Zeitlimit 4 Henning Meyerhenke, Institut für Theoretische Informatik Gierige lokale Suche für (Max-)SAT

7 Lokale Suche für (Max-)SAT Diskussion: Wie könnte eine gierige lokale Suche für (Max-)SAT aussehen? GSAT, siehe Selman et al., AAAI 1992: Startlösung: Zufällig generiert Wiederhole bis Abbruch: Belegung der Variable wechseln (engl.: flip), die die höchste Verbesserung bzgl. wahr ergibt Frage: Was sind vernünftige Abbruchkriterien? Erfüllende Belegung oder maximale Anzahl Iterationen erreicht Danach: Wiederholung mit neuer zufälliger Startlösung bis zum Zeitlimit Bewertung: Bessere Varianten existieren, soll nur als Einstieg dienen 4 Henning Meyerhenke, Institut für Theoretische Informatik Gierige lokale Suche für (Max-)SAT

8 Random-Walk-Strategie für GSAT RWS-GSAT: Verbesserung von GSAT durch weiteren zufälligen Einfluss: Variable, die geflippt wird, wird anders gewählt: Mit Wkt. p: Wähle zu flippende Variable aus einer nicht erfüllten Klausel Mit Wkt. 1 p: Standard GSAT, also bestmöglichen lokalen Schritt Wahl von p wichtig (Schwäche!) 5 Henning Meyerhenke, Institut für Theoretische Informatik Gierige lokale Suche für (Max-)SAT

9 Schwierige Instanzen Phasenverschiebung bei SAT % of satisfiable problems SAT 3-SAT 4-SAT % of satisfiable problems n=25 n=50 n=100 n= c/n c/n Abbildung: c: Anzahl Klauseln, n: Anzahl der Variablen Fazit 1: Je mehr Klauseln pro Variable, desto schwieriger Fazit 2: Schmaler Grat zwischen erfüllbar und nicht erfüllbar 6 Henning Meyerhenke, Institut für Theoretische Informatik Gierige lokale Suche für (Max-)SAT

10 Inhalt Gierige lokale Suche für (Max-)SAT Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS) 7 Henning Meyerhenke, Institut für Theoretische Informatik

11 Einführung Kontrollierte Randomisierung in Simulated Annealing war Meilenstein wegen der Flucht aus lokalen Optima Randomisierung aber nicht immer erwünscht Neuer Ansatz: Tabusuche (TS) 8 Henning Meyerhenke, Institut für Theoretische Informatik

12 Einführung Kontrollierte Randomisierung in Simulated Annealing war Meilenstein wegen der Flucht aus lokalen Optima Randomisierung aber nicht immer erwünscht Neuer Ansatz: Tabusuche (TS) TS verhält sich wie lokale Suche mit steilstem Anstieg (Wahl des besten Nachbarn) Aber: TS akzeptiert auch nicht-verbessernde Nachbarlösungen, wenn es keine verbessernden Nachbarn gibt Vermeidung von Zyklen im Suchraum durch Tabuliste 8 Henning Meyerhenke, Institut für Theoretische Informatik

13 Konzept von Tabusuche SA wählt normalerweise einen zufälligen Nachbarn Viele TS-Algorithmen betrachten vollständige Nachbarschaft Wie bei lokaler Suche: Besserer Nachbar ersetzt aktuelle Lösung 9 Henning Meyerhenke, Institut für Theoretische Informatik

14 Konzept von Tabusuche SA wählt normalerweise einen zufälligen Nachbarn Viele TS-Algorithmen betrachten vollständige Nachbarschaft Wie bei lokaler Suche: Besserer Nachbar ersetzt aktuelle Lösung Im lokalen Optimum: Suche wird fortgesetzt mit bestem Nachbarn Kann zu Zyklen im Suchraum führen! Zyklusvermeidung: Tabuliste speichert (Informationen über) bereits besuchte Lösungen (der letzten Zeit) Beispiel: Siehe Tafel! 9 Henning Meyerhenke, Institut für Theoretische Informatik

15 Vermeidung von Zyklen: Tabuliste Kurzzeitgedächtnis Tabuliste speichert Aspekte der Suche Aspekte: Lösung, Veränderung zwischen Lösungen, Zielfunktionswerte, Henning Meyerhenke, Institut für Theoretische Informatik

16 Vermeidung von Zyklen: Tabuliste Kurzzeitgedächtnis Tabuliste speichert Aspekte der Suche Aspekte: Lösung, Veränderung zwischen Lösungen, Zielfunktionswerte,... Aktualisierung nach jedem Schritt (die neueste Info wird eingefügt, die älteste fliegt raus) Generierte Nachbarlösung ist nur akzeptabel, wenn sie nicht in der Tabuliste ist Übergeordnetes Kriterium: Schritt, der eigtl. tabu ist, wird doch akzeptiert (z. B. weil er eine beste bisher gefundene Lösung produziert) 10 Henning Meyerhenke, Institut für Theoretische Informatik

17 Vermeidung von Zyklen: Tabuliste Kurzzeitgedächtnis Tabuliste speichert Aspekte der Suche Aspekte: Lösung, Veränderung zwischen Lösungen, Zielfunktionswerte,... Aktualisierung nach jedem Schritt (die neueste Info wird eingefügt, die älteste fliegt raus) Generierte Nachbarlösung ist nur akzeptabel, wenn sie nicht in der Tabuliste ist Übergeordnetes Kriterium: Schritt, der eigtl. tabu ist, wird doch akzeptiert (z. B. weil er eine beste bisher gefundene Lösung produziert) Frage: Warum speichert man nicht alle bisherigen Lösungen? 10 Henning Meyerhenke, Institut für Theoretische Informatik

18 Vermeidung von Zyklen: Tabuliste Kurzzeitgedächtnis Tabuliste speichert Aspekte der Suche Aspekte: Lösung, Veränderung zwischen Lösungen, Zielfunktionswerte,... Aktualisierung nach jedem Schritt (die neueste Info wird eingefügt, die älteste fliegt raus) Generierte Nachbarlösung ist nur akzeptabel, wenn sie nicht in der Tabuliste ist Übergeordnetes Kriterium: Schritt, der eigtl. tabu ist, wird doch akzeptiert (z. B. weil er eine beste bisher gefundene Lösung produziert) Frage: Warum speichert man nicht alle bisherigen Lösungen? Wichtig: Funktioniert nur in diskreten Suchräumen! Warum? 10 Henning Meyerhenke, Institut für Theoretische Informatik

19 Beispiel Fortsetzung Siehe Tafel! 11 Henning Meyerhenke, Institut für Theoretische Informatik

20 Intensivierung durch Gedächtnis mittlerer Länge Intensivierung: Die Suche im Suchraum einengen auf den Bereich guter Lösungen Frage: Bei welcher Struktur des Suchraums ist das gut? 12 Henning Meyerhenke, Institut für Theoretische Informatik

21 Intensivierung durch Gedächtnis mittlerer Länge Intensivierung: Die Suche im Suchraum einengen auf den Bereich guter Lösungen Frage: Bei welcher Struktur des Suchraums ist das gut? Methode bei Tabusuche: Gedächtnis mittlerer Länge speichert Menge der besten bisher gefundenen Lösungen Bei der Betrachtung können unterschiedliche Eigenschaften eine Rolle spielen, auch durch Wahrscheinlichkeiten gewichtet 12 Henning Meyerhenke, Institut für Theoretische Informatik

22 Diversifizierung durch Langzeitgedächtnis Diversifizierung: Die Suche im Suchraum breit streuen Frage: Bei welcher Struktur des Suchraums ist das gut? 13 Henning Meyerhenke, Institut für Theoretische Informatik

23 Diversifizierung durch Langzeitgedächtnis Diversifizierung: Die Suche im Suchraum breit streuen Frage: Bei welcher Struktur des Suchraums ist das gut? Methode bei Tabusuche: Langzeitgedächtnis speichert Informationen über die besuchten Lösungen Unbesuchte Bereiche des Lösungsraums werden dann bevorzugt besucht 13 Henning Meyerhenke, Institut für Theoretische Informatik

24 Tabusuche Generischer Algorithmus 1: function TABUSEARCH(I) 2: s = generate_initial_solution() 3: Initialisiere Tabuliste, und Gedächtnisse mittlerer und großer Länge 4: repeat 5: Finde besten zulässigen Nachbarn s 6: s = s 7: Aktualisiere Tabuliste und die beiden anderen Gedächtnisse 8: if Intensivierung erforderlich then 9: Führe Intensivierung durch 10: end if 11: if Diversifizierung erforderlich then 12: Führe Diversifizierung durch 13: end if 14: until Terminierungskriterium erfüllt 15: return beste bisher gefundene Lösung 16: end function 14 Henning Meyerhenke, Institut für Theoretische Informatik

25 Komponenten (1): Übersicht Suchspeicher Zweck Beliebte Repräsentation Tabuliste Zyklusvermeidung Besuchte Lösungen, Schrittattribute, Lösungsattribute Gedächtnis m. Länge Intensivierung Zahl aufeinanderfolgender Iterationen einer Eigenschaft in besuchten Lösungen Langzeitgedächtnis Diversifizierung Häufigkeitsspeicher 15 Henning Meyerhenke, Institut für Theoretische Informatik

26 Komponenten (2) Kurzzeitgedächtnis Tabuliste Zweck: Zyklen verhindern Aus Zeit- und Platzgründen wird nicht die ganze Historie gespeichert Daher: Länge k statisch (k konstant) dynamisch (k veränderlich, ohne dass Informationen über die Suche eingehen) adaptiv (k veränderlich, dafür Einbezug von Informationen über die Suche) Gespeicherte Information: Attribute der Lösung, Attribute des Schritts zwischen Lösungen, ggf. weitere Infos 16 Henning Meyerhenke, Institut für Theoretische Informatik

27 Komponenten (2) Kurzzeitgedächtnis Tabuliste Zweck: Zyklen verhindern Aus Zeit- und Platzgründen wird nicht die ganze Historie gespeichert Daher: Länge k statisch (k konstant) dynamisch (k veränderlich, ohne dass Informationen über die Suche eingehen) adaptiv (k veränderlich, dafür Einbezug von Informationen über die Suche) Gespeicherte Information: Attribute der Lösung, Attribute des Schritts zwischen Lösungen, ggf. weitere Infos Diskussion: Datenstruktur für die Tabuliste (nicht so sehr die Einträge an sich)? 16 Henning Meyerhenke, Institut für Theoretische Informatik

28 Komponenten (3) Gedächtnisse mittlerer und großer Länge Mittlere Länge: Speichert Zahl der aufeinanderfolgenden Iterationen, in denen eine Eigenschaft in den besuchten Lösungen aufgetreten ist Beispiel: Belegung einer Variablen(gruppe) 17 Henning Meyerhenke, Institut für Theoretische Informatik

29 Komponenten (3) Gedächtnisse mittlerer und großer Länge Mittlere Länge: Speichert Zahl der aufeinanderfolgenden Iterationen, in denen eine Eigenschaft in den besuchten Lösungen aufgetreten ist Beispiel: Belegung einer Variablen(gruppe) Große Länge: Speichert, wie häufig insgesamt in den bisher besuchten Lösungen eine Eigenschaft aufgetreten ist Beispiel: Bei TSP bestimmte Kanten 17 Henning Meyerhenke, Institut für Theoretische Informatik

30 Tabusuche für (Max-)SAT Mazure et al.: Tabu Search for SAT Vergleich zur lokalen Suche: Wollen wiederkehrende Flips vermeiden Kein übergeordnetes Tabukriterium (Nachbarn in Tabuliste sind immer tabu) Tabuliste fester Länge von geflippten Variablen (nicht Belegungen) als zeitlich geordnete FIFO-Liste Variablen in der Liste werden nicht geflippt 18 Henning Meyerhenke, Institut für Theoretische Informatik

31 Tabusuche für (Max-)SAT Mazure et al.: Tabu Search for SAT Vergleich zur lokalen Suche: Wollen wiederkehrende Flips vermeiden Kein übergeordnetes Tabukriterium (Nachbarn in Tabuliste sind immer tabu) Tabuliste fester Länge von geflippten Variablen (nicht Belegungen) als zeitlich geordnete FIFO-Liste Variablen in der Liste werden nicht geflippt Merke: Effizienz und Effektivität von (Meta)Heuristiken hängt von Parameterwahl ab Experimentell ermittelt: Optimale Länge der Tabuliste für die Testinstanzen = n (mit Vorsicht zu genießen) 18 Henning Meyerhenke, Institut für Theoretische Informatik

32 SAT-Ergebnisse TSAT vs. RWS-GSAT nach Mazure et al. Abbildung: Exp. Ergebnisse für 3-SAT-Instanzen nahe der Phasengrenze RWS-GSAT TSAT ratio RWS-GSAT: Runden mit verschiedenen Startlösungen60000 Maximal n2 Flips pro Runde p = Ratio (zu minimieren): (Durchschnittliche Zahl Flips bei gelösten Instanzen) / 0 (Prozentsatz gelöster Instanzen) Henning Meyerhenke, Institut für Theoretische Informatik number of variables

33 Diskussion von Tabusuche In Bezug auf TSAT, das vorgestellte Verfahren für (Max-)SAT: Tabusuche besser als randomisierte gierige lokale Suche, besonders bei großen Problemen Länge der Tabuliste linear in n (experimentell!) 20 Henning Meyerhenke, Institut für Theoretische Informatik

34 Diskussion von Tabusuche In Bezug auf TSAT, das vorgestellte Verfahren für (Max-)SAT: Tabusuche besser als randomisierte gierige lokale Suche, besonders bei großen Problemen Länge der Tabuliste linear in n (experimentell!) Allgemein: Deterministisches Verfahren für diskrete Suchräume! Flucht aus lokalen Optima durch Akzeptierung schwächerer Zustände Zyklenvermeidung durch Tabuliste Verbesserung der Suche durch Intensivierung und/oder Diversifizierung 20 Henning Meyerhenke, Institut für Theoretische Informatik

35 Diskussion von Tabusuche In Bezug auf TSAT, das vorgestellte Verfahren für (Max-)SAT: Tabusuche besser als randomisierte gierige lokale Suche, besonders bei großen Problemen Länge der Tabuliste linear in n (experimentell!) Allgemein: Deterministisches Verfahren für diskrete Suchräume! Flucht aus lokalen Optima durch Akzeptierung schwächerer Zustände Zyklenvermeidung durch Tabuliste Verbesserung der Suche durch Intensivierung und/oder Diversifizierung Vorteile? Nachteile? 20 Henning Meyerhenke, Institut für Theoretische Informatik

36 Wiederholung Tabusuche Allgemein: Deterministisches Verfahren zur diskreten Optimierung Flucht aus lokalen Optima durch Akzeptierung schwächerer Zustände Zyklenvermeidung durch Tabuliste Verbesserung der Suche durch Intensivierung und/oder Diversifizierung 21 Henning Meyerhenke, Institut für Theoretische Informatik

37 Wiederholung Tabusuche Allgemein: Deterministisches Verfahren zur diskreten Optimierung Flucht aus lokalen Optima durch Akzeptierung schwächerer Zustände Zyklenvermeidung durch Tabuliste Verbesserung der Suche durch Intensivierung und/oder Diversifizierung Vorteile: Deterministisch, Flucht aus lokalen Optima Nachteile: Parameterabhängigkeit, mglw. lange Laufzeit 21 Henning Meyerhenke, Institut für Theoretische Informatik

38 Wiederholung Tabusuche Allgemein: Deterministisches Verfahren zur diskreten Optimierung Flucht aus lokalen Optima durch Akzeptierung schwächerer Zustände Zyklenvermeidung durch Tabuliste Verbesserung der Suche durch Intensivierung und/oder Diversifizierung Vorteile: Deterministisch, Flucht aus lokalen Optima Nachteile: Parameterabhängigkeit, mglw. lange Laufzeit In Bezug auf TSAT, das vorgestellte Verfahren für (Max-)SAT: Tabusuche besser als randomisierte gierige lokale Suche, besonders bei großen Problemen Länge der Tabuliste linear in n (experimentell!) 21 Henning Meyerhenke, Institut für Theoretische Informatik

39 Inhalt Gierige lokale Suche für (Max-)SAT Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS) 22 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

40 Einführung Lösungsqualität (des lokalen Optimums) hängt bei lokaler Suche stark von Startlösung ab Frage: Wie verbessern, ohne die Laufzeit explodieren zu lassen (konstanter Faktor erlaubt)? 23 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

41 Einführung Lösungsqualität (des lokalen Optimums) hängt bei lokaler Suche stark von Startlösung ab Frage: Wie verbessern, ohne die Laufzeit explodieren zu lassen (konstanter Faktor erlaubt)? Lokale Suche mit Mehrfachstart: Initiale Lösung wird mehrfach zufällig generiert, dann jedes Mal lokale Suche gestartet Hoffnung: Diversifiziert ausreichend, um das globale Optimum zu erwischen Erkenntnis: Bei sehr großen Instanzen ungeeignet Grund: Lokale Optima sind sich oft recht ähnlich in der Qualität 23 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

42 Einführung Lösungsqualität (des lokalen Optimums) hängt bei lokaler Suche stark von Startlösung ab Frage: Wie verbessern, ohne die Laufzeit explodieren zu lassen (konstanter Faktor erlaubt)? Lokale Suche mit Mehrfachstart: Initiale Lösung wird mehrfach zufällig generiert, dann jedes Mal lokale Suche gestartet Hoffnung: Diversifiziert ausreichend, um das globale Optimum zu erwischen Erkenntnis: Bei sehr großen Instanzen ungeeignet Grund: Lokale Optima sind sich oft recht ähnlich in der Qualität Iterierte Lokale Suche (ILS): Neustart verwirft bisherige Lösung nicht komplett 23 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

43 Konzept von ILS Idee: Wiederhole lokale Suche mit perturbierten Lösungen Vorgehen (abstrakter Pseudocode) Generiere initiale Lösung Lokale Suche Wiederholen, bis Abbruchkriterium erreicht: Perturbieren der bisherigen Lösung Lokale Suche Bewertung/Akzeptierung der aktuellen Lösung (bei Akzeptierung Fortsetzung der Suche bei aktueller Lösung, sonst bei voriger) Ausgabe: Beste gefundene Lösung Skizze des Lösungsraums: Siehe Tafel! 24 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

44 Komponenten Lokale Suche Prinzipiell jede (Meta-)Heuristik möglich, die Eigenschaften lokaler Suche aufweist Beispiele? Populationsbasierte (später in der Vorlesung) Methoden unüblich 25 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

45 Komponenten Lokale Suche Prinzipiell jede (Meta-)Heuristik möglich, die Eigenschaften lokaler Suche aufweist Beispiele? Populationsbasierte (später in der Vorlesung) Methoden unüblich Lokale Suche wird als Black Box verwendet 25 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

46 Komponenten Perturbation (1) Perturbation muss effektiver sein als zufälliger Mehrfachstart Für typische reale Probleme ist eine beeinflusste Perturbation notwendig Beeinflusst von den bisherigen Lösungen 26 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

47 Komponenten Perturbation (1) Perturbation muss effektiver sein als zufälliger Mehrfachstart Für typische reale Probleme ist eine beeinflusste Perturbation notwendig Beeinflusst von den bisherigen Lösungen Bei flachen und zerklüfteten Fitness-Landschaften (siehe Tafel) ist zufälliger Mehrfachstart aber meist besser! (Erste) Evaluation: Vergleich der beiden Methoden zufälliger Mehrfachstart und ILS mit der beeinflussten Perturbation 26 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

48 Komponenten Perturbation (2) Gute Balance bei Perturbation ( = lokale Nachbarschaft) wichtig: Zu viel: Zu ähnlich zu zufälligem Mehrfachstart Zu wenig: Mittelbare Nachbarschaft des lokalen Optimums wird nicht verlassen Daumenregel: Je effektiver die lokale Suche, desto größer die Perturbation Frage: Warum? 27 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

49 Komponenten Perturbation (2) Gute Balance bei Perturbation ( = lokale Nachbarschaft) wichtig: Zu viel: Zu ähnlich zu zufälligem Mehrfachstart Zu wenig: Mittelbare Nachbarschaft des lokalen Optimums wird nicht verlassen Daumenregel: Je effektiver die lokale Suche, desto größer die Perturbation Frage: Warum? Optimale Länge hängt vom Problem und von der Instanz ab! Varianten ähnlich wie bei TS bzgl. Länge der Tabuliste: Statisch Dynamisch Adaptiv Zusätzlicher Aspekt: Zufällig oder (halb)deterministisch 27 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

50 Komponenten Akzeptierungsfunktion Rolle in Verbindung mit Perturbation: Steuern des Kompromisses zwischen Intensivierung und Diversifizierung Extreme Intensivierung: Nur verbessernde Lösungen akzeptieren (starke Auswahl) Extreme Diversifizierung: Jede Lösung akzeptieren (schwache Auswahl) 28 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

51 Komponenten Akzeptierungsfunktion Rolle in Verbindung mit Perturbation: Steuern des Kompromisses zwischen Intensivierung und Diversifizierung Extreme Intensivierung: Nur verbessernde Lösungen akzeptieren (starke Auswahl) Extreme Diversifizierung: Jede Lösung akzeptieren (schwache Auswahl) Viele Kriterien in der Literatur balancieren dazwischen: Probabilistisch: Zum Bsp. Boltzmann-Verteilung von SA (dann Abkühlungszeitplan erforderlich) Deterministisch: Zahlreiche Varianten, zum Bsp. basierend auf Qualitätsschranken 28 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

52 Vorlesung 9 Programm: Wdh. Tabusuche ILS Clusteranalyse von Graphen 29 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

53 ILS für TSP Startlösung: Gierige Heuristik Lokale Suche: Zum Bsp. 2-Opt, 3-Opt, LK Perturbation: Doppelbrückenschritt (4-Opt) Akzeptierung: Nur bei nicht verschlechternder Lösung 30 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

54 ILS für Max-SAT Ideensammlung an der Tafel Startlösung: Lokale Suche: Perturbation: Akzeptierung: 31 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

55 ILS für Max-SAT [Smyth et al., Iterated Robust Tabu Search for MAX-SAT, Adv. in AI, 2003] Startlösung: Zufällige Belegung, gleichverteilt Lokale Suche: Robuste Tabusuche RoTS Perturbation: RoTS mit kleinerem maxiter und längerer Tabuliste als bei Suche Akzeptierung: Neue Lösung besser: Immer akzeptieren Gleiche Qualität: Gleiche Wkt. Sonst: Neue Lsg. mit Wkt. 0.1 akzeptieren 32 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

56 Max-SAT-Ergebnisse von ILS mit RoTS (IRoTS) Empirische Ergebnisse auf verschiedenen Max-SAT-Instanzen: Gewichtet (Klauseln unterschiedlicher Priorität) und ungewichtet Zufällig generiert und strukturiert IRoTS meist besser als GLS (guided local search) und als ein einfacherer ILS-Algorithmus Bei anderen Optimierungsproblemen IRoTS aber nicht so gut wie GLS Merke: Metaheuristiken zwar allgemein anwendbar, aber Anpassung (von Parametern und Komponenten) an konkretes Problem immer wichtig 33 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)

57 Zusammenfassung ILS Generiere initiale Lösung Lokale Suche Wiederholen, bis Abbruchkriterium erreicht: Perturbieren der bisherigen Lösung Lokale Suche Bewertung/Akzeptierung der aktuellen Lösung (bei Akzeptierung Fortsetzung der Suche bei aktueller Lösung, sonst bei voriger) Ausgabe: Beste gefundene Lösung Iterierte lokale Suche mit Perturbation Kann lokalen Optima entkommen Bei passender Perturbation gute Mischung aus Intensivierung und Diversifizierung 34 Henning Meyerhenke, Institut für Theoretische Informatik Das Erfüllbarkeitsproblem SAT Metaheuristik Iterierte Lokale Suche (ILS)