Optimierung. Vorlesung 12

Transkript

1 Optimierung Vorlesung 12

2 Letze Woche Approximieren von ILP durch randomisiertes Runden. Beispiel Set Cove Relaxiertes LP lösen und runden. Probleme: 1. Zielfunktionswert 2. Zulässigkeit 1. Linearität des Erwarungswert vs. lineare Zielfunktion. Etwas mehr aufrunden => schlechterer Erwartungswert, aber: 2. W keit das gerundete Lösung zulässig? 1. Markov Ungleichung 2

3 Prüfungstermin steht jetzt fest Datum: Uhrzeit: 11:00-13:00 Raum: O1 Schriftliche Klausur Erlaubte Hilfsmittel: Stift. Ein einseitig, handschriftlich beschriebenes DIN A4 Blatt. Selbst geschrieben, nicht ausgedruckt oder kopiert. Studierendenausweis nicht vergessen. Anmeldung? 3

4 Heutiges Thema: Exakte Algorithmen und Heuristiken 1. Branch & Bound Exaktes Verfahren, Optimalität der Lösung ist garantiert. Schlechte Laufzeit im ungünstigen Fällen 2. Heuristiken und Suchverfahren Können zu beliebigen Zeitpunkten gestoppt werden. Lösungen sind möglicherweise nicht optimal a) Lokale Suche b) Simulated Annealing c) Metropolis d) Evolutionäre Algorithmen 4

5 Bisherige Algorithmen Die spezielle Struktur des Problems war uns bekannt, wie z.b. facility location, set cover, maximaler Fluss, Wir konnten diese Kenntnis für unsere Algorithmen nutzen, um Garantien bezüglich Laufzeit und Güte der Lösungen zu erhalten. Oft ist dies in der Praxis nicht möglich: Mangelnde Information über die Struktur des Problems. Sehr komplexes Problem. Zu wenig Zeit, Geld oder algorithmische Fähigkeiten. 5

6 Mögliche Ansätze Kombinatorisches (ganzahliges) Problem. Z.B. ein ILP oder sogar ein nicht-lineares Problem, das (vermutlich) NP-schwer ist. Im Worst-Case nicht möglich: garantiert schnell eine garantiert optimale Lösung zu finden. Teil 1: Branch&Bound Garantiert optimal, hoffentlich nicht zu langsam. Teil 2: Suchheuristiken, eher schnell aber nicht optimal. 6

7 Branch&Bound: Idee Branch: Wir Teilen die Lösungsmenge in zwei oder mehr (disjunkte) Mengen. Durch Wiederholung erhalten wir einen Baum mit einzelnen Lösungen an den Blättern. Bound: Wir berechnen eine Abschätzung der Lösungsgüte dieser Teilmengen, um zu entscheiden welche Teilbäume wir betrachten müssen und in welcher Reihenfolge. Hoffnung: Wir können es so vermeiden den gesamten Baum zu durchlaufen. 7

8 Im Allgemeinen Hier nur Maximierungsprobleme. Beispiel: Das Rucksackproblem. Ein Branch and Bound Algorithmus besteht aus folgenden Modulen: Upper Bound Modul Lower Bound Modul Branching Modul Search Modul 8

9 Upper Bound Modul Berechnet effizient eine möglichst gute obere Schranke U für den Wert der optimale Lösung des gegebenen Problem. Wir wissen also, dass wir in diesem (Teil-) Lösungsraum bestenfalls U erreichen können. Oft nutzt man hier relaxierte LPs. Wie sieht das beim Rucksackproblem aus? 9

10 Lower Bound Modul Berechnet effizient eine untere Schranke L für den Wert der optimalen Lösung. Zum Beispiel durch einen Greedy Algorithmus. Bemerkung: Wenn U = L dann haben wir bereits eine optimale Lösung für das (Teil-) Problem gefunden. 10

11 Branching Modul (1) Erzeugt zwei oder mehr Teilprobleme des selben Typs. Teilproblem P des Problems P: Menge der zulässigen Lösungen von P ist eine echte Teilmenge der zul. Lsg. von P. Jede zul. Lsg. von P hat den selben Zielfunktionswert wie in P. Die Teilprobleme decken das Gesamtproblem ab. Die beste Lösung aller Lösungen aller Teilprobleme ist optimale Lösung des Gesamtproblems. 11

12 Branching Modul (2) Gesamtproblem P mit L < U Für eine Zerlegung von P in P 1, P 2, berechnen wir jeweils L i und U i. Neue (bessere) untere Schranke: L = max{l, L 1, L 2 } Neue obere Schranke U = min U, U mit U = max {U 1, U 2, } Für ein Teilproblem P i sollte gelten: U i U, andernfalls setze U i = U. 1. U i = L i : beste Lösung für das Teilproblem gefunden, wir müssen nicht weiter zerlegen. 2. U i L: Keine Lösung in P i ist besser als eine bereits gefundene. Wir müssen P i nicht weiter betrachten. 3. U i > L: P i enthält möglicherweise eine bessere Lösung. Wir zerlegen P i weiter (erneutes Branching). Anmerkung: Wenn Teilproblem nur noch eine Lösung enthält, tritt Fall 1 ein. 12

13 Branching beim Rucksackproblem Wähle ein Objekt j aus. Sinnvollerweise das Objekt das bei der relaxierten Lösung zerschnitten wird. Zerlege den Lösungsraum in a) die Lösungen die j enthalten und b) die j nicht enthalten. Implementierung z.b. über zwei Mengen I i und E i, die die Objekte enthalten die auf in der Lösung enthalten bzw nicht enthalten sind. 13

14 Search Modul Entscheidet welches Teilproblem als nächtes weiter zerlegt wird. Verschiedene Strategien Z.B. Tiefensuche, um die untere Schranke L zu verbessern Breitensuche würde eher U verbessern Problemspezifisch. 14

15 Beispiel n = 3 Gewichtsschranke 10 Objekt Nutzen 12 7,5 5 Gewicht Nutzen/Gewicht 2 1,5 1 15

16 Teil 2: Suchheuristiken Black Box Optimierung Struktur des Problem typischerweise unbekannt. z.b. ein System das von n Variablen gesteuert wird. Z.B.: Lösungsraum/Suchraum S = 0,1 n Maximiere eine Funktion f: S R Vollständiges durchsuchen von S nicht möglich. Informationsreduktion: Im Laufe der Suche nur einen kleinen Teil der gesehenen Information wird gespeichert. 16

17 Lokale Suche Es wird immer nur eine Lösung gespeichert. 1. Beginne mit einer initialen Lösung. 2. Gehe zu einer besseren benachbarten Lösung solange eine existiert. 3. Gib diese Lösung aus. Nachbarschaft? Darf nicht zu groß sein. Wir müssen schnell Schritt 2 durchführen können. Nachteil: Wir bleiben in einem lokalen Optimum hängen. 17

18 Beispiele Hammingabstand Bitstrings x, y 1,0 n Abstand ist die Anzahl der i mit x i y i Nachbarschaft einer Lösung x: Menge aller Lösungen mit Hammingabstand k. k-opt Nachbarschaft bei TSP Rundtour wird an k Stellen aufgeschnitten und neu zusammengesetzt. Edge-Swap bei MST. Lösche eine Kante des Spannbaums und füge eine Kante hinzu so dass die Spannbaumeigenschaft erhalten bleibt FLIP bei SAT Invertiere ein Bit. 18

19 Lokale Suche, Schritt 2 1. Beginne mit einer initialen Lösung x. 2. Gehe zu einer besseren benachbarten Lösung x N x solange eine existiert. 3. Gib diese Lösung aus. Mögliche Varianten für Schritt 2: a) Teste alle benachbarten Lösungen und nimm die Beste. b) Nimm die erste benachbarte Lösung, die verbessernd ist. c) Erzeuge zufällig eine benachbarte Lösung. Abbruchkriterium? Laufzeit / Größe der Nachbarschaft? 19

20 Metropolis Versuch aus einem lokalen Optimum herauszukommen. Wir erlauben mit kleiner W keit auch eine Verschlechterung. Schlechtere neue Nachbarschaftslösung x wird akzeptiert mit W keit: x f x f e T Je schlechter x, umso unwahrscheinlicher die Akzeptanz T muss sinnvoll gewählt werden. T = : Zufälliges Sampling. T = 0 : Lokale Suche. Natürlich merken wir uns die beste bisherige Lösung. 20

21 Simulated Annealing Ähnlich zu Metropolis: Schlechtere neue Nachbarschaftslösung x wird akzeptiert mit W keit: x f x f e T Wir kühlen T ab. Anfangs erlauben wir eher eine Verschlechterung; T wird im Verlauf verringert. Entwicklung von T kann von der Zeit, aber auch von der Entwicklung von f(x) abhängen. 21

22 Evolutionäre Algorithmen Oberbegrif für eine Reihe von Meta- Heuristiken wie genetische Algorithmen, Evolutionsstrategien, Evolutionary Programming, Genetic Programming, Inspiriert durch biologische Evolution mit Selektion (natürliche Auslese, survival of the fittest ), Rekombination (Kreuzung) und Mutation (kleine, zufällige Änderungen) 22

23 Evolutionäre Algorithmen - Selektion Wir arbeiten mit einer Menge von Lösungen (Population) fester Anzahl. Selektion: Wähle eine bestimmte Anzahl. Individuen der Population aus. Z.B. Tournament Selection. Auch schlechte Lösungen haben eine Chance. Bessere Lösungen werden mit höherer Wahrscheinlichkeit gewählt. 23

24 Evolutionäre Algorithmen - Rekombination Erzeuge aus je zwei Lösungen der neue Lösungen. Sei z.b. x = x 1, x n und y = y 1,, y n a) Wähle Position i zufällig und erzeuge z = x 1,, x i 1, y i, y n als neue Lösung. b) Wähle mehrere Abschitte. Problemspezifisches Wissen ist hier wichtig! c) Wenn x i = y i dann z i = x i = y i. Andernfalls z i = 1 mit W keit ½ und z i = 0 sonst. Beispiel TSP-Tour 24

25 Evolutionäre Algorithmen - Mutation Entspricht der Nachbarschaftsfunktion Bringt neue oder verlorengegangene Merkmale in die Population. Z.B. Verändere ein Bit mit einer gewissen (kleinen) Wahrscheinlichkeit. 25

26 Welche Heuristik ist besser? Im Allgemeinen: keine Für spezielle Problemklassen: kommt darauf an. In der Praxis: Kenntnis über die Struktur des Problems und seiner Lösungen sehr hilfreich. In der Theorie: Für bestimme Problemklassen kann man zeigen, dass eine bestimmte randomisierte Suchheuristik mit einer konstanten Wahrscheinlichkeit in polynomiell vielen Schritten eine fast optimale 1 + ε Lösung findet. 26