Optimierung. Zusammenfassung

Transkript

1 Optimierung Zusammenfassung

2 Inhalte 1. Lineare Programmierung 2. Simplexalgorithmus 3. Ellipsoidmethode 4. Dualität 5. Ganzzahligkeit 6. Facility Location 7. Randomisiertes Runden 8. Branch and Bound & Heuristiken 9. Selfish Flows, Spieltheorie&Optimierung 2

3 1. Lineare Programmierung Kanonische Form: Maximiere c T x unter Ax b, x 0. Probleme als LP modellieren Transformation beliebiger LPs in die kanonische Form Geometrische Anschauung: Nebenbedingungen definieren Halbräume Gleichungen entsprechen Hyperebenen Lösungspolyhedron P Lösungsraum konvex Lokales Optimum auch global optimal 3

4 2. Simplexalgorithmus Optimum ist ein Knoten ( Eckpunkt ) Idee des SIMPLEX Algorithmus: Lokale Suche über die Knoten 1. Bestimme einen beliebigen Knoten v von P. 2. Falls es keine verbessernde Kante inzident zu v gibt, dann ist v optimal, stopp. 3. Folge einer beliebigen verbessernden Kante e von v. Falls e unbeschränkt ist so ist das LP unbeschränkt, stopp. 4. Sei u der andere Endpunkt von e. Setze v = u. Gehe zu Schritt 2. 4

5 Simplex im Rechner Umwandlung des LP in Gleichungsform. Eine Auswahl von genau m Spalten B ist eine Basis falls die Vektoren in B linear unabhängig sind. Basis: A B x B + A N x N = b Gleichungssytem von links mit A B 1 multiplizieren und erhalte Âx = b bzw. x B +  N x N = b x B = b  N x N, Basisvariablen als Funktion der NBV. für x N = 0 ist dann x B = b und wir erhalten die Basislösung x B, x N = (b, 0). Basislösungen entsprechen Schnittpunkten von d Nebenbedingungen des entprechenden kanonischen LPs. 5

6 Reduzierte Kosten und Pivotschritt Reduzierte Kosten c j m c B k â kj k=1 Satz 2.1 Falls der Vektor der reduzierten Kosten zu einer Basis B keinen positiven Eintrag enthält, so ist B optimal. Pivotschritt: Eingangspivotspalte j: Spalte mit positiven reduzierten Kosten. Ausgangspivotspalte i: Fall 1: Alle â ij 0. x j kann beliebig erhöht werden. LP unbeschränkt. Fall 2: Es gibt mindestens ein i {1,, m} mit â ij > 0. Wähle i = argmin 1 k m Und setzte x j = b i â ij. b k â kj â kj > 0 6

7 Initiale Basislösung, Komplexität und Laufzeit Initiale Basislösung durch ein HilfsLP Zahlen wachsen von α auf höchstens αm m+1 im Laufe des Algorithmus, Cramersche Regel Pivotschritt deshalb in polynomieller Zeit durchführbar. Anzahl der Pivotschritte im Worst-Case aber exponentiell. (Klee-Minty-Cube) Simplex ist kein Polynomzeitalgorithmus! 7

8 Degenerierte LPs Bei degenerierten LP kann es vorkommen, dass in einem Pivotschritt eine oder mehrere Basisvariablen den Wert 0 haben. Wenn man die falschen Spalten austauscht so terminiert der Simplexalgorithmus nicht. Lösungen: 1. Blands Pivotregel: Wähle die Eingangsspalte A j und die Ausgangsspalte A B(i), mit möglichst kleinem Index. 2. Pertubierung 8

9 Pertubierung Satz 2.4 Es gibt ein δ > 0, so dass für jedes ε (0, δ) gilt: a) LP(ε) ist nicht-degeneriert. b) Jede zulässige Basis für LP(ε) ist auch zulässig für LP. c) Jede optimale Basis für LP(ε) ist auch optimal für LP. Bemerkung 2.5 Sei α der Absolutwert des größten Nenners bzw. Zählers der Eingabezahlen von LP. Die Aussagen in Satz 2.4 gelten für ε = 1 αm 2m. Die Eingabelänge von LP(ε) ist damit 2 polynomiell in der Eingabelänge von LP beschränkt 9

10 3.Ellipsoidmethode Ellipsoidmethode Zulässigkeitstest Transformationsschritte Innere und Äußere Kugel Methode: Durch Mittelpunklt verletzte Nebenbedingung Halbraum H E-halbe Ellipse E Gesamtlaufzeit: Volumenargument 10

11 Zulässigkeit vs. Optimieren Satz 3.1 Existiert ein polynomieller Algorithmus A, der entscheidet, ob ein System von linearen Ungleichungen eine Lösung besitzt, so existiert auch ein polynomieller Algorithmus zur Lösung von LPs. Beweisidee: Zielfunktionsschranke als Nebenbedingung. - Binäre Suche. - Größe der Eingabe (-zahlen) beachten. 11

12 Der Zuässigkeitstest A Vorbereitung: Lemma 3.3 Ein lineares Ungleichungssystem LI der Eingabelänge L kann in polynomieller Zeit in ein lineares Ungleichungssystem LI* mit den folgenden Eigenschaften transformiert werden. a) LI* hat genau dann eine Lösung, wenn LI eine Lösung hat. b) Der Lösungsraum von LI* ist in einer Kugel um den Ursprung mit Radius höchstens 2 O(L2 ) enthalten. c) Wenn der Lösungsraum von LI* nicht leer ist, so enthält er O L4 eine Kugel mit Radius mindestens 2 d) Die Eingabelänge von LI* ist beschränkt durch O(L 2 ). 15

13 Die Schritte 1. Initiale Ellipsoid E: Kugel um den Ursprung mit Radius u. Nach Annahmen ist nach diesem Schritt S in E enthalten. 2. Falls das Volumen von E kleiner als das Volumen der Kugel mit Radius l ist, terminiere mit der Ausgabe S =. 3. Sei z der Mittelpunkt von E. Wir testen, ob z S, d.h. ob z alle Nebenbedingungen erfüllt. Falls ja, terminiere mit der Ausgabe S. 4. Identifizieren einen Halbraum H der S enthält: Wähle Ungleichung die von z verletzt wird. Verschiebe die dazugehörige Hyperebene parallel so, dass sie durch z verläuft. Bezeichne die Seite auf der S liegt mit H sowie den Schnitt von H und E mit E-halbe. Berechne nun die kleinste Ellipse E die E-halbe enthält. 5. Setzt E = E und gehe zu Schritt 2. 16

14 Laufzeit Volumenargument Lemma 3.4 Für den in Schritt 4 berechneten Ellipsoid E gilt vol E vol E n+1 Beweis nur für Dimension n = 2 und n = 3. Annahme E ist Kreis mit Radius 1 und Mittelpunkt (0,0) und H ist der Halbraum links der y-achse. 17

15 4. Dualität Definition 4.1 Wir betrachten das folgende LP in der kanonischen Form Maximiere c T x unter Ax b, x R d 0. Die Anzahl der Nebenbedingungen (ohne die Nichtnegativitätsbedingungen) sei m. Dieses LP bezeichnen wir als primales LP. Das zugehörige duale LP ist definiert als Minimiere y T b unter y T A c T m, y R 0 oder äquivalent Minimiere b T y unter A T y c T, y R m 0. 18

16 Schwache Dualität Satz 4.2 Das duale LP des dualen LPs ist das primale LP. Satz 4.3 (Schwaches Dualitätsprinzip) Sei x eine zulässige Lösung für das primale LP und y eine zulässige Lösung für das duale LP. Es gilt y T b c T x. 19

17 Das starke Dualitätsprinzip Satz 4.4 Sei x eine optimale Lösung für das primale LP und y eine optimale Lösung für das duale LP. Es gilt y T b = c T x. Beweisidee: 1. Gleichungsform, x* optimale Lösung 2. Kosten von x* hängen nur von den (nicht-schlupf-) Basisvariablen ab. 3. Vektor der reduzierten Kosten gibt uns 2 Ungleichungen 4. Konstruiere y*, Gleicher Wert, nutze die Ungleichungen aus 3. um Zulässigkeit zu zeigen 20

18 Anmerkungen Nicht nur gleicher Zielfunktionswert: Wir können aus optimaler primalen Basislösung eine optimale duale Basislösung konstruieren. Laufzeit O(min m 3, d 3 ), für die Berechnung von A Komplementärer Schlupf (complementary slackness) x und y sind optimal, genau dann wenn y i a i T x b i = 0 für alle i = 1,, m und (1) c j A j T y x j = 0 für alle j = 1,, n. (2) 21

19 5. Ganzzahligkeit Integer Linear Programs LP Optimum ILP Optimum Lösungsraum Ax = b, x 0 Zielfunktion Im Allgemeinen NP-schwer 22

20 Totale Unimodularität (Gleichungsform) Definition 5.1 Eine ganzzahlige quadratische Matrix wird als unimodular bezeichnet, wenn ihre Determinante den Wert 1 oder 1 hat. Eine ganzzahlige Matrix A wird als total unimodular bezeichnet, wenn jede quadratische, reguläre Teilmatrix von A unimodular ist. Satz 5.2 Betrachte ein LP in Gleichungsform Ax = b. Ist A total unimodular, so sind alle Basislösungen dieses LPs ganzzahlig. 23

21 Beweis Satz 5.2 Sei B eine Basis von A. Die Basislösung zu B wird durch die Gleichung A B x B = b beschrieben. Die Matrix A B ist dabei eine quadratische Teilmatrix von A, die durch die Spalten in B gebildet wird. Das Umsortieren der Spalten ändert nur das Vorzeichen der Determinante. Somit ist A B unimodular. Nach der Cramerschen Regel gilt x B(i) = det (A B(1),, A B(i 1), b, A B(i+1),, A (m) ) det (A B ) Die Determinante im Zähler ist ganzzahlig, und die Determinante im Nenner hat den Wert 1 oder -1, da A B unimodular ist. 24

22 Totale Unimodularität (kanonische Form) Satz 5.3 Betrachte ein LP in kanonischer Form Ax b. Ist A total unimodular, so sind alle Basislösungen dieses LPs ganzzahlig. Beweis Transformation in Gleichungsform Zeige, dass beliebige, quadratische Teilmatrix von (A E m ) unimodular. 25

23 Matrizen, die total unimodular sind. Satz 5.4 Eine ganzzahlige Matrix A mit Einträgen aus { 1,0,1} ist total unimodular, wenn nicht mehr als zwei nicht-nullwertige Einträge pro Spalte vorliegen, und wenn die Zeilen in zwei Mengen I 1 und I 2 eingeteilt werden können, die die folgenden Bedingungen erfüllen: a) Falls eine Spalte zwei Einträge mit demselben Vorzeichen enthält, so sind die entsprechenden Zeilen unterschiedlichen Mengen zugeordnet. b) Falls eine Spalte zwei Einträge mit unterschiedlichem Vorzeichen enthält, so sind die entsprechenden Zeilen derselben Menge zugeordnet. 26

24 Inzidenzmatrizen Korollar 5.5 Ein LP in Standardform oder in kanonischer Form hat nur ganzzahlige Basislösungen, wenn die Nebenbedingungsmatrix (oder ihre Transponierte) der Inzidenzmatrix eines gerichteten Graphen oder der Inzidenzmatrix eines bipartiten ungerichteten Graphen entspricht. 27

25 6. Facility Location Menge von Facilities F (z.b. Standorte für Krankenhäuser) Betriebskosten c j Menge von Clients C (z.b. Patienten) Verbindungskosten zu Facility j: a ij (z.b. Entfernungskosten zum Krankenhaus) Wähle eine Teilmenge der Facilities und weise jedem Client einer dieser Facilities zu, so dass die Summe aus Betriebskosten und Verbindungskosten minimiert wird. 28

26 Interpretation des Dualen LPs Jede Facility i bekommt von Client j ein Zahlung von β ij Insgesamt höchsten so viel wie die Kosten für die Facility Jeder Client j hat Kosten von α j die gedeckelt sind durch die Zahlung(en) an die Facilities β ij und Entfernungskosten c ij α j ist der Teil der Gesamtkosten die Client j übernimmt. 29

27 Algorithmus Phase 1: Wir erzeugen eine duale Lösung (α, β). Schrittweise a j erhöhen, und ggf. β ij Facility öffnen sobald β ij > f i Phase 2: Primale Lösung erzeugen (x, y) Nur einen Teil der Facilities aus Phase 1 öffnen. Maximale unabhängige Menge Analyse: Benutze die relaxierten Schlupfbedingungen mit (α, β) und (x, y). Dreiecksungleichung für indirekt verbundene Clients 30

28 7. Randomisiertes Runden und Set Cover Set Cover H n -Approximation mit Greedy Set Cover (k) Mengen mit Cadinalität höchstens k H k -Approximation mit Greedy f-set Cover Jedes Elements kommt in max. f Mengen vor f-approximation durch LP Relaxation und deterministisches Runden Set Cover 4 ln(4n)-approximation durch LP Relaxation und randomisiertes Runden 32

29 Set Cover: 4 ln(4n)-approximation Wir berechnen mehrere gerundete Lösungen und nehmen alle gewählten Mengen gleichzeitig: Algorithmus 3 1. Sei x die optimale Lösung des relaxierten LP 2. FOR i = 1 TO ln(4n) a) FOR j = 1 TO m: Wähle S j mit W keit x j b) Sei C i die Menge aller in dieser Iteration gewählten Teilmengen. 3. Ausgabe: C = C 1 C ln (4n) 33

30 Analyse Lemma 1 Die Wahrscheinlichkeit, dass C kein gültiges Set Cover ist, ist höchstens 1 4. Beweisidee Betrachte eine Cover C j : Element u in t Mengen in relaxierter Lösung. Im schlimmsten Fall: W keit, dass alle abgerundet werden t t e Das es bei allen Covern passiert: 1 e ln(4n) 1 4n 34

31 Analyse Lemma 2 Das erwartete Gewicht E[w C ] des Covers C ist höchstens ln(4n) OPT frac. Beweis Jedes einzelne Cover C i kostet OPT frac in Erwartung. Also kostet die Vereinigung von ln(4n) vielen höchstens ln(4n) OPT frac Lemma 3 Pr[w C 4 ln 4n OPT frac ] 1/4 Beweis t = 4 ln 4n OPT frac Markov Ungleichung Sei X eine Zufallsvariable die keine negativen Werte animmt. Dann gilt für jedes positive t Pr X t E[X]/t 35

32 Theorem Ergebnis Mit Wahrscheinlichkeit 1/2 berechnet Algorithmus 3 ein Set Cover das eine 4 ln(4n)-approximation ist. Beweis: a) Mit W keit ¾ ein gültiges Set Cover (Lemma 1) b) Mit W keit ¾ Kosten 4 ln(4n) OPT (Lemma 3) Wahrscheinlichkeit für a) und b) gleichzeitig mindestens ½. 36

33 8. Branch & Bound und Heuristiken 1. Branch & Bound Exaktes Verfahren, Optimalität der Lösung ist garantiert. Schlechte Laufzeit im ungünstigen Fällen 2. Heuristiken und Suchverfahren Können zu beliebigen Zeitpunkten gestoppt werden. Lösungen sind möglicherweise nicht optimal a) Lokale Suche b) Simulated Annealing c) Metropolis d) Evolutionäre Algorithmen 37

34 Branch and Bound Module Branching Modul: Zerlegt Problem in zwei oder mehr Teilprobleme Lösungsmenge eines Teilproblem Teilmenge Selben Zielfunktionswert wie im Ursprungsproblem. Die Teilprobleme decken das Gesamtproblem ab. Die beste Lösung aller Lösungen aller Teilprobleme ist optimale Lösung des Gesamtproblems. Upper Bound Modul, Lower Bound Modul Berechnen obere bzw. untere Schranken für den Zielfunktionswert eines Teilproblems. Z.B. mit Relaxierung (obere) bzw. Greedy (untere Schranke) Search Modul Entscheidet welches Teilproblem als nächstes zerlegt werden soll 38

35 Heuristiken Lokale Suche, Nachbarschaft Metropolis: Schlechtere neue Nachbarschaftslösung x wird akzeptiert mit W keit: x f x f e T Simulated Annealing: T wird im Verlauf kleiner Evolutionäre Algorithmen Inspiriert durch biologische Evolution mit Selektion (natürliche Auslese, survival of the fittest ), Rekombination (Kreuzung) und Mutation (kleine, zufällige Änderungen) 39

36 9. Selfish Flows, Spieltheorie&Optimierung Das Verkehrsmodell von Wardrop Graph G = (V, E) Für jede Kante e E eine Latenzfunktion l e : R R. Demand: q i, s i, d i V V R + Fluss der Menge d i von q i nach s i Jeder Flusspartikel wählt selbst seine Route. Fluss auf einer Kante e: f e = P:e P f p Latenz, Verzögerung einer Kante: l e (f e ) Auf einem Pfad entsprechend: l P f = l e (f e ) e P 40

37 Wardrop Gleichgewicht Definition Ein Fluss f ist im Gleichgewicht, wenn für jedes Paar P 1, P 2 P i mit f P1 > 0 gilt, dass l P1 f l P2 (f). Existenzbeweis durch Existenz einer Lösung für: Minimiere Φ f = l e t dt e E Unter den Nebenbedingungen, dass f ein gültiger Fluss ist, der alle Demands erfüllt. f e 0 41

38 Preis der Anarchie Definition Price of Anarchy (PoA) Der Preis der Anarchie ρ = max C(f) C(f ) wobei f ein Gleichgewichtsfluss und f der optimale Fluss ist. Worst-Case-Ratio zwischen einem Gleichgewichts- und einem optimalen Fluss. Theorem Der Price der Anarchie von Instanzen mit linearen Latenzfunktionen ist

39 Braess Paradoxon Ohne zusätzliche Kante: Gleichgewicht ist optimal: = 1,5 Mit zusätzlicher Kante: Neues Gleichgewicht hat Kosten: = 2 44

40 Congestion Games [Rosenthal 73] Die diskrete oder auch atomare Version des Wardrop Modells. Menge von Spielern N = {1,, n} Fahrzeuge Graph G = V, E Straßennetz Mit Latenzfunktionen l e : N N Und einem Quelle/Senke Paar q i, s i für jeden Spieler i N Latenzfunktion bildet die Anzahl der Spieler auf die Latenz der Kante ab. 45

41 Existenz von Gleichgewichten und Konvergenz der lokalen Suche exakte Potentialfunktion: f e Φ f = l e (i) e E i=1 Jedes (lokale) Minimum von Φ f ist ein Gleichgewicht. Lokale Nachbarschaft einer Lösung f: Die Menge der Lösungen die sich von f nur durch die Wahl eines Spielers unterscheiden. Verbessert sich ein Spieler um Δ, dann sinkt Φ um Δ. Im (lokalen) Minimum kann es also einen solchen Spieler nicht geben. 46

42 Klausur Datum: Uhrzeit: 11:00-13:00 Raum: O1 Schriftliche Klausur Erlaubte Hilfsmittel: Stift. Ein einseitig, handschriftlich beschriebenes DIN A4 Blatt. Selbst geschrieben, nicht ausgedruckt oder kopiert. Studierendenausweis nicht vergessen. 47