Die lineare Programmierung. Die Standardform 1 / 56

Transkript

1 Die lineare Programmierung Die Standardform 1 / 56

2 Die Standardform der linearen Programmierung - Für n reellwertige, nichtnegative Variablen x 1 0,..., x n 0 erfülle die m linearen Gleichungen n a ij x j = b i, für i = 1,..., m. j=1 - Unter allen Lösungsvektoren x := (x 1,..., x n ) T suche einen Vektor, der die lineare Zielfunktion c T x = n c j x j j=1 minimiert. Die Standardform 2 / 56

3 Matrix Notation Wenn A = [ a ij ]1 i m,1 j n die m n-matrix des Gleichungssystems ist, dann minimiere c T x, so dass A x = b, x 0. (1) Wenn c T x maximiert werden soll: minimiere c T x. (2) Falls x 0 nicht gefordert werden soll: Ersetze x durch die Differenz x + x für neue Variablen x,x + mit x + 0 und x 0. (3) Wie reduziert man die kanonische Form minimiere c T x, so dass A x b, x 0 auf die Standardform? Sind beide Formen äquivalent? Die Standardform 3 / 56

4 Das gewichtete Matching Problem Die Standardform 4 / 56

5 Das gewichtete Matching Problem Für einen Graphen G = (V, E) mit Kantengewichten w e 0 für e E bestimme ein schwerstes Matching M E. Keine zwei Kanten in M besizen einen gemeinsamen Endpunkt. 0 x e 1. (Wir wollen aber integrale Bedingungen x e {0, 1}.) Damit jeder Knoten v V nur Endpunkt einer Matchingkante ist: x {v,w} 1 Die Zielfunktion ist w,{v,w} E w e x e e E Wir zeigen später, dass dieses Programm für bipartite Graphen nur integrale Ecken besitzt: Die Ecken entsprechen also Matchings! Die Standardform 5 / 56

6 Das Flussproblem Die Standardform 6 / 56

7 Das Flussproblem - Ein gerichteter Graph G = (V, E) mit Quelle s V und Senke t V ist gegeben. - Die Funktion c : E R 0 weist jeder Kante e E ihre maximale Kapazität c(e) 0 zu. - Ein Fluss ist ebenfalls eine Funktion f : E R 0 mit den folgenden Eigenschaften: (1) 0 f (e) c(e) für jede Kante e E: Der Fluss entlang einer Kante darf die Kapazität der Kante nicht übersteigen. (2) Für jeden Knoten v V \ {s, t} gilt Flusserhaltung: f (u, v) = f (v, u) (u,v) E (v,u) E - Das Ziel des Flussproblems ist die Konstruktion eines maximalen Flusses von der Quelle s zur Senke t. Die Standardform 7 / 56

8 Das Flussproblem als lineares Programm Einhaltung der Kapazitätsschranke: 0 f e c(e). Flusserhaltung für jeden Knoten v V \ {s, t}: f (v,w) f (w,v) = 0. (v,w) E (w,v) E Maximiere den Fluss, der s verlässt ohne zurückzufliessen: maximiere f (s,v) f (v,s). (s,v) E (v,s) E Wir zeigen später: Wenn alle Kapazitäten ganzzahlig sind, dann ist auch ein maximaler Fluss ganzzahlig. Die Standardform 8 / 56

9 Die geometrische Sicht: Polytope, Polyeder, Halbräume und Ecken Die Standardform 9 / 56

10 Fundamentale Konzepte (a) Ein Vektor x mit Ax = b und x 0 heißt eine Lösung. (b) Ein lineares Programm heißt lösbar, wenn Lösungen existieren, ansonsten ist das Programm unlösbar. (c) Wir bezeichnen die Lösungsmenge mit L(A, b), wobei L(A, b) := {x R n Ax = b, x 0}. (d) Eine Lösung x L(A, b) ist optimal, falls c T x = inf{c T x x L(A, b)}. (d) Eine Lösung x L(A, b) ist genau dann eine Ecke von L(A, b), wenn kein Vektor y 0 mit x + y L(A, b) und x y L(A, b) existiert. Die Standardform 10 / 56

11 Die geometrische Sichtweise: Polytop und Polyeder Die Lösungsmenge L(A, b) wird auch Polyeder genannt. Wenn L(A, b) beschränkt ist, dann ist L(A, b) ein Polytop. Die geometrische Sichtweise für die kanonische Form L (A, b) = {x Ax b, x 0}. Eine Ungleichung n j=1 A[i, j] x j b i definiert einen Halbraum, der den R n in zwei Teile zerschneidet. Ein Polyeder ist ein Durchschnitt von Halbräumen. Die geometrische Sichtweise 11 / 56

12 Die geometrische Sichtweise: Seitenflächen - Die Dimension eines Polyeders P ist definiert als die Dimension des kleinsten affinen Raums, der P enthält. - Liegt ein Polyeder P vollständig auf einer Seite einer Hyperebene H, dann wird der Durchschnitt P H eine Seitenfläche genannt. Eine Ecke x ist eine 0-dimensionale Seitenfläche: Der Durchschnitt P H besteht nur aus x. Eine Facette F ist eine Seitenfläche im wirklichen Sinn : Der Durchschnitt F = P H ist ein n 1-dimensionales Polyeder. Eine Ecke x heißt entartet, wenn die Anzahl der Facetten, die x enthalten, größer ist als die Dimension von P. Die Spitze einer 3-dimensionalen Pyramide mit quadratischer Grundfläche ist entartet. Die geometrische Sichtweise 12 / 56

13 Die geometrische Sichtweise: Konvexität Eine Menge X R n ist konvex, wenn für je zwei Punkte u, v X auch die u, v verbindende Gerade vollständig in X liegt. Ein Polyeder P ist stets konvex. Die Menge aller Konvexkombinationen der Punkte x 1,..., x N R n ist die Menge N N { λ i x i λ 1,..., λ N 0, λ i = 1. }. i=1 Jedes Polytop stimmt mit der Menge aller Konvexkombination seiner Ecken überein. i=1 Die geometrische Sichtweise 13 / 56

14 Es gibt immer optimale Ecken Ecken 14 / 56

15 Es gibt stets eine optimale Ecke (1/3) Die Lösungsmenge L(A, b) sei nichtleer und es gelte < inf {c T x x L(A, b)} <. Dann gibt es eine Ecke, die optimal ist. O.B.d.A. ist c 0: Falls c = 0 ist nur zu zeigen, dass eine Ecke existiert. Sei x L(A, b) eine optimale Lösung, aber keine Ecke. Wir konstruieren aus x eine mindestens so gute Ecke. Es gibt y 0 mit x ± y L(A, b). Also ist x ± y 0 und aus Ax + Ay = b und Ax = b folgt Ay = 0. O.B.d.A. c T y 0. Falls c T y = 0, wählen wir zwischen y und y, so dass der gewählte Vektor mindestens eine negative Komponente besitzt. Ecken 15 / 56

16 Es gibt stets eine optimale Ecke (2/3) Fall 1: Es gibt einen Eintrag j mit y j < 0. Wähle λ > 0 maximal, so dass x + λy 0. λ > 0: Der Vektor x + λy hat im Vergleich zu x mindestens eine Null-Komponente mehr: Wenn x i = 0, dann muss y i = 0 gelten, da x ± y L(A, b). Setze x neu := x + λy 0. Zeige A x neu = b: Wegen x neu 0, folgt dann x neu L(A, b). A x neu = A(x + λy) = Ax + λ (Ay) = Ax = b. }{{} =0 x neu hat im Vergleich zu x mindestens eine Null-Komponente mehr. Ecken 16 / 56

17 Es gibt stets eine optimale Ecke (3/3) Fall 2: Für alle j ist y j 0. Für jedes λ 0 ist also x + λy x 0. Nach Konstruktion von y gilt also c T y < 0. Für jedes λ 0 ist x + λy L(A, b). Für jedes λ ist A(x + λy) = Ax + λ (Ay) = Ax = b }{{} und x + λy x 0. Es ist c T y < 0 und c T (x + λy) = c T x + λ c T y. Das Optimum ist, im Widerspruch zur Annahme. Fall 2 tritt also nicht auf: Die wiederholte Anwendung von Fall 1 führt auf eine Ecke oder auf den Nullvektor, der aber auch eine Ecke ist. =0 Ecken 17 / 56

18 Ecken: Eine algebraische Charakterisierung (1/2) - x L(A, b) sei eine Lösung mit B = {j x j > 0}. - A besitze die Spalten A 1,..., A n und die Matrix A B bestehe aus den Spalten A i für i B. - Wenn B nicht-leer ist, dann x ist eine Ecke die Spalten von A B sind linear unabhängig. x sei eine Ecke. Wenn die Spalten von A B linear abhängig sind, dann gibt es einen Vektor y B 0 mit A B y B = 0. Ergänze y B durch Null-Komponenten zu y R n mit Ay = 0. Es ist y i = x i = 0 für i / B und x i > 0 für i B. Also gibt es λ > 0 mit x ± λy 0. Aber A(x ± λy) = Ax ± λ (Ay) = Ax = b. x ± λy L(A, b) und x ist keine Ecke. Ecken 18 / 56

19 Ecken: Eine algebraische Charakterisierung (2/2) Und wenn x keine Ecke ist? Dann gibt es ein y 0 mit x ± y L(A, b). Aus Ax + Ay = b, Ax Ay = b folgt Ay = 0. Es ist x + y 0, x y 0. Wenn x i = 0 (oder äquivalent, wenn i / B), dann ist y i = 0. Also ist A B y B = A y = 0 für die Einschränkung y B von y auf die Komponenten in B. Es ist also insbesondere yb 0, da y 0. 0 = AB y B und A B hat wegen y B 0 linear abhängige Spalten. Wenn x keine Ecke ist, dann hat A B linear abhängige Spalten Ecken 19 / 56

20 Der Simplex Algorithmus Der Simplex Algorithmus 20 / 56

21 Der Simplex Algorithmus: Ein Überblick Wir machen die folgenden Annahmen: Die Zielfunktion c T x ist für x L(A, b) zu minimieren. A hat m Zeilen und n Spalten. Es gilt Rang(A) = m. Wenn Rang(A) < m ist, dann sind Restriktionen überflüssig oder es gibt überhaupt keine Lösung. Entferne gegebenenfalls überflüssige Zeilen aus der Matrix A und die entsprechenden Einträge im Vektor b. Der Lösungsraum ist nichtleer. Der Algorithmus (1) Wähle eine beliebige Ecke x des Lösungspolyeders. (2) Bestimme eine benachbarte Ecke x neu mit niedrigerem Zielwert. (3) Falls keine existiert, stoppe mit der Ausgabe x. Ansonsten setze x := x neu und gehe zu Schritt (2). Der Simplex Algorithmus 21 / 56

22 Basislösungen Der Simplex Algorithmus Benachbarte Ecken 22 / 56

23 Wie findet man benachbarte Ecken? x sei eine Ecke. Die Spalten der Matrix A B für B = {i x i > 0} sind linear unabhängig. Wenn B = m: Es gilt b = A x = A B x B und (A B ) 1 b = x B > 0 folgt: x ist eine nicht-entartete Ecke. Wenn B < m: Ergänze A B durch m B linear unabhängige Spalten von Matrix A zu einer regulären Matrix A B : x ist, als Schnittpunkt von mehr als n Hyperebenen, entartet. B {1,..., n} mit B = m heißt Basis, falls - A B regulär ist und - A 1 b 0 gilt. B x = (x B, x N ) mit x B = A 1 B b und x N = 0 ist die Basislösung zu B. Der Simplex Algorithmus Benachbarte Ecken 23 / 56

24 Ein Schritt von Simplex (1/2) Für eine Lösung x zur Basis B bezeichne x B, x N, c B, c N, A B, A N die Einschränkungen auf Basis- bzw. Nicht-Basis-Komponenten. Selbst wenn die Lösung x keine Basislösung zur Basis B ist: c T x = cb T x B + cn T x N, Ax = AB x B + A N x N, xb = A 1 B b A 1 B A N x N, xb, x N 0. Als Konsequenz c T x = cb T x B + cn T x N ( ) = cb T A 1 B b A 1 B A N x N + cn T x N ( ) = cb T A 1 B }{{ b + cn T } ct B A 1 B A N x N. }{{} aktueller Zielwert = c N Der Simplex Algorithmus Benachbarte Ecken 24 / 56

25 Ein Schritt von Simplex (2/2) Für Basis B und eine beliebige ( Lösung x ist ) c T x = cb T A 1 B }{{ b + cn T } ct B A 1 B A N x N. }{{} aktueller Zielwert = c N Fall 1: Es ist c j 0 für alle j N. Für die Basislösung x zur Basis B: c T x = cb T A 1 B b ct B A 1 B b + c N x N Die Basislösung x zu B ist bereits optimal! Fall 2: Es gibt ein j N mit c j < 0. Wir erhöhen nur die Nichtbasisvariable x j der Basislösung x von 0 auf λ R: xn (λ) := (0, 0, λ, 0,, 0)T. Wir passen den Basisteil an: xb (λ) := A 1 B b A 1 B A N xn (λ). Ist die Ecke x nicht entartet, dann gibt es λ > 0 mit xb (λ) 0, denn xb = A 1 B b > 0. A B xb (λ) + A N xn (λ) = b A N xn (λ) + A N xn (λ) = b. Wähle λ maximal, so dass x (λ) := (xb (λ), x N (λ)) 0. Der Simplex Algorithmus Benachbarte Ecken 25 / 56

26 Der Simplex Algorithmus im Detail (1) Gegeben ist eine m n-matrix A mit Rang(A) = m. Wir nehmen L(A, b) an. (2) Beginne an einer Ecke x mit Basis B. (3) Sei j N = {1,..., n} \ B minimal mit c j < 0. Wenn es kein solches j gibt, stoppe mit Ausgabe x. Kommentar: Diese Wahl von j schließt Cycling aus. Existiert kein solches j, haben wir eine optimale Lösung gefunden. (4) Wähle λ maximal mit x (λ) 0. (4a) Halte, wenn λ = : Wir erhalten das Infimum. (4b) Wenn λ > 0, dann gibt es k B mit x k > x (λ) k = 0. Setze B = (B \ {k}) {j} und x = x (λ). (4c) Wenn λ = 0, wähle k B minimal mit x k = 0. Setze B = (B \ {k}) {j}. (5) Gehe zu Schritt (3). Der Simplex Algorithmus Die Details 26 / 56

27 Korrektheit Wir wissen: - Wenn c j 0 für alle j N, dann ist x optimal. - Wenn es j N mit c j < 0 gibt: Ist die Ecke nicht entartet, dann ist x (λ) eine bessere Nachbarecke: Der Zielwert wird um λ c j gesenkt. (B \ {k}) {j} ist wieder eine Basis: Warum? Ist die Ecke entartet, dann ist λ = 0 möglich. Man kann zeigen: Die Anti-Cycling Regeln der Schritte (3) und (4c) werden kurz über lang eine bessere Nachbarecke finden. In Schritt (2) setzen wir voraus, dass wir eine Ecke x kennen. Aber woher? Der Simplex Algorithmus Die Details 27 / 56

28 Zwei-Phasen Simplex Führe Hilfsvariablen r ein und löse minimiere i r i so dass Ax + r = b, x, r 0 mit dem Simplex-Algorithmus. (x, r) = (0, b) ist eine Basislösung. Multipliziere Zeilen von A und Komponenten von b gegebenenfalls mit 1, um b 0 zu garantieren. Das Programm hat genau dann das Optimum 0, also r = 0, wenn das Ausgangsproblem lösbar ist. Aus der optimalen Ecke (x, r) = (x 0, 0) des Programms erhalten wir die Ecke x 0 zum Ausgangsproblem. Der Simplex Algorithmus Die Details 28 / 56

29 Laufzeitanalyse - In jeder Iteration müssen wir Matrizen invertieren und multiplizieren. - Die Laufzeit ist bis auf einen polynomiellen Faktor durch die Anzahl der Ecken bestimmt. Da jede Ecke einer Basis, also einer m-elementigen Teilmenge von {1,..., n} entspricht, gibt es höchstens ( n m) 2 n Ecken. Der n-dimensionale Würfel Wn = {x R n 0 x i 1} hat genau 2 n Ecken. - Der Simplex-Algorithmus löst ein lineares Programm mit n Variablen und m n Restriktionen in Zeit O(poly(n) 2 n ). Exponentielles Worst-Case Verhalten tritt auf: Wir beschreiben später effiziente Interior Point Verfahren. Für in der Praxis auftretende Probleme ist das Laufzeitverhalten aber gut. Der Simplex Algorithmus Die Details 29 / 56

30 Wann haben alle Ecken ganzzahlige Komponenten? - Im Matching Problem für bipartite Graphen und im Flussproblem für ganzzahlige Kapazitäten sind alle Ecken ganzzahlig. - Warum ist das so? Das Matching Problem für allgemeine Graphen ist bösartig : Der Graph besitzt ein maximales Matching aus genau einer Kante. In der Formulierung als lineares Programm erhalten wir die Lösung x = (x {1,2}, x {1,3}, x {2,3} ) = ( 1 2, 1 2, 1 2 ) mit Wert 3 2. Unter welchen Eigenschaften an A sind alle Ecken ganzzahlig? Unimodularität 30 / 56

31 Vollständige Unimodularität - Eine Matrix A heißt vollständig unimodular, falls det B { 1, 0, 1} für jede quadratische Teilmatrix B von A gilt. - Falls die Matrix A vollständig unimodular und b ein ganzzahliger Vektor ist, haben die Ecken der Polyeder {x R n Ax b} und {x R n Ax = b, x 0} nur ganzzahlige Komponenten. x ist eine Ecke von L(A, b), wenn die Spalten zu B = {i x i > 0} linear unabhängig sind. Wenn A genau m Zeilen hat, dann füge m B linear unabängige Spalten zu B hinzu: Dann ist B = m und A B x B = b, x N = 0. Die Cramersche Regel für die Lösung von Gleichungssystemen: Für jedes i B ist (x B ) i = det(ai B ) det(a B ). A i B : Ersetze die ite Spalte von A B durch b. Aber det(a B ) = ±1: x hat nur ganzzahlige Komponenten. Unimodularität 31 / 56

32 Wann ist eine Matrix A vollständig unimodular? Eine vollständig unimodulare Matrix hat nur Einträge aus { 1, 0, 1}, da jeder Eintrag eine quadratische Teilmatrix ist. Übungsaufgabe: Inzidenzmatrizen für gerichtete Graphen und ungerichtete bipartite Graphen sind vollständig unimodular: Für einem gerichteten Graphen G = (V, E) ist A = (av,e ) v V,e E die Inzidenzmatrix von G, falls +1 falls e = (v, w) für ein w V a v,e = 1 falls e = (w, v) für ein w V 0 sonst. Für einen ungerichteten Graphen G = (V, E) ist av,e = 1 genau dann, wenn v e. Unimodularität 32 / 56

33 Und die Konsequenzen - Das Polytop des bipartiten Matchings Problem besitzt nur ganzahlige Ecken, denn die Matrix des Ungleichungssystems ist (fast) die Inzidenzmatrix eines ungerichteten bipartititen Graphen. - Das Polytop des Flussproblems für ganzzahlige Kapazitäten besitzt nur ganzzahlige Ecken, denn die Matrix des Ungleichungssystems ist (fast) die Inzidenzmatrix eines gerichteten Graphen. Es gibt schnellere kombinatorische Algorithmen für das (allgemeine) Matching- wie auch für das Flußproblem Unimodularität 33 / 56

34 Das Farkas Lemma - Wenn ein lineares Gleichungssystem Ax = b keine Lösung hat, ist eine Zeile von den anderen linear abhängig, - diese Abhängigkeit wird vom Vektor b nicht eingehalten : Es gibt y mit y T A = 0 und y T b 0. - Gibt es eine ähnliche äquivalente Eigenschaft, um festzustellen, dass ein Polyeder leer ist? Genau eine der folgenden Aussagen ist wahr: (a) Es gibt ein x mit Ax = b, x 0. (b) Es gibt ein y mit y T A 0 und y T b < 0. Und ebenso: (a) Es gibt ein x mit Ax b. (b) Es gibt ein y 0 mit y T A = 0 und y T b < 0. Dualität Das Farkas Lemma 34 / 56

35 Das Farkas Lemma: Eine geometrische Interpretation Die Spaltenvektoren A 1,..., A n der Matrix A erzeugen den Kegel n Kegel(A) = { x i A i x 1,..., x n 0} = {Ax x 0}. i=1 Das Farkas Lemma: Entweder liegt der Vektor b in Kegel(A) oder eine Hyperebene H y := {x y T x = 0} trennt b und Kegel(A). Dualität Das Farkas Lemma 35 / 56

36 Die beiden Eigenschaften schließen sich aus. Angenommen, es gibt x und y mit - Ax = b, x 0 sowie - y T A 0 und y T b < 0. Wir erhalten y T (A x) = y T b < 0. Aber y T A 0 und x 0: Wir erhalten den Widerspruch (y T A) x 0. Dualität Das Farkas Lemma 36 / 56

37 Angenommen, es gibt kein x 0 mit Ax = b Die Menge K := {Ax x 0} ist abgeschlossen und konvex. Nach Voraussetzung ist b / K. Sei p der Punkt in K mit kürzestem Abstand von b. Für alle z K gilt (z p) T (b p) 0. Warum? Für je zwei Vektoren v, w gilt cos (v, w) = v T w v w. Der Winkel zwischen z p und b p liegt zwischen 90 und 270. Setze y = p b. Als Konsequenz (Ax p) T ( y) 0. Es gilt y T A 0. Warum? p K : Es gibt w 0 mit p = A w. Wenn x 0: 0 (Ax p)t y = (Ax Aw) T y = (A(x w)) T y. Für x := w + ei folgt und das war zu zeigen. 0 (Ae i ) T y (y T A) i 0 Dualität Das Farkas Lemma 37 / 56

38 Warum gilt y T b < 0? Wir wissen: 0 (Ax p) T y. Für x = 0 folgt 0 p T y oder äquivalent y T p 0. y = p b: Es gilt y T b = y T (p y) = y T p y T y und y 0 (denn b K und p K ) und deshalb y T y > 0. Als Konsequenz y T b = y T p y T y }{{}}{{} 0 >0 < 0. Dualität Das Farkas Lemma 38 / 56

39 Primales und duales Programm (P) minimiere c T x, so dass A x = b und x 0 (D) maximiere y T b, so dass y T A c. - (P) ist das primale und (D) das zugehörige duale Programm. - Es gilt die schwache Dualität: max D min P 1 Wähle einen Vektor y und summiere die Gleichungen gemäß y, d.h. berechne y T (A x) = y T b. 2 Wenn wir y T A c fordern, d.h. wenn wir fordern, dass y eine Lösung des dualen Programms ist, dann folgt wegen x 0 y T b = y T A x c T x 3 und max D min P als Konsequenz. Dualität Duale Programme 39 / 56

40 Das Dualitätstheorem Sei x eine Lösung des primalen Problems und y eine Lösung des dualen Problems, sowie x opt und y opt endliche, optimale Lösungen. (a) Schwache Dualität: c T x b T y (b) Starke Dualität: c T x opt = b T y opt. Zeige c opt := c T x opt b T y opt. Also zeige: Es gibt y mit y T A c und c opt b T y. Setze als Vorbereitung für das Farkas Lemma ( A T A := b T ) und b := ( c c opt ) Wenn die starke Dualität nicht gilt: Es gibt kein y mit A y b. Dualität Duale Programme 40 / 56

41 Die Anwendung des Farkas Lemma Wenn es kein y mit A y b gibt, dann gibt es (z, λ) 0 mit (z, λ) T A = 0 und (z, λ) T b < 0. Was bedeutet ( das? ) A T (z, λ)t b T = 0 und damit Az = λb. (z, λ)t b = z T c c opt λ < 0 und damit z T c < c opt λ. Fall 1: λ = 0: Dann ist Az = 0, z 0 und zt c < 0. xopt ist nicht optimal: x opt + µ z ist für jedes µ 0 eine Lösung. Fall 2: λ > 0. Setze x = z λ : A x = 1 λb λ (A z) = λ = b und ct x = c T z λ = 1 λ (c T z ) < copt λ λ = c opt. xopt ist auch diesmal nicht optimal, denn x ist besser. Dualität Duale Programme 41 / 56

42 Primale, duale Programme: Die allgemeinen Regeln Das primale Programm (P) minimiere c1 T x 1 + c2 T x 2, so dass A 1 x 1 = b 1 und x 1 0, A 2 x 2 b 2 und x 2 0 besitzt das duale Programm (D) maximiere b1 T y 1 + b2 T y 2, so dass y1 T A 1 c 1, y2 T A 2 c 2 und y Primale Ungleichung nicht-negative duale Variable. - Primale Gleichung vorzeichenfreie duale Variable. - Primale nicht-negative Variable duale Ungleichung. - Primale vorzeichenfreie Variable duale Gleichung. Dualität Duale Programme 42 / 56

43 Komplementäre Slackness: Die Dualitätslücke Wir führen Slackvariablen im dualen Problem ein: (P) minimiere c T x, so dass A x = b und x 0 (D) maximiere y T b, so dass y T A + s = c und s 0. Die Dualitätslücke gibt den Abstand zwischen der Lösung x des primalen und der Lösung (y, s) des dualen Problems an: c T x b T y = c T x (Ax) T y = x T c x T A T y ( ) = x T c A T y = x T s. x und y sind genau dann optimale Lösungen, wenn: x T s = 0, für alle i ist x i s i = 0 oder wenn aus s i > 0 stets x i = 0 folgt. Dualität Komplementäre Slackness 43 / 56

44 Komplementäre Slackness (P) minimiere c T x, so dass A x b und x 0 (D) maximiere y T b, so dass y T A c und y 0 x und y seien Lösungen für das primale Problem (P) und das duale Problem (D). Dann sind die folgenden Aussagen äquivalent: (a) x und y sind optimal. (b) Es gelten primale und duale komplementäre Slackness: Primale komplementäre Slackness: Für alle i ist entweder xi = 0 oder die x i zugeordnete duale Ungleichung ist exakt erfüllt. Duale komplementäre Slackness: Für alle j ist entweder yj = 0 oder die y j zugeordnete primale Ungleichung ist exakt erfüllt. Primal-duale Algorithmen 44 / 56

45 Primal-duale Algorithmen Es gelte c 0. (1) Beginne mit x = 0 und der dualen Lösung y = 0. Die folgende Invariante gilt somit anfänglich: (a) y ist eine Lösung von (D). (b) Die primale komplementäre Slackness Bedingung gilt. (2) Erfülle duale Bedingungen exakt: Erhöhe eine oder mehrere Komponenten von y bis eine erste duale Ungleichung exakt erfüllt wird. Erhöhe die zu den exakt erfüllten dualen Ungleichungen gehörenden x-komponenten: Die Modifikation von x soll neue primale Ungleichungen erfüllen. (3) Wiederhole Schritt (2), bis alle primalen Ungleichungen erfüllt sind. Am Ende ist x eine Lösung. Wenn c T x ρ b T y, dann ist x eine ρ-approximative Lösung, denn b T y opt P gilt. Primal-duale Algorithmen 45 / 56

46 VERTEX COVER (P) minimiere u V w u x u s.d. x u + x v 1 für alle {u, v} E (D) maximiere y e, e E und x u 0 für alle Knoten u V. s.d. y e w u für alle u V x, e={x,u} E und y e 0 für alle e E. Erhöhe y e solange, bis eine duale Ungleichung exakt erfüllt wird. Wenn e = {u, v}, dann taucht y e nur in den Ungleichungen x, e={x,u} E y e w u und x, e={x,v} E y e w v auf. Wird Gleichheit für die erste Ungleichung erreicht: Setze x u = 1, füge also u zur Knotenüberdeckung hinzu. Ansonsten setze x v = 1, füge also v zur Knotenüberdeckung hinzu. Primal-duale Algorithmen Vertex Cover 46 / 56

47 Ein primal-dualer Algorithmus für VERTEX COVER (1) Die Eingabe besteht aus dem ungerichteten Graphen G = (V, E) und den Knotengewichten w u 0 für u V. (2) Beginne mit V = und dem Vektor y = 0. (3) Wiederhole solange, bis V eine Knotenüberdeckung ist: (3a) Sei e = {u, v} eine nicht von V überdeckte Kante. Erhöhe y e solange, bis eine der Ungleichungen x, e={x,u} E y e w u oder x, e={x,v} E y e w v mit Gleichheit erfüllt wird. (3b) Wenn Gleichheit für die duale Ungleichung zu u gilt, dann setze V = V {u} und ansonsten V = V {v}. Kommentar: Die duale Lösung bestimmt, welcher Endpunkte der nicht überdeckten Kante in die Knotenüberdeckung gelangt. Primal-duale Algorithmen Vertex Cover 47 / 56

48 Der primal-duale Algorithmus ist 2-approximativ Sei V die berechnete Knotenüberdeckung. Für jeden Knoten u V gilt x, e={x,u} E y e = w u. und deshalb ist w u = u V u V x, e={x,u} E y e v V x, e={x,v} E denn y e wird für jeden Endpunkt von e einmal gezählt. e E y e ist der Wert der dualen Lösung. Mit dem schwachen Dualitätssatz folgt w v xv vc (G) y e e E v V für die optimale primale Lösung x. y e = 2 y e. e E Also gilt u V w u 2 e E y e 2 vc (G) und dies war zu zeigen. Primal-duale Algorithmen Vertex Cover 48 / 56

49 Primal-duale und Local Ratio Algorithmen Im Local Ratio Ansatz für VERTEX COVER: - Wir beginnen mit einer beliebigen Kante e = {u, v}, - nehmen den Endpunkt mit kleinstem Gewicht in unsere Überdeckung auf und - erniedrigen das Gewicht des anderen Endpunkts um min{w u, w v }. Und wenn auch der primal-duale Algorithmus mit Kante {u, v} beginnt? Die Variable y e wird auf min{w u, w v } gesetzt, und der Endpunkt mit kleinerem Gewicht wird in die Überdeckung aufgenommen. Das Hochsetzen von y e wirkt sich nur in der Ungleichung für den nicht aufgenommen Endpunkt aus: Die rechte Seite wird um min{w u, w v } erniedrigt. Primal-duale Algorithmen Vertex Cover 49 / 56

50 Und wenn die anderen Kanten verarbeitet werden? Wir nehmen an, dass der primal-duale Algorithmus und der Local-Ratio Algorithmus Kanten in identischer Reihenfolge wählen. Der zweite und alle folgenden Schritte verlaufen für beide Algorithmen analog zum ersten Schritt! Die beiden Algorithmen sind äquivalent! Man kann allgemein zeigen: Die Paradigmen primal-duale Algorithmen und Local Ratio Algorithmen, sind äquivalent, wenn geeignet definiert. Primal-duale Algorithmen Vertex Cover 50 / 56

51 SET COVER - Mengen T 1,..., T m mit Gewichten g 1,..., g m 0 sind gegeben. - Wir suchen eine leichteste Überdeckung des Universums m i=1 T i. SET COVER für die Ursachenforschung. Für die Virenerkennung liegen SEHR VIELE 3-Byte langen Sequenzen vor, die in Viren vorkommen. Wir fassen die (bekannten) Viren als Elemente und jede verdächtige Sequenz als die Menge der Viren auf, in denen die Sequenz vorkommt. Ziel: Erstelle eine Software, die aufgrund des Vorkommens verdächtiger Sequenzen lernt, unbekannten Viren vorauszusagen. Das Problem: Die große Anzahl verdächtiger Viren und damit die enorm große Anzahl an Freiheitsgraden für Lernalgorithmen. Bestimme eine Überdeckung aller Viren mit möglichst wenigen verdächtigen Sequenzen mit Hilfe von SET COVER. Das abschließende Lernproblem war machbar, da nur einige Hundert verdächtige Sequenzen für die Überdeckung ausreichten. Set Cover 51 / 56

52 Ein Approximationsalgorithmus für SET COVER (1) Gegeben sind die Mengen T 1,..., T m {1,..., n} und ihre Gewichte g 1,..., g m. (2) Setze U 0 =, I = und i = 0. (3) Wiederhole, solange wie U i {1,..., n}: (3a) T k \ U i ist die Anzahl noch nicht überdeckter Elemente von T k. Bestimme eine Menge T K mit bestem { Preis-Leistungsverhältnis } g K T K \ U i = min gr. r T r \ U i (3b) Setze U i+1 = U i T K, I = I {K }, i = i + 1. Set Cover 52 / 56

53 Primales und duales Programm für SET COVER SET COVER besitzt das primale Überdeckungsprogramm minimiere m k=1 g k x k : x k 1 für alle j {1,..., n} k, j T k und x k 0 für k = 1,... m. und das duale Packungsprogramm maximiere n j=1 y j: y j g k für k = 1,..., m, j T k y j 0 für j {1,..., n}. Überraschenderweise berechnet der Approximationsalgorithmus implizit eine Lösung des dualen Packungsprogramms. Set Cover 53 / 56

54 SET COVER und das duale Programm Sei H k = k r=1 1 r die kte harmonische Zahl. - Element j werde erstmalig in Iteration i(j) durch T k(j) überdeckt. - Wir weisen Element j die Überdeckungskosten preis(j) = - Behauptung: y = ( preis(j) H n g k(j) T k(j) \U i(j) zu. Angenommen die Behauptung stimmt. 1 j n) löst das duale Problem. Sei I {1,..., m} die berechnete Überdeckung. Dann ist n preis(j) = j=1 n j=1 g k(j) T k(j) \ U i(j) = i I n j=1,k(j)=i g k(j) T k(j) \ U i(j) = i I g i. Set Cover 54 / 56

55 Wenn preis/h n das duale Programm löst: Wir wissen: n j=1 preis(j) = i I g i. y ist eine Lösung des dualen Programms: Mit der schwachen Dualität folgt n y j = 1 n preis(j) opt. H n j=1 Und als Konsequenz j=1 n g i = i I n preis(j) H n opt. j=1 Wenn y eine Lösung des dualen Programms ist, dann ist unser Algorithmus H n -approximativ. Set Cover 55 / 56

56 Zeige j T k y j g k für jedes k Zur Erinnerung: y = ( preis(j) H n 1 j n). Es sei T i = {e 1,..., e r }, wobei die Elemente von T i nach dem Zeitpunkt ihrer Überdeckung sortiert sind. Vor der Überdeckung von Element e j sind noch mindestens r (j 1) = r j + 1 Elemente von T i zu überdecken. Greedy wählt das beste Preis-Leistungsverhältnis. Wenn also Element j zum Zeitpunkt k(j) überdeckt wird, folgt g k(j) preis(j) = T k(j) \ U i(j) g i r j + 1. Also gilt j T i preis(j) g i und das war zu zeigen. r j=1 1 r j + 1 g i H n Set Cover 56 / 56