Teil 5: Lineare Programmierung. (Blum, Kapitel 8)

Transkript

1 Teil 5: Lineare Programmierung (Blum, Kapitel 8)

2 Was sind Optimierungsprobleme? Eingabe: Menge F von zulässigen Lösungen. Zielfunktion z:f R. Aufgabe: Finde x F, so dass x F : z(x) z(x ). (für Minimierungsprobleme) Beispiel: Finde x [0,1], so dass x 3 3x+1 minimal. 616

3 Lineare Optimierungsprobleme Die Menge der zulässigen Lösungen x=(x 1,,x n ) R n wird durch lineare Nebenbedingungen beschrieben: a 11 x a 1n x n b 1 a m1 x a mn x n b m (oder kompakt: Ax b) 617

4 Lin. Optimierungsprobleme (Forts.) Zielfunktion ist linear, d.h. von der Form c 1 x 1 + +c n x n min (max) (oder kompakt c T x min (max)) Historische Namensgebung: Lineare Optimierungsprobleme heißen lineare Programme (LPs) Lösungsverfahren für LPs heißen lineare Programmierung 618

5 Beispiel Gärtner hat 100 m 2 Garten u. 720 Kapital Anbau von Blumen kostet 9 / m 2 Anbau von Gemüse kostet 6 / m 2 Gewinn bei Blumen: 20 / m 2 Gewinn bei Gemüse: 10 / m 2 Nur 60 m 2 des Gartens für Blumen geeignet Aufgabe: Bestimme Aufteilung des Gartens, so dass der Gewinn maximal ist. 619

6 Formulierung als LP Bedeutung der Variablen: x 1 : Fläche für Blumen in m 2 x 2 : Fläche für Gemüse in m 2 Zielfunktion: 20x x 2 max Nebenbedingungen: x 1 + x x 1 + 6x x 1 60 x 1 0, x

7 Graphische Ad-hoc-Lösung x x 1 0 x x 1 60 x 1 +x Lösung: x 1 =60 x 2 =30 9x 1 +6x x 1 +10x x 1 621

8 Sonderfall Saatgut nur quadratmeterweise erhältlich Zusätzliche Nebenbedingung: x 1,x 2 ganzzahlig. Bezeichnung: Lineare Programme mit derartigen Nebenbedingungen heißen ganzzahlige (lineare) Programme bzw. integer (linear) programs (ILPs). 622

9 Überblick über Teil 5 Modellierung von bekannten Problemen durch LPs und ILPs Zusätzliches Ergebnis: Ganzzahlige lineare Programmierung ist NP-schwer. Vereinheitlichung von LPs Geometrische Grundlagen Simplexmethode zum Lösen von LPs Anwendung: Randomisiertes Runden 623

10 Erinnerung: Vertex Cover (VC eval ) Eingabe: Unger. Graph G=(V,E). Frage: Finde die kleinste Zahl k, so dass es V V mit V =k gibt und jede Kante mindestens einen Knoten aus V enthält. Bsp. V überdeckt E. 624

11 VC Ganzzahliges lin. Programm Sei V={1,,n}. Benutze Variablen x i mit der Bedeutung x i =0 Knoten i ist nicht in V enthalten x i =1 Knoten i ist in V enthalten Zielfunktion: i x i min Nebenbedingungen: {i,j} E: x i +x j 1 i {1,,n} : x i 0 und x i 1 i {1,,n} : x i ganzzahlig überflüssig 625

12 Korrektheit Beobachtungen: Für Lösungen x des LPs gilt: Alle x i nehmen nur Werte aus {0,1} an. Die Knoten i mit x i =1 bilden ein VC V. Die Größe des VC V ist minimal. Zielfunktion: i x i min Nebenbedingungen: {i,j} E: x i +x j 1 i {1,,n} : x i 0 i {1,,n} : x i ganzzahlig 626

13 0-1-Programmierung Falls in einem LP alle Variablen nur die Werte 0 und 1 annehmen dürfen, spricht man von einem 0-1-Programm. 627

14 Folgerung Satz: Ganzzahlige lineare Programmierung und 0-1-Programmierung sind NP-schwer. Beweis: Die letzten Folien zeigten die Reduktionen VC eval T Ganzzahlige lin. Programmierung und VC eval T 0-1-Programmierung 628

15 Flussmaximierung Gegeben: Gerichteter Graph G=(V,E) mit Kapazitätsfunktion c : E N und Quelle q, Senke s Fluss: Kantenbewertung f : E R 0+, so dass: In jeden Knoten außer q und s fließt gleich viel Fluss hinein und heraus. Für jede Kante e überschreitet der Fluss f(e) die Kapazität c(e) nicht. Wert des Flusses f: Summe der Flüsse, die aus q herausfließen. 629

16 Flussmaximierung LP Variablen: x i,j für alle Kanten (i,j) E. Bedeutung von x i,j : Wert des Flusses auf der Kante (i,j). Zielfunktion: (q,i) E x q,i max Nebenbedingungen: (i,j) E: x i,j 0 und x i,j c(i,j). i V \ {q,s}: (i,j) E x i,j (l,i) E x l,i = 0. Fluss, der Knoten i verlässt Fluss in Knoten i hinein 630

17 Maximales Matching Gegeben: Graph G=(V,E) Aufgabe: Finde Menge M E mit maximaler Größe M, so dass Kanten aus M keinen Knoten gemeinsam haben. Bsp: 631

18 Formulierung als ganzz. lin. Progr. Variablen: x i,j (i<j) für alle Kanten {i,j} E. Bedeutung: x i,j =1, falls {i,j} M, x i,j =0, falls {i,j} M. Zielfunktion: (i,j) E x i,j max Nebenbedingungen: {i,j} E: x i,j 0 und ganzzahlig. i V: (i,j) E x i,j

19 Anmerkungen Für die Berechnung maximaler Matchings sind Polynomialzeitalgorithmen bekannt. Ganzzahlige Programmierung ist NPschwer. Hier wurde ein falscher Umweg gemacht. Die Umformungen von Problemen in (ganzzahlige) lineare Programme sind Turing-Reduktionen. 633

20 MAX-k-SAT Eingabe: Variablen x 1,,x n, Klauseln C 1,,C m mit je k Literalen. Aufgabe: Finde eine Belegung der Variablen, die die Anzahl erfüllter Klauseln maximiert. Bekannt: MAX-3-SAT ist NP-schwer (vgl. Folie 161f.). 634

21 Formulierung als 0-1-Programm z 1,,z m : Indikatorvariablen, die angeben, ob die zug. Klauseln erfüllt sind. Zielfunktion: z 1 + +z m max Nebenbedingungen: y 1,,y n,z 1,,z m {0,1} Für j=1,,m: Dann: max. Wert der Zielfunktion = max. Anzahl erfüllter Klauseln 635

22 Standardisierung von LPs Ziel: Einheitliche Form von LPs, um Algorithmen zu vereinfachen. Variablen mit negativen Werten beseitigen in umformen Gleichungen beseitigen Schlupfvariablen einführen Maximierungsprobleme in Minimierungsprobleme umformen 636

23 Beseitung v. Var. mit neg. Werten Für jede Variable x gibt es in der Regel die Nebenbedingung x 0. Falls nicht: Erzeuge neue Variablen y,z mit den Nebenbedingungen y,z 0. Ersetze x durch y z. Bsp: 5x 1 +3x 2 7, x 2 0, x 1 R 5y 1 5z 1 +3x 2 7, y 1,z 1,x

24 Umdrehen v. Ungleichheitszeichen Aus wird durch Multiplizieren der Nebenbedingung mit 1. Bsp: 5x 1 +3x 2 7 5x 1 3x

25 Beseitigung von Gleichungen Variante 1: Ersetze Nebenbedingungen der Form i a i x i =b durch i a i x i b und i a i x i b. Variante 2: Sei o.b.d.a a 1 0. Löse die Nebenbedingung nach x 1 auf. Resultat: x 1 = (b i 1 a i x i ) / a 1. Setze dies in die anderen Nebenbedingungen und die Zielfunktion ein. 639

26 Umformung von Ungleichungen Ziel: Ersetze jede Ungleichung durch eine Gleichung und eine sog. Schlupfvariable: i a i x i b i a i x i + z = b z 0 Schlupfvariablen haben im Simplexalgo eine besondere Bedeutung. Jede Nebenbedingung hat eine eigene Schlupfvariable, die sonst nirgendwo mehr vorkommt. 640

27 Minimierung vs. Maximierung Maximierungsprobleme werden durch Multiplikation der Zielfunktion mit 1 zu Minimierungsproblemen. 641

28 Resultat: Standardform von LPs Zielfunktion: c T x min Nebenbedingungen: Ax=b, x 0 Dabei: A ist m n-matrix, c ist n-dimensionaler Vektor, b ist m-dimensionaler Vektor, x = (x 1,,x n ), jede Gleichung enthält eine Schlupfvariable. 642

29 Grundlagen aus der lin. Algebra Vektorraum R n : Menge aller n-dimensionalen reellwertigen Vektoren mit den Operationen Vektoraddition (koordinatenweise Addition) Multiplikation mit Skalaren (= reellen Zahlen) (U.A.) gilt: Vektoraddition ist kommutativ und assoziativ, hat als neutrales Element den Nullvektor, das Distributivgesetz. 643

30 Untervektorräume von R n S R n heißt Unter(vektor)raum (UR) von R n, wenn S gegen Vektoraddition und Multiplikation mit Skalaren abgeschlossen ist. Bekannt: URs sind genau die Lösungsräume von homogenen lin. Gleichungssystemen Ax=0. Die Lösungsräume von inhomogenen lin. Gleichungssystemen sind affine Unterräume a+s, wobei a Vektor und S UR. 644

31 Konvexe (Linear-)Kombinationen Seien x,y R n. Konvexkombinationen von x und y sind alle Punkte z mit z=λx+(1 λ)y, λ [0,1]. Geometrische Interpretation: Dies sind alle Punkte auf der Strecke [x,y]. Strikte Konvexkombinationen von x und y sind alle Punkte z mit z=λx+(1 λ)y, λ (0,1). 645

32 Konvexe (Linear-)Kombinationen Seien x 1,,x t R n. Konvexkombinationen von x 1,,x t sind alle Punkte z mit z= i {1,,t} λ i x i, wobei i {1,,t} λ i =1. Geometrische Interpretation: Dies sind alle Punkte in der konvexen Hülle von x 1,,x t. 646

33 Konvexe Mengen C R n heißt konvex, wenn für alle x,y C auch alle Konvexkombinationen von x und y in C liegen. 647

34 Extrempunkt Sei C eine konvexe Menge. Ein Extrempunkt von C ist ein Punkt, der sich nicht als strikte Konvexkombination von zwei verschiedenen Punkten von C darstellen lässt. 648

35 Halbebenen und Halbräume Seien b R, a R n,a 0. Halbebene (oder Hyperebene): H = {x a T x = b} (Geometrisch: (n 1)-dimensionaler affiner Unterraum, der R n in zwei Teile teilt) (Abgeschlossener) Halbraum: H = {x a T x b} (Geometrisch: Halbebene zzgl. eines der beiden Teile des R n ) 649

36 Beobachtungen Jede lineare Nebenbedingung der Form a 1 x a n x n b beschreibt einen Halbraum des R n. Halbräume sind konvexe Mengen. Der Durchschnitt von konvexen Mengen ist wieder eine konvexe Menge. Folgerung: Die Menge der Punkte, die alle Nebenbedingungen eines LP erfüllen, ist ein konvexes Polyeder. 650

37 Begriffe Polyeder im R n : Menge von Punkten, die von Halbebenen begrenzt wird. Polytop im R n : Beschränktes Polyeder Simplex im R n : Polytop mit n+1 Extrempunkten Spezialfälle eines Simplex: n=2: Dreieck n=3: Tetraeder 651

38 Stützende Hyperebene Sei C konvexe Menge. H heißt stützende Hyperebene von C, falls H C. C H, wobei H einer der durch H erzeugten Halbräume ist. 652

39 Stützende Hyperebenen Sei P konvexes Polyeder und H stützende Hyperebene. Falls dim(p H)=0, heißt P H Ecke von P. Falls dim(p H)=1, heißt P H Kante von P. Falls dim(p H)=n 1, heißt P H Seitenfläche von P. Beobachtung: Die Ecken von P sind die Extrempunkte von P. 653

40 Die nächsten Ziele Für ein LP Ax=b, x 0, c T x min gibt es die folgenden Möglichkeiten: Es gibt keine Lösung. Die Zielfunktion kann beliebig kleine Werte annehmen. Es gibt Lösungen mit endlichem Wert der Zielfunktion. Dann ex. auch eine Lösung, die auf einem Eckpunkt des Polyeders der Nebenbedingungen liegt. Simplexalgorithmus arbeitet nur auf den Eckpunkten des Polyeders. 654

41 Eigenschaften der Eckpunkte Satz: Sei P={x Ax=b, x 0 } und z P. Dann: z Eckpunkt von P Die zu positiven Koordinaten von z korrespondierenden Spalten von A sind linear unabhängig. Beweis: O.B.d.A. seien die ersten p Koordinaten von z positiv. z : ersten p Koordinaten von z A : ersten p Spalten von A Dann: A z = Az = b. 655

42 Beweis (Fortsetzung) (z Eckpunkt Spalten v. A lin. unabh.) Annahme: Spalten von A nicht lin. unabh. w 0: A w=0. ε>0: A (z +εw)=a (z εw) =A z =b. Wähle ε so klein, dass z +εw 0 und z εw 0. Fülle z +εw mit n p Nullen auf y Fülle z εw mit n p Nullen auf y Dann: y, y P und z=(y +y )/2 z kein Eckpunkt. 656

43 Beweis (Fortsetzung) (Spalten v. A lin. unabh. z Eckpunkt) Annahme: z kein Eckpunkt von P. y y P, λ (0,1) mit z=λy +(1 λ)y. A(z y ) = Az Ay = b b = 0 Wegen y, y P sind die letzten n p Koordinaten jeweils nicht negativ. Wegen λ 0,1 sind die letzten n p Koordinaten von y (wie auch von z) gleich 0. Die Spalten von A sind nicht lin. unabh. 657

44 Darstellung der Eckpunkte Sei A eine m n-matrix (mit Rang(A)=m). Sei B eine m m-matrix aus m linear unabh. Spalten von A (also eine Basis). Die Variablen, die den Spalten von B entsprechen, heißen Basisvariablen bez. B. Die übrigen Variablen heißen Nichtbasisvariablen bez. B. Die Variablenbelegung, bei der Nichtbasisvariablen auf 0 gesetzt sind und die Basisvariablen x B die Gleichung Bx B =b erfüllen, heißt Basislösung. 658

45 Darstellung der Eckpunkte Falls für eine Basislösung zusätzlich x B 0 gilt, heißt sie zulässige Basislösung. Die Variablenbelegung, bei der Nichtbasisvariablen auf 0 gesetzt sind und die Basisvariablen x B die Gleichung Bx B =b erfüllen, heißt Basislösung. 659

46 Eckpunkte vs. Basislösungen Folgerung: z P ist Eckpunkt von P z zulässige Basislösung bez. einer Basis B von A. Satz: Sei P = { x Ax=b, x 0 } und sei z P. Dann: z Eckpunkt von P Die zu positiven Koordinaten von z korrespond. Spalten von A sind linear unabhängig. 660

47 Folgerung Folgerung: Ein Polyeder P hat nur eine endliche Anzahl von Ecken. Beweis: Es gibt maximal Möglichkeiten, m Spalten aus A zu wählen. Also: Die Inspektion aller Eckpunkte ist (prinzipiell) in endlicher Zeit möglich. Aber: i.a. exponentiell. 661

48 Richtung eines Polyeders Definition: Ein Vektor d R n \{0} heißt Richtung des Polyeders P, falls für jedes x 0 P auch alle Punkte des Strahls {x 0 +λd λ 0} in P liegen. Beobachtung: Ein Polyeder P ist genau dann unbeschränkt, wenn P eine Richtung hat. 662

49 Wann hat P eine Richtung? Lemma: d 0 ist genau dann Richtung des Polyeders P = {x Ax=b, x 0}, wenn Ad=0 und d 0 ist. Beweis: : Sei Ad=0 und d 0. x 0 P λ>0: A(x 0 +λd) = Ax 0 + Aλd = b d ist Richtung von P. 663

50 : Sei d=(d 1,,d n ) Richtung von P. 1. Annahme: i: d i <0 Für alle x 0 P u. hinr. großes λ: (x 0 +λd) i <0 d keine Richtung. 2. Annahme: Ad 0. Für alle λ>0: Aλd 0. Für alle x 0 P: A(x 0 +λd) = Ax 0 + Aλd = b+aλd b d keine Richtung. Lemma: d 0 ist genau dann Richtung des Polyeders P = {x Ax=b, x 0}, wenn Ad=0 und d 0 ist. 664

51 Repräsentationstheorem Satz: Sei P = {x Ax=b, x 0} ein Polyeder im R n. Jeder Punkt z P kann als und λ 1,,λ n+1 0 dargestellt werden, wobei d=0 oder d eine Richtung von P ist und v 1,,v n+1 Eckpunkte von P sind. Insbesondere hat P mind. einen Eckpunkt. Beweis: Induktion über n, hier weggelassen. 665

52 Fundamentalsatz der lin. Prog. Satz: Sei P = {x Ax=b, x 0}. Dann wird der Minimalwert von z(x)=c T x an einer Ecke von P angenommen oder z(x) hat keine untere Schranke in P. Nutzen beim Lösen von lin. Programmen: Betrachte nur Eckpunkte. Untersuche, ob es eine Richtung gibt, entlang derer z(x) gegen geht. 666

53 Beweis: 1. Fall: P hat eine Richtung d mit c T d<0. Dann: P ist unbegrenzt und z konvergiert entlang d gegen. 2. Fall: P hat keine solche Richtung. Sei x P Punkt mit min. Wert für z(x). Dann 667

54 Simplexalgorithmus ist Umsetzung der bisherigen Ideen: 1. Schritt: Suche zulässigen Basispunkt 2. Schritt: Führe Basiswechsel durch und verkleinere dadurch den Wert der Zielfunktion. Dieser Schritt liefert entweder Eckpunkt, der Optimum ist oder Richtung, entlang derer die Zielfunktion beliebig klein wird. Wir betrachten zuerst den 2. Schritt. 668

55 Gegebenes LP später günstig z(x)= c 1 x 1 c n x n min a 11 x a n1 x n + x n+1 = b 1 a m1 x a nm x n + x n+m = b m x 1,,x n+m 0 Schlupfvariablen 669

56 Umformung z(x) = c 0 c 1 x 1 c n x n min x n+1 = b 1 a 11 x 1 a n1 x n x n+m = b m a m1 x 1 a nm x n Basisvariablen Nichtbasisvariablen Zugehöriger Basispunkt: x 1 = =x n =0, x n+1 =b 1,,x n+m =b m 670

57 Idee eines Basiswechsel z(x) = c 0 c 1 x 1 c n x n min x n+1 = b 1 a 11 x 1 a n1 x n x n+m = b m a m1 x 1 a nm x n Sei c i >0. Idee: x i beginnend von 0 wachsen lassen Zielfunktion wird kleiner a ji >0: x n+j wird kleiner, darf nur auf 0 sinken. a ji 0: keine Einschränkung wg. x n+j 671

58 Wie groß darf x i werden? 1. Fall: a ji > 0. Dann x n+j = b j a ji x i 0 x i b j /a ji. 2. Fall: a ji 0. Dann keine Einschränkung an x i. Also: Suche Nebenbedingung j mit a ji >0 und b j /a ji minimal. Dann x i wächst auf b j /a ji und x n+j sinkt auf 0. x i wird Basisvar. x n+j wird Nichtbasisvar. Falls es ein solches j nicht gibt: Zielfunktion kann beliebig klein werden. 672

59 Basiswechsel zw. x i und x n+j z(x) = c 0 c 1 x 1 c n x n min x n+1 = b 1 a 11 x 1 a n1 x n x n+m = b m a m1 x 1 a nm x n j-te Nebenbedingung nach x i auflösen: 673

60 Basiswechsel zw. x i und x n+j für x i in die Zielfunktion und die anderen Nebenbedingungen einsetzen. Resultat: Äquivalentes LP, in dem x n+j Nichtbasisvariable und x i Basisvariable ist. 674

61 Neue Zielfunktion 675

62 Bedeutung von c 0 c 0 ist der Wert der Zielfunktion im aktuellen Basispunkt. 676

63 Neue Nebenbedingungen 677

64 Resultate Resultat ist ein äquivalentes LP. Name des Umformungsschritts: Basiswechsel oder Pivotschritt In einem Pivotschritt wird von einem Eckpunkt zu einem benachbarten Eckpunkt gewechselt. Ein Eckpunkt zusammen mit seinen n Nachbarn bildet einen Simplex; daher der Name Simplexalgorithmus 678

65 Simplextableau Tabelle/Array der Koeffizienten des LP Zur Vereinfachung werden die Vorzeichen der Nichtbasisvariablen umgedreht. 679

66 z(x) = c 0 c 1 x 1 c n x n min x n+1 = b 1 a 11 x 1 a n1 x n x n+m = b m a m1 x 1 a nm x n wird zu x 1 x n c 0 c 1 c n x n+1 b 1 a 11 a n1 x n+m b m a m1 a nm 680

67 Basiswechsel x n+j x i Pivotelement: übrige Elemente in der j-ten Zeile: übrige Elemente in der i-ten Spalte: übrige Elemente: 681

68 Merkregel p r q s 1/p r/p q/p s rq/p 682

69 Schritt 2 des Simplexalgorithmus Gegeben: LP mit zulässigem Basispunkt. Schleife: Falls alle c i 0: Verkleinern der Zielfunktion nicht mehr mögl., Lösung gefunden. STOP. Wähle i mit c i >0. Falls für alle j gilt, dass a ji 0: Zielfunktion kann bel. kleine Werte annehmen. STOP. Suche j mit a ji >0 und b j /a ji minimal. Führe Pivotschritt um a ji aus. 683

70 Gärtnerbeispiel 20x x 2 max x 1 + x x 1 + 6x x 1 60 x 1 0, x 2 0 Normalform: 20x 1 10x 2 min x 3 = 100 x 1 x 2 x 4 = 720 9x 1 6x 2 x 5 = 60 x 1 684

71 Erzeugung des Simplextableaus 20x 1 10x 2 min x 3 = 100 x 1 x 2 x 4 = 720 9x 1 6x 2 x 5 = 60 x 1 x 1 x x x x

72 Auswahl des ersten Basiswechsels x 1 x x x x x x 1 80 x 1 60 Also Basiswechsel x 1 x 5 686

73 Basiswechsel x 1 x 5 x 1 x x x x x 5 x x x x

74 Zweiter Basiswechsel x 5 x x x x x 2 40 x 2 30 Also Basiswechsel x 2 x 4 688

75 Basiswechsel x 2 x 4 x 5 x x x x x 5 x /6 x /2 1/6 x /2 1/6 x Lösung mit Wert 1500 gefunden 689

76 Geometrische Interpretation x x 1 690

77 Sonderfall: Degenerierte Probleme Ein LP heißt degeneriert, falls sich in einem Eckpunkt des zugehörigen Polyeders mehr als n Hyperebenen schneiden. Probleme: Der zugehörige Basispunkt hat mehrere Darstellungen (bei denen auch Basisvariablen den Wert 0 haben). Der Simplexalgorithmus kann zwischen diesen Darstellungen kreisen -Schleife 691

78 Abhilfe Der Simplexalgorithmus speichert alle besuchten Basispunkte, um Wiederholungen zu vermeiden erfordert ev. viel Speicher. Zusätzliche Regeln, die mehrfaches Besuchen desselben Basispunkts vermeiden Lex-Positiv-Regel (siehe Blum) 692

79 Rechenzeit Simplexalgorithmus gilt als praktisch effizient. Es gibt worst-case-eingaben mit exponentieller Rechenzeit (aufwändig zu konstruieren). 693

80 Schritt 1 des Simplexalgorithmus Bisherige Annahme: x 1 = =x n =0 zulässiger Basispunkt, d.h., b 1,,b m 0. Falls dies nicht so ist, sollte ein anderer zulässiger Basispunkt berechnet werden oder festgestellt werden, dass das LP unlösbar. z(x) = c 0 c 1 x 1 c n x n min x n+1 = b 1 a 11 x 1 a n1 x n x n+m = b m a m1 x 1 a nm x n 694

81 Schritt 1 des Simplexalgorithmus Unsere Vorgehensweise: Modifiziere das geg. LP P 1, so dass das Resultat P 2 auf triviale Weise einen zulässigen Basispunkt hat, man aus der Lösung von P 2 einen zulässigen Basispunkt von P 1 erhält. Lösung kann mit dem Algo für Schritt 2 berechnet werden 695

82 Bestimmung e. zul. Basispunkts Eingabe: LP P 1 : Ax=b, x 0 (Zielfkt. wird hier vernachlässigt) Durch Multiplikation mit 1 erreiche, dass alle b i 0 (bisherige Schlupfvar. erhalten ev. neg. Vorzeichen) Füge künstliche Variablen z=(z 1,,z m ) ein und konstruiere neues LP: z 1 + +z m min Ax+z = b (P 2 ) x,z

83 Berechnung e. zulässigen Basisp. Bringe das LP P 2 in Standardform, d.h., setze z = b Ax in die Zielfunktion ein. Resultat: z=b, x=0 ist zulässiger Basispunkt für P 2 Also: bisheriger Algo für Schritt 2 kann P 2 lösen. z 1 + +z m min Ax+z = b (P 2 ) x,z

84 Kriterium für die Lösbarkeit Lemma: P 2 hat genau dann die Lösung (x*,z*) mit Wert 0, wenn Ax*=b und x* 0 ist, also x* zulässiger Punkt für P 1 ist. Beweis: : (x*,z*) Lösung mit Wert 0 von P 2 z*=0, x* 0 Ax*=b, x* 0. : Offensichtlich ist (x*,z=0) Lösung von P 2 mit Wert 0. z 1 + +z m min Ax+z = b (P 2 ) x,z

85 Berechn. e. zulässigen Basispunkts Löse P 2. Falls eine z-variable ungleich 0 ist, hat P 1 keine Lösung. STOP. Ansonsten erhalten wir einen zulässigen Basispunkt für P 1 (Nichtbasisvariablen auf 0 setzen, Basisvariablen auf die b-werte setzen, z-variablen weglassen) Durch geeignete Basiswechsel kann in P 1 ein zulässiger Basispunkt erreicht werden. 699

86 Implementierung von Schritt 1 Reale Implementierungen berechnen nicht P 2, sondern führen geeignete Basiswechsel direkt aus, um einen zulässigen Basispunkt zu erreichen. 700

87 Randomisiertes Runden Bekannt: Für lineare Programmierung gibt es effiziente Algorithmen. 0-1-Programmierung ist NP-schwer. Idee: Löse ein 0-1-Programm, indem alle Nebenbedingungen x {0,1} durch 0 x 1 ersetzt werden, relaxiertes Problem lineare Relaxation das entstandene LP effizient gelöst wird, die berechnete Lösung nachbehandelt wird. 701

88 Nachbehandlung Idee: Sei x^ der Wert von x in der Lösung des LP. Belege x mit Wkeit x^ mit 1 und mit Wkeit 1 x^ mit 0 (unabhängig für alle Variablen) Name: Randomisiertes Runden Analyse hier am Beispiel MAX-k-SAT. 702

89 Wiederholung: Formulierung von MAX-k-SAT als 0-1-Programm z 1,,z m : Indikatorvariablen, die angeben, ob die zug. Klauseln erfüllt sind. Zielfunktion: z 1 + +z m max Nebenbedingungen: y 1,,y n,z 1,,z m {0,1} Für j=1,,m: Dann: max. Wert der Zielfunktion = max. Anzahl erfüllter Klauseln 703

90 Algo 1 Formuliere die MAX-k-SAT-Eingabe als 0-1-Programm. Löse die lineare Relaxation des 0-1-Programms. Sei y^ 1,,y^ n,z^ 1,,z ^ m die Lösung. Belege x i mit Wkeit y^ i mit 1 und mit Wkeit 1 y^ i mit

91 Analyse von Algo 1 Satz: Sei opt die maximale Anzahl an gleichzeitig erfüllbaren Klauseln. Die erwartete Anzahl erfüllter Klauseln ist mindestens (1 (1 1/k) k ) opt (1 1/e) opt. Bemerkung: 1 1/e 0,63. Wesentliche Idee: Wert r der Lösung des relaxierten Problems ist eine obere Schranke für die Anzahl gleichzeitig erfüllbarer Klauseln d.h. opt r = ^z j. 705

92 Hilfsaussagen 1. Ungleichung von arithmetischem und geometrischem Mittel. Seien a 1,,a k 0. Dann: 2. Sei x [0,1]. Dann: 706

93 Analyse Lemma: Sei y^ 1,,y^ n,z^ 1,,z^ m eine Lösung des relaxierten Problems. Die Wkeit, dass die j-te Klausel bei randomisiertem Runden erfüllt ist, ist mindestens (1 (1 1/k) k ) z^ j (1 1/e) z^ j. 707

94 Beweis Betrachte o.b.d.a. die Klausel C=x 1 x k. Wkeit, dass C beim rand. Runden erfüllt wird: Es ist und somit 708

95 Mit Hilfsaussage 1 folgt: Umformen: Hilfsaussage 2 Wkeit, dass C j erfüllt ist 709

96 Beweis des Satzes X j : Indikatorvariable, die angibt, ob j-te Klausel erfüllt ist. E[X j ] (1 (1 1/k) k ) z^ j. E[X 1 + +X m ] (1 (1 1/k) k ) j z^ j (1 (1 1/k) k ) opt (1 1/e) opt opt ^z j. Satz: Sei opt die maximale Anzahl an gleichzeitig erfüllbaren Klauseln. Die erwartete Anzahl erfüllter Klauseln bei rand. Runden ist mindestens (1 1/e) opt. 710

97 Ein weiterer Algo für MAX-k-SAT Algo 2: Belege alle Variablen mit Wkeit ½ mit 0 bzw. 1. Satz: Die erwartete Anzahl erfüllter Klauseln bei Algo 2 ist m(1 1/2 k ). 711

98 Satz: Die erwartete Anzahl erfüllter Klauseln bei Algo 2 ist m(1 1/2 k ). Beweis: X i : Indikatorvariable, die angibt, ob die i-te Klausel erfüllt ist. E[X i ]=1 1/2 k. X: Zufallsvariable für die Anzahl erfüllter Klauseln. X=X 1 + +X m, also E[X] = m(1 1/2 k ). 712

99 Welcher Algo ist besser? Algo 1: Erw. Anzahl erfüllter Klauseln ist opt (1 (1 1/k) k ). Algo 2: Erw. Anzahl erfüllter Klauseln ist m (1 1/2 k ). k (1 1/k) k 1 0,75 0,704 0, /2 k 0,5 0,75 0,875 0,

100 Kombination beider Algos Algo 3: Starte nacheinander Algo 1 und Algo 2 und gib das bessere Ergebnis aus. Anmerkung: Algo 3 ist auch für MAXSAT anwendbar, d.h., auch wenn die Länge der Klauseln nicht vorgegeben ist. 714

101 Analyse von Algo 3 Satz: Bei Algo 3 ist die erwartete Anzahl erfüllter Klauseln mindestens (3/4) opt. Beweis: n i : Zufallsvariable für die Anzahl erfüllter Klauseln in der Lösung von Algo i. noch zu zeigen 715

102 Abschätzung von n 1 und n 2 l(c): Länge der Klausel C Dann und 716

103 Zwischenrechnung k=1 oder k=2: linke Seite 3/2. k 3: linke Seite mindestens 7/8+(1 1/e) 3/2. 717

104 Rechnung Es folgt 718