Kap. 4.2: Simplex- Algorithmus

Transkript

1 Kap. 4.2: Simplex- Algorithmus Professor Dr. Petra Mutzel Lehrstuhl für Algorithm Engineering, LS11 Fakultät für Informatik, TU Dortmund VO A&D WS 08/ Petra Mutzel Alg. & Dat. WS 08/09 1

2 Literatur für diese VO V. Chvatal: Linear Programming D. Bertsimas: Linear Programming Petra Mutzel Alg. & Dat. WS 08/09 2

3 Überblick 4.2 Der Simplex-Algorithmus Einführung Basisaustauschsatz Tableau-Methode (Standard-Simplex) Revidierte Simplex-Methode mit Eta- Faktorisierung Spalten- und Zeilenauswahlregeln Terminierung Analyse der Laufzeit Petra Mutzel Alg. & Dat. WS 08/09 3

4 3.2 Der Simplex-Algorithmus Lineare Programme werden in der Praxis mit Hilfe des Simplex-Algorithmus gelöst [Dantzig 1955]. Max 3x 1 + 2x 2 + 2x 3 Subject to x 1 + x 3 8 x 1 + x 2 7 x 1 + 2x 2 12 x 1, x 2, x 3 0 Petra Mutzel Alg. & Dat. WS 08/09 4

5 Visualisierung des Simplex-Algorithmus Max z = 3x 1 + 2x 2 + 2x 3 x 3 (0,0,8) (0,6,8) Optimal! (2,5,6) z = 28 z = 0 (0,6,0) x 2 (7,0,1) z = 23 (2,5,0) x 1 (7,0,0) z = 21

6 Simplex-Algorithmus Gegeben: LP mit Lösungspolyeder P (1) Bestimme einen beliebige Ecke (Initialecke) v von P. (2) Falls es keine verbessernde Kante inzident zu v gibt stop: v ist optimal. (3) Folge einer beliebigen verbessernden Kante e von v. Falls e unbeschränkt ist, d.h. keinen anderen Endpunkt hat stop: Das LP ist unbeschränkt. (4) Sei u der andere Endpunkt von e. Setze v=u. Gehe zu (2)

7 Offene Fragen zu Simplex-Algorithmus Wie findet man eine Initialecke v von P? Bei zulässigen LPs in Standardform mit nicht-negativen a ij und b i ist der Ursprung (Punkt 0) immer ein Knoten von P. Ansonsten verwendet man ein Preprocessing (Phase 1), das an einem Schnittpunkt evtl. außerhalb von P startet und durch ähnliche Basisaustauschschritte zu einer Ecke in P läuft. Wie wird das Polyeder abgespeichert? Man speichert das durch die Restriktionen beschriebene Gleichungssystem in Form eines Tableaus ab. In jedem Simplexschritt verändert sich das Tableau und die ausgehenden Kanten des aktuellen Ecke können aus dem Tableau berechnet werden. Teste, ob die aktuelle Ecke optimal ist? Falls nicht, welche verbessernde Kante wählt man? Terminiert der Algorithmus? s. Vorlesung: gleich

8 Definitionen Gegeben sei ein Gleichungssystem Ax=b mit A R m n, m<n, b R m, rang(a)=m. Sei B=(p 1,p 2,...,p m ) {1,2,...,n} m Spaltenindexmenge und N=(q 1,q 2,...,q n-m ) {1,2,...,n} n-m Spaltenindexmengen mit B N={1,2,...,n} und B N=. Für J {1,2,...n}: A J ist die Untermatrix von A nach Streichen der Spalten aus {1,2,...,n} \ J. Wir schreiben A B statt A B und A N statt A N. Ist A B regulär (=invertierbar), so heißt A B Basismatrix oder Basis von A und B Basisindexvektor oder Basis von A; analog A N, N Nichtbasisindexvektor. Der Vektor x R n mit x N =0, x B =A B -1 b heißt Basislösung von Ax=b zur Basis A B.

9 Definitionen Ist A B regulär (=invertierbar), so heißt A B Basismatrix oder Basis von A und B Basisindexvektor oder Basis von A; analog A N, N Nichtbasisindexvektor. Der Vektor x R n mit x N =0, x B =A B -1 b heißt Basislösung von Ax=b zur Basis A B. Ist A B eine Basis, so heißen die Variablen x j, j B, Basisvariablen und die x j, j N Nichtbasisvariablen. Ist A B Basis und gilt A B -1 b 0, so heißen A B, B und die zugehörige Basislösung x zulässig, sonst unzulässig. Eine zulässige Basislösung x zur Basis A B heißt nichtdegeneriert, falls (x B ) i =(A B -1 b) i >0 für alle i B, sonst degeneriert.

10 Simplex-Gleichungsschema und Simplex Tableau max c T x s.t. Ax=b, x 0 max c B c N T x B x N s.t. (A B, A N ) x B = b, x B 0 x N x N A B x B + A N x N = b x B = A B 1 b A B 1 A N x N Zielfunktionswert: z = c B T x B + c N T x N = c B T (A B 1 b A B 1 A N x N ) + c N T x N = = c T B A 1 B b + (c T N c T B A 1 B A N )x N Simplex-Gleichungsschema: x B = A 1 B b A 1 B A N x N z = c T B A 1 B b + (c T N c T B A 1 B A N )x N

11 Simplex-Gleichungsschema und Simplex Tableau Simplex-Gl.schema: x B = A B 1 b A B 1 A N x N z = c B T A B 1 b + (c N T c B T A B 1 A N )x N Zielfunktionswert Simplex-Tableau: Werte der Basisvariablen - c B T A B 1 b A B 1 b c N T c B T A B 1 A N A B 1 A N reduzierte Kosten

12 Basisaustauschsatz Beispiel, s. Tafel

13 Beweis: (a) (b1) Petra Mutzel Alg. & Dat. WS 08/09 14

14 (b2) A B entsteht aus A B durch Ersetzen der r-ten Spalte durch A qs. Es gilt A B = A B F, wobei F = ā 1s ā r 1,s ā rs ā r+1,s ā ms Denn: Wir haben Ā s = A 1 B A q s und deshalb ist die s-te Spalte von A B F gleich A B Ā s = A B A 1 B A s = A qs und alle anderen Spalten bleiben wie in A B. Es gilt ā rs > 0, also ist F regulär und somit ist A B eine Basis. Petra Mutzel Alg. & Dat. WS 08/09 15

15 Weiterhin ist x B = A 1 b = F 1 A 1 B B b = F 1 x B = F 1 b mit ā1s ā rs ār 1,s F 1 ā rs 1 = ā rs ār+1,s ā rs āms ā rs Also gilt für i 1, 2,..., m: r-te Spalte Falls ā is > 0: x p i = b i āis ā rs br b i āis ā bi is =0 insbesondere für i = r: x p r = b r ārs ā rs br = 0 (neue Nichtbasisvariable) Falls ā is 0: x p i = b i āis ā rs br b i 0 und x q s = b r ā rs 0 (neue Basisvariable) Also ist x zulässige Basislösung zur Basis B. Petra Mutzel Alg. & Dat. WS 08/09 16

16 (b3) nicht-degenerierter Fall: λ 0 >0: Petra Mutzel Alg. & Dat. WS 08/09 17

17 Simplex-Algorithmus (1) Start mit einer zulässigen Basis (2) Iterierte Anwendung des Satzes: (a) STOP, Optimalität (b1) STOP, Unbeschränktheit (b2) Basiswechsel: Pivot mit Pivotspalte s und Pivotzeile r 2 Varianten: Tableau-Methode (Standard-Simplex) Revidierte Methode

18 Tableau-Methode Zielfunktionswert - c B T A B 1 b c N T c B T A B 1 A N reduzierte Kosten Werte der Basisvariablen A B 1 b A B 1 A N t 00 t t 0n t 10 t t 1n t m0 t m1... t mn Das Tableau ist zulässig falls t i0 0 für alle i {1,2,...,m}. Das Tableau ist optimal falls t 0j 0 für alle j {1,2,...,n}.

19 Rechenregeln (aus Basisaustausch-Satz) Berechnung von Ā = A 1 B A N : A 1 B A N =(A B F ) 1 A N = F 1 (A 1 B A N ) A N unterscheidet sich von A N nur durch die r-te Spalte (gehört zur Variablen mit Index p r ). Zur Neuberechnung von Ā muss Ā also im Wesentlichen mit F 1 multipliziert werden; Ausnahmen bilden die r-te Spalte sowie die s-te Zeile. Dasselbe gilt für die Berechnung von b und c. Das Element ā rs wird als Pivotelement bezeichnet. Daraus ergeben sich die folgenden Rechenregeln: Petra Mutzel Alg. & Dat. WS 08/09 20

20 Rechenregeln (aus Basisaustausch-Satz)

21 Beispiel

22 Beispiel ff

23 Beispiel fff

24 Beobachtungen zum Simplex-Algorithmus In jeder Iteration wird eine Basislösung durch eine andere ersetzt. Zur Berechnung der neuen Basislösung x B wird nur ein sehr kleiner Teil des Tableaus benutzt: man benötigt A -1 B, b=x B und c sowie die s-te Spalte von A. Idee: Statt jedes Mal die ganze Matrix zu berechnen, berechne nur den Teil, der wirklich gebraucht wird, und dies direkt aus den Originaldaten revidierte Simplexmethode

25 Revidierte Simplex-Methode Petra Mutzel Alg. & Dat. WS 08/09 26

26 Petra Mutzel Alg. & Dat. WS 08/09 27

27 Beispiel Gleiches Beispiel wie vorhin mit B = (4, 5),N = (1, 2, 3), c = (3, 5, 4, 0, 0), ( ) ( ) ( ) ( ) 1 0 x A B =, x 0 1 B = =, A = x 5 1. Iteration: y T A B = c T B : y T ( ) = (0 0) y = ( ) 0 0 F r x 2 sind die reduzierten Kosten c 2 y T ( ) 2 2 = c 2 =5. x 2 tritt ein t = 3 2 und x 4 raus. A B d = a d = ( ) 2 2

28 Beispiel Damit haben wir die neue Basis sowie Basislösung: x 2 = 3 2 x B := ( x4 x 5 B = (2, 5) ) N = (1, 4, 3) ( 3 ) x B := 2 2 = Es gilt: A B = A Balt F = ( ) ( ) 2 2 = ( ) 0 2 ( )( ) = ( ) Petra Mutzel Alg. & Dat. WS 08/09 29

29 2. Iteration Beispiel ( ) y T = (5, 0) y = ( ) Reduzierte Kosten: x 1 :3 ( 5 ( ) 2 2, 0) 1 x 4 :0 ( 5 ( ) 1 2, 0) 0 x 3 :4 ( 5 ( ) 1 2, 0) 4 = 2 0 = = 3 2 x 3 rein Petra Mutzel Alg. & Dat. WS 08/09 30

30 t = 2 3 und x 5 raus. A B d = a : Beispiel ( ) 2 0 d = 2 1 ( ) 1 4 d = ( ) x 3 = 2 3 x B := ( x2 x 5 ) = ( ) 2 3( ) = ( B = (2, 3),N = (1, 4, 5) ( 7 ) 6 x B := 2 3 ( )( ) Es gilt: A B = A Balt F = ) = ( ) Petra Mutzel Alg. & Dat. WS 08/09 31

31 Beispiel 3. Iteration: Reduzierte Kosten: ( ) y T = (5 4) y = ( ( x 1 :3 2, 1 )( ) 2 = ( x 4 :0 2, 1 )( ) 1 = ( x 5 :0 2, 1 )( ) 0 = ) Optimal!

32 Lösung der Gleichungssysteme durch Eta-Faktorisierung der Basis Ziel: Lösung nicht mittels Neuberechnung der Inversen B r-te Spalte wird ersetzt durch d Petra Mutzel Alg. & Dat. WS 08/09 33

33 Eta-Faktorisierung der Basis Z.B. Lösen von y T A B4 = c T B : (((yt E 1 )E 2 )E 3 )E 4 = c T B : u T E 4 = c T B,vT E 3 = u T,w T E 2 = v T,y T E 1 = w T. Lösen von A B4 d = a: E 1 (E 2 (E 3 (E 4 d))) = a E 1 u = a, E 2 v = u, E 3 w = v, E 4 d = w. BTRAN für back transformation FTRAN für forward transformation Speicherung der Eta-Matrizen: jeweils nur die Spalte und die Position. Eta-File: E 1,E 2,..., E k.

34 Bemerkung zur Eta-Faktorisierung Mit der Eta-Faktorisierung hat man zwar mehr Gleichungssysteme zu lösen, da diese aber sehr dünn besetzt ist, ist dies mit sehr geringem Aufwand verbunden: Wenn die Eta-Spalte k Nicht-Nullen besitzt, dann werden hierzu nur k-1 Multiplikationen, k-1 Additionen und 1 Division benötigt. Denn das Lösen von E k d = a ist einfach: Sei die r-te Spalte von E k gegeben durch ā: Dann ist d r = a rs /ā rs und d i = a 1s ā is d r

35 Faktorisierung / Refaktorisierung Problem 1: In jeder Iteration kommt eine neue Eta-Matrix hinzu Zunehmende Ineffizienz, da immer mehr Gleichungssysteme zu lösen sind und damit auch neben dem Zeitfaktor numerische Fehler verbunden sind Lösung: Neuberechnung von A B k alle h Iterationen (Chvatal empfiehlt h=20) (z.b. als LU-Zerlegung oder trianguläre Faktorisierung) und setze diese als neues A B 0. Problem 2: Was tun, wenn A B 0 I? Periodische Refaktorisierung Faktorisierung Lösung: Faktorisierung von A B 0 (z.b. als LU-Zerlegung oder trianguläre Faktorisierung)

36 Vorteile der revidierten Methode Rechenaufwand ist bei einer großen und dünn besetzten Matrix deutlich kleiner als bei Tableau- Methode Spalten werden nur bei Bedarf generiert Eta-Faktorisierung (und Refaktorisierung) statt Speicherung der inversen Matrix Rechengenauigkeit ist deutlich besser, denn man kann die inverse Basismatrix regelmäßig neu berechnen. Simplexalgorithmus läßt noch einige Freiheiten, z.b. bei Zeilen und Spaltenauswahl, denn es können jeweils mehrere Kandidaten existieren.

37 Spaltenauswahlregeln Kleinster-Index-Regel: Wähle die Spalte mit kleinstem Index Kleinster-Variablenindex-Regel: Wähle die Spalte mit dem kleinsten Variablenindex Steilster-Anstieg-Regel: Wähle diejenige Spalt mit den größten reduzierten Kosten Größter-Fortschritt-Regel: Berechne den neuen Zielfunktionswert über alle möglichen Spalten aus und wähle dann diejenige Spalte, die den größten Wert bringt. Lexikographische Spaltenauswahlregel: Betrachte jeweils die Vektoren der in Frage kommenden Spalten und wähle den lexikographisch kleinsten aus. Petra Mutzel Alg. & Dat. WS 08/09 38

38 Zeilenauswahlregeln Diese Regeln werden dann angewendet, falls es mehrere Kandidaten zur Auswahl gibt Kleinster-Index-Regel: Wähle die Zeile mit kleinstem Index Kleinster-Variablenindex-Regel: Wähle die Zeile mit dem kleinsten Variablenindex Lexikographische Zeilenauswahlregel: Betrachte jeweils die Vektoren der in Frage kommenden Zeilen und wähle den lexikographisch kleinsten aus. Petra Mutzel Alg. & Dat. WS 08/09 39

39 Terminierung Problem: Man kann Beispiele konstruieren, für die sich eine Basis wiederholt: Phänomen des Zykelns (nur bei Degenerität) keine Terminierung Lösung: Es gibt Spalten- bzw. Zeilenauswahlregeln, von denen man zeigen kann, dass in diesem Fall der Simplex-Algorithmus terminiert. Petra Mutzel Alg. & Dat. WS 08/09 40

40 Terminierung Bland s Regel: Eintretende und austretende Variable ist immer diejenige mit dem kleinsten Index. Satz (Bland, 1977): Bei der Anwendung von Bland s Regel terminiert der Simplexalgorithmus. Bemerkungen: Wendet man die kleinste Indexregel auf nur eine Spalten- oder Zeilenauswahl an, dann kann man Beispiele konstruieren, bei denen das Verfahren nicht terminiert. Es gibt aber auch Regeln (z.b. die lexikographische Zeilen- bzw. Spaltenauswahlregel), die nur auf eines der beiden angewendet werden müssen um Terminierung zu erhalten.

41 Bemerkungen Achtung: Bland s Regel verhindert zwar das Zykeln, aber in der Praxis hat sich gezeigt, dass i.a. die Anzahl der Pivotoperationen bei Anwendung der Bland-Regel wesentlich höher liegt als z.b. bei der Steilster Anstieg-Regel. In der Praxis wird daher meist die steilste Anstieg Regel zur Spaltenauswahl verwendet.

42 Laufzeit Worst Case: Zu fast allen bekannten Pivotauswahlregeln kennt man heute eine Klasse von Polyedern und Zielfunktionen, so dass der Simplexalgorithmus bei Anwendung einer zugehörigen Auswahlregel durch alle Ecken des Polyeders läuft. Da die Anzahl der Ecken dieser Polyeder exponentiell mit der Anzahl der Variablen wächst exponentielle worst-case Laufzeit.

43 Laufzeitvergleich von Tableau- mit Revidierter Simplexmethode Laufzeit pro Iteration für dünn-besetzte Matrizen: Schätzung laut Chvatal-Buch: Annahme: Tableauspalten und Zeilen enthalten m/2 bzw. n/2 Nicht-NullElemente; Faktorisierungsmatrizen von B k : 12m Nicht-Null-Elemente; Eta-Spalten: ca. 25%-50% dicht FTRAN: ca. 10m, BTRAN: ca. 20m Auswahl der Eingangsvariablen: 10n Berechnung der Ausgangsvariablen: m Aktualisierung von x B und B: m Gesamtzeit Revidierter Simplex: 32m+10n Gesamtzeit Tableau-Methode: mn/4