Kapitel 3. Lineare Optimierung. 3.1 Aufgabenstellung. Wir betrachten den

Transkript

1 Kapitel 3 Lineare Optimierung The tremendous power of the simplex method is a constant surprise to me G.B. Dantzig Wir betrachten den einfachsten Fall eines Optimierungsproblems mit Nebenbedingungen: Lineare Zielfunktion, lineare Nebenbedingungen, kontinuierliche Variablen. Die Resultate, die wir darstellen werden, zeigen eine nahezu perfekte Behandelbarkeit der Aufgaben. Der Simplexalgorithmus, den wir besprechen werden, stellt wohl eines der wichtigsten numerischen Verfahren dar. 3.1 Aufgabenstellung Beachte: Mit, wird immer das euklidische Skalarprodukt in R n bezeichnet. Die zugehörige Norm ist 2. Beginnen wir mit der Standardaufgabe: Minimiere c, x (SLOA) u. d. NB Ax = b, x θ. Wir nennen sie Standardaufgabe, weil wir uns meist auf sie beziehen werden und wir sehen werden, dass sich die linearen Optimierungsaufgaben darauf reduzieren lassen. In konkreten Aufgaben ist die Zielfunktion manchmal eine affine Funktion x c, x+ z. Dies macht für die Optimierung keinen Unterschied, wie man sich leicht überlegt. Beachte, dass wir o. E. annehmen können, dass b θ ist. Betrachte die Aufgabe (LP 1) Minimiere c, x u. d. NB Ax b, x θ. Man führe Schlupfvariabeln y ein gemäß Ax y = b, y θ. 34

2 KAPITEL 3. LINEARE OPTIMIERUNG 3.1. AUFGABENSTELLUNG Damit wird dann (LP 1) zu einer Standardaufgabe, allerdings auf Kosten der Anhebung der Variablenzahl von n auf n + m. Beispiel 3.1 Auf einem Wochenmarkt werden saisonbedingt nur die zwei Gemüsesorten P 1 und P 2 angeboten. Wie würde eine mathematisch vorgebildete Hauskraft einkaufen, um ein Mittagessen mit mindestens 50 Kalorien und 1200 Vitaminen der Gemüsebeilagen möglichst billig zu erhalten. Kalorien, Vitamingehalt und Preis (pro kg) sind der beistehenden Tabelle 3.1 zu entnehmen. Führt man die Variablen x 1, x 2 als Größen für die einzukaufenden Mengen von P 1 bzw. P 2 ein, dann ergibt sich das folgende Programm: Minimiere 1.6x x 2 u. d. NB 200x x 2 50, 2000x x , x 1 0, x 2 0. Klar, das Problem lässt sich leicht in die Form von (LP 1) bringen. Betrachte Minimiere c, x (LP 2) u. d. NB Ax b, θ x u. Man fasse die Nebenbedingungen zusammen gemäß Ax b, Ex u, x θ. Sorte P 1 P 2 Kalorien Vitamine Preis in Euro Abbildung 3.1: Einkauf Damit wird dann (LP 2) zu einer Aufgabe vom Typ (LP 1), allerdings auf Kosten der Anhebung der Anzahl der Matrix Nebenbedingungen von m auf m + n. Betrachte (LP 3) Minimiere c, x u. d. NB Ax = b. Man führe eine Aufspaltung der Variablen x durch gemäß x = u w und hat dann die Nebenbedingung Au Aw = b, u, w θ. Damit wird dann (LP 3) zu einer Standardaufgabe, allerdings auf Kosten der Anhebung der Variablenzahl von n auf n + n. In der Ebene (n = 2) kann man ein graphisches Verfahren zur Lösung von (LP1) durchführen. Dies geht so: a) Hinzeichnen des zulässigen Bereichs M := {x R n Ax b, x θ}, b) Einzeichnen einer Niveaulinie N := {x R n c, x = ν}, c) Parallelverschieben der Niveaulinie in Richtung des negativen Gradienten, also c, bis zum Minimum, c A B Abbildung 3.2: Graphisches Vorgehen Stand: 17. Dezember c J.Baumeister

3 KAPITEL 3. LINEARE OPTIMIERUNG 3.2. DUALITÄT d) Bestimmung der Koordinaten des Minimums. In der Abbildung 3.2 ist dieses Vorgehen skizziert: die geschwärzte Menge ist der zulässige Bereich, der Punkt A stellt das Minimum dar, der Punkt B ist etwas außergewöhnlich, denn hier tritt eine redundante Beschränkung auf, was uns später als gewisse Schwierigkeit begegnen wird. Beispiel 3.2 Betrachte Minimiere 150x 1 450x 2 u. d. NB x 1 + 2x 2 180, 0 x 1 120, 0 x Hier liegt ein Problem vom Typ (LP 2) vor. Es lautet in Standardform: c = , A = , b = Die Lösung das graphische Verfahren zeigt es uns in hinreichender Sicherheit ist x 1 = 40, x 2 = 70; die Schlupfvariablen haben den Wert y 1 = 0, y 2 = 80, y 3 = 70. Die Existenz und Eindeutigkeitsfrage für (SLOA) wollen wir hier nicht allgemein diskutieren; siehe Satz 2.1. Man beachte, dass offenbar die Menge der zulässigen Punkte (ebenso die zulässigen Mengen in den obigen Beispielen) und die Zielfunktion konvex sind. 3.2 Dualität Wir haben nun vor, einem linearen Programm (Primales Problem) ein weiteres lineares Problem (Duales Problem) zur Seite zu stellen, das denselben Wert, wie das Ausgangsproblem haben soll. Zur Analyse der damit zusammenhängenden Fragen benötigen wir ziemlich tiefliegende Aussagen über lineare Ungleichungssysteme. Die nun ad hoc entwickelten Ergebnisse zur Dualität finden ihren durchsichtigen Kontext, wenn bei konvexen Programmen konjugierte Funktionen bereitgestellt werden. ε f(x) x x* Abbildung 3.3: Lemma von Ekeland Zur Vorbereitung beweisen wir das Variationslemma von Ekeland in einer endlichdimensionalen Version. Hierzu ist der Beweis elementar im Gegensatz zur Situation in allgemeinen metrischen Räumen. Das Ergebnis aus Folgerung 3.4 ist in Abbildung 3.3 skizziert. Dabei ist irgendeine Norm in R n. Stand: 17. Dezember c J.Baumeister

4 KAPITEL 3. LINEARE OPTIMIERUNG 3.2. DUALITÄT Lemma 3.3 (Ekeland, 1974) Sei f : R n R stetig, nach unten beschränkt. Sei ε > 0, x R n mit f(x ) inf{f(x) x R n } + ε. (3.1) Dann gibt es zu jedem γ > 0 ein x R n mit (a) f(x) f(x ); (b) x x ε γ ; (c) x x 1 γ (f(x) f(x)) für alle x Rn. Beweis: O. E. inf{f(x) x R n } = 0, also f(x) 0 für alle x R n. Betrachte die Abbildung F : R n x f(x) + γ x x R. Da F nach unten beschränkt und stetig ist, gibt es nach Folgerung 2.3 ein x, das ein Minimum von F darstellt. Nun haben wir f(x) + γ x x f(x) + γ x x für alle x R n, ε f(x ) f(x) + γ x x. Daraus folgt (a), (b) sofort. Aus der dritten Ungleichung folgt was durch Grenzübergang f(x + tw) f(x) t ε w, t > 0, w R n, f(x, w ε w, w R n, impliziert. Daraus folgt und schließlich Daraus folgt nun (c). ± f(x, w ε w, w R n, f(x, h ε, h R n, h = 1. Folgerung 3.4 Sei f : R n mit R n Dann gibt es ein x R n mit (a) f(x) f(x ); (b) x x ε; (c) f(x) ε. R differenzierbar, nach unten beschränkt. Sei ε > 0, x f(x ) inf{f(x) x R n } + ε. (3.2) Beweis: Wende Lemma 3.3 an mit γ := ε. Dann gibt es also x R n mit f(x) f(x ), x x ε, ε x x (f(x) f(x)) für alle x R n. Stand: 17. Dezember c J.Baumeister

5 KAPITEL 3. LINEARE OPTIMIERUNG 3.2. DUALITÄT Aus der dritten Ungleichung folgt f(x + tw) f(x)) t ε w für alle t > 0, w R n. Daraus folgt was nun (c) impliziert. f(x), w ε w für alle w R n, Wir beweisen zunächst Alternativ Aussagen für Ungleichungen. Dazu betrachten wir mit a 0,..., a m R n die damit hinschreibbaren Halbräume bzw. Hyperebenen: H + := H + (a 0,..., a m ) := {x R n a i, x 0, i = 0,..., m}. (3.3) H ++ := H ++ (a 0,..., a m ) := {x R n a i, x > 0, i = 0,..., m}. (3.4) H := H (a 0,..., a m ) := {x R n a i, x < 0, i = 0,..., m}. (3.5) H := H (a 0,..., a m ) := {x R n a i, x 0, i = 0,..., m}. (3.6) H := H(a 0,..., a m ) := {x R n a i, x = 0, i = 0,..., m}. (3.7) Wir wollen die Aussage, dass x im Schnitt solcher Halbräume liegt, charakterisieren. Dabei verwenden wir die mit a 0,..., a m R n definierte Abbildung m E(a 0,..., a m ) : R n x exp(a i, x) R. (3.8) Satz 3.5 Seien a 0,..., a m R n gegeben. Dann sind äquivalent: (a) (b) (c) Die Funktion E(a 0,..., a m ) hat eine positive untere Schranke. Das System m λ i a i = θ, i=0 besitzt eine Lösung. Das System besitzt keine Lösung. i=0 m λ i = 1, 0 λ 0, λ 1,..., λ m R, (3.9) i=0 a i, x < 0, i = 0,..., m, (3.10) Beweis: Die Implikationen (b) = (c) = (a) sind einfach zu verifizieren. Es bleibt also zu zeigen (a) = (b). Sei lg := ln E(a 0,..., a m ). Wir wenden das Variationslemma von Ekeland 3.4 an: für jedes k N gibt es ein x k R n mit m grad lg(x k ) = λ i,k a i 1 k, wobei für die Skalare λ i,k gilt: λ i,k = i=0 exp(a i, x k ) m l=0 exp(al, x k ) > 0, m i=0 λ i,k = 1. Stand: 17. Dezember c J.Baumeister

6 KAPITEL 3. LINEARE OPTIMIERUNG 3.2. DUALITÄT Setze λ k := (λ 0,k,..., λ m,k ), k N. Da die Folge (λ k ) k N beschränkt ist, besitzt sie einen Häufungspunkt. Ein solcher Häufungspunkt löst die Aufgabe (3.9). Bemerkung 3.6 Die Äquivalenz (b) (c) in Satz 3.5 ist das Resultat von Gordan (1873). Lemma 3.7 (Lemma von Farkas, 1902) Seien a 1,..., a m R n und c R n gegeben. Dann besitzt genau eines der folgenden Systeme eine Lösung: m µ i a i = c, 0 µ 1,..., µ m R, (3.11) i=1 a i, x 0, i = 1,..., m, c, x > 0. (3.12) Beweis: Unmittelbar klar ist: Wenn das System (3.11) eine Lösung hat, dann hat das System (3.12) keine Lösung. Umgekehrt, das System (3.12) habe keine Lösung. Wir zeigen über Induktion nach m, dass (3.11) eine Lösung hat, wenn immer ein nichtlösbares System der Form (3.12) vorliegt. Induktionsbeginn: m = 1. Wir haben zu zeigen, dass es ein µ 1 0 gibt mit µ 1 a 1 = c. Ist a 1 = θ, dann ist auch c = θ, denn sonst hätte (3.12) die Lösung x := c. Damit ist µ 1 a 1 = c für beliebiges µ 0. Sei nun a 1 = θ. Durch Basisergänzung sieht man, dass es µ 1 R, z R n gibt mit µ 1 a 1 + z = c und a 1, z = 0. Dann muss z = θ gelten, denn sonst hätte (3.12) die Lösung x := z (c, z = z, z > 0!). Also gilt µ 1 a 1 = c. Bleibt noch µ 1 0 zu zeigen. Es gilt a 1, a 1 0 und daher c, a 1 0. Dann folgt mu 1 = c, a 1 a Sei die Aussage richtig für m 1. Setze a 0 := c. Nach Satz 3.5 gibt es λ 0, λ 1,..., λ n R mit m m λ 0 c = λ i a i, λ i = 1, 0 λ 0, λ 1,..., λ m R. i=1 i=0 Offenbar können nicht alle λ i verschwinden. Wenn λ 0 > 0 gilt, dann ist der Beweis beendet. Also sei nun λ 0 = 0 ; o. E. λ m > 0. Definiere den Teilraum Y := {y R n a m, y = 0} = span({a m }). Dann hat das System oder anders hingeschrieben, das System a i, y 0, i = 1,..., m 1, c, y > 0, y Y, P Y a i, x 0, i = 1,..., m 1, P Y c, x > 0, x R n, keine Lösung. Dabei ist P Y die Projektion auf Y. Nach Induktionsvoraussetzung gibt es 0 µ 1,..., µ m 1 R mit m 1 P Y ( i=1 µ i a i ) = m 1 i=1 µ i P Y a i = P Y c. Daraus folgt, dass c m 1 i=1 µ ia i orthogonal zu Y = span({a m }) ist. Daher gibt es µ m R mit µ m a m = c m 1 i=1 µ i a i. (3.13) Stand: 17. Dezember c J.Baumeister

7 KAPITEL 3. LINEARE OPTIMIERUNG 3.2. DUALITÄT Ist µ m 0, dann haben wir eine Lösung von (3.12). Ist µ m < 0, dann setzen wir a m := λ 1 m 1 m i=1 λ ia i in (3.13) ein und erhalten eine Lösung von (3.11). Bemerkung 3.8 Das Lemma von Farkas lässt folgende Formulierung zu: Sei A R m,n mit Zeilenvektoren a 1,..., a m R n und sei c R n. Dann sind äquivalent: (a) A t y = c, y θ ist lösbar. (b) Ax θ, c, x > 0 ist nicht lösbar. Bemerkung 3.9 Das Lemma von Farkas hat eine geometrische Interpretation: Entweder hat das Gleichungssystem Aµ = c eine Lösung µ θ oder a 1,..., a m und c lassen sich durch eine Hyperebene trennen. Dabei sind a 1,..., a m die Zeilenvektoren von A. Wir verschärfen Satz 3.5. Satz 3.10 Seien a 0,..., a m R n gegeben. Dann sind äquivalent: (a) (b) (c) Das Problem besitzt eine Lösung. Das System Minimiere E(a 0,..., a m )(x), x R n, (3.14) m λ i a i = θ, i=0 besitzt eine Lösung. Das System besitzt keine Lösung x in R n. m λ i = 1, 0 < λ 0, λ 1,..., λ m R, (3.15) i=0 a i, x 0, i = 0,..., m, m a i, x = 0, (3.16) Beweis: Sei E := E(a 0,..., a m ). (a) = (b). Sei x eine Lösung von (3.14). Offenbar ist E differenzierbar. Also gilt E (x) = θ, d. h. m i=0 i=0 λ i a i = θ mit λ i := exp(ai, x) E(x), i = 0,..., m. Damit gilt nun (3.15). (b) = (c). Annahme: x sei eine Lösung von (3.16). Dann folgt mit (b) ein Widerspruch so: m m 0 = λ i a i, x = λ i a i, x < 0. i=0 (c) = (a). Offenbar ist ρ := inf E(x) wohldefiniert. Es gilt ρ 0 und wegen E(θ) = m + 1 gilt auch ρ m + 1. Sei (x k ) k N eine Minimalfolge, d. h. lim k E(x k ) = ρ. Dann gibt es γ 0 mit i=0 a i, x k (, γ], i = 0,..., m, k N. (3.17) Stand: 17. Dezember c J.Baumeister

8 KAPITEL 3. LINEARE OPTIMIERUNG 3.2. DUALITÄT Sei nun (3.14) nicht lösbar. Dann kann (x k ) k N nicht beschränkt sein, da sonst ein Häufungspunkt von (x k ) k N eine Lösung von (3.14) wäre; o. E. lim k x k =. Dann enthält (x k x k 1 ) k N eine konvergente Teilfolge; o. E. x := lim k x k x k 1 ; es gilt x = 1. Aus (3.17) folgt lim k a i, x k x k 1 = a i, x (, 0], i = 0,..., m. (3.18) Annahme: a i, x = 0, i = 0,..., m, Unter der Voraussetzung Y := span(a 0,..., a m ) = R n ist dann sofort ein Widerspruch erreicht, da sich x = 1 und z, x = 0 für alle z Y = R n sofort widerspricht. Auf die Voraussetzung Y = R n kann aber verzichtet werden, wie folgende Überlegung zeigt: Wir betrachten folgende Aussagen: (a ) Das Problem Minimiere E(a 0,..., a m )(y), y Y, besitzt eine Lösung. (c ) Das System a i, y 0, i = 0,..., m, m i=0 ai, y = 0, besitzt keine Lösung in Y. Dann ist einfach zu sehen, dass (a), (a ) äquivalent und (c), (c ) äquivalent sind. Der Schlüssel dazu ist, dass Y ein orthogonales Komplement Y hat, das die Abwandlung von R n zu Y in den Bedingungen (a) und (c) nicht beinflusst. Bemerkung 3.11 Die Äquivalenz (b) (c) in Satz 3.10 ist das Resultat von Stiemke (1915). Es lässt sich auch so formulieren: Sei A R m,n mit Zeilenvektoren a 1,..., a m R n. Dann sind äquivalent: Dann sind äquivalent: (a ) A t y = θ, y > θ ist lösbar. (b ) Ax θ, Ax = θ ist nicht lösbar. Bemerkung 3.12 Die Sätze 3.5, 3.10 ließen sich auch mit Trennungssätzen beweisen: Satz 3.5 mit Folgerung 2.7 aus Kapitel 1, Satz 3.10 mit einer Verschärfung davon, nämlich einem Trennungssatz für zwei konvexe Mengen, wovon zumindest eine nichtleeres Inneres hat. Wir haben hier eine mehr analytische Beweistechnik verwendet. Hier betrachten wir ein lineares Programm vom Typ (LP 1) und schreiben es so auf: Minimiere c, x (P P ) u. d. NB A t x b. Diesem primalen Problem ordnen wir ein duales Problem zu: (P P ) Maximiere b, y u. d. NB Ay = c, y θ. Wir wollen folgende Bezeichnungen verwenden: Wir setzen A = (a 1 a m ) R n,m, b R m, c R n, M := {x R n A t x b}, µ := inf{c, x x M}, M := {y R m Ay = c, y θ}, µ := sup{b, y y M }, Stand: 17. Dezember c J.Baumeister

9 KAPITEL 3. LINEARE OPTIMIERUNG 3.2. DUALITÄT und sagen x ist zulässig für (P P ) : x M, y ist zulässig für (P P ) : y M. Bemerkung 3.13 Wir sehen, dass das duale Problem (P P ) nahezu ein Problem in Standardform ist; man kann es ganz einfach in ein Problem vom Typ (SOA) umschreiben. Genauso einfach sieht man, dass das duale Problem des Problems (P P ) wieder das Problem (P P ) ist: man hat nur in (P P ) die Gleichheitsnebenbedingungen in Ungleichungsnebenbedingungen zu schreiben und dann davon das duale Problem zu bilden. Also haben wir ((P P ) ) = (P P ). Beispiel 3.14 Betrachte ( ) Minimiere x 1 4x 2 u. d. NB 2x 1 + x 2 = 1, x 1 0. Zunächst ist als Vorbereitung auf die Dualisierung ein Problem vom Typ (P P ) zu erzeugen: Minimiere x 1 4x 2 u. d. NB 2x 1 + x 2 1, 2x 1 x 2 1, x 1 0. Nun können wir dualisieren: Maximiere y 1 y 2 u. d. NB 2y 1 2y 2 + y 3 = 1, y 1 y 2 = 4, y 1, y 2, y 3 0. Nun können wir noch die Variable y 3 eliminieren und erhalten: ( ) Maximiere y 1 y 2 u. d. NB 2y 1 2y 2 1, y 1 y 2 = 4, y 1, y 2 0. ( ) und ( ) können wir graphisch lösen; siehe Abbildung 3.4. Wir stellen fest, dass die Niveauliniene y 1 y 2 = 4 2y 1 2y 2 = 1 2x 1 + x 2 = 1 (a) Das primale Problem ( ) (b) Das duale Problem ( ) Abbildung 3.4: Dualität im Beispiel Werte der Aufgaben ( ), ( ) übereinstimmen: Lösung in ( ) : x 1 = 0, x 2 = 1, µ = 4 ; Lösungen in ( ) : y 1 y 2 = 4, y 1, y 2 0, µ = 4. Stand: 17. Dezember c J.Baumeister

10 KAPITEL 3. LINEARE OPTIMIERUNG 3.2. DUALITÄT Lemma 3.15 (Schwache Dualität) (a) Ist y R m zulässig für (P P ), so gilt µ b, y. (b) Es gilt stets µ µ. (c) Ist y R m zulässig für (P P ) und b, y µ, so gilt µ = µ = b, y. Beweis: Zu (a). Ist M =, d. h. µ =, dann ist nichts zu beweisen. Sei x M. Dann gilt c, x = Ay, x = y, A t x y, b, da A t x b, y θ. Also ist c, x y, b für alle x M, d. h. µ y, b. Zu (b). Folgt aus (a). Zu (c). Mit (b): y, b µ µ y, b. Also y, b = µ = µ. Folgerung 3.16 Ist x R n zulässig für (P P ), ist y R m zulässig für (P P ) und gilt c, x b, y, dann ist x Lösung von (P P ) und y Lösung von (P P ). Beweis: Folgt aus (c) in Lemma Satz 3.17 (Starke Dualität) Genau eine der beiden Möglichkeiten tritt ein: (a) Weder µ noch µ ist endlich. (b) Beide Probleme (P P ) und (P P ) besitzen Lösungen und es gilt < µ = µ <. Beweis: Es trete (a) nicht ein. Wegen Bemerkung 3.13 können wir o. E. etwa annehmen: µ endlich. Wir geben zwei Beweise dafür, dass dann (b) eintritt. Damit betonen wir die Bemerkung Beweis, basierend auf einem Trennungssatz. Es gilt: K := {(r, u) R R m r = tµ c, x, u Ax tb für ein t 0, x R n }. 1. K ist konvex und abgeschlossen; 2. K ist ein Kegel mit Scheitel θ, d. h. βk K für alle β 0 ; 3. (1, θ) / K. Letzteres folgt so: Annahme: (1, θ) K, d. h. 1 = tµ c, x, θ A t x b für ein t 0, x R n. Ist t > 0, dann ist ˆx := t 1 x zulässig für (P P ), aber 0 µ c, ˆx = t 1, was ein Widerspruch ist. Ist t = 0, dann haben wir 1 = c, x, θ Ax. Ist dann ˆx zulässig für (P P ) (M =, da µ endlich), dann ist ˆx + sx zulässig für (P P ) für alle s 0 und man erhält µ lim c, ˆx + sx = c, ˆx lim s =, s s Stand: 17. Dezember c J.Baumeister

11 KAPITEL 3. LINEARE OPTIMIERUNG 3.2. DUALITÄT was ein Widerspruch ist. Mit Folgerung 2.7 folgt (s, y) R R m α R ((s, y), (1, θ) = s < α := inf{(s, y), (r, u) (r, u) K}. (3.19) Annahme: α < 0. Dann existiert (r, u) K mit (s, y), (r, u) = sr + y, u < 0. Wegen 2. gilt β(r, u) = (βr, βu) K für alle β 0. Daraus erhalten wir in lim (s, y), β(r, u) = β einen Widerspruch zu (3.19). Also gilt nun α 0. Da (0, θ) in K ist, folgt α = 0. Damit ist s < 0 und wir können o. E. s = 1 annehmen (Division in (3.19) durch s ). Also gilt r + y, u 0 für alle (r, u) K. Da ( c, x, A t x) in K ist für alle x R n (t := 0), folgt schließlich Ay, x c, x für alle x R n. Dies bedeutet A( y) = c. Da (µ, b) in K ist (x = θ, t = 1), folgt y, b µ. Da (0, u) in K ist für alle u θ (x = θ, t = 0), folgt y θ. Damit folgt mit Lemma 3.15, dass y das duale Problem (DP ) löst und µ = µ gilt. Also ist auch µ lösbar. Da (LP ) das duale Problem zu (P P ) ist, folgt, dass auch (P P ) lösbar ist. 2. Beweis, basierend auf dem Lemma von Farkas. Da µ endlich ist, ist M = ; wähle x M. Das Ungleichungssystem a i, w b i z 0, i = 1,..., m, z 0, c, w + µz > 0, w R n, z R, hat keine Lösung, was wir durch Widerspruchsbeweis belegen. Sei etwa (w, z) eine Lösung. Ist z = 0, dann ist mit x M auch x + αw M für alle α > 0. Da c, w < 0 ist, müsste daher µ = gelten; Widerspruch. Ist z = 0, dann dividiere man durch z und erhält c, wz 1 < µ, was ein Widerspruch ist, da offenbar wz 1 M gilt. Mit dem Lemma von Farkas (siehe Lemma 3.7) erhält man (µ, β) R n R mit m µ i ( a i ) = c, i=1 m µ i b i β = µ, µ 1,..., µ m 0, β 0. i=1 Setzt man y i := µ i, dann erhält man m y i a i = c, i=1 m y i b i = µ + β µ. i=1 Damit folgt mit Lemma 3.15, dass y das duale Problem (P P ) löst und µ = µ gilt. Im Diagramm in Abbildung 3.5 haben wir die möglichen Kombinationen von Resultaten über das Zusammenspiel von primalen und dualen Problemen aufgeführt. Es treten nur die Zustände I, II, III, IV auf, die Zustände X sind nicht möglich. Die wird erläutert durch: Ist µ =, dann ist µ = und µ = möglich. Ist µ =, dann ist wegen µ µ Stand: 17. Dezember c J.Baumeister

12 KAPITEL 3. LINEARE OPTIMIERUNG 3.2. DUALITÄT µ = µ < µ = µ = I X II µ < X III X µ = IV X X Abbildung 3.5: Zustandsdiagramm der linearen Optimierung µ = und M =. Damit ist klar, dass der Zustand IV eintritt, denn es ist einfach ein Beispiel anzugeben, bei dem µ = gilt; siehe unten. Dass der Zustand I man spricht hier vom Auftreten einer Dualitätslücke eintreten kann, zeigt das Beispiel Hier ist das duale Problem gegeben durch Minimiere x u. d. NB 0 x 1. Maximiere y u. d. NB 0 y = 1, y 0. Also M = M =, µ =, µ =. Dass der Zustand II eintreten kann, zeigt das Beispiel Hier ist das duale Problem gegeben durch Also M =, µ =, µ =. Minimiere x u. d. NB 0 x 0. Maximiere 0 y u. d. NB y = 1, y 0. Satz 3.18 Ist M = und ist die Zielfunktion x c, x auf M nach unten beschränkt, dann sind (P P ), (P P ) lösbar. Beweis: Offenbar ist µ endlich und damit auch µ. Also sind sogar beide Probleme (P P ) und (P P ) lösbar. Folgerung 3.19 Es sind äquivalent: (a) µ, µ sind endlich. (b) M =, M =. Beweis: (a) = (b). Dies ist Klar. (b) = (a). Seien x M, y M. Dann gilt nach Lemma 3.15 c, x b, y. und b, y ist eine untere Schranke in (P P ). Also ist Satz 3.18 anwendbar. Stand: 17. Dezember c J.Baumeister

13 KAPITEL 3. LINEARE OPTIMIERUNG 3.3. ECKEN UND BASISLÖSUNGEN unbe- Folgerung 3.20 Ist (P P ) lösbar, d. h. µ endlich, so ist entweder M oder M schränkt. Beweis: Nach Satz 3.17 gilt M =, M =. Setze K := {x R n A t x θ, A t x = θ}. Ist K =, dann ist M nicht beschränkt, da mit x K, x M folgt: x = θ, x + α x M für alle α > 0. Ist nun M beschränkt, dann gilt also K = und mit Satz 3.10 ((b) (c)) erhalten wir K := {y R m Ay = θ, y θ} = {θ}. Dann ist aber M nicht beschränkt, was man entsprechender obiger Argumentation sofort einsieht. Wir betrachten eine symmetrische Situation: (P ) Maximiere c, x u. d. NB Ax b, x θ (D) Minimiere b, y u. d. NB A t y c, y θ Man bestätigt leicht, dass die Probleme (P ), (D) zueinander dual sind. Bei Lösbarkeit besteht also für Lösungen x, y die Gleichheit c, x = b, y. Zunächst zu einer Interpretation der Größen: Jedes x j gibt an, wieviele Einheiten vom Produkt j produziert werden, b i spezifiziert die vorhandene Menge von Einheiten des Rohstoffes i, jeder Eintrag a ij in A gibt an, wieviele Einheiten vom Rohstoff i zur Produktion einer Einheit des Produktes j benötigt werden; jedes c j gibt an, wieviel Gewinn bei Produktion einer Einheit vom Produkt j erzielt werden kann. Damit können wir nun den starken Dualitätssatz 3.17 an Hand von (P ), (D) folgendermaßen interpretieren: Wir denken uns in einem Betrieb zwei Kaufleute. Einer denkt als Produzent und möchte den Umsatz/Gewinn maximieren, ist aber durch die zur Verfügung stehenden Rohstoffe beschränkt in seinen Möglichkeiten. Der andere denkt als Einkäufer. Er möchte die Rohstoffe möglichst preiswert erstehen. Mit dieser Investition kann er dann den Preis der Produkte erwirtschaften. Die ihm auferlegte Bedingung ist die, dass dieser erwirtschaftete Preis über dem Selbstkostenpreis liegt. Die Aussage des Satzes 3.17 ist, dass, wenn einer mit seiner Strategie Schiffbruch erleidet, der andere auch nicht erfolgreich ist, oder beiden ein optimaler Erfolg beschieden ist. 3.3 Ecken und Basislösungen Wir gehen von der Situation aus, die wir bei der Dualität betrachtet haben: Minimiere c, x (P P ) u. d. NB A t x b. Stand: 17. Dezember c J.Baumeister

14 KAPITEL 3. LINEARE OPTIMIERUNG 3.3. ECKEN UND BASISLÖSUNGEN (P P ) Maximiere b, y u. d. NB Ay = c, y θ. Wir haben erneut A = (a 1 a m ) R n,m, b R m, c R n, und setzen M := {x R n A t x b}, µ := inf{c, x x M}, M := {y R m Ay = c, y θ}, µ := sup{b, y y M }. Generelle Voraussetzung: rang(a) = n. Diese Voraussetzung bedeutet insbesondere m n, d. h., dass die Anzahl der Ungleichungsnebenbedingungen nicht größer als die Anzahl der Variablen ist. Aus (P P ) ist zu erkennen, dass diese Voraussetzung sinnvoll ist, wird dort ja die Lösbarkeit eines Gleichungssystems verlangt. Ist rang(a) < n, so kann man durch Weglassen von linear abhängigen Zeilen in A erreichen, dass die generelle Voraussetzung erfüllt ist. Definition 3.21 Sei K R l, K =, K konvex. u K heisst Extremalpunkt von K, wenn gilt: u = ru 1 + (1 r)u 2, u 1, u 2 K, r (0, 1) = u 1 = u 2. Beispiel 3.22 Die Extremalpunkte von sind (0, 1), (1, 0), ( 1, 0), (0, 1). Die Extremalpunkte von sind alle Punkte (u 1, u 2 ) mit u u 2 2 = 1. Die Extremalpunkte von K := {u = (u 1, u 2 ) R 2 u 1 + u 2 1} K := {u = (u 1, u 2 ) R 2 u u 2 2 1} K := {u = (u 1, u 2 ) R 2 0 u 1 120, 0 u 2 70, u 1 + 2u 2 180} sind (0, 0), (120, 0), (0, 70), (40, 70), (120, 40). Im Folgenden wollen wir die Extremalpunkte von M studieren. Statt des funktionalanalytischen Begriffs Extremalpunkt wollen wir hier den von der Anschauung her angebrachten Begriff Ecke verwenden. Wir setzen: Z(y) := {k {1,..., m} y k > 0}, y M. Lemma 3.23 Sei y M, sei Z(y) =, und sei {a k k Z(y)} linear abhängig. Dann gibt es y 1, y 2 M mit Z(y 1 ) Z(y), y = 1 2 (y1 + y 2 ). Stand: 17. Dezember c J.Baumeister

15 KAPITEL 3. LINEARE OPTIMIERUNG 3.3. ECKEN UND BASISLÖSUNGEN Beweis: Sei Z(y) = {ν 1,..., ν k }. Dann gilt wegen y M : k y j a ν j = c. (3.20) j=1 Da a ν 1,..., a ν k linear abhängig sind, gibt es d R k mit d = θ, k d j a ν j = θ. (3.21) j=1 Zu λ R definiere y λ durch y λ j := y νi + λd i, falls j = ν i 0, sonst. Wegen y i > 0 für i Z(y), gibt es λ R mit λ = 0, y λ θ für λ λ, y λ i = 0 für mindestens ein i Z(y). Wegen (3.20), (3.21) gilt Ay λ = c für λ λ. Also y λ M für λ λ. Mit y 1 := y λ, y 2 := y λ gilt nun die Behauptung. Bezeichnung: Für ν 1,..., ν n {1,..., m} A(ν 1,..., ν n ) := (a ν 1... a ν n ), b(ν 1,..., ν n ) := (b ν1,..., b νn ). Definition 3.24 y M heisst Basislösung mit Basisvariablen ν 1,..., ν n genau dann, wenn gilt: rang(a(ν 1,..., ν n )) = n, Z(y) {ν 1,..., ν n }. Satz 3.25 Für y M sind äquivalent: (a) y ist Ecke von M. (b) (c) {a k k Z(y)} ist linear unabhängig. y ist Basislösung. Beweis: (a) = (b). Ist y = θ, dann ist Z(y) = und {a i i Z(y)} = und daher linear unabhängig. Ist y = θ, dann ist Z(y) =. Mit Lemma 3.23 folgt die lineare Unabhängigkeit von{a k k Z(y)}. (b) = (c). Ist y = θ, dann wähle linear unabhängige Spaltenvektoren a ν 1,..., a ν n ; beachte, dass wir rang(a) = n vorausgesetzt haben. y ist dann Basislösung zu den Basisvariablen ν 1,..., ν n. Sei nun y = θ. Sei Z(y) = {ν 1,..., ν l }. Offensichtlich ist l n. Ist l = n, so ist y Basislösung zu den Basisvariablen ν 1,..., ν n. Ist l < n, dann kann wegen rang(a) = n Stand: 17. Dezember c J.Baumeister

16 KAPITEL 3. LINEARE OPTIMIERUNG 3.3. ECKEN UND BASISLÖSUNGEN a ν 1,..., a ν l durch Spaltenvektoren a ν l+1,..., a ν n von A so ergänzt werden, dass a ν 1,..., a ν n linear unabhängig sind. Wegen y i = 0 für i / Z(y) ist y Basislösung zu den Basisvariablen ν 1,..., ν n. (c) = (b). Sei y Basislösung zu den Basisvariablen ν 1,..., ν n. Wegen Z(y) {ν 1,..., ν n }, rang(a(ν 1,..., ν n )) = n ist {a i i Z(y)} linear unabhängig. (b) = (a). Sei y = ry 1 + (1 r)y 2 mit y 1, y 2 M, r (0, 1). Es gilt: Z(y 1 ) Z(y), Z(y 2 ) Z(y), a i yi 1 = i Z(y) i Z(y) a i y 2 i = c. Daraus folgt Mit (b) folgt y 1 i = y 2 i a i (yi 1 yi 2 ) = θ. i Z(y) für i Z(y). Da y 1 i = y 2 i = 0 für i / Z(y), erhalten wir y 1 = y 2. Bemerkung 3.26 Der Beweis zu Satz 3.25 zeigt die Existenz einer Ecke, wenn M = ist, wobei wir die Voraussetzung rang(a) = n benutzt haben. Auf diese können wir in dieser Frage aber verzichten, wie ein flüchtiger Blick auf den Beweis a) = b) zeigt. Das Hauptergebnis dieses Abschnittes ist Satz 3.27 Besitzt die Aufgabe (P P ) eine Lösung, so gibt es eine Basislösung y M, die Lösung von (P P ) ist. Beweis: Sei y M Lösung von (P P ). Ist y Basislösung, so sind wir fertig. Ist y keine Basislösung, so gilt y = θ, da θ stets Ecke von M ist, wenn θ in M ist. Also gilt Z(y) =. Nach Lemma 3.23 und Satz 3.25 gibt es y 1, y 2 M mit y = 1 2 (y1 + y 2 ), Z(y 1 ) Z(y). Da b, y = 1 2 b, y b, y2 ist, sind auch y 1, y 2 Lösungen von (P P ). Ist nun y 1 eine Ecke, sind wir fertig, ansonsten wiederholen wir unsere Argumentation mit y := y 1. Da Z(y) in jedem Schritt verkleinert wird, erreichen wir mit Sicherheit eine Lösung, die Ecke ist. Nach Satz 3.25 ist jeder Ecke von M eine Basislösung zugeordnet und damit ein Satz a ν 1,..., a ν n von linear unabhängigen Vektoren. Da aber aus den m Vektoren a 1,..., a m höchstens m n linear unabhängige Vektoren ausgewählt werden können, besitzt M höchstens m n Ecken. Dies legt zum Auffinden einer Lösung von (P P ) folgendes Rezept nahe: Man vergleiche die Zielfunktion von (P P ) in den Ecken von M und ermittle diejenige mit dem größten Wert. Zum Auffinden einer Ecke hat man dabei jeweils n linear unabhängige Spaltenvektoren von A zu überprüfen, ob sie zu einer Basislösung führen. Stand: 17. Dezember c J.Baumeister

17 KAPITEL 3. LINEARE OPTIMIERUNG 3.3. ECKEN UND BASISLÖSUNGEN In der Praxis ist dieses Vorgehen nicht praktikabel, da schon für m = 20, n = 10 mit Ecken zu rechnen ist. (Benötigt man etwa zum Auffinden einer Ecke 1 Sekunde Rechenzeit, so ist mit einem Rechenaufwand von ca. 100 Stunden zum Auffinden der Lösung zu rechnen.) In den folgenden Abschnitten wollen wir die Simplex Methode zum Auffinden einer Lösung von (P P ) darstellen. Damit wird zugleich, wie wir sehen werde, auch das Problem (P P ) gelöst. Das Simplex Verfahren besteht im wesentlichen aus der algorithmischen Behandlung der folgenden Aufgaben: (a) Bestimmung einer Ecke von M. (b) (c) Entscheidung, ob die erhaltene Ecke schon optimal ist. Falls in (b) die Entscheidung negativ ist, wird ein Übergang zu einer Ecke, in der der Wert der Zielfunktion von M nicht kleiner ist, organisiert. Bei der Beschreibung der Ecken arbeiten wir mit Basisvariablen. Für den Optimalitätstest in (b) ist folgendes Lemma hilfreich: Lemma 3.28 (Complementary slackness) Seien x M, y M. Dann sind äquivalent: (a) x löst (P P ), y löst (P P ). (b) (c) Es gilt: Es gilt: y, A t x b = 0. (3.22) y i > 0 = a i, x = b i, a i, x > b i = y i = 0, (3.23) Beweis: (a) = (b). Folgt aus der starken Dualität (3.17), da dann c, x = b, y. (b) (c). Trivial, da y θ. (b) = (a). Da c, x = b, y, folgt mit der schwachen Dualität (3.15): x löst (P P ), y löst (P P ). Das obige Lemma ist der Ausgangspunkt für Innere Punke Verfahren in der Linearen Optimierung. Die Bedingungen aus (3.22) zusammen mit der Zulässigkeit resultieren in den Bedingungen A t x u = b, u θ (3.24) Ay = c, y θ (3.25) u i y i = 0, i = 1,..., m. (3.26) Die Bedingungen können nun mit einem Verfahren angegangen werden, das nichtlineare Gleichungen unter einfachen linearen Nebenbedingungen (, =) löst. Stand: 17. Dezember c J.Baumeister

18 KAPITEL 3. LINEARE OPTIMIERUNG 3.4. DER SIMPLEXALGORITHMUS 3.4 Der Simplexalgorithmus Wir betrachten erneut das Problempaar (P P ), (P P ) ; siehe Abschnitt 3.3. Definition 3.29 Eine Teilmenge Z von {1,..., m} heißt Basismenge, wenn es eine Basislösung y M gibt mit Basisvariablen Z, d. h. Z = Z(y). Ausgangspunkt für das Simplex Verfahren ist eine Basismenge Z = {ν 1,..., ν n }. Schritt 1 Berechne die eindeutige Lösung u R n von A(ν 1,..., ν n )u = c (3.27) Da Z Basismenge ist, ist dies möglich und es gilt u θ. Definiere y R m durch u i, falls j = ν i y j :=. 0, sonst Klar, damit ist y zulässig für (P P ). Schritt 2 Berechne die eindeutige Lösung x R n von Da Z Basismenge ist, ist dies möglich. Setze A(ν 1,..., ν n ) t x = b(ν 1,..., ν n ) (3.28) Δ := A t x b. (3.29) Schritt 3 Ist Δ θ, so erfüllen nun y, x (3.24), (3.25), (3.26) und somit haben wir erfolgreich auf Optimalität getestet. Ist der Optimalitätstest in Schritt 3 negativ, so versuchen wir eine neue Basislösung zu konstruieren. Deren Basisvariablen sollen sich von der Basismenge Z nur in einem Element unterscheiden (Einzelaustausch). Schritt 4 Bestimme ein ν {1,..., m} mit Δ ν < 0. (3.30) Dies ist möglich, da der Optimalitätstest in Schritt 3 negativ verlaufen ist. Es gilt nach Konstruktion von Δ sicherlich ν / {ν 1,..., ν n }. Schritt 5 Berechne die eindeutige Lösung d R n von A(ν 1,..., ν n )d = a ν (3.31) Stand: 17. Dezember c J.Baumeister

19 KAPITEL 3. LINEARE OPTIMIERUNG 3.4. DER SIMPLEXALGORITHMUS Wir diskutieren nun die Bedeutung von d. Definiere für λ R y λ durch y j λd i, falls j = ν i yj λ := λ, falls j = ν. 0, sonst Damit gilt: Ay λ = b, y λ = n n a ν i (y νi λd i ) + λa ν = a ν i y νi = c ; (3.32) i=1 n b νi (y νi λd i ) + b ν λ i=1 i=1 = b(ν 1,..., ν n ), u λ(b(ν 1,..., ν n ), d b ν ) = b(ν 1,..., ν n ), u λ(a(ν 1,..., ν n ) t x, d b ν ) = b(ν 1,..., ν n ), u λ(x, a ν b ν ) Also b, y λ = b(ν 1,..., ν n ), u λδ ν, λ R. (3.33) Wir sehen hier, dass beim Übergang von y zu y λ ein Anstieg im Wert der Zielfunktion erzielt wird, wenn λ > 0 mit y λ θ möglich ist. Lemma 3.30 Sei d gemäß (3.31) berechnet und es gelte d θ. Dann ist (P P ) unbeschränkt und (P P ) besitzt keinen zulässigen Punkt. Beweis: Mit (3.32) folgt y λ M für alle λ 0. Aus (3.33) folgt sup b, z supb, y λ =. z M λ 0 Also gilt µ = µ =. Schritt 6 Ist d θ, so ist (P P ) unbeschränkt und und (P P ) besitzt keinen zulässigen Punkt. Das Verfahren wird abgebrochen mit der Information: Keine Lösung (Lösbarkeitstest). Gilt für den Vektor d aus (3.31) nicht die Ungleichung d θ, so bleibt y λ zumindest für kleines λ > 0 noch zulässig. Dazu: λ := min{ y ν i d i d i > 0, i = 1,..., n}. (3.34) Wegen (3.32), (3.34) gilt nach Konstruktion von y λ : y λ ist zulässig für (P P ), y λ κ = 0 für ein κ Z. (3.35) Beachte: λ ist das größtmögliche λ, sodass y λ zulässig bleibt. Stand: 17. Dezember c J.Baumeister

20 KAPITEL 3. LINEARE OPTIMIERUNG 3.5. DAS SIMPLEXTABLEAU Schritt 7 Gibt es i {1,..., n} mit d i > 0, so wähle ein r {1,..., n} mit und setze y νr d r = min{ y ν i d i d i > 0, i = 1,..., n} (3.36) Z := {ν} Z\{ν r }. (3.37) Lemma 3.31 Wird ν gemäß (3.30) und r gemäß (3.36) gewählt, so ist Z, definiert gemäß (3.37), wieder eine Basismenge. Beweis: Wir zeigen, dass y := y λ Basislösung mit Basisvariablen Z ist. O. E. r = 1, d. h. Z = {ν, ν 2,..., ν n }. Offensichtlich haben wir Z(y) Z (Konstruktion von y). Sei αa ν + n α i a ν i = θ. Ist α = 0, so folgt α 2 = = α n = 0, da Z eine Basismenge ist. Annahme: α = 0 ; o. E. α = 1. Dann gilt n α i a ν i = a ν i=2 i=2 und ein Vergleich mit (3.31) zeigt d 1 = 0, d i = α i, i = 2,..., n. Nach Wahl von r gilt aber d 1 > 0 und der Widerspruch ist offensichtlich. Also sind a ν, a ν 2,..., a ν n linear unabhängig. Das Lemma 3.31 garantiert nun, dass man wenn kein Ausstieg in Schritt 3 oder Schritt 6 erfolgt ist mit der neuen Basismenge Z bei Schritt 1 beginnen kann. 3.5 Das Simplextableau Nun gilt es die obigen Rechenschritte gut zu organisieren. Sei Z = {ν 1,..., ν n } wieder eine Basismenge. In Schritt 1 und Schritt 5 werden Darstellungen von c bzw. a ν durch die Basis a ν 1,..., a ν n erforderlich. Dies ist nur eine andere Interpretation der dortigen Lösung von Gleichungssystemen. Wir formulieren dies etwas allgemeiner. Es gelte: Wir setzen damit c = n wi 0 a ν i, a j = i=1 n w j i aν i, j = 1,..., m. i=1 W := (w j i ) 1 i n,0 j m und in Spaltendarstellung W = (w 0... w m ). Offensichtlich enthält W eine n n Einheitsmatrix. Wie man aus der linearen Algebra weiß, erhält man W durch elementare Zeilenumformungen angewendet auf die geränderte Matrix (a j A) bzw. (c A). Stand: 17. Dezember c J.Baumeister

21 KAPITEL 3. LINEARE OPTIMIERUNG 3.5. DAS SIMPLEXTABLEAU Beispiel 3.32 Betrachte Z := {1, 2}, A := , c := Wir wenden elementare Umformungen an: (c A) = Daraus lesen wir ab: Schritt 1 u = 2 1 Basislösung y = Schritt 5 d = 1 1 für ν = Hat man W vorliegen, dann berechnet sich der Wert Δ 0 := b, y der Zielfunktion in (P P ) in der aktuellen Basislösung als Δ 0 = n wi 0 b νi. (3.38) i=1 Sei x gemäß (3.28) berechnet und sei Δ := A t x b. Dann gilt für j = 1,..., m : n Δ j = a j, x b j = w j i aν i, x b j = i=1 n w j i aν i, x b j = i=1 n w j i b ν i b j. (3.39) i=1 Insbesondere haben wir Δ ν1 = = Δ νn = 0. Setze v := (Δ 0, Δ); in Komponentendarstellung v = (v 0,..., v m ). Die Rechnungen in (3.38), (3.39) lassen sich nun folgendermaßen interpretieren: Man erhält v aus ṽ := (0, b) durch elementare Zeilenumformungen unter Zuhilfenahme der Zeilen von W mit dem Ziel Δ ν1 = = Δ νn = 0. Beispiel 3.33 Betrachte wieder die Situation aus Beispiel 3.32, ergänzt um b : Z := {1, 2}, A :=, c := 4 3, b = Wir hängen an die geränderte Matrix (c A) die Zeile ṽ an und rechnen erneut: Daraus lesen wir den Wert der Zielfunktion in der aktuellen Basislösung zu -5 ab; ferner Δ = Stand: 17. Dezember c J.Baumeister

22 KAPITEL 3. LINEARE OPTIMIERUNG 3.5. DAS SIMPLEXTABLEAU ν m. w 0 w 1... w m ν n Δ 0 Δ 1... Δ m (a) ν m. w 0 w 1... w m w 0 i w ν i ν n Δ 0 Δ 1... Δ m (b) Abbildung 3.6: Simplextableaus Nun kommen wir zur Formulierung des Simplex Verfahrens im so genannten Simplextableau. Offensichtlich enthält das (vorläufige) Simplextableau (a) in Abbildung 3.6 alle Größen, die in Schritt 1 bis Schritt 7 benötigt werden. Dabei ist zu beachten, dass der Schritt 2 als Zwischenschritt zu Schritt 3 nicht mehr nötig ist. Um Schritt 7 einfacher auszuwerten zu können, fügen wir dem Simplextableau eine Spalte an und bringen es in die endgültige Form; siehe (b) in Abbildung 3.6. Diese hinzugefügte Spalte enthält q R n mit q i := w0 i w ν i wobei wir verabreden: q i :=, falls w ν i 0., i = 1,..., n, Beispiel 3.34 Betrachte wieder die Situation aus Beispiel Z := {1, 2}, A :=, c := 4 3, b = Damit wird das lineare Programm Maximiere y 1 3y 2 u. d. NB 2y 1 + 2y 3 = 4, y 1 + y 2 + y 4 = 3, y 1,..., y 4 0 beschrieben. Wir beginnen mit der Start Basismenge Z := {1, 2}. Das Simplextableau dazu ist in (a) von Abbildung 3.7 zu sehen (a) (b) Abbildung 3.7: Beispielrechnung Schritt 1 u = w 0 = (2, 1). Schritt 3 Keine Optimalität, da Δ 4 < 0. Schritt 4 ν = 4. Schritt 5 d = w 4 = (0, 1). Schritt 6 Lösbarkeit kann nicht ausgeschlossen werden. Schritt 7 d 2 > 0, u 2 d 2 = w0 2 w 4 2 = 1, r = 2, Z := {1, 4}. Stand: 17. Dezember c J.Baumeister

23 KAPITEL 3. LINEARE OPTIMIERUNG 3.5. DAS SIMPLEXTABLEAU Das nun berechnete Simplextableau ist in (b) von Abbildung 3.7 zu sehen. Dabei haben wir ν, d. h. Δ ν mit Δ ν < 0, und ν r hervorgehoben. Wir haben uns nun zu überlegen, wie wir aus dem Simplextableau zur Basismenge Z das Simplextableau zur Basismenge Z erhalten. Wir wissen aus Schritt 7: w ν r > 0, a ν 1,..., a ν r 1, a ν, a ν r+1,..., a νn Basis in R n. Es gilt: a ν = i=r w ν i a ν i + w ν r a ν r, d. h. a ν r = ( i=r w ν i a ν i + a ν )(w ν r ) 1. Damit erhalten wir a j = i=r w j i aν i + w j ra νr = i=r (w j i wj r w ν r wi ν )a ν i + wj r wr ν a ν, c = i=r (wi 0 w0 i wr ν wi ν )a ν i + w0 r wr ν a ν. Dies bedeutet für das zur Basismenge Z gehörende Schema W des Simplextableaus: w j i = w j i wj r w j r w ν r wr ν wi ν für i = r für i = r. (3.40) Man erhält also W durch elementare Zeilenumformungen angewendet auf W mit dem Ziel, dass in der ν ten Spalte der r te Einheitsvektor entsteht. Dies ist keine überraschende Beobachtung, haben wir doch gerade einen Basiswechsel vorgenommen. Die Zahl w ν r heisst Pivotelement. Die Berechnung von (Δ 0 Δ) erfolgt wie oben beschrieben: man führt eine elementare Umformung mit dem Ziel durch, dass Δ ν = 0 wird. Bemerkung 3.35 Starten wir das Simplexverfahren mit der Basismenge Z = {ν 1,..., ν n }, zu der die Matrix A(ν 1,..., ν n ) eine Einheitsmatrix ist, so kann man im optimalen Simplextableau nicht nur eine Lösung von (P P ) ablesen, sondern auch von (P P ). Dies sieht man so ein: Seien ν 1,..., ν n die Basisvariablen zur optimalen Basislösung und sei x die Lösung von A(ν 1,..., ν n)x = b(ν 1,..., ν n) (siehe Schritt 2). Dann löst x das Problem (P P ) (Schritt 3). Es gilt: Δ νi = a ν i, x b νi = x i b νi, i = 1,..., n, d. h. x i = Δ νi + b νi, i = 1,..., n. Also ist x aus der letzten Reihe des Simplextableaus in den Einträgen von (Δ 0, Δ) ablesbar. Beispiel 3.36 Stand: 17. Dezember c J.Baumeister

24 KAPITEL 3. LINEARE OPTIMIERUNG 3.6. STARTECKE Betrachte wieder die Situation aus Beispiel Wir haben bereits ein Simplextableau berechnet. Dieses schreiben wir fort; siehe beistehendes Tableau. Wir lesen daraus ab: Optimale Basislösung y = (0, 0, 2, 3) mit Basisvariablen {3, 4} und Optimalwert µ = 0. Nach der obigen Bemerkung 3.35 ist die Lösung des zugehörigen primalen Problems gegeben durch x = (0, 0) Startecke Wir wissen schon, dass M Ecken besitzt, falls M nichtleer ist; siehe Bemerkung Der Start des Simplexverfahrens kann also gelingen. Eine andere Frage ist aber, ob man leicht eine Ecke finden kann, mit der man dann das Verfahren starten kann (Startecke). Wir nehmen generell an: c θ Dies kann o. E. geschehen, da man dies in Ay = c durch zeilenweise Multiplikation mit -1 erreichen kann. Enthält die Matrix A eine n n Einheitsmatrix, so ist eine Startecke sofort ablesbar. Finden wir eine solche Einheitsmatrix nicht, so betrachte man folgendes Hilfsproblem: (HP ) Minimiere e, w u. d. NB Ay + w = c, y θ, w θ ; dabei ist e = (1,..., 1). Wir halten fest: 1. Das Problem besitzt zulässige Punkte, (y, w) := (θ, c) ist ein solcher. 2. Dieses Problem (HP ) besitzt eine Lösung, da die Zielfunktion nach unten beschränkt ist. 3. Die Lösung von (HP ) kann man mit dem Simplexverfahren finden, da es vom Typ (P P ) ist. 4. Eine Startecke zu (HP ) ist ablesbar: (y, w) := (θ, c). 5. Mit dem Simplexverfahren erhält man schließlich eine optimale Basislösung (y, w). 6. Ist w = θ, so ist y zulässig für (P P ). Ist w = θ, so besitzt das Problem (P P ) keine zulässige Punkte. 7. Ist w = θ und enthält der Teil w der Lösung keine Basisvariablen, so ist y Basislösung von (P P ). 8. Ist w = θ und enthält der Teil w der Lösung Basisvariablen, so kann man durch weiteren Basisaustausch den Fall in 6. erreichen. Wir gehen darauf nicht ein. Stand: 17. Dezember c J.Baumeister

25 KAPITEL 3. LINEARE OPTIMIERUNG 3.7. KOMPLEXITÄT UND LAUFZEIT Aus dieser Betrachtung kann man ablesen, dass sich die Lösung eines linearen Programms nach dem Simplexverfahren im allgemeinen in zwei Phasen vollzieht (siehe Beispiel 3.37): Phase I Berechnung einer Start Basislösung durch Lösen eines Hilfsproblems. Phase II Ausgehend von der in Phase I gewonnen Basislösung Lösung des eigentlichen Problems. Beispiel 3.37 Betrachte Maximiere y 1 y 2 y 3 u. d. NB 2y 1 + y 2 + y 3 = 4, 3y 1 + 3y 2 + y 3 = 3, y 1, y 2, y 3 0. Das Hilfsproblem dazu lautet (y 4 := w 1, y 5 := w 2 ): Maximiere y 4 y 5 u. d. NB 2y 1 + y 2 + y 3 + y 4 = 4, 3y 1 + 3y 2 + y 3 + y 5 = 3, y 1,..., y 5 0. Wir haben das Simplextableau im Hilfsproblem zur Basismenge {4, 5} vorzubereiten: In (a) von Abbildung 3.8 finden wir das Simplexverfahren zum Hilfsproblem. Als Lösung des Hilfsproblems erhalten wir y = ( 1, 0, 3, 0, 0). Also ist y := ( 1, 0, 3 ) eine Basislösung für das Ausgangsproblem. Im Übergang von Phase I zu Phase II haben wir nun das Simplextableau zum Ausgangsproblem vorzubereiten, da zu den Basisvariablen 1, 3 keine Einheitsmatrix gehört / / / /2-2/ /2 1-3/2 0-3/ In (b) von Abbildung 3.8 finden wir das Simplexverfahren zum Ausgangsproblem. Als Lösung erhalten wir y = (0, 2 5, 9 5 ). Für den Wert des Problems erhalten wir µ = Komplexität und Laufzeit Die Durchführung eines Austauschschrittes im Simplexverfahren für Problem (P P ) entspricht der Bewegung auf einer Kante des Polyeders M von einer Ecke zu einer beanchbarten Ecke. Die Neuberechnung des Simplextableaus erfordert etwa 2m(n + 1) Multiplikationen/Divisionen und m(n + 1) Additionen/Subtraktionen. Stand: 17. Dezember c J.Baumeister

26 KAPITEL 3. LINEARE OPTIMIERUNG 3.7. KOMPLEXITÄT UND LAUFZEIT /3 1 2/ /3 0 1/ /3 0 5/3 3 3/2 0-3/4 1 3/4-1/2 1 1/2 1 5/4 0-1/4-1/ (a) /2 1 5/4 0 2/5 3 3/2 0-3/4 1-7/2 0-13/ /5 4/ /5 3/ /5 13/5 0 0 (b) Abbildung 3.8: Beispielrechnung Da maximal m n Ecken durchlaufen werden müssen, ergibt sich eine Abhängigkeit des Aufwandes von der Größe des Problems in der Form m σ(m, n) := 3m(n + 1). n Der Faktor m n ist bei interessanten Beispielen im allgemeinen sehr groß, so dass eine Anzahl σ(m, n) von Austauschschritten die Rechenkapazität selbst heutiger Rechner sehr schnell übersteigt. In der Praxis beobachtet man aber, dass bei der Lösung von (P P ) bei weitem nicht σ(m, n) Austauschschritte nötig sind: die beobachtete Anzahl σ(m, n) von benötigten Austauschschritten sieht etwa so aus: σ(m, n) = 3 (m n). 2 Die bis heute nicht allgemein belegte Vermutung ist die, dass jedes lineare Programm durch eine geeignete Variante des Simplexverfahrens in etwa σ(m, n) Austauschritten gelöst werden kann. Für das Standard Simplexverfahren, wie wir es dargestellt haben, gibt es ein Beispiel, das zeigt, dass nicht zu erwarten ist, dass sich ein Problem mit weniger als (m n)(n 1) + 1 Austauschschritten lösen lässt. Beispiel 3.38 (Klee/Minty) Betrachte Maximiere e n, x u. d. NB x 1 0, x 1 1, x 2 εx 1, x 1 1 εx 1,..., x n εx n 1, x n 1 εx n 1. Stand: 17. Dezember c J.Baumeister

27 KAPITEL 3. LINEARE OPTIMIERUNG 3.8. SENSITIVITÄT Dabei ist ε (0, 1 ) ein Parameter. Nach Einführung von Schlupfvariablen entsteht ein 2 Problem vom Typ (P P ) mit m = 2n. Beginnt man mit der Startecke θ, dann stellt man fest, dass nach 7 Austauschschritten die optimale Ecke (0, 0, 1) (ohne Schlupfvariablen) erreicht wird. Ein worst case Beispiel ist Beispiel 3.39 (Klee) Betrachte Minimiere c, x u. d. NB A t x b, wobei c = (10 n 1, 10 n 2,..., 10, 1), b = (1, 10 2,..., 10 2(n 1) 2 10 ), A = n Das Simplexverfahren benötigt 2 n 1 Austauschschritte. Die Laufzeit des Verfahrens ist also exponentiell in der Größe des Problems. Es steht nun daher die Frage im Raum, lässt sich das gute Verhalten in der Praxis erklären. Dazu muss man sich eine Klasse von Problemen anschauen, die die allgemeinen Probleme der Praxis wiederspiegelt. Ein Modell einer solchen Klasse sollte gut beschreibbar sein durch die Annahme, dass die Daten eines solchen charakteristischen Problemklase durch Wahrscheinlichkeitsannahmen erfasst werden. Solche können etwa sein, dass die Spalten b, a 1,..., a m unabhängig, gleichverteilt und rotationsinvariant sind. Hierzu ist es gelungen polynomiales Verhalten des Aufwandes des so genannten Schatten Ecken Algorithmus zu zeigen. 3.8 Sensitivität Wir betrachten erneut das Problempaar (P P ), (P P ) ; siehe Abschnitt 3.3. Sei y eine Lösung von (P P ) mit Basismenge Z = {ν 1,..., ν n }. O. E. nehmen wir ν i = i, i = 1,..., n, an. Dann wissen wir y = (u, θ) mit A(ν 1,..., ν n )u = c. Ferner wissen wir schon, dass x := (A(ν 1,..., ν n ) t ) 1 b(ν 1,..., ν n ) eine Lösung von (P P ) ist. Nehmen wir nun an, dass die Basislösung y nicht entartet ist, dann gehört zu c := c + Δc die optimale Basislösung ỹ = (u + A(ν 1,..., ν n ) 1 Δc, θ), wenn Δc klein ist. Die Veränderung Δµ im Wert der Zielfunktion von (P P ) stellt sich als b(ν 1,..., ν n ), A(ν 1,..., ν n ) 1 Δc, Stand: 17. Dezember c J.Baumeister

28 KAPITEL 3. LINEARE OPTIMIERUNG 3.9. ANHANG: BEHANDLUNG ENTARTETER ECKEN d. h. Δµ = A(ν 1,..., ν n ) t ) 1 b(ν 1,..., ν n ), Δc (3.41) heraus. Dies bedeutet, dass die Lösung x von (P P ) sich als Maß für die Sensitivität der optimalen Kosten von (P P ) bezüglich (kleiner) Veränderungen in c herausstellt. Ist (P P ) das Ausgangsproblem, dann sollte c in einer ökonomischen Betrachtung ein Kostenvektor sein, während b die Bedeutung eines Vektors von Ressourcenkomponenten zugewiesen sei. Dann hat die obige Überlegung die Interpretation, dass sich die optimalen Kosten bei Veränderung des Kostenvektors c gemäß (3.41) verändern. Ähnliche Überlegungen kann man ohne Mühe auch für die Abhängigkeit der Optimalwerte von den Ressourcenkomponenten anstellen. 3.9 Anhang: Behandlung entarteter Ecken Aus den obigen Rechenschritten erkennt man, dass der Wert der Zielfunktion in Problem (P P ) bei einem Schritt des Simplexverfahrens nur dann zunimmt, wenn gilt: w 0 r > 0. Definition 3.40 Eine Basislösung y M heisst entartet, wenn für mindestens eine Basisvariable ν i y νi = 0 gilt. Beispiel 3.41 Betrachte Maximiere 3y 1 + y 2 u. d. NB y 1 + y 2 2, 0 y 1 1, 2y 1 + y 2 3, y 2 0. In Standardform lautet dieses Problem: Maximiere 3y 1 +y 2 u. d. NB y 1 +y 2 +y 3 = 2, y 1 +y 4 = 1, 2y 1 +y 2 +y 5 = 3, y 1,..., y 5 0. Eine Basislösung ist y = (1, 1, 0, 0, 0). Sie ist entartet. An einer Skizze des Ausgangsproblems stellt man fest, dass sich der Punkt (1, 1) als Schnittpunkt von zwei Paaren der drei Geraden y 1 + y 2 = 2, y 1 = 1, 2y 1 + y 2 = 3 darstellen lässt. Wenn man weiss, dass keine Basislösung entartet ist, so nimmt in jedem Austauschschritt die Zielfunktion zu. Dies bedeutet, dass man zu einer bereits aufgetretenen Ecke nicht mehr zurückkehren kann. Da es nur endlich viele Ecken gibt, finden wir in diesem Falle mit dem Simplexverfahren mit Sicherheit die Lösung, es sei denn, in einem Ausstauschritt wird Unlösbarkeit festgestellt. Halten wir fest: Das Simplexverfahren berechnet in endlich vielen Austauschschritten eine Lösung von (P P ), wenn keine entarteten Ecken auftreten. Besitzt das Problem (P P ) jedoch entartete Basislösungen, so ist im allgemeinen nicht gesichert, dass man zu einer bereits betrachteten Ecke nicht mehr zurückkehrt: das Simplexverfahren kann zyklisch werden. Beeinflusst wird dies durch die Auswahl von ν und r in dem im allgemeinen nicht eindeutig festgelegten Schritten 4 und 7. Naheliegend sind Stand: 17. Dezember c J.Baumeister

29 KAPITEL 3. LINEARE OPTIMIERUNG 3.9. ANHANG: BEHANDLUNG ENTARTETER ECKEN hier für die Erzwingung von Eindeutigkeit folgende Regeln: Schritt 4: Wähle kleinstes ν mit Δ ν = max{δ ν Δ ν < 0}. (3.42) Schritt 7: Wähle kleinstes r mit y µr = min{ y µ i d i > 0, i = 1,..., m} (3.43) d r d i Wir geben ein Beispiel, bei dem selbst unter Anwendung von (3.42), (3.43) Zyklen auftreten. Beispiel 3.42 Betrachte 3 Maximiere y y y y 4 1 u. d. NB y y 2 1 y y 4 + y 5 = 0, 1y y 2 1 y y 4 + y 6 = 0, y 3 + y 7 = 1, y 1,..., y 7 0. Startet man mit der Basismenge Z = {5, 6, 7}, zu der die entartete Ecke y = (0, 0, 0, 0, 0, 0, 1) gehört, so erhält man die Abfolge von Basismengen. {5, 6, 7} {1, 6, 7}, {1, 2, 7}, {2, 3, 7}, {3, 4, 7}, {5, 4, 7}, {5, 6, 7},... Da in der Praxis lineare Programme auf Rechenanlagen gelöst werden, ist beim Rechnen mit Rundungsfehlern zu rechnen. Man kann daher die Hoffnung haben, dass dies dazu führt, dass Zyklen vermieden werden. Jedoch bedeutet dies keinen absoluten Schutz vor Zyklen. 1 Wir wollen die Situation bei entarteten Ecken nun in den Griff bekommen. Wir ordnen dazu die Ecken geeignet. Definition 3.43 Seien u, v R l, Q R k,l. (a) u heisst lexikographisch positiv (l positiv), genau dann, wenn es q {1,..., l} gibt mit u i = 0, 1 i < q, u q > 0. Wir schreiben dann: u θ. (b) Q heisst lexikographisch positiv (l positiv), genau dann, wenn jeder Zeilenvektor von Q l positiv ist. Wir schreiben dann: Q θ. Wir haben folgende Rechenregeln: u v, v w = u w, (3.44) u v = u + w v + w für alle w R l. (3.45) u v = αu αv für alle α R. (3.46) Für alle u, v R l gilt genau eine der folgenden Aussagen: (3.47) u v, u = v, v u (Trichotomie) 1 Bei obigem Beispiel sind Rechnungen bei 13 stelliger Genauigkeit bekannt, die den Zyklus 2000 Mal zeigen. Stand: 17. Dezember c J.Baumeister