Dualitätssätze der linearen Optimierung

Transkript

1 Kapitel 9 Dualitätssätze der linearen Optimierung Definition 91 Duales lineares Programm Sei z = c T x min! Ax = b (91) x 0 mit c,x R n, b R m, A R m n ein lineares Programm Das lineare Programm z = b T y max! (9) A T y mit y R m wird das zu (91) duale lineare Programm genannt Man nennt (91) primal Bemerkung 9 Ziel Die Ziele dieses Abschnitts bestehen darin, die Existenz zulässiger Lösungen des dualen linearen Programms, die Relationen der zulässigen Lösungen des primalen und dualen linearen Programms, die Relationen zwischen den Optimallösungen und die Verbesserung der numerischen Verfahren zu untersuchen Ein duales Analogon zur Simplexmethode soll entwickelt werden Satz 93 Ist x eine zulässige Lösung von (91) und ist y eine zulässige Lösung von (9), dann gilt z(x) z(y) Beweis: Es gelten x 0 und c T y T A Damit folgt z(x) = c T x y T Ax = y T b = z(y) c Man nennt diesen Satz auch schwachen Dualitätssatz Folgerung 94 Sind x 0 eine zulässige Lösung von (91) und y 0 eine zulässige Lösung von (9) und gilt z(x 0 ) = z(y 0 ), dann ist x 0 eine Optimallösung von (91) und y 0 ist eine Optimallösung von (9) Satz 95 Starker Dualitätssatz Das primale Problem (91) besitzt genau dann eine endliche Optimallösung, wenn das duale Problem (9) eine endliche Optimallösung besitzt In diesem Fall gilt z min = z max 4

2 Beweis: 1) Es existiere ein endliches Minimum des primalen Problems (91) und dieses Minimum werde von x 0 = x (0) 1,, x(0) m,0,, 0 T angenommen Dann sind erklärt: Die zugehörigen Basisvektoren seien a 1,,a m Mit X = (x ij) i=1,,m,j=1,,n werden die Darstellungskoeffizienten für alle Spalten von A bezüglich dieser Basisvektoren bezeichnet z = (z 1,, z n) T sei der Vektor, der durch z j = P m i=1 cixij, j = 1,, n, erzeugt wird A 0 = (a 1,,a m), c 0 = (c 1,, c m) T Wegen des Optimalitätskriteriums der Simplexmethode gilt für x 0 z c, (93) wegen z k c k 0, k = 1,, n Aus der Nebenbedingung und der Definition der Darstellungskoeffizienten folgt A 0x 0 = b, A 0X = A Daraus ergibt sich Weiter erhalten wir aus der Definition von z x 0 = A 1 0 b, X = A 1 0 A (94) c T 0 X = z T c T (95) Jetzt setzen wir y 0 := A T 0 c 0 und zeigen, dass y 0 eine Optimallösung des dualen Problems (9) ist Die Zulässigkeit von y 0 folgt aus (94) und (95) Die Lösung y 0 ist optimal wegen y T 0 A = c T 0 A 1 0 A = c T 0 X c T z(y 0) = b T y 0 = y T 0 b = c T 0 A 1 0 b = c T 0 x 0 = z(x 0), wobei (94) verwendet wurde Damit liefert y 0 einen Zielfunktionswert, der mit dem von x 0 übereinstimmt Da x 0 Optimum des primalen Problems ist, ist y 0 wegen Folgerung 94 Optimum des dualen Problems Insbesondere gilt z min = z max ) Das Ziel besteht darin, diesen Teil des Beweises auf den ersten Teil zurückzuführen, indem gezeigt wird, dass das duale Problem des dualen Problems (9) gerade das primale Problem (91) ist Dazu wird das duale Problem so umgeformt, dass es die Gestalt eines primalen Problems annimmt Bildet man dann aus dieser Form das duale Problem, erhält man die Behauptung Es existiere ein endliches Maximum z max des dualen Problems (9) Wir setzen für einen beliebigen Vektor y R m, der die Nebenbedingungen von (9) erfüllt, y = y 1 y, y 1,y R m, y 1,y 0 Aus den Nebenbedingungen von (9) erhält man A T (y 1 y ) + y 3 = c R n, mit den Schlupfvariablenvektor y 3 R n, y 3 0 Daraus bilden wir folgendes zu (9) äquivalentes Problem, wobei das Vorzeichen der Zielfunktion geändert wird b T (y y 1) min! A T y 1 + A T y y 3 = c y 1,y,y 3 0 Setzt man w := A := y 1 y y A R m+n, d b b 0 n A T, A T, I n R n (m+n), 1 A R m+n, 43

3 so kann man dieses System in der Form d T w min! Aw = c (96) w 0 schreiben Einerseits ist dieses Problem zum dualen Problem (9) äquivalent Damit besitzt die Zielfunktion von (96) nach Voraussetzung ein endliches Optimum z (w) min, für welches gilt z (w) min = zmax Andererseits besitzt das Problem (96) die gleiche Gestalt wie das primale Problem (91) Die duale Aufgabe zu (96) hat nun folgende Gestalt: Gesucht ist x R n mit das heißt c T x max!, A T x d, c T x min! Ax b Ax b x 0 Aus den ersten beiden Nebenbedingungen folgt Ax = b Damit ist gezeigt, dass (91) das duale Problem zu (9) ist Aus dem ersten Teil des Beweises wissen wir, dass die duale Aufgabe zu (96) ein endliches Maximum besitzt und das dieses Maximum mit z (w) min = zmax übereinstimmt Jetzt wird der Fall betrachtet, dass die Zielfunktion der primalen Aufgabe nach unten nicht beschränkt ist Satz 96 Ist die Zielfunktion z = c T x der primalen Aufgabe (91) auf der Menge der zulässigen Lösungen nach unten unbeschränkt, dann besitzt die zugehörige duale Aufgabe (9) keine zulässige Lösung Analog gilt, dass im Falle dass die Zielfunktion der dualen Aufgabe auf der Menge der zulässigen Lösungen nicht nach oben beschränkt ist, die primale Aufgabe keine zulässige Lösung besitzt Beweis: Indirekter Beweis Sei die Zielfunktion des primalen Problems nicht nach unten beschränkt und sei y eine zulässige Lösung des dualen Problems, das heißt es gilt A T y c T Aus Satz 93 folgt dann aber z(x) z(y) für alle zulässigen Lösungen x des primalen Problems und die Zielfunktion wäre nach unten beschränkt Die zweite Aussage folgt aus der ersten Aussage und daraus, dass das primale Problem (91) das duale Problem des dualen Problems (9) ist Folgerung 97 Eine zulässige Lösung x 0 des primalen Problems (91) ist genau dann optimal, wenn eine zulässige Lösung y 0 des dualen Problems (9) existiert, mit c T x 0 = b T y 0 Eine analoge Aussage gilt, wenn man vom dualen Problem ausgeht Satz 98 Komplementaritätssatz Es sei x 0 = (x (0) 1,, x(0) m, 0,,0) T eine zulässige Basislösung des primalen Problems (91) Dann ist x 0 genau dann optimal, wenn es eine zulässige Lösung y des dualen Problems (9) mit folgenden Eigenschaften gibt: 1) für alle Indizes i {1,, m} mit x (0) i > 0 gilt a T i y = c i, ) für alle Indizes j {1,,n} mit a T j y < c j gilt x (0) j = 0 44

4 Beweis: i) Sei x 0 optimal Nach Folgerung 97 gibt es dann ein y 0 mit c T x 0 = b T y 0 Einsetzen von Ax 0 = b ergibt c T x 0 = b T y 0 = (Ax 0) T y 0 = x T 0 A T y 0 = y0 T Ax 0 {z } c T y0 T A x 0 = 0 R oder in Summenschreibweise nx j=1 c j y T 0 a j x (0) j = 0 Da y 0 eine zulässige Lösung des dualen Problems ist und x (0) eine zulässige Lösung des primalen Problems, sind alle Faktoren nichtnegativ Damit die Summe Null wird, müssen alle Summanden verschwinden und wenigstens jeweils einer der Faktoren Null sein Ist x (0) j > 0, muss a T j y 0 = c j sein Ist a T j y 0 < c j, so muss x (0) j = 0 sein Die Optimallösung y 0 des dualen Problems erfüllt also die Bedingungen 1) und ) ii) Es gibt einen Vektor y der die Bedingungen 1) und ) erfüllt Wir nehmen an, x 0 sei nicht optimal Dann gilt c T x 0 > b T y Analog zum ersten Teil erhält man nx j=1 c j y T a j x (0) j > 0 Aus den Bedinungen 1), ) folgt jedoch, dass die Summe verschwindet Damit ist die Annahme falsch und x 0 ist optimal Bemerkung 99 Mit Hilfe der Dualität ist die Möglichkeit der Bestimmung von Schranken für eine zulässige (optimale) Lösung gegeben Es gilt z(x) z(x 0 ) = z(y 0 ) z(y), wobei x eine zulässige Lösung des primalen Problems (91), x 0 eine Optimallösung von (91), y eine zulässige Lösung des dualen Problems (9) und y 0 eine Optimallösung des dualen Problems ist Bemerkung 910 Symmetrisches duales Programm Ein Spezialfall des dualen linearen Programms ist das symmetrische duale lineare Programm Gegeben sei das lineare Programm Aus (97) wird ein lineares Programm z = c T x min! Ax b (97) x 0 z = b T y max! A T y c (98) y 0 konstruiert Satz 911 Die linearen Programm (97) und (98) sind duale lineare Programme im Sinne von Definition 91 Beweis: Aus (97) konstruieren wir das lineare Programm in Normalform z = c T x min!, Ax v = b, x,v 0 45

5 Aus Definition 91 ergibt sich das folgende duale lineare Programm z = b T y max!, A T y c, I my 0 Die letzte Bedingung ist äquivalent zu y 0 Man hat nun eine Nichtnegativitätsbedingung an die zulässigen Lösungen des dualen Programms (98) Satz 91 Komplementaritätssatz Sind x 0 eine zulässige Lösung von (97) und y 0 eine zulässige Lösung von (98), so sind sie genau dann optimal, wenn die folgenden Relationen erfüllt sind: y T 0 (Ax 0 b) = 0, (99) ( y T 0 A c T) x 0 = 0 (910) Beweis: 1) Seien x 0 und y 0 optimal Dann folgt aus der Nebenbedingung von (98), aus der Nichtnegativität von x 0 und aus Folgerung 97 y T 0 (Ax 0 b) = y T 0 Ax 0 y T 0 b c T x 0 y T 0 b = 0 Andererseits gilt mit y 0 0 und der Nebenbedingung von (97) y T 0 (Ax 0 b) 0 Aus beiden Ungleichungen zusammen folgt (99) Die Beziehung (910) beweist man analog ) Gelten jetzt (99) und (910) Daraus folgt Nach Folgerung 97 sind x 0 und y 0 optimal c T x 0 = y T 0 Ax 0 = y T 0 b Beispiel für Anwendungen des Dualitätsprinzips werden in den Übungsaufgaben behandelt 46

6 Kapitel 10 Die duale Simplexmethode Bemerkung 101 Motivation Bei der dualen Simplexmethode ist eine Startlösung oftmals leichter angebbar als bei der Simplexmethode für das ursprüngliche lineare Programm, da man keine Nichtnegativitätsanforderungen zu erfüllen hat Des weiteren ist die duale Simplexmethode ein wichtiges Verfahren zur Lösung von ganzzahligen linearen Programmen, das heißt, von linearen Programmen, bei denen die Lösung ganzzahlig sein soll Seien das primale Programm und z = c T x min! Ax = b (101) x 0 z = b T y max! (10) A T y c das zugehörige duale Programm Wir setzen voraus, dass z endlich ist Definition 10 Ecklösung Ohne Beschränkung der Allgemeinheit sei A B = (a 1,,a m ) eine Basis Ein Punkt y = (y 1,,y m ) T heißt Ecklösung von (10), wenn a T i y = c i für i = 1,,m, (103) a T i y < c i für i = m + 1,,n gelten Bemerkung 103 Ecklösung bedeutet, dass die Nebenbedingungen, die durch die Basisvektoren von A B gegeben sind, mit Gleichheit erfüllt sind und die Nebenbedingungen mit den Nichtbasisvektoren als echte Ungleichung Seien A 1 B die Inverse von A B mit der Darstellung A 1 B = b 1 b m, dass heißt b i a j = δ ij, i, j = 1,,m, und y = y 1 a y m a m R m ein beliebiger Vektor Dann folgt (man beachte, die b i sind Zeilenvektoren) b i y = y 1 b i a y m b i a m = y i, i = 1,,m 47

7 Daraus erhält man insbesondere die Darstellung y = (b 1 y)a (b m y)a m (104) Die Ausartung in der dualen Simplexmethode, die im folgenden Satz ausgeschlossen ist, wird in seinem Beweis definiert, siehe auch Bemerkung 105 Satz 104 Hauptsatz der dualen Simplexmethode Sei z nach oben beschränkt und sei Ausartung ausgeschlossen Ist y R m eine Ecklösung und gilt b i b < 0 für wenigstens ein i = 1,,m, so existiert eine Ecklösung ȳ mit größerem Wert der Zielfunktion z Beweis: Seien y eine Ecklösung, b l b < 0 und θ > 0 beliebig Es wird ein ȳ konstruiert, welches die Bedingungen des Satzes erfüllt Man bildet ȳ = y θb T l Aus der Eckpunkteigenschaft (103) folgt a T i ȳ = a T l ȳ = Damit man eine zulässige Lösung hat, muss auch a T i y θ a T i b T l = a T i y = c i, {z } i = 1,, m, i l, (105) =0 a T l y θ a T l b T l = a T l y θ < c l (106) {z } =1 a T i ȳ = a T i y θa T i b T l c i, i = m + 1,, n, gelten Für wenigstens einen Index i gilt a T i b T l < 0 Anderenfalls, falls also a T i b T l 0 für i = m + 1,, n, sind die Nebenbedingungen für beliebig großes θ erfüllt Damit wäre z = b T ȳ = b T y θ b T b T l {z } <0 nv unbeschränkt im Widerspruch zur Voraussetzung Wir wählen «a T θ = min i y c i > 0 (107) i=m+1,,n;b l a i <0 b l a i Wir nehmen an, dass θ von genau einem Index i = k bestimmt wird Sonst hat man Ausartung Es gelten: 1) ȳ erfüllt (105) und (106), das heißt, die Basisvektoren die in der Basis verbleiben erfüllen die Nebenbedingung mit Gleichheit und die neue Nichtbasisvariable mit Index l als echte Ungleichung ) Für den Index k, der in die Basis aufgenommen werden soll, gilt 3) Aus der Wahl von θ folgt a T k ȳ = a T k y at k y c k b l a k b l a k = c k, a T i ȳ = a T i y θa T i b T l < c i, i = m + 1,, n, i k Falls a T i b T l nichtnegativ ist, ist das Erfülltsein dieser Bedingung klar Ansonsten wurde bei der Wahl von θ gerade der Index k ausgewählt, der die k te Nebenbedingung a T k b T l < 0 für ȳ zu einer Gleichung werden lässt, ohne dass die anderen Nebenbedingungen mit a T i b T l < 0 verletzt werden Aus 1) 3) folgt, dass ȳ eine Ecklösung ist Ferner gilt z = b T ȳ = b T y θb T b T l > b T y 48

8 Bemerkung 105 Ausartung im dualen Programm Ist der Index k bei der Wahl von θ in (107) nicht eindeutig, so liegt Ausartung vor Bemerkung 106 Unbeschränktheit der Zielfunktion Die Unbeschränktheit der Zielfunktion z ist an a T j bt l 0 für j = m + 1,,n, zu erkennen Satz 107 Optimalitätskriterium Sei y eine Ecklösung von (10) und gelte b i b 0 für alle i = 1,,m Dann ist y die Optimallösung von (10) und die Größen x i = b i b stellen die Basisvariablen der Optimallösung des primalen Problems (101) dar Beweis: Es gilt mit (103) mx mx mx z = c ix i = c ib ib = y T a ib ib = y T i=1 i=1 i=1 m X i=1 a ib i! {z } =I m b = b T y = z Nach dem starken Dualitätssatz, Satz 95, folgt die Aussage des Satzes Bemerkung zur Summe: Sei P m i=1 aibi = C mit einer unbekannten Matrix C Multiplikation diese Gleichung von rechts mit a j, j = 1,, m, ergibt Ca j = mx i=1 a i b ia j {z } =δ ij = a j für alle a j Da die {a j} eine Basis des R m bilden, gilt C = I m Bemerkung 108 Duale Simplextabelle Die duale Simplextabelle hat die Gestalt m + 1 k n i c i Lösung c m+1 c k c n 1 c 1 b 1 b b 1 a m+1 b 1 a k b 1 a n l c l b l b b l a m+1 b l a k b l a n m c m b m b b m a m+1 b m a k b m a n z a T m+1 y c m+1 a T k y c k a T n y c n Wie bei der Simplexmethode, wird die Zeile l Hauptzeile und die Spalte k Hauptspalte genannt Das Pivotelement ist b l a k Aus den Nebenbedingungen des dualen linearen Programms (10) folgt, dass die Einträge in der letzten Zeile im Nichtbasisteil nichtpositiv sind In der Schlusszeile stehen die Größen, die man zur Berechnung von θ in (107) benötigt Die Spalte Lösung enthält eine Basislösung des primalen Problems Sei x R m der Vektor mit den Basisvariablen des primalen Problems Aus den Nebenbedingungen des primalen Problems folgt A B x = b = x = A 1 B b = b 1 b b m b Diese Basislösung ist im allgemeinen nicht zulässig, da sie negative Komponenten besitzt Gilt jedoch b i b 0 für alle i = 1,,m, dann ist sie primale Optimallösung, siehe Satz

9 Die Nichtbasisvektoren lassen sich als Linearkombination der Basisvektoren darstellen a j = A B a mit einem unbekannten Koeffizientenvektor a Dieser lässt sich durch a = A 1 B a j berechnen, was in Komponentenschreibweise zu m a j = (b i a j )a i, j = m + 1,,n i=1 führt, siehe (104) Falls man das Optimum des dualen Problems mit der dualen Simplexmethode gefunden hat, ist die Tabelle der dualen Simplexmethode eine Optimaltabelle für die primale Aufgabe Bemerkung 109 Herleitung der Transformationsregeln Sei A B = (a 1,,a m ) und sei  B = (a 1,,a l 1,a k,a l+1,,a m ) Dann ist Mit oder A 1 B ÂB = = = b 1 b m (ÂB ) 1 = (a 1,,a l 1,a k,a l+1,,a m ) b 1 a 1 b 1 a b 1 a k b 1 a m b l a 1 b l a b l a k b l a m b m a 1 b m a b m a k b m a m b 1 a k b a k b l a k b m a k 0 1 b 1 b l b m ˆb 1 ˆb m = A 1 B = = I(k) m ˆb 1 + (b 1 a k )ˆb k (b l a k )ˆb k ˆb m + (b m a k )ˆb k (ÂB ) 1, =: I (k) m Das Ziel besteht darin, die Vektoren b i durhc die Vektoren ˆb i zu ersetzen Im Prinzip stehen nun die Transformationsregeln da Für das Pivotelement gilt ˆb k = b l b l a k = ˆb k a l = b la l b l a k = 1 b l a k Für die Hauptspalte erhält man daraus ˆb i = b i (b i a k ) ˆb k = ˆb ) i a l = b i a l (b i a k ) (ˆbk a l 50 = 0 b ia k b l a k i l

10 Für die Hauptzeile ergibt sich umittelbar, wobei a 0 := b ist, ˆb k a j = b la j b l a k, j = 0, m + 1,,n, j k Damit ergibt sich auch die Rechteckregel ˆb i a j = b i a j b i a kˆbk a j = b i a j b la j b l a k b i a k Zusammenfassung: Falls in der Spalte Lösung wenigstens ein b i b < 0 steht, zum Beispiel für i = l, so transformiert man wie folgt: setze a 0 = b, vertausche die Indizes l und k, Pivotelement: ˆb k a l = 1/(b l a k ), Hauptspalte: ˆb i a l = b ia k b l a k, i = 1,,m, i l, Hauptzeile: Rechteckregel: ˆb k a j = b la j b l a k, j = 0, m + 1,,n, j k, ˆb i a j = b i a j b la j b l a k b i a k, i = 1,,m, i l, j = 0, m + 1,,n, j k Die Rechteckregel wird auch auf die letzte Zeile angewandt Übungsaufgabe Das sind dieselben Regeln wie im primalen Fall! Beispiel 1010 Wir betrachten noch einmal das Problem aus Beispiel 55: z = 3x 1 x 4x 3 x 4 min! x = x x 0 In Beispiel 55 hatten wir die Optimallösung x = (30, 0, 0, 40, 0, 0, 0) T mit z = 1080 erhalten Das duale Problem zum obigen linearen Programm lautet z = 700y y + 500y 3 max! y 1 4 y y Wir nehmen uns die erste, dritte und fünfte Nebenbedingung des dualen Problems her und betrachte diese Bedingungen als Gleichungen: y 1 y = 3 4 = y = 0 11/ y 3 0 4/5 51

11 Durch Einsetzen in die anderen Nebenbedingungen verifiziert man, dass man damit eine Ecklösung des dualen Problems gefunden hat Es ist A B = (a 1,a 3,a 5 ) = , A 1 B = /5 1/5 = b 1 b 3, b = /5 3/5 b Damit kann man alle Größen für die duale Simplextabelle bestimmen: i c i Lösung /5 0-1/5 1/ /5-4 -7/5-3/ / /5-4/5 Die Lösung ist nicht optimal, da 160 < 0 Damit ist l = 5 die Hauptzeile Zur Bestimmung der Hauptspalte berechnet man ( ) a T { j y c j 7 θ = min = min j {,4,6,7}, b l a j<0 b l a j 14, 5 4, 11 7, 4 } = Damit ist die Hauptspalte k = 4 Mit den Transformationsregeln der Simplexmethode erhält man die neue duale Simplextabelle i c i Lösung /5 1/ 3/10-3/ /5 0-1/5 1/ /10-1/4 7/0 3/ /10-5/4-9/0-1/0 Damit ist das Optimum bestimmt Die Optimallösung des primalen Problems findet man in der Spalte Lösung ebenso den zugehörigen Zielfunktionswert Die Lösung des dualen Problems y kann man im allgemeinen nicht direkt aus der dualen Simplextabelle ablesen In der letzten Zeile steht nämlich a T j y c j Das direkte Ablesen geht nur, wenn c j = 0 und die a j Einheitsvektoren sind Das ist in diesem Beispiel gegeben, nämlich für die Indizes 5, 6, 7 Die Lösung des dualen Problems ist also y = ( 5/4, 9/0, 1/0) T mit dem Zielfunktionswert z = 1080 Im allgemeinen muss man noch ein lineares Gleichungssystem lösen, um die Lösung des dualen Problems zu berechnen 5

12 Kapitel 11 Die duale Simplexmethode zur Lösung rein ganzzahliger linearer Programme Wir betrachten folgendes Optimierungsproblem z = c T x min! Ax = b (111) x 0 (11) x j ganz für j = 1,,n 1 n, (113) a ij, b i ganz für i = 1,,m, j = 1,,n (114) Definition 111 Ganzzahliges lineares Programm Das lineare Programm (111) (114) heißt rein ganzzahliges lineares Programm falls n 1 = n Ansonsten heißt es für n 1 > 0 gemischt ganzzahliges lineares Programm Wir werden nur rein ganzzahlige lineare Programme betrachten Bemerkung 11 Häufig enthalten ganzzahlige lineare Programme Bedingungen der folgenden Art 0 x j 1, x j ganz, für gewisse Indizes j Beispiel 113 Wir betrachten z = 8x 1 4x min! x 1 + 3x 6 8x 1 + 3x 0 x 1, x x 0 ganz Das Problem ohne die Ganzheitsforderung kann man graphisch lösen, siehe Abbildung 111 Das stetige Optimum ist ( 7 x = 5, 44 ), z =

13 0 3 z 5 Abbildung 111: Illustration zu Beispiel 113 Eine einfache Idee zur Bestimmung des ganzzahligen Optimums ist Runden Man erhält damit x = (1, 3) T Dieser Punkt ist jedoch nicht zulässig Durch Abrunden folgt x = (1, ) T Man erhält mit diesem Punkt den Zielfunktionswert z = 16 Dieser ist jedoch nicht optimal, da man mit x = (, 1) T den Wert z = 0 erhält Runden ist also keine geeignete Lösungstechnik Bemerkung 114 Motivation für das Schnittprinzip Mit dem normalen Simplexverfahren kann man nicht arbeiten, da das Optimum ein innerer Punkt des zulässigen Bereiches ist Das könnte man durch die Bestimmung der konvexen Hülle aller zulässigen Punkte ändern Dieses Vorgehen ist aber im allgemeinen viel zu aufwendig Stattdessen versucht man in der Nähe des stetigen Optimums durch Abschneiden den gesuchten ganzzahligen optimalen Punkt zu einem Eckpunkt zu machen Dieses Schnittprinzip soll jetzt auf eine Art (nach Gomory (1957)) realisiert werden Definition 115 Schnittbedingung Die Nebenbedingung n β j x j β (115) j=1 heißt Schnittbedingung, wenn folgendes erfüllt ist: i) Es sei x (0) ein Optimum mit den Nebenbedingungen (111) (11), aber nicht (113) Dann erfüllt x (0) die Bedingung (115) nicht, das heißt n j=1 β j x (0) j > β ii) Jede Lösung, welche die Nebenbedingungen (111) (113) erfüllt, erfüllt auch (115), das heißt {x : x erfüllt (111) (113)} {x : x erfüllt (115)} 54

14 Bemerkung 116 Vorgehen Mit Hilfe der Schnittbedingung soll der zulässige Bereich verkleinert werden (eine Ecke wird abgeschnitten) ohne dass damit ganzzahlige Lösungen abgeschnitten werden Jetzt soll (111) (114) durch die Einführung von Schnittbedingungen gelöst werden Es sei dazu zuerst (111) (11) mit Hilfe der Simplexmethode gelöst Das Optimum sei x (0) = (x (0) 1,, x(0) m, 0,,0) T Dabei sei wenigstens ein x (0) i, i {1,,m}, nicht ganz Sei A B = (a 1,,a m ) die Matrix der Basisvektoren Die Auflösung von (111) nach den Basisvariablen liefert für jedes zulässige x die Darstellung x i = α i + α i,m+1 ( x m+1 ) + + α i,n ( x n ), i = 1,,m (116) Lemma 117 Die Koeffizienten von (116) sind die Koeffizienten einer optimalen Simplextabelle Beweis: Wir betrachten die Nebenbedingung (111) und zerlegen A = (A B A N) sowie x = (x B x N) T Wir wissen, dass A N = A BX, wobei X die Einträge der Simplextabelle sind Aus A Bx B + A Nx N = b folgt x B = A 1 B b + A 1 B A N( x N) = A 1 B b + X( x N) {z } {z } α i Rest von (116) Bemerkung 118 Weiteres Vorgehen Sei jetzt für i = p die Variable x (0) p nicht ganz, i {1,,m} Falls mehrere x (0) i nicht ganz sind, wähle man einen dieser Indizes Welches der beste ist, ist im allgemeinen nicht zu beantworten Sei a R Dann bezeichnen wir [a] = INT(a), {a} = a [a], wobei INT(a) der{ größte } ganzzahlige Bestandteil von a ist Es gilt {a} [0, 1) Insbesondere gilt > 0 Da für das Optimum die Komponenten mit den x (0) p Indizes m + 1,, n verschwinden und wegen (116) folgt damit [ ] { } α p = x (0) p = x (0) p + x (0) p > 0 }{{}}{{} 0 >0 Satz 119 Die Bedingung s 1 = {α p } {α p,m+1 } ( x m+1 ) {α p,n }( x n ), s 1 0 (117) stellt eine Schnittbedingung gemäß Definition 115 dar Beweis: Die Bedingungen von Definition 115 müssen geprüft werden Wir fügen die Bedingung (117) zum System der Nebenbedingungen (111), (11) hinzu und setzen x (0) ein Aus (116) und wegen x (0) m+1 = = x(0) n = 0 folgt also ist x (0) nicht zulässig s 1 = α p < 0, 55

15 Nun ist zu zeigen, dass mit (117) kein bezüglich (111) (113) zulässiger Punkt weggeschnitten wird Sei x = ( x 1,, x n) T ein Punkt, der (111) (113) erfüllt, also insbesondere ganzzahlige Komponenten besitzt Dann folgt aus (117) nx s 1 = (α p [α p]) {z } [0,1) j=m+1 Damit ist s 1 > 1 Andererseits gilt nx s 1 = [α p] + [α p,j]( x j) α p j=m+1 {z } Z Damit ist s 1 Z Da s 1 > 1 folgt s 1 0 (α p,j [α p,j]) ( x j) {z } {z } (0,1) 0 nx j=m+1 α p,j ( x j) {z } (116)= x p Z Bemerkung 1110 Zusammenfassung Man hat mit der Schnittbedingung (117) das Optimum bezüglich der Nebenbedingungen (111), (11) abgeschnitten, ohne dabei auch ganzzahlige Lösungen wegzuschneiden Folgendes lineare Programm ist jetzt zu lösen: n j=m+1 z = c T x min! Ax = b {α p,j }( x j ) + s 1 = {α p } (118) x 0 s 1 0 Zur Lösung von (118) berechnet man zuerst die optimale Lösung des linearen Programms ohne Ganzzahligkeitsbedingung mit Hilfe der dualen Simplexmethode Hat man diese, und ist sie nicht ganzzahlig, betrachtet man im nächsten Schritt die duale Simplextabelle mit x i = α i, i = 1,,m, s 1 = α p (119) (beachte: in der Simplextabelle des dualen Problems steht x i = b i b = α i ) Der Vektor (119) ist eine dual zulässige Lösung, das heißt, die Nebenbedingungen des dualen Problems sind erfüllt Übungsaufgabe Eventuell ist die Einführung weiterer Schnittbedingungen nötig Das oben beschriebene Vorgehen wird im nächsten Beispiel demonstriert Beispiel 1111 Wir betrachten das lineare Programm z = x 1 x min! x = x 5 4 x 0 Die optimale duale Simplextabelle lautet 3 4 i c i Lösung /3 1/3-1/3-0/3 1/3 / /3-1/3 1/ x ganz 56

16 Die Lösung ist optimal, aber nicht ganzzahlig Heuristisch wählt man {α p } möglichst groß, hier zum Beispiel {0/3} = /3 Es besteht allerdings die Gefahr, dass man an der falschen Stelle abschneidet Nun verwendet man, dass die Tabelle der dualen Simplexmethode eine Optimaltabelle der primalen Aufgabe ist, Bemerkung 108 Damit kann man Lemma 117 für die Formulierung der Schnittbedingung nutzen, da die benötigten Koeffizienten α p,j gerade im Nichtbasisteil der ausgewählten Zeile stehen: s 1 = ( x 3) 3 ( x 4) 0 Führt man die Variable s 1 als m+1 ste Eckvariable in die duale Simplextabelle ein, dann hat man die neue Matrix der Basisvektoren à B = ( a1 a m ) = à 1 B = b 1 b m e T m+1 wobei e m+1 der m+1 ste Einheitsvektor ist Somit erhält man in der Spalte Lösung für s 1 : e T m+1 b = α p = /3 In den Nichteckspalten der Zeile von s 1 erhält man die Zahlen {α p,j }, siehe (118) Man hat die neue duale Simplextabelle 3 4 i c i Lösung /3 1/3-1/3-0/3 1/3 / /3-1/3 1/3 s 1 0 -/3-1/3 -/ Die Hauptzeile ist die Zeile von s 1 Aus { } 1 θ = min j {3,4} 1/3, 1 /3 folgt, dass k = 4 die Hauptspalte ist Der Simplexschritt führt zu folgender Tabelle = 3 3 s 1 i c i Lösung / -1/ / 1/ / -3/ -14-1/ -3/ Damit hat man die Optimallösung des ganzzahligen linearen Programms gefunden In der Praxis sind im allgemeinen mehr Schnittbedingungen nötig Die Endlichkeit des Verfahrens ist nicht gesichert, 57

17 Kapitel 1 Innere Punkt Verfahren Innere Punkt Verfahren verfolgen die Idee, bei der Lösung von linearen Programmen durch das Innere des konvexen Polyeders zum Optimum zu gelangen Damit unterscheiden sie sich grundsätzlich von der Simplexmethode Bemerkung 11 Historie von Innere Punkt Verfahren Dikin 1967: hat bereits die Idee von Karmarkar (1984) umgesetzt, Arbeit wurde aber nicht wahrgenommen Fiacco, McCormick 1968: Innere Punkt Verfahren für nichtlineare Optimierungsprobleme, waren aber nicht wettbewerbsfähig im Vergleich zu anderen Verfahren Khachian 1979: Ellipsoidmethode Polynomiale Komplexität konnte bewiesen werden, allerdings war das Verfahren wenig praxistauglich wegen numerischen Instabilitäten Karmarkar 1984: projektive Methode, erste praxistaugliche Innere Punkt Methode Bemerkung 1 Motivationen Die Motivation zur Entwicklung von Alternativen zur Simplexmethode liegt in deren schlechter theoretischer Komplexität begründet Man kann nicht ausschließen, dass die Anzahl der Iterationen exponentiell mit der Problemgröße wächst, siehe Abschnitt 8 Das hat im wesentlichen zwei Gründe: Die Simplexmethode kennt als Abstiegsrichtungen nur die Kanten auf dem Rand des zulässigen Bereiches Deren Anzahl wächst exponentiell mit der Dimension des Polyeders Die Simplexmethode sucht die Abstiegsrichtung lokal aus Für diese Richtung spielen nur die im aktuellen Eckpunkt aktiven Nebenbedingungen eine Rolle, nicht aber die Gesamtheit der Nebenbedingungen Alternativen zur Simplexmethode müssen an diesen beiden Schwachstellen angreifen: sie sollten Abstiegsrichtungen durch das Innere des Polyeders zulassen und bei der Bestimmung dieser Richtungen Informationen von allen Nebenbedingungen einbeziehen Bemerkung 13 Ellipsoidmethoden Die Idee von Khachians Ellipsoidmethode lässt sich grob wie folgt beschreiben: Man startet mit einem zulässigen Punkt x und sucht einen möglichst zentral gelegenen Punkt x in einem Restpolyeder, welches nur Punkte x mit c T x c T x enthält Diesen Punkt findet man dadurch, dass man mittels einer Iteration das Restpolyeder möglichst gut in ein Ellipsoid einbettet und dessen Mittelpunkt x betrachtet Ist x zulässig, setzt man x = x und startet die 58

18 Konstruktion von Neuem Die Instabilitäten rüherten daher, dass die Ellipsoide im Laufe der Iteration immer schmaler wurden Das Verfahren von Karmarkar geht andersherum vor: hier wird ein Ellipsoid in den zulässigen Bereich eingebettet Es funktioniert grob wie folgt: Man startet mit einem inneren Punkt des zulässigen Bereiches x und konstruiert ein im zulässigen Bereich einbeschriebenes, möglichst großes Ellipsoid Dann nimmt man anstelle des zulässigen Bereiches nur das Ellipsoid und minimiert darüber die Zielfunktion Es ergibt sich ein Randpunkt x, an dem das Minimum angenommen wird Man setzt x = x und startet die Konstruktion von Neuem Das Verfahren von Karmarkar arbeitet praktisch wesentlich besser als die Ellipsoidmethode von Khachian Man kann auch beweisen, dass die Komplexität des Verfahrens von Karmarkar besser ist Die Komplexität ist also insbesondere polynomial Für sehr große Problem ist dieses Verfahren oft schneller als die Simplexmethode In diesem Kapitel soll jedoch nur eine einfache Innere Punkt Methode im Detail besprochen werden 11 Das Newton Verfahren Die betrachtete Innere Punkt Methode beruht auf dem Newton Verfahren Hier werden nur kurz einige Fakten zu diesem Verfahren zusammgestellt Bemerkung 14 Herleitung Sei f : R n R n mit f C 1 (R n ) gegeben Gesucht ist eine Nullstelle x dieser Funktion f(x) = 0 Sei x eine Näherung an x Setzt man x = x + x, dann erhält man mit der Taylorentwicklung, abgebrochen nach dem linearen Term, die Approximation 0 = f(x) = f(x + x) f(x) + Df(x) x, wobei Df(x) die Jacobi Matrix von f(x) in x ist Unter der Annahme, dass die Jacobi Matrix regulär ist, erhält man x (Df(x)) 1 f(x) = x x (Df(x)) 1 f(x) Diese Beziehung motiviert die Berechnung der nächsten Iterierten x + des Newton Verfahrens x + := x (Df(x)) 1 f(x) Satz 15 Konvergenzverhalten des Newton Verfahrens Seien f : R n R n mit f C 3 (R n ), x eine Nullstelle von f(x) und Df(x) 0 (Determinante) Dann gibt es ein ε > 0, so dass das Newton Verfahren für alle Startwerte x (0) mit x x (0) ε quadratisch gegen x konvergiert Bemerkung 16 Interpretation Der Satz besagt zum einen, dass das Newton Verfahren lokal konvergent ist, das heißt, es konvergiert, wenn man nahe genug an der Lösung beginnt Quadratische Konvergenz bedeutet, dass es Konstanten c > 0 und k 0 > 0 gibt, so dass für alle k k 0 x x (k+1) c x x (k) 59

19 1 Ein Kurz Schritt Algorithmus Bemerkung 17 Überführung des Optimierungsproblems in ein äquivalentes nichtlineares Gleichungssystem Wir betrachten das lineare Programm mit dem zugehörigen dualen Programm { min z = c T x : Ax = b,x 0 } (11) x R n max y R m { z = b T y : A T y + s = c, s 0 } (1) Im dualen Programm haben wir hierbei die Schlupfvariablen s eingeführt, um Gleichungsnebenbedingungen zu erhalten Innere Punkte Verfahren erzeugen eine Folgen von Punkten {(x (k),y (k),s (k) )}, k = 0, 1,, mit x (k) 0, s (k) 0, deren Grenzwerte Optimallösungen von (11) und (1) liefern Die Verfahren nennt man zulässige Innere Punkte Verfahren, wenn alle Punkte (x (k),y (k),s (k) ) zulässige innere Punkte von (11) und (1) sind, das heißt es gilt Ax (k) = b,x (k) > 0, A T y (k) + s (k) = c, s (k) > 0 Um zulässige Innere Punkte Verfahren verwenden zu können, müssen wir natürlich voraussetzen, dass die obigen Mengen nicht leer sind Neben diesen Verfahren gibt es auch unzulässige Innere Punkte Verfahren Aus der Nichtnegativität von x und s folgt 0 x T s = x T ( c A T y ) = c T x (Ax) T y = c T x b T y = z z Von Satz 95 (Starker Dualitätssatz) wissen wir, dass für die Optimallösungen von (11) und (1) gilt z = z Also folgt im Optimum x T s = 0 und wegen Nichtnegativität dieser beiden Vektoren sogar x i s i = 0 für alle i = 1,,n Zusammen mit den Nebenbedingungen von (11) und (1) sind die Optimallösungen von (11) und (1) Lösungen des nichtlinearen Systems Ψ 0 (x,y,s) := Ax b A T y + s c Xs = 0 0 0, x,s 0, (13) wobei X := diag(x) R n n ist Die Nichtlinearität ist in der letzten Gleichung, welche ausgeschrieben x i s i = 0, i = 1,, n, bedeutet Die Jacobi Matrix von Ψ 0 ist gegeben durch DΨ 0 (x,y,s) = A A T I n S 0 X R (n+m) (n+m) (14) mit S := diag(s) R n n und I n der n dimensionalen Einheitsmatrix Lemma 18 Regularität der Jacobi Matrix Unter den Voraussetzungen rg(a) = m und x > 0, s > 0 ist die Jacobi Matrix (14) regulär Beweis: Indirekt Sei (u T,v T,w T ) T 0 ein Vektor mit 0 A u A T I n v A 0 A S 0 X w 0 60

20 Aus der ersten Gleichung folgt Au = 0 Diese Beziehung wird in die umgestellte zweite Gleichung eingesetzt w = A T v = u T w = u T A T v = (Au) T v = 0 Aus der dritten Gleichung folgt u = S 1 Xw Die Invertierbarkeit von S folgt aus s > 0 Mit der eben bewiesenen Beziehung und der Symmetrie der Diagonalmatrizen ergibt sich 0 = u T w = w T XS 1 w Da x,s > 0, folgt daraus w = 0 Aus der dritten Gleichung folgt damit u = 0 Damit vereinfacht sich die zweite Gleichung zu A T v = 0 Wegen des vollen Spaltenrangs von A T folgt daraus v = 0 Damit ist der Widerspruch zur Annahme konstruiert Bemerkung 19 Das Verfahren Auf Grund dieses Satzes liegt es nahe, die Lösung des Systems (13) mit dem Newton Verfahren zu versuchen Dabei gibt es allerdings einige Schwierigkeiten: Die Regulariät der Jacobi Matrix ist nur für innere Punkte (x,s > 0) bewiesen Die gesuchte Lösung liegt aber nicht im Inneren, da aus der dritten Gleichung x i s i = 0, i = 1,,n, folgt, dass mindestens eine der Variablen x i oder s i im Optimum verschwindet Es ist nicht klar, ob die in einem Newton Schritt berechnete neue Iterierte überhaupt ein zulässiger Punkt ist Falls nicht, ist die Regularität der Jacobi Matrix nicht gesichert Außerdem kann es passieren, dass das Newton Verfahren gar nicht konvergiert oder zu einer Lösung konvergiert, welche die Nichtnegativitätsbedingung nicht erfüllt Um doch noch ein Newton ähnliches Verfahren für (13) nutzen zu können, modifiziert man dieses System Seien e n = (1,,1) T R n und sei µ > 0 ein Parameter Anstelle von (13) betrachtet man nun Ψ µ (x,y,s) := Ax b A T y + s c Xs µe = 0 0 0, x,s > 0 (15) Die Jacobi Matrix dieses Systems ist (14) Das schwerere Problem, eine Nullstelle von (13) zu finden, ersetzt man durch das einfachere Problem (15) Für festes µ > 0 kann die Lösung nur im Inneren des zulässigen Bereichs liegen, da x i s i = µ für alle i Da die Jacobi Matrix nach Lemma 18 dort regulär ist, gibt es eine Umgebung der Lösung (x(µ) T,y(µ) T,s(µ) T ) T, in der das Newton Verfahren ohne Berücksichtigung der Ungleichungen x, s > 0 quadratisch konvergiert In diesem Sinne hat man das Problem (13) mit den Nichtnegativitätsbedingungen durch ein System ohne Nebenbedingungen ersetzt Da das Optimum von (11) auf dem Rand angenommen wird ist zu erwarten, dass die Lösung (x(µ) T,y(µ) T,s(µ) T ) T umso weiter vom Rand entfernt liegt, je größer µ ist Das Vorgehen ist: Man beginnt mit einem großen Wert µ 0, für den sich die Lösung leicht berechnen lässt Für große µ 0 erwartet man ein großes Konvergenzgebiet Dann wird µ sukzessive verkleinert und jedesmal wird die zugehörige Lösung bis auf eine gewisse Genauigkeit mit dem Newton Verfahren approximiert Die Punktmenge { (x(µ) T,y(µ) T,s(µ) T ) T : µ > 0 } wird zentraler Pfad genannt Für seine Punkte existiert eine sogenannte Dualitätslücke: 0 < µn = x(µ) T s(µ) = x(µ) T ( c A T y(µ) ) = c T x(µ) (Ax(µ)) T y(µ) = c T x(µ) b T y(µ) = z µ z µ (16) 61

21 Lemma 110 Lösbarkeit des modifizierten Systems Sei die dual zulässige Menge {y : A T y c} beschränkt und sei das Innere dieser Menge nichtleer Dann besitzt das Problem (15) für jedes µ > 0 eine eindeutige Lösung Beweis: Literatur, zum Beispiel [JS04, S 75ff] Bemerkung 111 Analyse eines Newton Schrittes Sei (x T,y T,s T ) T die gegenwärtige Iterierte zur Lösung von (15) für festes µ > 0 Die Korrektur für die nächste Iterierte des Newton Verfahrens berechnet sich aus der Lösung von A A T I n S 0 X x y = s Ax b A T y + s c Xs µe (17) Nach der Lösung dieses Systems folgt, dass die neue Iterierte ((x + x) T, (y + y) T, (s + s) T ) T die ersten zwei Gleichungen von (15) erfüllt, da diese linear sind Übungsaufgabe Wir können annehmen, dass die gegenwärtige Iterierte bereits durch einen Newton Schritt berechnet wurde, sie damit ebenfalls diese Eigenschaft besitzt und sich (17) vereinfacht zu A A T I n S 0 X x y = s 0 0 Xs µe =: 0 0 r (18) Der Vektor r wird Residuum genannt Das Residuum der neuen Newton Iterierten ist, unter Verwendung der Beziehungen von (18), r = (X + X)(s + s) µe = Xs + X s + S x + X s µe }{{} = r = Xs r + X s µe = X s (19) Um den Newton Schritt analysieren zu können, werden einige Bezeichungen eingeführt D := XS 1, q := DX 1 r, R := diag(r) Direktes Nachrechnen oder Einsetzen zeigt, dass man die Lösung von (18) wie folgt aufschreiben kann: Übungsaufgabe y = x = s = (AD A T ) 1 ADq, D A T y Dq, D 1 q D x Die Matrix DA T (AD A T ) 1 AD definiert die Orthogonalprojektion auf den Bildraum von DA T Diese Projektion wird Π R genannt Demzufolge ist die Projektion in den Nullraum von DA T gegeben durch Π N := I Π R, wobei I die identische Abbildung ist Nun kann man zeigen (Übungsaufgabe), dass x = DΠ N q, s = D 1 Π R q gelten Das sind die beiden Ausdrücke, die wir in (19) analysieren müssen 6

22 Wir nehmen nun an, dass man für gegebene x > 0, s > 0 und y ein β [0, 1/] finden kann, für welches r βµ (110) gilt Das heißt, der gegebene Punkt ist in einer gewissen Umgebung des zentralen Pfades Für β = 0 muss er direkt auf dem zentralen Pfad sein Wegen r = Xs µe gilt DX 1 = XS 1 X = X 1 S 1 = (R + µi) 1 = ( R + µi ) 1 Bei dieser Rechnung und auch bei folgenden Rechnungen wird stark ausgenutzt, dass hier die Matrizen D, R, S und X Diagonalmatrizen sind Für Nichtdiagonalmatrizen funktionieren die Rechnungen nicht mehr Es folgt DX 1 = (R + µi) 1 1 = max 1 i n r i + µ 1 µ(1 β) (111) Hierbei wurde die Definition der Spektralnorm einer Matrix ausgenutzt, sowie dass wir es mit einer Diagonalmatrix zu tun haben Die letzte Ungleichung folgt aus der Dreiecksungleichung und (110) r i + µ µ r i µ βµ = µ(1 β) Aus der Verträglichkeit der Euklidischen Vektornorm und der Spektralnorm von Matrizen sowie (110) folgt damit β := q = DX 1 r DX 1 µ r β (1 β) Sei θ der Winkel zwischen q und Π N q Dann folgt mit der Orthogonalität der Projektionen cos(θ) = (q, Π Nq) = (Π Rq + Π N q, Π N q) = Π Nq = Π Nq q Π N q q Π N q q Π N q q Es folgen D 1 x = Π N q = cos(θ) q = β cos(θ), (11) D s = Π R q = (I Π N )q = sin(θ) q = β sin(θ) Diese Abschätzungen kann man nun in (19) einsetzen Mit der Cauchy Schwarz Ungleichung und β 1/ erhält man r = X s D 1 X D s β cos(θ)sin(θ) = β sin(θ) β β µ (1 β) β µ (113) Wir haben damit erhalten, dass unter der Voraussetzung (110) der relative Fehler Xs µe /µ = r /µ in jedem Schritt des Newton Verfahrens quadriert wird Aus (11) folgt insbesondere D 1 x β und daraus, sowie mit (111), der Definition von β und β 1/, X 1 x = X 1 DD 1 x X 1 D D 1 x β µ(1 β) = β 1 β 1 63

23 Somit ist ( x i )/x i 1 woraus x i x i x i x i = 0, i = 1,, n folgt Eine analoge Abschätzung kann man für s durchführen Die Nichtnegativität der neuen Iterierten ist gesichert Es gilt sogar die Positivität Übungsaufgabe ab hier Mit den Abschätzungen (113) und (19) folgt r < µ = X s < µ = x i s i < µ für alle i = 1,, n Aus (19) erhält man ebenso r = (X + X)(s + s) µe < µ, was man abgekürzt und quadriert wie folgt schreiben kann n (a i µ) < µ, i=1 mit a i = (X + X)(s + s) Wir wissen bereits, dass beide Faktoren von a i nichtnegativ sind Sei für einen Index, zum Beispiel i = j, einer der Faktoren Null Dann folgt n µ + (a i µ) < µ i=1,i j Diese Aussage kann nicht gelten, da alle Summanden der Summe nichtnegativ sind Also sind alle Faktoren der a i, i = 1,,n, positiv Das heißt, es gelten x+ x > 0, s + s > 0 und der Newton Schritt liefert einen inneren Punkt Übungsaufgabe bis hier Algorithmus 11 Kurz Schritt Algorithmus Es seien x (0) > 0, y (0), s (0) > 0 und µ (0) so gegeben, dass Ax (0) = b, A T y (0) + s (0) = c, X (0) s (0) µ (0) e = r (0), r (0) µ (0) 1 (114) gelten Es sei des weiteren eine gewünschte Genauigkeit ε > 0 vorgegeben Setze k = 0 1 Führe einen Newton Schritt aus, das heißt löse (18) Setze x (k+1) = x (k) + x, y (k+1) = y (k) + y und s (k+1) = s (k) + s Verkleinere den Parameter mittels der Vorschrift ( µ (k+1) = µ (k) 1 1 ) 6 n 3 Setze k := k Falls µ (k) ε/n dann beende das Verfahren, ansonsten gehen zu Schritt 1 Bemerkung 113 Die Bedingung (114) bedeutet, dass die Anfangsiterierte des Verfahrens sich relativ nahe am zentralen Pfad befinden muss Die Bezeichnung,,Kurz Schritt Algorithmus hat sich eingebürgert, weil der Parameter µ in jedem Schritt nur etwa um den Faktor 1 1/ n verkleinert wird, der für große n nahe bei Eins liegt 64

24 Wir wollen nun die oben erarbeitete abstrakte Theorie auf den Kurz Schritt Algorithmus anwenden Lemma 114 Der Kurz Schritt Algorithmus 11 erfüllt die Bedingung (110) mit β = 1/ Beweis: Der Beweis erfolgt induktiv Wegen der Forderung (114) an den Startpunkt, ist der Induktionsanfang gegeben Gelte nun r (k) µ (k) / für ein k 0 Aus (18), (19) (erste Gleichung) und der Definition des Parameters im Algorithmus 11 folgt r (k+1) = X (k+1) s (k+1) µ (k+1) e = r (k) + µ (k) e µ (k+1) e = r (k) + µ(k) 6 n e Aus (113) folgt r (k) µ (k) /4 Mit der Dreiecksungleichung, e = n und dem größtmöglichen Verhältnis von µ (k) und µ (k+1) (für n = 1) erhält man r (k+1) r (k) + µ(k) 1 6 n e µ(k) «6 = 1 µ(k+1) = 5 1 µ(k) µ(k+1) Das ist die Aussage des Lemmas Die Induktionsvoraussetzung ist bei der Nutzung von (113) implizit verwendet wurden In einer Übungsaufgabe wurde gezeigt, dass die Iterierten bei der Ausführung des Newton Schritts strikt zulässig bleiben (x, s > 0) Damit ist der Kurz Schritt Algorithmus 11 wohldefiniert Satz 115 Polynomiale Komplexität des Kurz Schritt-Algorithmus Der Kurz Schritt Algorithmus 11 hält nach spätestens 6 ( ) nµ (0) n ln (115) ε Iterationen mit Näherungslösungen x > 0, y, s > 0 von (11) und (1), deren Dualitätslücke c T x b T y ε erfüllt Beweis: Man muss den Abbruchindex und den Abbruchfehler untersuchen Die Abbruchbedingung in Schritt 4 ist erfüllt, wenn Nach Konstruktion gilt Einsetzen liefert oder µ (k) = k ln 1 1 «6 ln nµ(0) n ε ln µ (k) ln ε n 1 1 «k 6 µ (0) n k ln 1 1 «6 + ln µ (0) ln ε n n Wegen ln x x 1 folgt daraus «1 k 1 6 n 1 1 ln nµ(0) ε «1 k ln ln nµ(0) n 1 ε k `6 n 1 ln nµ(0) ε 65

25 Daraus folgt die erste Aussage des Satzes Die Abschätzung der Dualitätslücke erfolgt unter Nutzung von (16), der dritten Gleichung von (18), der Cauchy Schwarz Ungleichung, (110) und der Abbruchbedingung des Verfahrens c T x b T y = x T s = e T (Xs) = e T (µ (k) e + r) nµ (k) + e r = nµ (k) + nβµ (k) nµ (k) ε Bemerkung 116 Man beachte, dass weder das Abbruchkriterium des Kurz Schritt Verfahrens noch die Dualitätslücke etwas darüber aussagen, wie groß der Abstand zwischen der mit dem Kurz Schritt Verfahren berechneten numerischen Lösung zur Lösung des linearen Programms (11) ist Bemerkung 117 Zur Anzahl der Iterationen des Kurz Schritt Verfahrens In vielen Anwendungen lässt sich ein Startpunkt zum Algorithmus 11 mit nµ (0) angeben Die gewünschte Genauigkeit liegt im( allgemeinen ) bei ε = 10 8 bis ε = Für den letzten Wert ist der Faktor 6 ln nµ (0) in (115) ungefähr 345 Die Anzahl der Iterationen hängt im wesentlichen von n ab Bemerkung 118 Innere Punkt Verfahren in der Praxis In der Praxis nutzt man vor allem unzulässige Innere Punkt Verfahren, das heißt, mit Iterierten, die außerhalb des zulässigen Bereichs liegen können Die analytische Untersuchung dieser Verfahren ist jedoch komplizierter ε 66