KAPITEL 10 DIE INNERE-PUNKTE-METHODE

Transkript

1 KAPITEL DIE INNERE-PUNKTE-METHODE F. VALLENTIN, A. GUNDERT Vorteile: + Löst effizient lineare Programme (in Theorie und Praxis) + erweiterbar (zu einer größeren Klasse von Optimierungsproblemen) + einfach zu implementieren LP-Dualität (LP). Der zentrale Pfad min c T x = max b T y Ax = b A T y c x Damit die Nebenbedingungen der rechten Seite die gleiche Form haben, wie auf der linken Seite, führen wir sogenannte Schlupfvariablen s,..., s n R, s,..., s n ein, bzw. den Vektor s = (s,..., s n ) T R n, sodass A T y + s = c. Dann haben die beiden linearen Programme von oben die Form min c T x = max b T y Ax = b A T y + s = c x s Wir interessieren uns für optimale Lösungen der beiden Programme und erinnern uns an Kapitel 5: Optimalitätskriterium (x, y, s ) ist optimal A T y + s = c Idee: Betrachte die (nichtlineare) Abbildung Ax = b x i s i =, x s F : R 2n+m R 2n+m F (x, y, s) = AT y + s c Ax b, XSe i =,..., n wobei X = diag(x,..., x n ), S = diag(s,..., s n ), e = (,..., ) T, und finde (x, y, s ) mit F (x, y, s ) =, z.b. mit Hilfe des Newton-Verfahrens. Date: 2. Juli 24.

2 2 F. Vallentin, A. Gundert Problem: Es gibt viele (x, y, s ) mit F (x, y, s ) =, die nicht zur Menge der zulässigen Lösungen gehören. Sei F = {(x, y, s) : A T y + s = c, Ax = b, x, s } F = {(x, y, s) : A T y + s = c, Ax = b, x >, s > } die Menge der strikt zulässigen Lösungen, das heißt x und s liegen im Inneren des nicht-negativen Orthanten R n = {z R n : z }. Sei >. Suche (x, y, s ), x >, s >, mit F (x, y, z ) =, d.h. (x ) i (s ) i = i =,..., n. e Wir zeigen gleich, dass (x, y, s ) F existieren und eindeutig bestimmt sind. Definition.. Die Menge heißt der zentrale Pfad von (LP). C = {(x, y, s ) : > } C (x, y, s ) groß F (x, y, s ) klein (x, y, s ) Lemma.2. Es gilt lim ct x b T y =. c T x b T y = (A T y + s ) T x b T y = y T Ax + s T x b T y = y T b + n b T y = n für. Theorem.3. Der zentrale Pfad existiert und ist eindeutig. Mit anderen Worten: Falls F und >, dann!(x, y, s ) : F (x, y, s ) = Der Beweis benötigt noch etwas Vorarbeit., x >, s >. e

3 Die Innere-Punkte-Methode 3 Definition.4. Definiere und die Barrierefunktion H = {(x, s) : y : (x, y, s) F }, f : H R f (x, s) = xt s ln(x i s i ). [Falls (x, s) gegen den Rand von H läuft, dann f (x, s) + ]. Ziel: An (x, s ) nimmt f sein Minimum an. Lemma.5. f ist strikt konvex. i) Der Term x T s ist linear in H : Sei x mit A x = b gegeben. Dann gilt für (x, s) H : x T s = x T (c A T y) = x T c b T y = x T c (A x) T y = x T c x T A T y = x T c x T (c s). ii) Die Funktion t ln t ist strikt konvex, weil die zweite Ableitung t t 2 > ist. Aus i) und ii) folgt die Behauptung. Lemma.6. f ist nach unten beschränkt, d.h. C : f (x, s) C (x, s) H. Aufgabe 3.3. Lemma.7. Für K ist die Menge {(x, s) H : x T s K} beschränkt. Folgt unmittelbar aus Aufgabe 3.2. Lemma.8. Sei κ R. Dann ist die Menge in einer kompakten Menge enthalten. Für g(t) = t ln t ist Dann {(x, s) H : f (x, s) κ} f (x, s) = f (x, s) κ g( x is i ) + n n ln. g( x is i ) κ = κ n + n ln.

4 4 F. Vallentin, A. Gundert Für Index i =,..., n gilt g( x is i ) κ n j= j i g( x js j ) κ, weil g(t) für t. Weil g(t) für t oder t, existiert ein M, sodass Also M x is i M, i =,..., n. x T s = Nach Lemma.8 existiert ein M u mit x i s i nm. x i M u, s i M u. Also M x is i M u s i s i, genauso x i. MM u MM u Also sind die x i und s i nach oben und unten beschränkt und somit ist die Menge {(x, s) H : f (x, s) κ} in einer kompakten Menge enthalten. Nun können wir beweisen, dass der zentrale Pfad existiert und eindeutig ist. (Theorem.3) Weil f strikt konvex und die Menge {(x, s) H : f (x, s) κ} in einer kompakten Menge enthalten ist, besitzt f ein eindeutiges Minimum (x, s ). Behauptung: x = x, s = s. Beweis: (x, s ) löst das Minimierungsproblem min f (x, s) Ax = b A T y + s = c x >, s > (in den Variablen x, y, s). Insbesondere ist (x, s ) ein lokales Minimum für min f (x, s) Ax = b A T y + s = c. Nun wenden wir ein Theorem aus der Analysis an: Theorem.9. (Extrema mit Nebenbedingungen/Lagrange-Multiplikatoren) Sei U R n offen, seien f : U R, g,..., g N : U R stetig differenzierbar. Falls x R n ein lokales Extremum von f unter den Nebenbedingungen g (x ) =... = g N (x ) = ist, dann gibt es λ,..., λ N R (Multiplikatoren) mit N f(x ) = λ i g i (x ).

5 Die Innere-Punkte-Methode 5 Hier haben wir die Situation: s f (x, s) = X e x f (x, s) = x y f (x, s), S e s f (x, s) g (x, y, s) = [Ax b],..., g m (x, y, s) = [Ax b] m, g m+ (x, y, s) = [A T y + s c],..., g m+n (x, y, s) = [A T y + s c] n. Also λ R m, µ R n : (a) (b) (c) Aus (b) und (c) folgt A( x S e) =. (a) multipliziert mit ( x S e) T liefert: s X e = A T λ = Aµ x S e = µ. ( x ) T ( S e A T x T ( s ) λ = e) S X e. = ( e) Xe S T ( e) Se X Definiere X 2 = diag ( x,..., x n ) und S 2 = diag ( s,..., s n ). Dann = ( Xe S e ) T =I = (XS) 2 e (XS) 2 e 2. {}}{ ( ) (X 2 S 2 )(X 2 S 2 ) Se X e XSe = e. Definition.. Sei (x, y, s) F. Das Dualitätsmaß µ von (x, y, s) ist µ = xt s n = ct x b T y. Definition.. Sei θ [, ). Die Nachbarschaft des zentralen Pfads ist Lemma.2. N(θ) = {(x, y, s) F : XSe µe θµ}. a) (x, y, s) C (x, y, s) N(). b) Falls XSe µe < µ, d.h. θ <, dann ist x >, s >. a) klar. b) Falls x i = oder s i =, dann XSe µe x i s i µ = µ, aber θ <.

6 6 F. Vallentin, A. Gundert Betrachte 2. Der Algorithmus und seine Analyse F (x, y, s) = AT y + s c Ax b =. XSe e Sei (x, y, s) F. Linearisiere F an (x, y, s): wobei mit F (x, y, s) + F ( x, y, s), F ( x, y, s) = AT I x A y S X s ( x, y, s) R 2n+m und F (x, y, s) = XSe Definition 2.. Für den Zentrierungsparameter σ [, ] definiere den modifizierten Newton-Schritt ( x, y, s) R 2n+m durch das lineare Gleichungssystem AT I x A y =. S X s XSe + σµe Nun können wir den Algorithmus angeben: Innere-Punkte-Methode: Input : θ =.4, σ =.4 n, Startpunkt (x, y, s ) N(θ), N = Anzahl Iterationen for k = to N do Bestimme ( x k, y k, s k ) durch Löse des LGS AT I A S k X k x k y k = s k (x k+, y k+, s k+ ) = (x k, y k, s k ) + ( x k, y k, s k ). end Algorithmus : Innere-Punkte-Methode X k S k e + σµ k e Bild dazu: x 2 s 2 3 N(θ) 2 C (x, y, s ) optimaler Wert x s

7 Die Innere-Punkte-Methode 7 Lemma 2.2. Falls (x k, y k, s k ) F, dann gilt a) ( x k ) T ( s k ) =. b) µ k = (.4 ) µ k. n σ a) Aufgabe 3.4. b) x T k+s k+ = (x k + x k ) T (s k + s k ) = x T k s k + x T k s k + x T k s k + x T k s k = = σx T k s k, denn aus der dritten Zeile des LGS im Algorithmus ergibt sich () S k x k + X k s k = X k S k e + σµ k e, und durch Aufsummieren der Einträge in () erhält man also s T k x k + x T k s k = x T k s k + nσµ k, x T k s k + s T k x k + x T k s k = nσµ k = nσ xt k s k n = σxt k s k. Beispiel 2.3. µ = 6, n =, N = 5. Dann µ N = (.4 ) N µ = (.996) N µ.2 Jetzt fehlt nur noch zu zeigen, dass (x k, y k, s k ) F. Wir zeigen, dass (x k, y k, s k ) sogar in N(θ) liegt. Lemma 2.4. Seien u, v R n, u T v. Dann gilt UV e u + v 2. Es ist wobei also ( ) u T v = u i v i + u i v i u iv i> u iv i< = u i v i u i v i, i P i M P = {i : u i v i > }, M = {i : u i v i < }, u i v i u i v i. i M i P

8 8 F. Vallentin, A. Gundert Somit UV e = ( (u i v i ) i P 2 + (u i v i ) i M 2) 2 () ( (u i v i ) i P 2 + (u i v i ) i M 2 ) 2 ( ) ( 2 (u i v i ) i P 2 ) 2 = 2 (u i v i ) i P (2) 2 ( 4 (u i + v i ) 2 ) i P = (u i + v i ) 2 i P u + v 2. Dabei gilt (), weil 2, und (2) gilt, da für α, β R stets αβ 4 (α + β)2 erfüllt ist. Lemma 2.5. Sei (x k, y k, z k ) N(.4). Dann gilt X k+ S k+ e µ k+ e.2µ k. D.h. insbesondere (x k+, y k+, s k+ ) N(.4)..Behauptung: X k+ S k+ e µ k+ e = X k S k e. Beweis: Betrachte den i-ten Eintrag der Vektoren: (x k+ ) i (s k+ ) i µ k+ = ((x k ) i + ( x k ) i )((s k ) i + ( s k ) i ) σµ k Lemma 2.2.b) = (x k ) i (s k ) i + (x k ) i ( s k ) i + ( x k ) i (s k ) i + ( x k ) i ( s k ) i σµ k = (x k ) i (s k ) i (x k ) i (s k ) i + σµ k + ( x k ) i ( s k ) i σµ k = ( x k ) i ( s k ) i 2.Behauptung: X k S k e.2µ k. Beweis: Definiere D k = X 2 k S 2 k. Dann gilt X k S k e = D k X kd k S k e nach Lemma 2.4. Nun ist weil D k x k + D k s k 2. D k x k + D k s k = (X k S k ) 2 ( Xk S k e + σµ k e), S k x k + X k s k = X k S k e + σµ k e

9 Die Innere-Punkte-Methode 9 gilt, und dies multipliziert mit (X k S k ) 2 liefert die obige Gleichung. Also X k S k e 2 3 ( (x k ) i (s k ) i + σµ k ) 2 2 (x k ) i (s k ) i X k S k e σµ k e 2 min,...,n (x k ) i (s k ) i. Da (x k, y k, s k ) N(θ), gilt min,...,n (x k ) i (s k ) i ( θ)µ k, denn X k S k e µ k e θµ k (x k ) i (s k ) i µ i θµ k (x k ) i (s k ) i µ k θµ k. Desweiteren Also X k S k e σµ k e 2 e T (X k S k e µ k e) = x T k s k nµ k =. = (X k S k e µ k e) + ( σ)µ k e 2 = X k S k e µ k e 2 + 2( σ)µ k e T (X k S k e µ k e) + ( σ) 2 µ 2 ke T e θ 2 µ 2 k + ( σ) 2 µ 2 kn. Zusammen X k S k e 2 3 θ 2 µ 2 2 k + ( σ)2 µ 2 k n ( θ)µ k.2µ k. Literatur [] S.J. Wright, Primal-dual interior-point-methods, SIAM, 997. Prof. Dr. F. Vallentin, Dr. A. Gundert, Mathematisches Institut, Universität zu Köln, Weyertal 86 9, 593 Köln, Deutschland address: frank.vallentin@uni-koeln.de, anna.gundert@uni-koeln.de