Operations Research. Konvexe Funktionen. konvexe Funktionen. konvexe Funktionen. Rainer Schrader. 4. Juni Gliederung

Transkript

1 Operations Research Rainer Schrader Konvexe Funktionen Zentrum für Angewandte Informatik Köln 4. Juni / 84 2 / 84 wir haben uns bereits mit linearen Optimierungsproblemen beschäftigt wir werden im nächsten Kapitel Verfahren zu ihrer Lösung untersuchen die Ideen und Aussagen dazu beruhen zum Teil auf einer allgemeineren Theorie diese Theorie beschäftigt sich mit konvexen Funktionen Grundlagen differenzierbare quadratische Funktionen 3 / 84 4 / 84

2 sei F R n ein Definitionsbereich und f : F R eine Funktion der Epigraph von f ist die Menge epi f = {(x, z) R n+1 x F, z R, z f (x)}. f heißt konvex, wenn der Epigraph epi f eine konvexe Menge in R n+1 darstellt Lemma 1 f : F R ist konvex genau dann, wenn gilt (i) F ist konvex; (ii) für alle x, y F und 0 < λ < 1: f [λx + (1 λ)y] λf (x) + (1 λ)f (y). Lemma 1 f : F R ist genau dann konvex, wenn gilt (i) F ist konvex; f(x) (ii) für alle x, y F und 0 < λ < 1: f [λx + (1 λ)y] λf (x) + (1 λ)f (y). x λ x + (1 λ) y y 5 / 84 6 / 84 Beweis: seien (x, z) und (y, w ) Punkte im Epigraphen von f ist f konvex, so gilt: (λx, λz) + `(1 λ)y, (1 λ)w epi f (0 < λ < 1). nach Komponenten aufgeschlüsselt bedeutet dies: λx + (1 λ)y F somit muss (i) erfüllt sein Lemma 2 Die konvexen Funktionen f : F R bilden einen Kegel. Beweis: mit f ist auch λf konvex, für λ 0 mit f 1 und f 2 ist auch f 1 + f 2 konvex außerdem muss gelten: f [λx + (1 λ)y] λz + (1 λ)w mit z = f (x) und w = f (y) folgt die Notwendigkeit von (ii). offensichtlich ist (ii) zusammen mit (i) aber auch hinreichend. 7 / 84 8 / 84

3 Grundlagen differenzierbare quadratische Funktionen Lemma 1 zeigt, dass Konvexität von Funktionen eine eindimensionale Eigenschaft ist das Lemma lässt sich auch wie folgt formulieren: Lemma 3 Sei F konvex und f : F R. Dann ist f genau dann konvex, wenn für alle x F und alle h R n die Funktion f h (t) = f (x + th) konvex ist auf dem Intervall {t x + th F}. es reicht also, sich auf Richtungen zu beschränken dies führt zur Untersuchung von differenzierbaren Funktionen 9 / / 84 Lemma 4 Sei F konvex und f : F R differenzierbar. f ist genau dann konvex, wenn gilt: f (y) f (x) + f (x)(y x) für alle x, y F. (1) Beweis: sei f konvex und seien x, y F dann gilt für alle λ mit 0 λ 1 damit ergibt sich für 0 < λ 1: f (λy + (1 λ)x) λf (y) + (1 λ)f (x) umgekehrt gelte für alle a, b F wähle x, y F und ein λ [0, 1] sei a = λx + (1 λ)y f (b) f (a) + f (a)(b a) (1) indem wir in (1) einmal b = x setzen und einmal b = y, folgt f (x) f (a) + f (a)(x a) (2) f (y) f (a) + f (a)(y a) (3) Multiplikation von (2) mit λ und von (3) mit 1 λ und Addition ergibt λf (x) + (1 λ)f (y) f (a) + f (a)`λx + (1 λ)y a mit λ 0 folgt: f `x + λ(y x) f (x) λ f (y) f (x) f (x)(y x) f (y) f (x) Rücksubstitution von a = λx + (1 λ)y liefert λf (x) + (1 λ)f (y) f (λx + (1 λ)y). die Bedingung ist also notwendig. 11 / / 84

4 f (y) f (x) + f (x)(y x) für alle x, y F. (1) Für den eindimensionalen Fall ergibt sich daraus: Korollar 5 Sei f : (a, b) R differenzierbar. f ist genau dann konvex, wenn die Ableitung f (x) auf (a, b) monoton wächst. f(x) Beweis: x y sei x < y nach (1) gilt f (y ) f (x) + f (x)(y x ) somit: mit y x folgt f (y ) f (x) f (y ) f (x) y x f (x) 13 / / 84 zum Beweis der Rückrichtung zeigen wir nach Lemma 4: f (y ) f (x ) + f (x )(y x) für alle x, y (a, b) wir nehmen wieder x < y an (y < x geht analog) nach dem Mittelwertsatz existiert ein x < ξ < y mit f (ξ) = f (y ) f (x ) y x wegen der Monotonie ist f (x) f (ξ) und somit f (y ) f (x) + f (x)(x y ) Grundlagen differenzierbare quadratische Funktionen 15 / / 84

5 sei Q = [q ij ] R n n eine Funktion f : R n R heißt ist: eine symmetrische Matrix und c R n f (x) = 1 2 xt Qx c T x = 1 2 f (x) hat den Gradienten quadratisch, wenn f von der Form nx nx q ij x i x j j=1 f (x) = x T Q c T nach Lemma 4 ist f genau dann konvex, wenn gilt: 1 2 yt Qy c T y = f (y) f (x) + f (x)(y x) nx c j x j. j=1 = 1 2 xt Qx c T x + x T Q(y x) c T (y x) somit ist f genau dann konvex, wenn für alle x, y R n (y x) T Q(y x) 0. gilt: eine Matrix Q heißt positiv semidefinit, wenn für alle x R n x T Qx = nx nx q ij x i x j 0. j=1 also erhalten wir mit dieser Terminologie: Proposition 6 Die quadratische Funktion f (x) = 1 2 xt Qx c T x ist genau dann konvex, wenn Q positiv semidefinit ist. gilt: 17 / / 84 Da die Nullmatrix Q = 0 trivialerweise positiv semidefinit ist, folgt: Korollar 7 Jede lineare Funktion ist konvex. Die Konvexität linearer Funktionen lässt sich natürlich viel einfacher direkt beweisen... freie Minimierung Minimierung über Teilräumen Beispiele 19 / / 84

6 sei f : F R eine differenzierbare konvexe Funktion und x F x heißt lokales Minimum von f, wenn es ein ε > 0 gibt mit: f (x) f (y) für alle y F mit x y ε. (4) sei f : F R eine differenzierbare konvexe Funktion wir betrachten das Problem min x F f (x). x heißt globales Minimum von f über F, wenn f (x) f (y) für alle y F. (5) wir beschränken uns auf das Minimierungsproblem das Maximierungsproblem ist für allgemeine sehr viel schwerer zu lösen x x x / / 84 im Allgemeinen sind wir nur in der Lage, Aussagen über lokale Minima zu machen für jedoch gilt: (i) jedes lokale Minimum ist auch ein globales Minimum, (ii) die Menge der globalen Minima ist konvex. Beweis: (i) sei x F ein lokales Minimum Lemma 8 Sei f : F R eine konvexe Funktion. Dann gilt: (i) jedes lokale Minimum ist auch ein globales Minimum, (ii) die Menge der globalen Minima ist konvex. angenommen es existiert ein y F mit f (y) < f (x) dann gilt für alle 0 < λ 1: f (λy + (1 λ)x) λf (y) + (1 λ)f (x) < f (x), im Widerspruch zur lokalen Minimalität von x (ii) sei x, y F globale Minima dann folgt aus der Konvexität von f : f (λy + (1 λ)x) λf (y) + (1 λ)f (x) = f (x), 23 / 84 damit ist die Menge der Minima konvex 24 / 84

7 welche Bedingungen muss der Punkt x F erfüllen, damit er als Minimum in Frage kommt? wir betrachten zuerst den Fall allgemeiner Funktionen f sei x F und sei h R n h heißt zulässige Richtung (in x), falls x + h F sei h eine zulässige Richtung dann ist x + th F für alle 0 t 1 für 0 t 1 sei p(t) = f (x + th) dann hat p ein lokales Minimum in 0 es ist p(t) p(0) = p (0)t + o(t) (6) wäre p (0) < 0, so wäre (6) negativ für kleine t Lemma 9 (notwendige Bedingung 1. Ordnung) Sei f : F R stetig differenzierbar und x F ein lokales Minimum. Dann gilt für jede zulässige Richtung h: im Widerspruch zur Minimalität von x somit p (0) = f (x)h 0 f (x)h / / 84 der Beweis beruht auf einer lokalen Approximation 1. Ordnung (Linearisierung) entsprechend lassen sich auch Bedingungen 2. Ordnung formulieren sie basieren auf lokaler quadratischer Approximation Satz 10 x F minimiert die differenzierbare konvexe Funktion f : F R genau dann, wenn für alle h mit x + h F gilt: f (x)h 0 (7) bei der notwendigen Bedingung 1. Ordnung gilt weiter: liegt das lokale Minimum im Innern von F, so folgt f (x) = 0. für ist die Bedingung auch hinreichend: Beweis: sei x F ein Punkt, der die Bedingung erfüllt für jedes andere y F gilt dann (mit h = y x) wegen der Konvexität von f : f (y) f (x) + f (x)h f (x). 27 / / 84

8 freie Minimierung Minimierung über Teilräumen Beispiele sei f : F R konvex und differenzierbar wir betrachten den Fall, dass F ein affiner Teilraum von R n F = {x R n Ax = b} (A R m n, b R m ) ist: dann gilt für jedes x F und jede zulässige Richtung h R n : x + h F x h F h ker A. nach Satz 10 minimiert der Punkt x F f genau dann, wenn f (x)h = nx j=1 f (x) x j h j = 0 für alle h ker A. (8) 29 / / 84 f (x)h = nx j=1 die Bedingung (8) besagt: f (x) x j h j = 0 für alle h ker A (8) f (x) ist orthogonal zu ker A f (x) liegt im Zeilenraum von A f (x) ist eine Linearkombination der Zeilen a T i von A Korollar 11 Sei F = {x R n Ax = b} ein affiner Raum. x F minimiert die differenzierbare konvexe Funktion f : F R genau dann, wenn für ein y R m gilt: mx f (x) = y T A = y i ai T (9) damit erhalten wir die zu (8) äquivalente Optimalitätsbedingung: f (x) = y T A = mx y i ai T (9) für einen geeigneten Vektor y T = [y 1,..., y m ]. 31 / / 84

9 Spezialfall: wir betrachten wiederum das Problem min x F f (x) mit F = {x R n Ax = b} und f : F R konvex sei f (x) = 1 2 xt Qx c T x eine quadratische konvexe Funktion dann ist f (x) = x T Q c T nach (9) ist x ein Minimum, wenn es ein y gibt mit f (x) = y T A freie Minimierung Minimierung über Teilräumen Beispiele damit muss nur das folgende (lineare) Gleichungssystem gelöst werden: Qx A T y = c Ax = b 33 / / Projektionen auf (affine) Teilräume sei p R n ein Vektor und F = {x R n Ax = b} ein Teilraum die Projektion von p auf F ist ein Vektor ˆp, der den (euklidischen) Abstand zu F minimiert: p ˆp 2 = min x F p x 2. min f (x) = 1 2 xt x p T x s.d. Ax = b. damit ergibt sich ˆp als Lösung von x A T y = p Ax = b es ist p x 2 = (p x) T (p x) = p T p 2p T x + x T x einsetzen von x = p + A T y führt auf das Gleichungssystem Ap + AA T y = b somit reduziert sich die Berechnung von ˆp auf das konvexe Minimierungsproblem: min f (x) = 1 2 xt x p T x s.d. Ax = b. bzw. mit A = AA T und b = b Ap: Ay = b 35 / / 84

10 2. Regressionsprobleme wir betrachten folgende Aufgabenstellung: bestimme eine beste Lösung des linearen Gleichungssystems Ax = b per Definition gilt x T Qx = x T A T Ax = Ax 2 0 damit ist Q positiv semidefinit und folglich f konvex also folgt: x R n löst das Regressionsproblem genau dann, wenn gilt: d.h. wir suchen ein x R n klein wie möglich ist: derart, dass der Abstand b Ax so Qx = c bzw. A T Ax = A T b. min b x R Ax 2 = b T b 2b T Ax + x T A T Ax. n das Regressionsproblem reduziert sich also auf das Lösen des linearen Gleichungssystems Qx = c. setzen wir c T = b T A und Q = A T A, dann ist das Problem äquivalent zu min x R n f (x) = 1 2 xt Qx c T x. 37 / / 84 Beispiel (Interpolation) wir gehen von einer (unbekannten) Funktion f : R R aus, f ist an m Stützstellen t 1,..., t m ausgewertet worden seien y i = f (t i ) ferner seien n Funktionen f 1 (t),..., f n (t) gegeben gesucht ist eine Linearkombination also suchen wir die beste Lösung (in den Unbekannten a 1,..., a n ) des linearen Gleichungssystems a 1 f 1 (t 1 ) + a 2 f 2 (t 1 ) a n f n (t 1 ) = y 1 a 1 f 1 (t 2 ) + a 2 f 2 (t 2 ) a n f n (t 2 ) = y a 1 f 1 (t m ) + a 2 f 2 (t m ) a n f n (t m ) = y m ˆf (t) = nx a j f j (t) j=1 bezeichne F die Matrix, y die rechte Seite und a den Vektor der Unbekannten die f an den Stützstellen bestmöglich interpoliert dann haben wir das folgende lineare Gleichungssystem zu lösen: F T F a = F T y. 39 / / 84

11 als Spezialfälle ergeben sich: lineare Regression n = 2 und {f 1 (t), f 2 (t)} = {1, t} konstruiere die Regressionsgerade: ˆf (t) = a1 + a 2 t Lagrange-Dualität lineare Programme quadratische Regression n = 3 und {f 1 (t), f 1 (t), f 2 (t)} = {1, t, t 2 } konstruiere das quadratische Regressionspolynom ˆf (t) = a1 + a 2 t + a 3 t / / 84 Dualität Dualität seien f, g 1,..., g m : R n R konvexe und differenzierbare Funktionen sei g(x) = (g 1 (x),..., g m (x)) wir betrachten das folgende allgemeine mathematische Optimierungsproblem: min f (x) g(x) 0 damit betrachten wir ein konvexes Minimierungsproblem über dem Zulässigkeitsbereich F = {x R n g i (x) 0, 1 i m} korrekterweise sollte man inf und sup verwenden (10) wir wollen versuchen, untere Schranken für das Minimum in (10) zu bestimmen seien dazu x F und y 0 dann gilt sicherlich mx y i g i (x) = y T g(x) 0 damit liefert jedes y 0 eine untere Schranke L(y): min x F f (x) min f (x) + x F yt g(x) min x R n =: L(y) f (x) + yt g(x) die Verwendung von min und max hat sich in der Literatur eingebürgert 43 / / 84

12 Dualität Dualität mit f und den g i, i = 1, m, ist auch f (x) + y T g(x) konvex für y 0 ist somit die Berechnung von L(y) = min x R n f (x) + yt g(x) Bemerkung: max y 0 L(y) = max y 0 min x R n m f (x) + X y i g i (x) (11) ein freies konvexes Minimierungsproblem für jedes y 0 liefert L(y) eine untere Schranke eine beste untere Schranke erhalten wir durch das duale Problem: max y 0 L(y) = max y 0 min x R n m f (x) + X y i g i (x) (11) das duale Problem ist wiederum ein konvexes Optimierungsproblem (über dem nichtnegativen Orthanten) dazu heiße eine Funktion f konkav, wenn f konvex ist die Maximierung einer konkaven Funktion ist damit äquivalent zur Minimerung einer konvexen Funktion das ursprüngliche Problem (10) wird dann als das primale Problem bezeichnet 45 / / 84 Dualität Dualität Lemma 12 L(y) = min x R n f (x) + yg(x) ist konkav. y = λy 1 + (1 λ)y 2 f (x) + y T g(x) < λl(y 1 ) + (1 λ)l(y 2 ) Beweis: seien y 1, y 2 R m + und λ (0, 1) angenommen für y = λy 1 + (1 λ)y 2 per Definition ist gilt: L(y) = L(λy 1 + (1 λ)y 2 ) < λl(y 1 ) + (1 λ)l(y 2 ) damit existiert ein x so, dass L(y) = min x R n f (x) + yt g(x) f (x) + y T g(x) < λl(y 1 ) + (1 λ)l 2 (y 2 ) ebenfalls per Definition gilt: f (x) + y T 1 g(x) min x f (x) + y T 1 g(x) = L(y 1 ) f (x) + y T 2 g(x) min x f (x) + y T 2 g(x) = L(y 2 ) Multiplikation mit λ und 1 λ führt zum Widerspruch. x heißt primal zulässig, falls g(x) 0 y heißt dual zulässig, falls y 0 zwischen primalem und dualem Problem besteht die folgende Beziehung 47 / / 84

13 Satz 13 (schwache Dualität) Seien x F und y 0 primal bzw. dual zulässig. Dann gilt: (i) L(y) f (x) Dualität (ii) gilt L(y) = f (x), so sind x und y primal bzw. dual optimal mit y T g(x) = 0. Beweis: Jedes y 0 liefert eine untere Schranke: Daraus folgen die Behauptungen. L(y) = min z R n f (z) + yt g(z) min z F f (z) + yt g(z) f (x) + y T g(x) Die Bedingung y T g(x) = 0 wird auch als Komplementarität bezeichnet. für festes y 0 ist die Berechnung von L(y) = min x R n f (x) + yt g(x) eine konvexes Minimierungsproblem Dualität daher gilt die Gleichheit L(y) = f (x) + y T g(x) genau dann, wenn x R n die Optimalitätsbedingung erfüllt: f (x) + mx y i g i (x) = 0 T. (12) damit können wir das duale Problem umformulieren zu: max f (x) + X m y i g i (x) (13) y 0 s.d. f (x) + mx y i g i (x) = 0 T 49 / / 84 Lagrange-Dualität lineare Programme Dualität wir betrachten zur Veranschaulichung ein lineares Optimierungsproblem max c T x Ax b sei f (x) = c T x und g i (x) = a T i x b i das daraus abgeleitete allgemeine duale Probgramm lautet: max y 0 (14) m f (x) + X mx y i g i (x) s.d. f (x) + y i g i (x) = 0 T. (11) in unserem Spezialfall führt dies zu max y 0 c T x + y T (Ax b) s.d. c T + y T A = 0 T. einsetzen von y T A = c T in die duale Zielfunktion ergibt die folgende Form des dualen Problems: min b T y s.d. A T y = c, y 0 51 / / 84

14 Dualität Dualität damit führt das primale lineare Problem max c T x Ax b zu dem dualen linearen Programm (15) Lemma 14 (Komplementarität für lineare Programme) Seien x und y primal bzw. dual zulässig. Dann sind x und y genau dann primal bzw. dual optimal, wenn die Komplementarität gilt y T (Ax b) = 0. min b T y y T A = c y 0 wegen c T = y T A ergibt die schwache Dualität: bzw. c T x b T y f (x) = c T x c T x + y T (Ax b) = y T b Beweis: aus der Komplementarität folgt die Optimalität: c T x y T b = (A T y) T x y T b = y T (Ax b) = 0 umgekehrt folgt aus der Optimalität: 0 = c T x y T b = (A T y) T x y T b = y T (Ax b). 53 / / 84 KKT-Bedingungen Programme mit linearen Nebenbedingungen lineare Programme Optimalitätsbedingungen im linearen Fall haben wir gerade gesehen: primale und duale Zulässigkeit und Komplementarität implizieren Optimalität wir wollen diesen Ansatz auf allgemeine konvexe Optimierungsprobleme übertragen wir suchen x, y so, dass x primal zulässig ist y dual zulässig ist beide die Komplementaritätsbedingung erfüllen d.h. es muss gelten: 55 / / 84

15 Optimalitätsbedingungen Karush-Kuhn-Tucker-Bedingungen (KKT-Bedingungen) mx f (x) + y i g i (x) = 0 T y T g(x) = 0 (16) g(x) 0 y 0 seien x, y so, dass sie die KKT-Bedingungen erfüllen Proposition 15 Optimalitätsbedingungen Sei x ein KKT-Punkt mit zugehörigem y 0. Dann ist x eine Optimallösung des konvexen Minimierungsproblems (10). Beweis: x x erfüllt alle Restriktionen g i (x ) 0 für i = 1,..., m minimiert die konvexe Funktion f (x) + y T g(x) wegen der Komplementarität folgt: f (x ) = f (x ) + y T g(x ) = L(y ) mit der schwachen Dualität folgt daraus die Minimalität von f (x ). dann heißt x KKT-Punkt des Optimierungsproblems min f (x) s.d. g(x) 0 (10) x Rn 57 / / 84 Optimalitätsbedingungen Zwischenfazit Für die KKT-Bedingungen gilt: sie sind im konvexen Fall hinreichend im linearen Fall hinreichend und notwendig in allgemeinen (nicht-konvexen) Fall weder hinreichend noch notwendig Wir zeigen als nächstes, dass sie im konvexen Fall unter linearen Nebenbedingungen auch notwendig sind. KKT-Bedingungen Programme mit linearen Nebenbedingungen lineare Programme 59 / / 84

16 Optimalitätsbedingungen Optimalitätsbedingungen seien jetzt speziell g i (x) = ai T x b i, 1 i m in kompakter Schreibweise g(x) = Ax b 0 der Zulässigkeitsbereich ist das Polyeder F = P(A, b) = {x R n Ax b} maw: die Ungleichung f (x)h 0 wird von Ah b Ax impliziert nach dem Farkas-Lemma existiert dann ein y 0 so, dass y T A = f (x) y T (b Ax) 0 ist x F Optimallösung, so muss gelten: x + h F = f (x)h 0 bzw. A(x + h) b = f (x)h 0 bzw. Ah b Ax = f (x)h 0 da y 0 und b Ax 0 ist die letzte Ungleichung äquivalent zu y T (b Ax) = 0 maw: die Ungleichung f (x)h 0 wird von Ah b Ax impliziert 61 / / 84 Optimalitätsbedingungen damit erfüllen x und y notwendigerweise die folgenden Bedingungen: f (x) + y T A = 0 y T (Ax b) = 0 Ax b y 0 dies sind genau die KKT-Bedingungen für Ungleichungsrestriktionen somit: Satz 16 Die KKT-Bedingungen sind hinreichend und notwendig dafür, dass x eine Optimallösung eines konvexen Optimierungsproblems folgender Form ist: Optimalitätsbedingungen KKT-Bedingungen Programme mit linearen Nebenbedingungen lineare Programme min f (x) s.d. Ax b. x Rn 63 / / 84

17 Bemerkung: Optimalitätsbedingungen ist f (x) nichtlinear, dann ergeben die KKT-Bedingungen (selbst bei linearen Restriktionen) ein nichtlineares Ungleichungssystem. betrachten wir jedoch ein lineares Programm max c T x Ax b dann ergeben die KKT-Bedingungen das lineare Ungleichungssystem A T y = c c T x b T y = 0 Ax b y 0 (17) LP-Dualität die KKT-Bedingungen reduzieren das Lösen eines linearen Programms auf das Lösen eines linearen Ungleichungssystems damit kann man also im Prinzip lineare Programme mit dem FM-Verfahren lösen umgekehrt kann natürlich jeder LP-Algorithmus dazu benutzt werden, ein lineares Ungleichungssystem zu lösen man braucht ja nur eine künstliche Zielfunktion einführen, z.b. also folgt: Ax b max 0 T x s.d. Ax b. das Lösen von linearen Programmen und das Lösen von (endlichen) linearen Ungleichungssystemen sind algorithmisch äquivalent 65 / / 84 Zur Erinnerung: zur Lösung eines konvexen Optimierungsproblems reicht es, einen KKT-Punkt zu berechnen dazu müssen nichtnegative Lösungen eines nichtlinearen Gleichungssystems bestimmt werden ein solches Gleichungssystem hat die allgemeine Form: F (x) = 0, x 0 hierbei ist F : R n R m eine Funktion, die aus m Koordinatenfunktionen f i : R n R zusammengesetzt ist: 2 3 f 1 (x) 6 F (x) = R m. f m (x) 67 / / 84

18 die exakte Lösung eines nichtlinearen Gleichungssystems ist im allgemeinen sehr schwierig oft genügt aber schon eine hinreichend gute approximative Lösung wir betrachten im folgenden zwei Spezialfälle: nichtlineare Gleichungssysteme ohne Vorzeichenbeschänkung KKT-Bedingungen von linearen Programmen das Newton-Verfahren die Methode der inneren Punkte 69 / / 84 wir suchen eine approximative Lösung des Systems F (x) = 0 wir verwenden dazu den Ansatz des Newton-Verfahrens zur Erinnerung der eindimensionale Fall: Vorgehensweise des Newton-Verfahrens in jedem Punkt x i konstruiere eine lineare Approximation von F bei x i d.h. eine Matrix A i derart, dass F (x i + h) F (x i ) + A i h (für h hinreichend klein), berechne eine Lösung h i des linearen Gleichungssystems A i h = F (x i ) setze anschließend x i+1 = x i + h i x2 x 1 x 0 71 / / 84

19 Newton-Verfahren (1) starte mit einem Punkt x 0 und i = 0 (2) while F (x i ) 0 do (3) wähle eine lineare Approximation von F im Punkt x i, (4) sei h i eine Lösung des Gleichungssystems A i h = F (x i ) (5) setze x i+1 = x i + h i (6) end while Beispiel wir suchen eine Lösung der Gleichung f (x ) = x 2 2 = 0. beginne mit einem x 0 sei x k schon berechnet wähle z.b. A k = f (x k ) dann folgt f (x k )h = f (x k ) d.h. h k = f (x k ) f (x k ) = x 2 k + 2 2x k und somit x k +1 = x k + h k = x k x k. 73 / / 84 f (x) = x 2 2 = 0. Schritt k f (x k ) , , , , , , , , , , , , , , , , Bemerkung sei F differenzierbar, dann wird oft die Jacobimatrix gewählt, sie hat als Zeilen gerade die m Gradienten f i (x k ):» fi (x k ) A k = f i (x k ) = R m n x j im allgemeinen hat man keine Garantie, dass das Newtonverfahren tatsächlich zu einer zulässigen Lösung der Ausgangsgleichung konvergiert 75 / / 84

20 das Newton-Verfahren die Methode der inneren Punkte wir wollen einen KKT-Punkt für das folgende lineare Programm bestimmen: max c T x Ax b die KKT-Bedingungen lauten: A T y = c c T x b T y = 0 Ax b y 0 mit s = b Ax und µ = 0 ist dies äquivalent zu: s i y i = µ (i = 1,..., m) Ax + s = b A T y = c s, y 0 (18) (19) 77 / / 84 wir relaxieren nun, indem wir s i y i = µ (i = 1,..., m) Ax + s = b A T y = c s, y 0 (19) Lemma 17 Sei (x µ, y µ, s µ ) eine Lösung des Systems (19) zu µ > 0. Dann ist x µ zulässige Lösung des linearen Programms. Für jede andere zulässige Lösung x gilt c T x µ c T x ε (mit ε mµ). eine einen Parameter µ > 0 wählen und das resultierende System mit einem Newtonverfahren zu lösen versuchen wir müssen in diesem Fall immer s i > 0 und y i > 0 (d.h. s, y > 0) sicherstellen deshalb spricht man von inneren Punkten (des positiven Quadranten von R m ). Beweis: die Zulässigkeit folgt aus der Definition aus der schwachen Dualität folgt c T x b T y µ = (Ax µ +s µ ) T y µ = (x µ ) T A T y µ +(s µ ) T y µ = c T x µ +mµ. Im Fall µ 0 sind die x µ also annähernd optimale Lösungen des ursprünglichen linearen Programms. 79 / / 84

21 wir wollen (19) mit einem Newtonansatz lösen wir gehen davon aus, dass wir bereits Vektoren y > 0 und x zur Verfügung haben mit der Eigenschaft c = A T y und s = b Ax > 0. (s i + s i )(y i + y i ) = µ (i = 1,..., m) A(x + x) + (s + s) = b A T (y + y) = c s + s, y + y 0 (20) nach Annahme gilt Ax + s = b und A T y = c wir suchen dann x, y, s so, dass damit reduziert sich dieses System auf: (s i + s i )(y i + y i ) = µ (i = 1,..., m) A(x + x) + (s + s) = b A T (y + y) = c s + s, y + y 0 (20) s i y i + y i s i + s i y i = µ s i y i (i = 1,..., m) A x + s = 0 A T y = 0 s + s, y + y 0 (21) 81 / / 84 damit reduziert sich dieses System auf: s i y i + y i s i + s i y i = µ s i y i (i = 1,..., m) A x + s = 0 A T y = 0 s + s, y + y 0 das letztere System relaxieren wir nun zu dem linearen Gleichungssystem s i y i + y i s i = µ s i y i (i = 1,..., m) A x + s = 0 A T y = 0 (21) (22) mit dessen Lösung schreiben wir fort: x + = x + x, y + = y + y, s + = s und verfährt nun wie zuvor mit x + und y + anstelle von x und y wobei man in jeder Iteration auch den Parameter µ reduziert, bis man eine hinreichend gute Lösung x des Ausgangsproblems gefunden hat liegt s i y i nahe an µ, so kann man zeigen: s + i y + i liegt noch näher an µ y + > 0, s + > 0 das Verfahren konvergiert sehr schnell gegen eine optimale Lösung des Ausgangsproblems 83 / / 84