KAPITEL 3. Konvexe Funktionen

Transkript

1 KAPITEL 3 Konvexe Funktionen Sei F R n ein Definitionsbereich und f : F R eine Funktion. Unter dem Epigraphen von f versteht man die Menge epif = {(x, z) R n+1 x F, z R, z f(x)}. Man nennt f konvex, wenn der Epigraph epif eine konvexe Menge in R n+1 darstellt. LEMMA 3.1. f : F R ist konvex genau dann, wenn gilt (i) F ist konvex; (ii) für alle x, y F und 0 < λ < 1: f[x + λ(y x)] f(x) + λ[f(y) f(x)]. Beweis. Seien (x, z) und (y, w) Punkte im Epigraphen von f. Konvexität ist gleichbedeutend mit der Eigenschaft (x, z) + (λ(y x), λ(w z)) epif (0 < λ < 1). Nach Komponenten aufgeschlüsselt bedeutet dies, dass x + λ(y x) F und somit (i) erfüllt sein muss. Ausserdem müssen wir haben: f[x + λ(y x)] z + λ(w z) = (1 λ)z + λw. Die Wahl z = f(x) und w = f(y) ergibt die Notwendigkeit von (ii). Offensichtlich ist (ii) zusammen mit (i) aber auch hinreichend. Lemma 3.1 zeigt, dass Konvexität von Funktionen im Grunde eine eindimensionale Eigenschaft ist: f ist konvex genau dann wenn die Richtungsfunktionen t f h (t) = f(x + th) t R so, dass x + th F in beliebige Richtungen h R n und in beliebigen Punkten x in der Variablen t konvex sind. 1. Differenzierbare konvexe Funktionen Wir betrachten zuerst den eindimensionalen Fall. LEMMA 3.2. Sei f : (a, b) R differenzierbar. Genau dann ist f konvex, wenn die Ableitung f (x) auf (a, b) monoton wächst. 33

2 34 3. KONVEXE FUNKTIONEN Beweis. Sei x < y. Wir betrachten z(λ) = x + λ(y x). Dann finden wir f (x) = f(z(λ)) f(x) lim λ 0 λ(y x) f (y) = f(y) f(x) lim x y y x λ[f(y) f(x)] f(y) f(x) lim = λ 0 λ(y x) y x f (x). Die Bedingung ist also notwendig. Wir zeigen nun, dass sie auch hinreicht, und nehmen obda x < y an. Nach dem Zwischenwertsatz existiert dann ein x < ξ < y mit f (x) f f(y) f(x) (ξ) = d.h. f(y) f(x) + f (x)(y y). y x Sei nun z = x + λ(y x). Dann ergibt sich auf die gleiche Weise und daraus f(x) f(z) + f (z)(x z) f(y) f(z) + f (z)(y z) f(x) + λ[f(y) f(x)] = (1 λ)f(x) + λf(y) f(z) + f (z) 0 = f(z). Betrachten wir nun den allgemeinen Fall F R n und eine bei jedem x F differenzierbaren Funktion f : F R. Dann erhalten wir nach der Kettenregel für die Richtung h und die Funktion f h (t) = f(x + th): n f h (0) = f(x)h = Ist f konvex, so zeigt der obige Beweis: j=1 f(x) x j h j. f h (t) f h (0) + f h (0)(t 0) = f h(0) + f h (0)t. Die Wahl h = y x und t = 1 ergibt somit die charakteristische Eigenschaft differenzierbarer konvexer Funktionen f : F R: (11) f(y) f(x) + f(x)(y x) für alle x, y F 1.1. Quadratische Funktionen. Eine Funktion f : R n R der Form f(x) = 1 2 xt Qx c T x = 1 n n n q ij x i x j c j x j. 2 j=1 mit einer symmetrischen Matrix Q = [q ij ] R n n und c R n heisst quadratisch. f(x) hat den Gradienten f(x) = x T Q c T. Nach der Kettenregel ergibt sich für die Richtungsfunktion p h (t) = f(x + th) die Ableitung p h (t) = f(x + th)h = xt Qh c T h + th T Qh. Also ist p h (t) monoton wachsend, wenn ht Qh 0 gilt. j=1 d.h.

3 2. MINIMIERUNG KONVEXER FUNKTIONEN 35 Die Matrix Q heisst positiv semidefinit, wenn für alle h R n gilt: n n h T Qh = q ij h i h j 0. j=1 Also erhalten wir mit dieser Terminologie: PROPOSITION 3.1. Die quadratische Funktion f(x) = 1 2 xt Qx c T ist genau dann konvex, wenn Q positiv semidefinit ist. Trivialerweise ist die Nullmatrix Q = 0 positiv semidefinit. Also finden wir: KOROLLAR 3.1. Jede lineare Funktion ist konvex. BEMERKUNG. Die Konvexität linearer Funktionen kann man natürlich viel einfacher auch direkt beweisen Minimierung konvexer Funktionen Wir betrachten bzgl. der differenzierbaren konvexen Funktion f : F R das Problem min x F f(x). BEMERKUNG. Das Maximierungsproblem ist für allgemeine konvexe Funktionen sehr viel schwerer zu lösen! Wir beschränken uns deshalb auf das Minimierungsproblem Notwendige und hinreichende Optimalitätsbedingungen. Welche Bedingungen muss der Punkt x F erfüllen, damit er als Minimum in frage kommt? Sei x + h F und p h (t) = f(x + th). Dann gilt notwendigerweise (12) n j=1 f(x) h j = f(x)h = p f(x + th) f(x) h (0) = lim 0 x j t 0 + t Diese Bedingung ist aber auch hinreichend dafür, dass x ein Minimum ist. Denn für jedes andere y F gilt dann (mit h = y x) wegen der Konvexität von f: Also finden wir: f(y) f(x) + f(x)h f(x). SATZ 3.1. x F minimiert die differenzierbare konvexe Funktion f : F R genau dann, wenn x die Bedingung (12) erfüllt.

4 36 3. KONVEXE FUNKTIONEN 2.2. Minimierung über Teilräumen. Sei f : F R konvex und differenzierbar und F = {x R n Ax = b} (A R m n, b R m ) ein affiner Teilraum von R n. Dann gilt für jedes x F und h R n : x + h F x h F h ker A. Der Punkt x F minimiert also f genau dann, wenn n f(x) (13) f(x)h = h j = 0 für alle h ker A. x j j=1 Die Bedingung (13) besagt, dass f(x) orthogonal zu ker A bzw. dass f(x) im Zeilenraum von A liegt (d.h. eine Linearkombination der Zeilenvektoren a T i von A ist). Als zu (13) äquivalent erhalten wir folglich die Optimalitätsbedingung: (14) f(x) = y T A = y i a T i für einen geeigneten Vektor y T = [y 1,..., y m ]. Im Fall einer über F zu minimierenden quadratischen konvexen Funktion der Form f(x) = 1 2 xt Qx c T x hat man wegen f(x) = x T Q c T somit nur das (lineare) Gleichungssystem Qx A T y = c Ax = b zu lösen Projektionen auf (affine) Teilräume. Unter der Projektion eines gegebenen Vektors p R n auf den Teilraum F = {x R n Ax = b} versteht man einen Vektor ˆp, der den (euklidischen) Abstand zu F minimiert: p ˆp 2 = min p x F x 2. Wegen p x 2 = (p x) T (p x) = p T p 2p T x + x T x reduziert sich die Berechnung von ˆp auf das konvexe Minimierungsproblem: Also finden wir ˆp als Lösung von min f(x) = 1 2 xt x p T x s.d. Ax = b. x A T y = p Ax = b Einsetzen von x = p + A T y führt auf das Gleichungssystem Ap + AA T y = b bzw. Ay = b mit A = AA T, b = b Ap.

5 2. MINIMIERUNG KONVEXER FUNKTIONEN Das Regressionsproblem. Die Aufgabe besteht darin, die beste Lösung des linearen Gleichungssystems Ax = b zu bestimmen. Das soll heissen, wir suchen ein x R n derart, dass der Abstand b Ax so klein wie möglich ist: min b x R Ax 2 = b T b 2b T Ax + x T A T Ax. n Setzen wir c T = b T A und Q = A T A, dann ist das Problem äquivalent mit min x R n f(x) = 1 2 xt Qx c T x. Q = A T A ist positiv semidefinit und folglich f konvex. Also finden wir: x R n löst das Regressionsproblem genau dann, wenn gilt: Qx = c bzw. A T Ax = A T b. Das Regressionsproblem reduziert sich also auf das Lösen des linearen Gleichungssystems Qx = c. EX. 3.1 (Interpolation). Wir gehen von einer (unbekannten) Funktion f : R R aus, deren Werte y i = f(t i ) wir bei den Stützstellen t 1,..., t n festgestellt haben. Wir suchen eine Linearkombination n ˆf(t) = a j f j (t) j=1 von gegebenen Funktionen f 1 (t),..., f m (t), die f an den Stützstellen bestmöglich interpoliert. Also suchen wir die beste Lösung (in den Unbekannten a 1,..., a n ) des linearen Gleichungssystems a 1 f 1 (t 1 ) + a 2 f 2 (t 1 ) a n f n (t 1 ) = y 1 a 1 f 1 (t 2 ) + a 2 f 2 (t 2 ) a n f n (t 2 ) = y a 1 f 1 (t m ) + a 2 f 2 (t m ) a n f n (t m ) = y m Wählt man beim Interpolationsproblem {f 1 (t), f 2 (t)} = {1, t} so spricht man auch von linearer Regression und nennt ˆf(t) = a 1 + a 2 t die Regressionsgerade. Im Fall {f 1 (t), f 1 (t), f 2 (t)} = {1, t, t 2 } erhält man das quadratische Regressionspolynom ˆf(t) = a 1 + a 2 t + a 3 t 2.

6 38 3. KONVEXE FUNKTIONEN 2.3. Lagrange-Dualität. Ein allgemeines mathematisches Optimierungsproblem hat die Form (15) min x R n f(x) s.d. g i(x) 0 (i I). Dabei ist I ein Indexbereicht und f, g i : R n R Funktionen, die wir als konvex und differenzierbar annehmen. Wir nehmen weiter I = {1,..., n} an. Wir haben also ein konvexes Minimierungsproblem über dem Zulässigkeitsbereich F = {x R n g i (x) 0, i I} vorliegen. Die zugeordnete Lagrange-Funktion ist definiert als L(x, y) = f(x) + y i g i (x) = f(x) + y T g(x). Lagrange fasst das Minimierungsproblem als ein Spiel mit zwei Spielern auf: Der erste will L(x, y) minimieren und darf x wählen. Der zweite will L(x, y) maximieren und darf die sog. Lagrange-Multiplikatoren y i 0 festlegen. Der erste Spieler betrachtet also die Funktion L 1 (x) = max L(x, y) y 0 und sucht ein x R n mit der Eigenschaft (16) L 1 (x) = min L 1(x) = min x R n Der zweite Spieler betrachtet die Funktion und sucht ein y 0 mit der Eigenschaft max y 0 x R L 2 (y) = min L(x, y) x Rn (17) L 2 (y) = max L 2(y) = max y 0 min y 0 x R n L(x, y). n L(x, y) Das primale Problem. Wir beobachten L 1 (x) = max f(x) + m { f(x) wenn x F y i g i (x) = y 0 + wenn x / F. Also wird der erste Spieler sein x in F wählen. Das Problem (16) ist somit äquivalent zum Ausgangsproblem: min x R n L 1(x) = min x F f(x).

7 2. MINIMIERUNG KONVEXER FUNKTIONEN Das duale Problem. Zu einem gegebenen y 0 stellte die Berechunung von L 2 (y) eine konvexes Minimierungsproblem dar. Also gilt die Gleichheit L 2 (y) = L(x, y) genau dann, wenn x R n die Optimalitätsbedingung (18) x L(x, y) = f(x) + y i g i (x) = 0 T. erfüllt. Für den zweiten Spieler stellt sich damit das duale Problem (19) max f(x) + m y i g i (x) s.d. f(x) + y 0 y i g i (x) = 0 T. LINEARE PROGRAMME. Wir betrachten als Beispiel das lineare Programmierproblem max c T x s.d. a T i x b i (i = 1,..., m) als primales Problem. Sei f(x) = c T x und g i (x) = a T i x b i. Fassen wir die Zeilenvektoren a T i in der Matrix A zusammen lautet das duale Problem max y 0 ct x + y T (Ax b) s.d. c T + y T A = 0 T. Einsetzen von y T A = c T in die duale Zielfunktion ergibt somit die folgende Form des dualen Problems: max ( b T y) s.d. A T y = c, y 0. Dieses ist äquivalent zu dem sog. dualen linearen Programm (20) min b T y s.d. A T y = c, y Schwache Dualität. Sei x eine zulässige (aber nicht notwendig optimale) Lösung des primalen y 0 eine zulässige (aber nicht notwendig optimale) Lösung des dualen Lagrangeproblems, d.h. f(x) + y i g i (x) = 0 T. Dann gilt natürlich für die entsprechenden Zielfunktionswerte (21) L 1 (x) = f(x) f(x) + y i g i (x) = L 2 (y). Dies ist als das Phänomen der schwachen Dualität bekannt.

8 40 3. KONVEXE FUNKTIONEN EX Im Fall des linearen Programms max c T x s.d. Ax b mit der zu minimierenden Zielfunktion f(x) = c T x ergibt die schwache Dualität wegen c T = y T A: f(x) = c T x c T x + y T (Ax b) = y T b bzw. c T x b T y Die KKT-Bedingungen. Fassen wir die primalen und dualen Restriktionen aus dem Lagrange-Ansatz zusammen, so suchen wir einen Punkt x R n zu dem ein y 0 existiert mit den Eigenschaften (22) f(x) + y i g i (x) = 0 T y i g i (x) = 0 g i (x) 0 (i = 1,..., m) y 0 Ein solches x heisst Karush-Kuhn-Tucker-Punkt (KKT-Punkt) bzgl. des Optimierungsproblems min f(x) s.d. g i (x) 0 (i = 1,..., m) und (22) sind die sog. KKT-Bedingungen. PROPOSITION 3.2. Sei x ein KKT-Punkt mit zugehörigem y 0. Dann ist x eine Optimallösung des konvexen Minimierungsproblems (15). Beweis. x erfüllt alle Restriktionen g i (x ) 0 und minimiert die konvexe Funktion n L(x, y ) = f(x) + yi g i (x) f(x) (wegen y 0). Aus (y ) T g(x ) = 0 folgt f(x ) = L(x, y ). D.h. f(x ) ist minimal. BEMERKUNG. Die KKT-Bedingungen sind bei allgemeinen (nicht-konvexen) mathematischen Optimierungsproblemen weder hinreichend noch notwendig für Optimalität.

9 2. MINIMIERUNG KONVEXER FUNKTIONEN Lineare Nebenbedingungen. Wir betrachten hier den Fall linearer (eigentlich: affiner) Restriktionsfunktionen g i (x) = a T i x b i, sodass die Nebenbedingungen in kompakter Matrixschreibweise die Form Ax b haben. Der Zulässigkeitsbereich ist das Polyeder F = P (A, b) = {x R n a T i x b i, i = 1,..., m}. Sei x F. Um Optimallösung zu sein, muss gelten f(x)h 0 wenn x + h F, d.h. a T i x + at i h b i (i = 1,..., m). Sei J(x) die Menge der Indizes i mit a T i x = b i. Dann muss also die Implikation A J(x) h = 0 = f(x)h 0 erfüllt sein. Folglich (nach dem Farkas-Lemma) muss f(x) eine nichtnegative Linearkombination der Zeilen von A J(x) sein. Mit anderen Worten: Es existiert ein y 0 so, dass n f(x) = y i a T i. i J(x) OBdA können im Fall i / J(x) die Gleichheit y i = 0 voraussetzen. Dann ergibt sich auch y T (Ax b) = y i (a T i x b i ) = 0. Damit sind notwendigerweise die KKT-Bedingungen unter linearen Restriktionen erfüllt: Wir finden: f(x) + y T A = 0 y T (Ax b) = 0 Ax b y 0 SATZ 3.2. Die KKT-Bedingungen sind hinreichend und notwendig dafür, dass x eine Optimallösung eines konvexen Optimierungsproblems folgender Form ist: Ax b. min x R n s.d Lineare Programme. Man beachte: Ist f(x) nicht linear, dann ergeben die KKT-Bedingungen (selbst bei linearen Restriktionen) ein nichtlineares(!) Ungleichungssystem. Im Fall des linearen Programms max c T x s.d. Ax b

10 42 3. KONVEXE FUNKTIONEN ergeben die KKT-Bedingungen jedoch das lineare Ungleichungssystem A T y = c c T x b T y = 0 Ax b y Starke Dualität. Wir betrachten das primal-duale Paar linearer Programme max c T x s.d. Ax b min b T y s.d. A T y = c, y 0. Die schwache Dualtität besagt für beliebige jeweils zulässige Lösungen x und y: c T x b T y. Im Fall von Gleichheit müssen folglich beide Lösungen optimal sein. Die KKT- Bedingungen garantieren bei einer optimalen Lösung x ein dual zulässiges y mit c T x = b T y. Also schliessen wir SATZ 3.3 (Starke Dualität). Genau dann ist die primal zulässige Lösung x optimal, wenn es eine dual zulässige Lösung y gibt mit der Eigenschaft c T x = b T y. In diesem Fall ist y notwendigerweise dual optimal. 3. Newtons Methode und die Methode innerer Punkte Die Berechnung von Koordinatenvektoren, welche die KKT-Bedingungen erfüllen, erfordert die Berechnung von nichtnegativen Lösungen gewisser (meist) nichtlinearer Gleichungssysteme, die wir in der allgemeinen Form F (x) = 0, x 0 notieren. Dabei ist F : R n R m eine Funktion, die aus m Koordinatenfunktionen f i : R n R zusammengesetzt ist: f 1 (x) F (x) =. R m. f m (x) Die exakte Lösung einer nichtlinearen Gleichung ist im allgemeinen sehr schwer. Oft genügt aber schon eine hinreichend gute approximative Lösung.

11 3. NEWTONS METHODE UND DIE METHODE INNERER PUNKTE Newtons Methode. Zur approximativen Lösung der Gleichung F (x) = 0 geht Newtons Methode iterativ vor. Man beginnt mit einem x 0 R n und berechnet dann iterativ x 1,..., x k,.... Man stoppt im Fall F (x k ) 0. Ansonsten sucht man sich eine lineare Approximation von F bei x k, d.h. eine Matrix A k derart, dass F (x k + h) F (x k ) + A k h (wenn h hinreichend klein), und berechnet eine Lösung h k des linearen(!) Gleichungssystems Nun setzt man x k+1 = x k + h k usw. A k h = F (x k ). BEMERKUNG. Wenn F differenzierbar ist, wählt man gerne die Jacobimatrix, die als Zeilen gerade die m Gradienten f i (x k ) besitzt: [ ] fi (x k ) A k = (x k ) = R m n x j EX Wir suchen eine Lösung der Gleichung f(x) = x 2 2 = 0. Man beginnt mit einem x 0. Ist x k schon berechnet, wählt man z.b. A k = f (x k ) und erhält f (x k )h = f(x k ) d.h. h k = f(x k) f (x k ) = x2 k + 2 2x k und somit x k+1 = x k + h k = x k x k. BEMERKUNG. Im allgemeinen hat man keine Garantie, dass das Newtonverfahren tatsächlich zu einer zulässigen Lösung der Ausgangsgleichung konvergiert Die Methode der inneren Punkte. Wir wollen ein KKT-Punkt für das lineare Programm max c T x s.d. Ax b (A R m n, b R m ) bestimmen. Setzen wir s = b Ax, dann sind die KKT-Bedinungen (23) s i y i = µ (i = 1,..., m) Ax + s = b A T y = c s, y 0 mit µ = 0 gegeben. Wir relaxieren nun, indem wir einen Parameter µ > 0 wählen und das resultierende System mit einem Newtonverfahren zu lösen versuchen. In

12 44 3. KONVEXE FUNKTIONEN diesem Fall müssen wir immer s i > 0 und y i > 0 (d.h. s, y > 0) sicherstellen. Deshalb spricht man von inneren Punkten (des positiven Quadranten von R m ). LEMMA 3.3. Sei (x µ, y µ, s µ ) eine Lösung des Systems (24) zu µ > 0. Dann ist x µ eine zulässige Lösung des linearen Programms. Und für jede andere zulässige Lösung x gilt c T x µ c T x ε (mit ε mµ). Beweis. Aus der schwachen Dualität folgt c T x b T y µ = (Ax µ + s µ ) T y µ = (x µ )A T y µ + s µ y µ = c T x µ + mµ. Im Fall µ 0 sind die x µ also annähernd optimale Lösungen des ursprünglichen linearen Programms. Um (24) mit einem Newtonansatz zu lösen, gehen wir davon aus, dass wir Vektoren y > 0 und x schon zur Verfügung haben mit der Eigenschaft Wir suchen dann x, y, s so, dass (24) c = A T y und s = b Ax > 0. (s i + s i )(y i + y i ) = µ (i = 1,..., m) A(x + x) + (s + s) = b A T (y + y) = c s + s, y + y 0 Nach unseren Annahmen über x und y reduziert sich diese Aufgabe auf das Lösen von s i y i + y i s i + s i y i = µ s i y i (i = 1,..., m) A x + s = 0 (25) A T y = 0 s + s, y + y 0 Das letztere System relaxieren wir nun zu dem linearen Gleichungssystem (26) s i y i + y i s i = µ s i y i (i = 1,..., m) A x + s = 0 A T y = 0 Mit dessen Lösung datiert man auf: x + = x + x, y + = y + y, s + = s und verfährt nun wie zuvor mit x + und y + anstelle von x und y (wobei man in jeder Iteration auch den Parameter µ reduziert), bis man eine hinreichend gute Lösung x des Ausgangsproblems gefunden hat. Man kann zeigen, dass dieses Verfahren funktioniert und (sehr schnell!) gegen eine optimale Lösung des Ausgansproblems konvergiert.