3 Optimierung mehrdimensionaler Funktionen f : R n R

3 Optimierung mehrdimensionaler Funktionen f : R n R 31 Optimierung ohne Nebenbedingungen Optimierung heißt eigentlich: Wir suchen ein x R n so, dass f(x ) f(x) für alle x R n (dann heißt x globales Minimum) f(x ) f(x) für alle x R n (dann heißt x globales Maximum) Die Funktion f heißt auch Zielfunktion Zunächst suchen wir aber nach lokalen Minima bzw Maxima, d h: Suche x R n so, dass f(x ) f(x) für alle x aus einer Umgebung U ε (x ) um x (x nahe bei x ): lokales Minimum f(x ) f(x) für alle x aus einer Umgebung U ε (x ) um x (x nahe bei x ): lokales Maximum Wie finden wir solche Punkte? Beispiel 31 n = 1: f : R R Wir berechnen die Ableitung f (x) und setzen sie gleich null: f (x) = (horizontale Tangente, kein Anstieg/Abstieg im Extremum) Punkte, die diese Forderung erfüllen, sind Kandidaten für Extremwerte Zur genauen Bestimmung berechnen wir f (x ), die zweite Ableitung eines Kandidaten x, d h, das Krümmungsverhalten der Funktion in bzw um x Falls f (x ) >, so ist x ein lokales Minimum, ist f (x ) <, so ist x ein lokales Maximum Erhalten wir aber f (x ) =, so ist es notwendig weiterzurechnen, eventuell befinden wir uns an einer Sattelstelle, das ist jedoch genauer zu untersuchen Sei etwa f(x) = (x 1) (x + 1) Dann ist f (x) = 4x(x 1)(x + 1) und dieser Ausdruck verschwindet in x = 1, x 1 = und x = 1 Alle drei Punkte sind stationäre Punkte, also Kandidaten für Extremalstellen Wir berechnen die zweite Ableitung und erhalten f (x) = 1x 4 Wir stellen fest, dass f ( 1) = f (1) = 8 > und f () = 4 Also sind die Stellen x und x lokale Minima und die Stelle x 1 ist ein lokales Maximum (siehe Abbildung 9) c 4, Cenker, Uchida (4/4) 34

14 1 1 8 6 4 15 1 5 5 1 15 x Abbildung 9: Plot der Funktion (x 1) (x + 1) Was passiert bei n > 1? Eine lokale Betrachtung ist möglich mittels (partieller) Ableitungen (falls die Funktion differenzierbar ist, sonst wird es komplizierter) (Partielle) Ableitungen werden in Gradienten f(x) zusammengefasst Dieser kann auch als Richtungsvektor im R n betrachtet werden Betrachten wir Niveaumengen der Funktion f(x), so stellt sich heraus, dass f(x) t immer senkrecht zu den Niveaumengen steht (egal an welcher Stelle) Außerdem zeigt der Gradient immer in die Richtung, in der die Funktion vom Punkt x aus gesehen am steilsten ansteigt Falls also f(x) =, dann gibt es auch lokal keinen Anstieg und damit eventuell ein lokales Minimum oder Maximum Auf diese Art können wir auch im mehrdimensionalen Raum R n Kandidaten für Extremalstellen finden Zur Bestimmung, ob ein Minimum oder Maximum vorliegt, brauchen wir wie im eindimensionalen Fall höhere Ableitungen Mehrdimensionaler Taylor Ähnlich wie im eindimensionalen Fall, kann auch für mehrdimensionale Funktionen unter bestimmten Bedingungen lokal eine Approximation mit Hilfe von Ableitungen an einer bestimmten Stelle berechnet werden Meist wird nur eine Approximation zweiten Grades benötigt (siehe auch Abschnitt 13 Mittelwertsätze): Theorem 31 Sei f zweimal total differenzierbar bei x Dann gilt: f(x) = f(x ) + f(x )(x x ) + 1 (x x ) t f(x )(x x ) + Rest, c 4, Cenker, Uchida (4/4) 35

wobei Rest x x mit x x Theorem 3 (Notwendige Bedingung für lokale Optima) Sei x lokales Minimum (Maximum) von f und f bei x differenzierbar, dann gilt f(x ) = Beweis [eigentlich nur Beweisskizze für Minimum] Wir wissen, dass f(x ) in Richtung des steilsten Anstiegs zeigt Angenommen, f(x ) Sei x = x λ[ f(x )] t, mit λ >, klein Daraus folgt dann, dass auch x x = λ f(x ) klein ist Also f(x ) f(x) = f(x ) + f(x )(x x ) + Rest (siehe Taylor) = f(x ) λ f(x ) f(x ) t + Rest (da x x = ( λ)[ f(x )] t ) = f(x ) λ f(x ) + Rest, dieser Rest ist aber sehr klein < f(x ) und daher ein Widerspruch! Umgekehrt gilt: Theorem 33 (Hinreichende Bedingung für lokale Optima) Sei f zweimal stetig differenzierbar bei x Ist die erste Ableitung f(x ) = und die zweite Ableitung H = H f (x ) = f(x ) (die Hesse sche Matrix) positiv definit (d h, u t Hu >, für alle u ), dann ist x eine lokale Minimalstelle Ist die erste Ableitung f(x ) = und die zweite Ableitung H = f(x ) (die Hesse sche Matrix) negativ definit (d h, u t Hu <, für alle u ), dann ist x eine lokale Maximalstelle Beweis [wieder nur Beweisskizze für Minimum] f(x) = f(x ) + 1 ut Hu + Rest (klein) f(x ) für x nahe bei x (da u t Hu > ) Bemerkung 31 H positiv definit heißt, dass die quadratische Form u t Hu, die in der Taylorapproximation den quadratischen Term repräsentiert, positiv gekrümmt ist (d h, die Steigung nimmt - im eindimensionalen Fall - von links nach rechts zu), also konvex ist u t Hu > bedeutet, dass alle Eigenwerte der Matrix H = H f (x ) positiv sein müssen, da u t Hu > für alle Vektoren u gelten muss, also gilt speziell für Eigenvektoren v und den zugehörigen Eigenwert λ v t Hv = v t λv = λv t v = λ v >, also muss λ > sein, da die Länge v immer positiv ist Analog gilt für negativ definite Matrizen, dass alle Eigenwerte negativ sein müssen c 4, Cenker, Uchida (4/4) 36

Theorem 34 (Kriterium von Sylvester) Eine symmetrische Matrix ist positiv definit, wenn alle ihre Hauptminoren positiv sind negativ definit, wenn ihre Hauptminoren alternierend negativ und positiv sind, d h, A 1 <, A >, A 3 <, A 4 >,, A k >, A k+1 <, Beispiel 3 Suche die lokalen Minima der Funktion f(x 1, x, x 3 ) = x 3 1+x 1x +x 1 x x 3 +x x +x x 3 Dann ist x 1, 3x 1 + 4x 1 x + x x 3 f( x ) = x 1 + x 1 x 3 + x + x 3 x 3 x 1 x + x x 3 Setzen wir f(x 1, x, x 3 ) =, so erhalten wir: I : 3x 1 + 4x 1 x + x x 3 = II : x 1 + x 1 x 3 + x + x 3 = III : x 1 x + x x 3 = Aus III : x (x 1 + x 3 ) = folgt nun, dass entweder (1) x = oder () x 1 = x 3 Fall(1) x = : Durch Einsetzen folgt aus I, dass 3x 1 = und daher x 1 = Andererseits folgt dann aus II, dass + x 3 = und damit x 3 = ± Wir erhalten nun zwei Kandidaten für Extrema: x (1) = +, x () = Fall() x 1 = x 3 : Durch Einsetzen in I und die einfache Umformung: 1x 3 7x x 3 = x 3 (1x 3 7x ) = erhalten wir die zwei Unterfälle (a) x 3 = bzw (b) x 3 = 7 1 x Fall(a) x 3 = : Durch Einsetzen erhalten wir x 1 = und x = 1, also einen neuen Kandidaten für ein Extremum x (3) = 1 Fall(b) x 3 = 7 1 x : Hier folgt, dass x 1 = 7 1 x, und durch Einsetzen in II, dass 343 144 x + x = Diese quadratische Gleichung hat zwei Lösungen, die annähernd folgende Werte annehmen: 148 und +588 Daraus ergeben sich die beiden letzten Kandidaten (mit ungefähren Koordinaten): x (4) = 1666 148 833, x (5) = 686 588 343 c 4, Cenker, Uchida (4/4) 37

Nun gilt es zu prüfen, ob die obigen Punkte Minima sind Dazu berechnen wir die Hesse sche Matrix der zweiten partiellen Ableitungen: 6x 1 + 4x 4x 1 + x 3 x H(x) = (x) = 4x 1 + x 3 x 1 + x 3 x x 1 + x 3 x Wir setzen nun die Punkte ein, also: H(x (1) ) =, diese Matrix ist nicht positiv definit! H(x () ) =, ist nicht positiv definit! 4 1 H(x (3) ) =, ist positiv definit, also ist x (3) lokale minimal 1 111 5831 148 H(x (4) ) = 5831, ist nicht positiv definit! 148 856 1764 41 588 H(x (5) ) = 41, ist nicht positiv definit! 588 1176 Das einzige lokales Minimum ist daher x (3) = 1 mit f(x (3) ) = f( 1 ) = 1 Achtung: Durch einfache Überlegungen können wir feststellen, dass x (3) zwar lokale, aber λ keine globale Minimalstelle ist: f( ) = λ 3, λ Wir können unser Wissen über Gradienten und den Taylor schen Lehrsatz auch für iterative Näherungsverfahren zur Bestimmung von Extremwerten verwenden: Methode des steilsten Abstiegs (steepest descent) Algorithmus: 1) Wähle ein x 1 = x 11 x 1n ) Für k = 1,, 3, berechne die Richtung d k := ( f(x k )) t Minimiere ϕ(λ) = f(x k + λd k ) durch eindimensionale Optimierung nach λ c 4, Cenker, Uchida (4/4) 38

Abbildung 1: Steepest Descent Wir erhalten einen optimalen Wert λ! Als nächsten Punkt wählen wir x k+1 = x k + λ d k Zunächst gehen wir wie Wasser vor: Wir wählen die Richtung des steilsten Abstiegs Diese Richtung behalten wir so lange bei, bis die Funktion f (diese entspricht der Höhe ) wieder anzusteigen beginnt Dort sehen wir uns erneut nach dem steilsten Abstieg um (Gradient und Höhenschichtlinie sind dort ja immer orthogonal zueinander) Warum können wir es nicht wirklich genauso wie das Wasser machen? Wir müssten unendlich viele Neuberechnungen der Richtung machen (die Schrittweite müsste infinitesimal klein werden) und wir würden dadurch eine unendliche Rechenzeit erreichen Unser Optimierungsverfahren ist hingegen schon recht effizient: Anfangs machen wir große Schritte, erst wenn wir uns dem Optimum nähern, werden die Schritte kleiner Steepest descent verläuft immer in aufeinander folgenden, orthogonalen Richtungen (siehe Abbildung 1) Dadurch sind wir ziemlich eingeschränkt; daher ist das sicher noch nicht das optimale Verfahren Beispiel 33 Sei für folgende Funktion f(x, ( y) ) = x + y x 6y ein Minimum zu bestimmen Wir wählen zunächst x 1 = als Startpunkt ( ) ( ) x Wir berechnen ( f(x)) t = Dann ist d y 6 1 = ( f(x 1 )) t = und wir ( ) ( ) 6 erhalten: ϕ(λ) = f(x 1 +λd 1 ) = f( +λ ) = 4λ 6 +36λ 4λ 36λ = 4λ 4λ Abgeleitet nach λ erhalten wir ϕ (λ) = 8λ 4 Die Funktion ϕ(λ) hat also ein Minimum in λ = 1 c 4, Cenker, Uchida (4/4) 39

( Damit ergibt sich der nächste Punkt als x = x 1 + λ d k = Dieser ist auch schon das Minimum ) + 1 ( 6 ) = ( 1 3 ) Das mehrdimensionale Newtonverfahren Wir approximieren die Funktion f(x) an der Stelle x durch eine quadratische Funktion h(x) = a + b t x + 1 xt Gx Es muss dann gelten: f(x 1 ) = h(x 1 ) = a + b t x 1 + 1 xt 1Gx 1 f(x 1 ) = h(x 1 ) = b t + x t 1G f(x 1 ) = h(x 1 ) = G Wir erhalten daraus: b t = f(x 1 ) x t 1 f(x 1 ) Wenn wir nun das Minimum x von h(x) berechnen, erhalten wir eine Näherung für das Minimum von f Wir setzten wieder h(x) = und erhalten: b t + x t G = und daraus x = x 1 ( f(x 1 )) 1 ( f(x 1 )) t Daraus leitet sich der Algorithmus von Newton und Raphson für den mehrdimensionalen Fall ab Algorithmus (Newton Raphson): 1) Wähle ein x 1 = x 11 x 1n a) Für k = 1,, 3, setze: x k+1 = x k ( (x k )) 1 ( f(x k )) t b) Wiederhole (a) bist die gewünschte Genauigkeit erreicht ist Vorteil: Wir gehen gleich in eine gute Richtung (bei quadratischer Zielfunktion genau in Richtung des Minimums), statt einen Zick-Zack-Kurs zu steuern Nachteile: Die zweiten Ableitungen müssen bekannt sein Die Hesse sche Matrix muss immer positiv-definit sein (entspricht strikter Konvexität) Der Funktionswert kann zwischendurch sogar ansteigen (das ist bei steepest descent nie der Fall), dies könnte man aber durch Kombination mit line search vermeiden Die Inversion der Hesse schen Matrix kann numerisch aufwändig sein Das Newton-Raphson Verfahren kann also nur dann angewendet werden, wenn die zweiten Ableitungen bekannt bzw berechenbar sind c 4, Cenker, Uchida (4/4) 4

Abbildung 11: Newton-Raphson 3 Optimierung mit Nebenbedingungen Zusätzlich zur Zielfunktion f müssen wir noch Restriktionen für die zulässigen Werte betrachten, d h, es sind nur Werte aus einer Teilmenge von R n zur Konkurrenz zugelassen (x S R n ) Diese Restriktionen könnten in unterschiedlicher Weise beschrieben werden Im Folgenden gehen wir davon aus, dass unsere Restriktionen mit Hilfe von Gleichungen und Ungleichungen beschrieben werden können Unser Optimierungsproblem lässt sich also folgendermaßen formulieren: f(x) min! g 1 (x) g m (x) h 1 (x) = h r (x) = Wir haben hier ein Minimierungsproblem mit m Ungleichheits- und r Gleichheitsnebenbedingungen beschrieben, wobei die Funktionen g i (x), i = 1,, m und h j (x), j = 1,, r im Prinzip beliebige Funktionen sein können Beispiel 34 Es sei ein Wartehäuschen mit folgenden Vorgaben zu konstruieren: Die Hinterwand darf höchstens 3m lang sein Die Gesamtlänge der Wände (Hinter- und Seitenwände) soll gleich 4m sein Die überdachte Fläche ist zu maximieren Als mathematische Formulierung erhalten wir dann daraus (x 1 ist die Länge der Hinterwand, x ist die Länge der Seitenwände): f(x 1, x ) = x 1 x max! g(x 1, x ) = x 1 3 h(x 1, x ) = x 1 + x = 4 c 4, Cenker, Uchida (4/4) 41

Ein wichtiger Spezialfall: Nur Gleichheitsnebenbedingungen Theorem 35 Es sei f(x 1,, x n ) : R n R stetig differenzierbar Der zulässige Bereich S sei durch Gleichungen beschrieben S = {x = x 1 x n g 1 (x) =,, g m (x) = }, die Funktionen g i seien stetig differenzierbar und die Matrix der partiellen Ableitungen der g i (m n-matrix) habe den Rang m, m < n Dann ist für ein lokales Extremum von f( x 1 x n ) mit x 1 x n S notwendig, dass f(x) = m i=1 λ i g i (x), mit eindeutig bestimmten Koeffizienten λ i (diese heissen Lagrange sche Multiplikatoren) Wir gehen so vor, dass wir die Lagrange-Funktion L(x 1,, x n, λ 1,, λ m ) = f(x 1,, x n ) m λ i g i (x 1,, x n ) i=1 bilden und sowohl nach x 1,, x n als auch nach λ 1,, λ m ableiten und die Ableitungen gleich setzen Danach müssen wir das entstandene (im Allgemeinen nichtlineare) Gleichungssystem in n + m Variablen zu lösen Beispiel 35 Die Lagrange-Funktion ist dann: f(x 1, x ) = x 1 x max! g(x 1, x ) = x 1 + x 1 = L(x 1, x, λ) = x 1 x λ(x 1 + x 1) Wir leiten nach allen Variablen und λ ab und setzen gleich : I : II : III : f x 1 = x λx 1 = f x = x 1 λx =, f = (x λ 1 + x 1) = Falls x 1 =, dann folgt aus I, dass auch x = ; das steht aber im Widerspruch zu III Wir schließen daraus, dass x 1 Ähnliches gilt auch für x, es muss also auch x sein c 4, Cenker, Uchida (4/4) 4

Falls aber nun x 1, dann erhalten wir durch Umformung aus I, dass λ = x x 1 Aus II folgt dann (wegen x ), dass λ = x 1 x Daraus schließen wir, dass x 1 = ±x Eingesetzt in III, erhalten wir dann x 1 = ± Also erhalten wir schließlich 4 Kandidaten für lokale Extremwerte: ( ) ( ) ( x (1) =, x () =, x (3) ) ( =, x (4) ) = mit Funktionswerten 1 bzw 1 Wenn wir nicht nur Gleichheits- sondern auch Ungleichheitsnebenbedingungen haben, dann gibt es ein ähnliches, aber etwas komplizierteres Verfahren das Karush-Kuhn- Tucker-Verfahren mit dem auch solche komplexeren Fälle behandelbar sind c 4, Cenker, Uchida (4/4) 43