9 Optimierung mehrdimensionaler reeller Funktionen f : R n R

Transkript

1 9 Optimierung mehrdimensionaler reeller Funktionen f : R n R 91 Optimierung ohne Nebenbedingungen Ein Optimum zu suchen heißt, den größten oder den kleinsten Wert zu suchen Wir suchen also ein x R n, sodass f(x ) f(x) für alle x R n (dann heißt x globales Minimum) f(x ) f(x) für alle x R n (dann heißt x globales Maximum) Die Funktion f heißt auch Zielfunktion Die Formulierung bzw das Finden einer geeigneten Zielfunktion ist meist der schwierigste Teil einer Optimierungsaufgabe Zunächst suchen wir aber nach lokalen Minima bzw Maxima: Suche x R n so, dass f(x ) f(x) für alle x aus einer Umgebung U ε (x ) um x (x nahe bei x ): x ist dann ein lokales Minimum f(x ) f(x) für alle x aus einer Umgebung U ε (x ) um x (x nahe bei x ): x ist dann ein lokales Maximum Wie finden wir solche Punkte? Beispiel 91 n = 1: f : R R Wir berechnen die Ableitung f (x) und setzen sie gleich : f (x) = (horizontale Tangente, kein Anstieg/Abstieg im Extremum) Punkte, die diese Forderung erfüllen, sind Kandidaten für Extremwerte Zur genauen Bestimmung berechnen wir f (x ), die zweite Ableitung eines Kandidaten x, d h, das Krümmungsverhalten der Funktion in bzw um x Falls f (x ) >, so ist x ein lokales Minimum, ist f (x ) <, so ist x ein lokales Maximum Erhalten wir aber f (x ) =, so ist es notwendig weiterzurechnen, eventuell befinden wir uns an einer Sattelstelle, das ist jedoch genauer zu untersuchen GMA Cenker, Uchida (März 1) 95

2 x Abbildung 8: Plot der Funktion (x 1) (x + 1) Sei etwa f(x) = (x 1) (x + 1) Dann ist f (x) = 4x(x 1)(x + 1) und dieser Ausdruck verschwindet in x = 1, x 1 = und x = 1 Alle drei Punkte sind stationäre Punkte, also Kandidaten für Extremalstellen Wir berechnen die zweite Ableitung und erhalten f (x) = 1x 4 Wir stellen fest, dass f ( 1) = f (1) = 8 > und f () = 4 Also sind die Stellen x und x lokale Minima und die Stelle x 1 ist ein lokales Maximum (siehe Abbildung 8) Was passiert bei n > 1? Eine lokale Betrachtung ist möglich mittels (partieller) Ableitungen (falls die Funktion differenzierbar ist, sonst wird es komplizierter) (Partielle) Ableitungen werden in Gradienten f(x) zusammengefasst Dieser kann auch als Richtungsvektor im R n betrachtet werden Betrachten wir Niveaumengen der Funktion f(x), so stellt sich heraus, dass f(x) immer senkrecht zu den Niveaumengen steht (egal an welcher Stelle) Außerdem zeigt der Gradient immer in die Richtung, in der die Funktion vom Punkt x aus gesehen am steilsten ansteigt Falls also f(x) =, dann gibt es auch lokal keinen An/Abstieg und damit eventuell ein lokales Minimum oder Maximum Auf diese Art können wir auch im mehrdimensionalen Raum R n Kandidaten für Extremalstellen finden Zur Bestimmung, ob ein Minimum oder Maximum vorliegt, brauchen wir wie im eindimensionalen Fall höhere Ableitungen Mehrdimensionaler Taylor Ähnlich wie im eindimensionalen Fall, kann auch für mehrdimensionale Funktionen unter GMA Cenker, Uchida (März 1) 96

3 bestimmten Bedingungen lokal eine Approximation mit Hilfe von Ableitungen an einer bestimmten Stelle berechnet werden Meist wird nur eine Approximation zweiten Grades benötigt (siehe auch Abschnitt 13 Mittelwertsätze): Theorem 91 Sei f zweimal total differenzierbar bei x Dann gilt: wobei f(x) = f(x ) + f(x )(x x ) + 1 (x x ) t f(x )(x x ) + Rest, Rest x x mit x x Theorem 9 (Notwendige Bedingung für lokale Optima) Sei x lokales Minimum (Maximum) von f und f bei x differenzierbar, dann gilt f(x ) = Beweis [eigentlich nur Beweisskizze für Minimum] Wir wissen, dass f(x ) in Richtung des steilsten Anstiegs zeigt Angenommen, f(x ) Sei x = x λ[ f(x )] t, mit λ >, klein Daraus folgt dann, dass auch x x = λ f(x ) klein ist Also f(x ) f(x) = f(x ) + f(x )(x x ) + Rest (siehe Taylor) = f(x ) λ f(x ) f(x ) t + Rest (da x x = ( λ)[ f(x )] t ) = f(x ) λ f(x ) + Rest, dieser Rest ist aber sehr klein < f(x ) und daher ein Widerspruch! Umgekehrt gilt: Theorem 93 (Hinreichende Bedingung für lokale Optima) Sei f zweimal stetig differenzierbar bei x Ist die erste Ableitung f(x ) = und die zweite Ableitung H = H f (x ) = f(x ) (die Hesse sche Matrix) positiv definit (d h, u t Hu >, für alle u ), dann ist x eine lokale Minimalstelle Ist die erste Ableitung f(x ) = und die zweite Ableitung H = f(x ) (die Hesse sche Matrix) negativ definit (d h, u t Hu <, für alle u ), dann ist x eine lokale Maximalstelle Beweis [wieder nur Beweisskizze für Minimum] f(x) = f(x ) + 1 ut Hu + Rest (klein) f(x ) für x nahe bei x (da u t Hu > ) Bemerkung 91 H positiv definit heißt, dass die quadratische Form u t Hu, die in der Taylorapproximation den quadratischen Term repräsentiert, positiv gekrümmt ist (d h, die Steigung nimmt GMA Cenker, Uchida (März 1) 97

4 im eindimensionalen Fall von links nach rechts zu), also konvex ist u t Hu > bedeutet, dass alle Eigenwerte der Matrix H = H f (x ) positiv sein müssen, da u t Hu > für alle Vektoren u gelten muss, also gilt speziell für Eigenvektoren v und den zugehörigen Eigenwert λ v t Hv = v t λv = λv t v = λ v >, also muss λ > sein, da die Länge v immer positiv ist Analog gilt für negativ definite Matrizen, dass alle Eigenwerte negativ sein müssen Definition 91 Eine n n-matrix A = (a ij ) n i,j=1 hat n Hauptminoren A k, k = 1,, n Ein Hauptminor A k ist definiert als A k = (a ij ) k i,j=1 Theorem 94 (Kriterium von Sylvester) Eine symmetrische Matrix ist positiv definit, wenn alle ihre Hauptminoren positiv sind negativ definit, wenn ihre Hauptminoren alternierend negativ und positiv sind, d h, A 1 <, A >, A 3 <, A 4 >,, A k >, A k+1 <, Beispiel 9 Suche die lokalen Minima der Funktion f(x 1, x, x 3 ) = x 3 1+x 1x +x 1 x x 3 +x x +x x 3 Dann ist x 1, 3x 1 + 4x 1 x + x x 3 f( x ) = x 1 + x 1 x 3 + x + x 3 x 3 x 1 x + x x 3 Setzen wir f(x 1, x, x 3 ) =, so erhalten wir: I : 3x 1 + 4x 1 x + x x 3 = II : x 1 + x 1 x 3 + x + x 3 = III : x 1 x + x x 3 = Aus III : x (x 1 + x 3 ) = folgt nun, dass entweder (1) x = oder () x 1 = x 3 Fall(1) x = : Durch Einsetzen folgt aus I, dass 3x 1 = und daher x 1 = Andererseits folgt dann aus II, dass + x 3 = und damit x 3 = ± Wir erhalten nun zwei Kandidaten für Extrema: x (1) = +, x () = Fall() x 1 = x 3 : Durch Einsetzen in I und die einfache Umformung: 1x 3 7x x 3 = x 3 (1x 3 7x ) = erhalten wir die zwei Unterfälle (a) x 3 = bzw (b) x 3 = 7 1 x GMA Cenker, Uchida (März 1) 98

5 Fall(a) x 3 = : Durch Einsetzen erhalten wir x 1 = und x = 1, also einen neuen Kandidaten für ein Extremum x (3) = 1 Fall(b) x 3 = 7 1 x : Hier folgt, dass x 1 = 7 1 x, und durch Einsetzen in II, dass x + x = Diese quadratische Gleichung hat zwei Lösungen, die annähernd folgende Werte annehmen: 148 und +588 Daraus ergeben sich die beiden letzten Kandidaten (mit ungefähren Koordinaten): x (4) = , x (5) = Nun gilt es zu prüfen, ob die obigen Punkte Minima sind Dazu berechnen wir die Hesse sche Matrix der zweiten partiellen Ableitungen: 6x 1 + 4x 4x 1 + x 3 x H(x) = (x) = 4x 1 + x 3 x 1 + x 3 x x 1 + x 3 x Wir setzen nun die Punkte ein, also: H(x (1) ) =, diese Matrix ist indefinit! (,-, ) H(x () ) =, ist indefinit! (,-, ) 4 1 H(x (3) ) =, ist positiv definit (+,+,+), also ist x (3) lokal minimal H(x (4) ) = 5831, ist indefinit! (+,-, ) H(x (5) ) = 41, ist indefinit! (-,+,+) Das einzige lokale Minimum ist daher x (3) = 1 mit f(x (3) ) = f( 1 ) = 1 Achtung: Durch einfache Überlegungen können wir feststellen, dass x (3) zwar lokale, aber λ keine globale Minimalstelle ist: f( ) = λ 3, λ GMA Cenker, Uchida (März 1) 99

6 9 Einfache numerische Optimierungsverfahren Wir können unser Wissen über Gradienten und den Taylor schen Lehrsatz auch für iterative Näherungsverfahren zur Bestimmung von Extremwerten verwenden: Methode des steilsten Abstiegs (steepest descent) Algorithmus: (1) Wähle ein x 1 = x 11 x 1n als Startpunkt () Für k = 1,, 3, berechne die Richtung d k := ( f(x k )) t Minimiere ϕ(λ) = f(x k + λd k ) durch eindimensionale Optimierung nach λ Wir erhalten einen optimalen Wert λ! Als nächsten Punkt wählen wir x k+1 = x k + λ d k Zunächst gehen wir wie Wasser vor: Wir wählen die Richtung des steilsten Abstiegs Diese Richtung behalten wir so lange bei, bis die Funktion f (diese entspricht der Höhe ) wieder anzusteigen beginnt Dort sehen wir uns erneut nach dem steilsten Abstieg um (Gradient und Höhenschichtlinie sind dort ja immer orthogonal zueinander) Warum können wir es nicht wirklich genauso wie das Wasser machen? Wir müssten unendlich viele Neuberechnungen der Richtung machen (die Schrittweite müsste infinitesimal klein werden) und wir würden dadurch eine unendliche Rechenzeit erreichen Unser Optimierungsverfahren ist hingegen schon recht effizient: Anfangs machen wir große Schritte, erst wenn wir uns dem Optimum nähern, werden die Schritte kleiner Das Steepest descent-verfahren verläuft immer in aufeinander folgenden, orthogonalen Richtungen (siehe Abbildung 9) Beispiel 93 Sei für folgende Funktion f(x, ( y) ) = x + y x 6y ein Minimum zu bestimmen Wir wählen zunächst x 1 = als Startpunkt ( ) ( ) x Wir berechnen ( f(x)) t = Dann ist d y 6 1 = ( f(x 1 )) t = und wir ( ) ( ) 6 erhalten: ϕ(λ) = f(x 1 +λd 1 ) = f( +λ ) = 4λ 6 +36λ 4λ 36λ = 4λ 4λ Abgeleitet nach λ erhalten wir ϕ (λ) = 8λ 4 Die Funktion ϕ(λ) hat also ein Minimum in λ = 1 ( ) ( ) ( ) 1 Damit ergibt sich der nächste Punkt als x = x 1 + λ d k = + 1 = 6 3 Dieser ist auch schon das Minimum GMA Cenker, Uchida (März 1) 1

7 Abbildung 9: Steepest Descent Das mehrdimensionale Newtonverfahren Wir approximieren die Funktion f(x) an der Stelle x durch eine quadratische Funktion h(x) = a + b t x + 1 xt Gx Es muss dann gelten: f(x 1 ) = h(x 1 ) = a + b t x xt 1Gx 1 f(x 1 ) = h(x 1 ) = b t + x t 1G f(x 1 ) = h(x 1 ) = G Wir erhalten daraus: b t = f(x 1 ) x t 1 f(x 1 ) Wenn wir nun das Minimum x von h(x) berechnen, erhalten wir eine Näherung für das Minimum von f Wir setzten wieder h(x) = und erhalten: b t + x t G = und daraus x = x 1 ( f(x 1 )) 1 ( f(x 1 )) t Daraus leitet sich der Algorithmus von Newton und Raphson für den mehrdimensionalen Fall ab Algorithmus nach Newton Raphson: (1) Wähle ein x 1 = x 11 x 1n als Startpunkt () Wiederhole x k+1 = x k ( (x k )) 1 ( f(x k )) t bis die gewünschte Genauigkeit erreicht ist GMA Cenker, Uchida (März 1) 11

8 Abbildung 1: Newton-Raphson Vorteil: Wir gehen gleich in eine gute Richtung (bei quadratischer Zielfunktion genau in Richtung des Minimums), statt einen Zick-Zack-Kurs zu steuern Nachteile: Die zweiten Ableitungen müssen bekannt sein Die Hesse sche Matrix muss immer positiv-definit sein (entspricht strikter Konvexität) Der Funktionswert kann zwischendurch sogar ansteigen (das ist bei steepest descent nie der Fall), dies können wir aber durch Kombination mit dem line search Verfahren vermeiden Die Inversion der Hesse schen Matrix kann numerisch aufwändig sein Das Newton-Raphson Verfahren kann also nur dann angewendet werden, wenn die zweiten Ableitungen bekannt bzw berechenbar sind 93 Optimierung mit Nebenbedingungen Zusätzlich zur Zielfunktion f müssen wir noch Restriktionen für die zulässigen Werte betrachten, d h, es sind nur Werte aus einer Teilmenge des R n zur Konkurrenz zugelassen (x S R n ) Diese Restriktionen könnten in unterschiedlicher Weise beschrieben werden Im Folgenden gehen wir davon aus, dass unsere Restriktionen mit Hilfe von Gleichungen und Ungleichungen beschrieben werden können GMA Cenker, Uchida (März 1) 1

9 Unser Optimierungsproblem lässt sich also folgendermaßen formulieren: f(x) min! g 1 (x) g m (x) h 1 (x) = h r (x) = Wir haben hier ein Minimierungsproblem mit m Ungleichheits- und r Gleichheitsnebenbedingungen beschrieben, wobei die Funktionen g i (x), i = 1,, m und h j (x), j = 1,, r im Prinzip beliebige Funktionen sein können Beispiel 94 Es sei ein Wartehäuschen mit folgenden Vorgaben zu konstruieren: Die Rückwand darf höchstens 3m lang sein Die Gesamtlänge der Wände (Rück- und Seitenwände) soll gleich 4m sein Die überdachte Fläche ist zu maximieren Als mathematische Formulierung erhalten wir dann daraus (x 1 ist die Länge der Hinterwand, x ist die Länge der Seitenwände): f(x 1, x ) = x 1 x max! g(x 1, x ) = x 1 3 h(x 1, x ) = x 1 + x = 4 Ein wichtiger Spezialfall: Nur Gleichheitsnebenbedingungen Theorem 95 Es sei f(x 1,, x n ) : R n R stetig differenzierbar Der zulässige Bereich S sei durch Gleichungen beschrieben S = {x = x 1 x n g 1 (x) =,, g m (x) = }, die Funktionen g i seien stetig differenzierbar und die Matrix der partiellen Ableitungen der g i (m n-matrix) habe den Rang m, m < n Dann ist für ein lokales Extremum von f( x 1 x n ) mit x 1 x n S notwendig, dass f(x) = m i=1 λ i g i (x), mit eindeutig bestimmten Koeffizienten λ i (diese heissen Lagrange sche Multiplikatoren) GMA Cenker, Uchida (März 1) 13

10 Wir gehen so vor, dass wir die Lagrange-Funktion L(x 1,, x n, λ 1,, λ m ) = f(x 1,, x n ) m λ i g i (x 1,, x n ) i=1 bilden und sowohl nach x 1,, x n als auch nach λ 1,, λ m ableiten und die Ableitungen gleich setzen Danach müssen wir das entstandene (im Allgemeinen nichtlineare) Gleichungssystem in n + m Variablen zu lösen Beispiel 95 Die Lagrange-Funktion ist dann: f(x 1, x ) = x 1 x max! g(x 1, x ) = x 1 + x 1 = L(x 1, x, λ) = x 1 x λ(x 1 + x 1) Wir leiten nach allen Variablen und λ ab und setzen gleich : I : II : III : f x 1 = x λx 1 = f x = x 1 λx = f λ = (x 1 + x 1) = Falls x 1 =, dann folgt aus I, dass auch x = ; das steht aber im Widerspruch zu III Wir schließen daraus, dass x 1 Ähnliches gilt auch für x, es muss also auch x sein Falls aber nun x 1, dann erhalten wir durch Umformung aus I, dass λ = x x 1 Aus II folgt dann (wegen x ), dass λ = x 1 x Daraus schließen wir, dass x 1 = ±x Eingesetzt in III, erhalten wir dann x 1 = ± = ± 1 Also erhalten wir schließlich 4 Kandidaten für lokale Extremwerte: ( ) ( ) ( x (1) =, x () =, x (3) ) ( =, x (4) ) = mit Funktionswerten 1 bzw 1 Wenn wir nicht nur Gleichheits- sondern auch Ungleichheitsnebenbedingungen haben, dann gibt es ein ähnliches, aber etwas komplizierteres Verfahren das Karush-Kuhn- Tucker-Verfahren mit dem auch solche komplexeren Fälle behandelbar sind GMA Cenker, Uchida (März 1) 14