Studientag zur Algorithmischen Mathematik Aufgaben zur nicht-linearen Optimierung Teil II Winfried Hochstättler Diskrete Mathematik und Optimierung FernUniversität in Hagen 1. Juli 2012
Aufgabe 5 Bestimmen Sie alle Extrema von f (x, y, z) = x + y z über der Menge K := {(x, y, z) R 3 x 2 + 2y 2 = 1 und 4x = 3z}.
Aufgabe 5
Aufgabe 6 Lösen Sie das folgende Maximierungsproblem: max x 3 + y 3 unter (x 1) 2 y + 1 0 y 3.
Aufgabe 6
Aufgabe 6
Aufgabe 7 Untersuchen Sie, welche der folgenden Funktionen konvex über dem angegebenen Definitionsbereich sind. In c) seien f 1 : R R und f 2 : R R konvexe Funktionen. 1. f : R 3 R mit f (x, y, z) := x 2 + 3y 2 + 9z 2 2xy + 6yz + 2xz. 2. f : R n R mit f (x) := x. 3. f : R 2 R mit f (x, y) = xf 1 (x) + yf 2 (y).
Aufgabe 8 Führen Sie drei Iterationen der Fibonaccisuche zur Bestimmung des Minimums der Funktion f : R R mit auf dem Intervall [0, 13] durch. f (x) := x 2 12x
Aufgabe 9 Führen Sie für das folgende Optimierungsproblem min ( ) x ( 1 2 ) ( x ( y 2 5 y) + 2 ( x 1) y). je zwei Schritte der folgenden Verfahren durch, jeweils startend bei (0, 0): 1. Verfahren des steilsten Abstiegs, 2. Koordinatensuche, 3. Newton-Verfahren.
Aufgabe 9 Führen Sie für das folgende Optimierungsproblem min ( ) x ( 1 2 ) ( x ( y 2 5 y) + 2 ( x 1) y). je zwei Schritte der folgenden Verfahren durch, jeweils startend bei (0, 0): 1. Verfahren des steilsten Abstiegs, 2. Koordinatensuche, 3. Newton-Verfahren. Der Gradient ist f (x, y) = (x, y) ( 2 4 4 10 ) + (2, 1). Wir starten jeweils im Punkt (x 0, y 0 ) = (0, 0).
Aufgabe 9 steilster Abstieg Die Abstiegsrichtung ist jeweils f (x i, y i ).
Aufgabe 9 steilster Abstieg Die Abstiegsrichtung ist jeweils f (x i, y i ). f (0, 0) = (2, 1). Ermittle Schrittweite durch Minimieren von f ((x, y) + s( 2, 1)) = s 2 (2, 1) ( 1 2 2 5 ) ( 2 1) s(2, 1) ( 2 1) = 17s 2 5s.
Aufgabe 9 steilster Abstieg Die Abstiegsrichtung ist jeweils f (x i, y i ). f (0, 0) = (2, 1). Ermittle Schrittweite durch Minimieren von f ((x, y) + s( 2, 1)) = s 2 (2, 1) ( ) ( 1 2 2 ( 2 5 1) s(2, 1) 2 1) = 17s 2 5s. Diese Funktion wird minimal für s = 5 34.
Aufgabe 9 steilster Abstieg Die Abstiegsrichtung ist jeweils f (x i, y i ). f (0, 0) = (2, 1). Ermittle Schrittweite durch Minimieren von f ((x, y) + s( 2, 1)) = s 2 (2, 1) ( ) ( 1 2 2 ( 2 5 1) s(2, 1) 2 1) = 17s 2 5s. Diese Funktion wird minimal für s = 5 34. (x 1, y 1 ) = (0, 0) + s( 2, 1) = ( 5 17, 5 34).
Aufgabe 9 steilster Abstieg Die Abstiegsrichtung ist jeweils f (x i, y i ). f (0, 0) = (2, 1). Ermittle Schrittweite durch Minimieren von f ((x, y) + s( 2, 1)) = s 2 (2, 1) ( ) ( 1 2 2 ( 2 5 1) s(2, 1) 2 1) = 17s 2 5s. Diese Funktion wird minimal für s = 5 34. (x 1, y 1 ) = (0, 0) + s( 2, 1) = ( 5 17, 5 34). f ( 5 17, 5 34 ) = ( 5 17, 5 34 ) ( ) 2 4 4 10 (2, 1) = ( 14 17, 28 17 ) = 14 17 ( 1, 2).
Aufgabe 9 steilster Abstieg Die Abstiegsrichtung ist jeweils f (x i, y i ). f (0, 0) = (2, 1). Ermittle Schrittweite durch Minimieren von f ((x, y) + s( 2, 1)) = s 2 (2, 1) ( ) ( 1 2 2 ( 2 5 1) s(2, 1) 2 1) = 17s 2 5s. Diese Funktion wird minimal für s = 5 34. (x 1, y 1 ) = (0, 0) + s( 2, 1) = ( 5 17, 5 34). f ( 5 17, 5 34 ) = ( 5 17, 5 34 ) ( ) 2 4 4 10 (2, 1) = ( 14 17, 28 17 ) = 14 17 ( 1, 2). Minimiere die Funktion f entlang des Strahls (x 1, y 1 + s( 1, 2): ( 5 17 s, 5 34 + 2s) ( ) ( 2 4 5 17 s ) ( 5 4 10 + (2, 1) 5 17 s ) 34 +2s = 5 34 +2s 13s 2 70 17 s 25 68.
Aufgabe 9 steilster Abstieg Die Abstiegsrichtung ist jeweils f (x i, y i ). f (0, 0) = (2, 1). Ermittle Schrittweite durch Minimieren von f ((x, y) + s( 2, 1)) = s 2 (2, 1) ( ) ( 1 2 2 ( 2 5 1) s(2, 1) 2 1) = 17s 2 5s. Diese Funktion wird minimal für s = 5 34. (x 1, y 1 ) = (0, 0) + s( 2, 1) = ( 5 17, 5 34). f ( 5 17, 5 34 ) = ( 5 17, 5 34 ) ( ) 2 4 4 10 (2, 1) = ( 14 17, 28 17 ) = 14 17 ( 1, 2). Minimiere die Funktion f entlang des Strahls (x 1, y 1 + s( 1, 2): ( 5 17 s, 5 34 + 2s) ( ) ( 2 4 5 17 s ) ( 5 4 10 + (2, 1) 5 17 s ) 34 +2s = 5 34 +2s 13s 2 70 17 s 25 68. Diese quadratische Funktion ist minimal für s = 35 221. Also ist der dritte (und in diesem Aufgabenteil letzte) Iterationspunkt ( 5 17 35 221, 5 34 + ) 70 221 = 1 442 (200, 75) (0.4525, 0.1697).
Aufgabe 9 Koordinatensuche Wir starten wieder in (0, 0) und nehmen als Abstiegsrichtung (1, 0), nämlich die x-achse.
Aufgabe 9 Koordinatensuche Wir starten wieder in (0, 0) und nehmen als Abstiegsrichtung (1, 0), nämlich die x-achse. Wir müssen also die Funktion f ((0, 0) + s(1, 0)) = s 2 + 2s minimieren. Durch Nullsetzen der Ableitung erhalten wir als optimale Schrittweite s = 1.
Aufgabe 9 Koordinatensuche Wir starten wieder in (0, 0) und nehmen als Abstiegsrichtung (1, 0), nämlich die x-achse. Wir müssen also die Funktion f ((0, 0) + s(1, 0)) = s 2 + 2s minimieren. Durch Nullsetzen der Ableitung erhalten wir als optimale Schrittweite s = 1. Der zweite Iterationspunkt ist also (x 1, y 1 ) = ( 1, 0).
Aufgabe 9 Koordinatensuche Wir starten wieder in (0, 0) und nehmen als Abstiegsrichtung (1, 0), nämlich die x-achse. Wir müssen also die Funktion f ((0, 0) + s(1, 0)) = s 2 + 2s minimieren. Durch Nullsetzen der Ableitung erhalten wir als optimale Schrittweite s = 1. Der zweite Iterationspunkt ist also (x 1, y 1 ) = ( 1, 0). Nun suchen wir in y-richtung, minimieren also die Funktion f (( 1, 0) + s(0, 1)) = 5s 2 3s 1.
Aufgabe 9 Koordinatensuche Wir starten wieder in (0, 0) und nehmen als Abstiegsrichtung (1, 0), nämlich die x-achse. Wir müssen also die Funktion f ((0, 0) + s(1, 0)) = s 2 + 2s minimieren. Durch Nullsetzen der Ableitung erhalten wir als optimale Schrittweite s = 1. Der zweite Iterationspunkt ist also (x 1, y 1 ) = ( 1, 0). Nun suchen wir in y-richtung, minimieren also die Funktion f (( 1, 0) + s(0, 1)) = 5s 2 3s 1. Das Minimum wird in s = 0.3 angenommen, also ist der letzte Iterationspunkt ( 1, 0.3).
Aufgabe 9 Newtonverfahren Die Hessematrix ist 2 f (x, y) = ( 2 4 4 10 ). Für den Newton-Schritt (x i+1, y i+1 ) = (x i, y i ) ( 2 f (x i, y i ) ) 1 f (xi, y i ) müssen wir diese invertieren. Die Inverse ist 1 4 Der erste Newton-Schritt lautet also (x 1, y 1 ) = (0, 0) 1 2 ( 5 2 2 1 ( 10 4 4 2 ) ( ) ( ) 2 4 = 3 1 2 ) ( = 1 5 2 ) 2 2 1. Da der Gradient an dieser Stelle verschwindet, haben wir den Minimalpunkt ( 4, 3 2 ) gefunden und brauchen keine weitere Iteration.
Aufgabe 9 Newtonverfahren Die Hessematrix ist 2 f (x, y) = ( 2 4 4 10 ). Für den Newton-Schritt (x i+1, y i+1 ) = (x i, y i ) ( 2 f (x i, y i ) ) 1 f (xi, y i ) müssen wir diese invertieren. Die Inverse ist 1 4 Der erste Newton-Schritt lautet also (x 1, y 1 ) = (0, 0) 1 2 ( 5 2 2 1 ( 10 4 4 2 ) ( ) ( ) 2 4 = 3 1 2 ) ( = 1 5 2 ) 2 2 1. Da der Gradient an dieser Stelle verschwindet, haben wir den Minimalpunkt ( 4, 3 2 ) gefunden und brauchen keine weitere Iteration. Der Newtonalgorithmus löst die quadratische Approximation exakt. Bei einer quadratischen Funktion findet er also stets in einem Schritt das Minimum.
Aufgabe