Studientag zur Algorithmischen Mathematik

Transkript

1 Studientag zur Algorithmischen Mathematik Aufgaben zur nicht-linearen Optimierung Teil II Winfried Hochstättler Diskrete Mathematik und Optimierung FernUniversität in Hagen 1. Juli 2012

2 Aufgabe 5 Bestimmen Sie alle Extrema von f (x, y, z) = x + y z über der Menge K := {(x, y, z) R 3 x 2 + 2y 2 = 1 und 4x = 3z}.

3 Aufgabe 5

4 Aufgabe 6 Lösen Sie das folgende Maximierungsproblem: max x 3 + y 3 unter (x 1) 2 y y 3.

5 Aufgabe 6

6 Aufgabe 6

7 Aufgabe 7 Untersuchen Sie, welche der folgenden Funktionen konvex über dem angegebenen Definitionsbereich sind. In c) seien f 1 : R R und f 2 : R R konvexe Funktionen. 1. f : R 3 R mit f (x, y, z) := x 2 + 3y 2 + 9z 2 2xy + 6yz + 2xz. 2. f : R n R mit f (x) := x. 3. f : R 2 R mit f (x, y) = xf 1 (x) + yf 2 (y).

8 Aufgabe 8 Führen Sie drei Iterationen der Fibonaccisuche zur Bestimmung des Minimums der Funktion f : R R mit auf dem Intervall [0, 13] durch. f (x) := x 2 12x

9 Aufgabe 9 Führen Sie für das folgende Optimierungsproblem min ( ) x ( 1 2 ) ( x ( y 2 5 y) + 2 ( x 1) y). je zwei Schritte der folgenden Verfahren durch, jeweils startend bei (0, 0): 1. Verfahren des steilsten Abstiegs, 2. Koordinatensuche, 3. Newton-Verfahren.

10 Aufgabe 9 Führen Sie für das folgende Optimierungsproblem min ( ) x ( 1 2 ) ( x ( y 2 5 y) + 2 ( x 1) y). je zwei Schritte der folgenden Verfahren durch, jeweils startend bei (0, 0): 1. Verfahren des steilsten Abstiegs, 2. Koordinatensuche, 3. Newton-Verfahren. Der Gradient ist f (x, y) = (x, y) ( ) + (2, 1). Wir starten jeweils im Punkt (x 0, y 0 ) = (0, 0).

11 Aufgabe 9 steilster Abstieg Die Abstiegsrichtung ist jeweils f (x i, y i ).

12 Aufgabe 9 steilster Abstieg Die Abstiegsrichtung ist jeweils f (x i, y i ). f (0, 0) = (2, 1). Ermittle Schrittweite durch Minimieren von f ((x, y) + s( 2, 1)) = s 2 (2, 1) ( ) ( 2 1) s(2, 1) ( 2 1) = 17s 2 5s.

13 Aufgabe 9 steilster Abstieg Die Abstiegsrichtung ist jeweils f (x i, y i ). f (0, 0) = (2, 1). Ermittle Schrittweite durch Minimieren von f ((x, y) + s( 2, 1)) = s 2 (2, 1) ( ) ( ( 2 5 1) s(2, 1) 2 1) = 17s 2 5s. Diese Funktion wird minimal für s = 5 34.

14 Aufgabe 9 steilster Abstieg Die Abstiegsrichtung ist jeweils f (x i, y i ). f (0, 0) = (2, 1). Ermittle Schrittweite durch Minimieren von f ((x, y) + s( 2, 1)) = s 2 (2, 1) ( ) ( ( 2 5 1) s(2, 1) 2 1) = 17s 2 5s. Diese Funktion wird minimal für s = (x 1, y 1 ) = (0, 0) + s( 2, 1) = ( 5 17, 5 34).

15 Aufgabe 9 steilster Abstieg Die Abstiegsrichtung ist jeweils f (x i, y i ). f (0, 0) = (2, 1). Ermittle Schrittweite durch Minimieren von f ((x, y) + s( 2, 1)) = s 2 (2, 1) ( ) ( ( 2 5 1) s(2, 1) 2 1) = 17s 2 5s. Diese Funktion wird minimal für s = (x 1, y 1 ) = (0, 0) + s( 2, 1) = ( 5 17, 5 34). f ( 5 17, 5 34 ) = ( 5 17, 5 34 ) ( ) (2, 1) = ( 14 17, ) = ( 1, 2).

16 Aufgabe 9 steilster Abstieg Die Abstiegsrichtung ist jeweils f (x i, y i ). f (0, 0) = (2, 1). Ermittle Schrittweite durch Minimieren von f ((x, y) + s( 2, 1)) = s 2 (2, 1) ( ) ( ( 2 5 1) s(2, 1) 2 1) = 17s 2 5s. Diese Funktion wird minimal für s = (x 1, y 1 ) = (0, 0) + s( 2, 1) = ( 5 17, 5 34). f ( 5 17, 5 34 ) = ( 5 17, 5 34 ) ( ) (2, 1) = ( 14 17, ) = ( 1, 2). Minimiere die Funktion f entlang des Strahls (x 1, y 1 + s( 1, 2): ( 5 17 s, s) ( ) ( s ) ( (2, 1) 5 17 s ) 34 +2s = s 13s s

17 Aufgabe 9 steilster Abstieg Die Abstiegsrichtung ist jeweils f (x i, y i ). f (0, 0) = (2, 1). Ermittle Schrittweite durch Minimieren von f ((x, y) + s( 2, 1)) = s 2 (2, 1) ( ) ( ( 2 5 1) s(2, 1) 2 1) = 17s 2 5s. Diese Funktion wird minimal für s = (x 1, y 1 ) = (0, 0) + s( 2, 1) = ( 5 17, 5 34). f ( 5 17, 5 34 ) = ( 5 17, 5 34 ) ( ) (2, 1) = ( 14 17, ) = ( 1, 2). Minimiere die Funktion f entlang des Strahls (x 1, y 1 + s( 1, 2): ( 5 17 s, s) ( ) ( s ) ( (2, 1) 5 17 s ) 34 +2s = s 13s s Diese quadratische Funktion ist minimal für s = Also ist der dritte (und in diesem Aufgabenteil letzte) Iterationspunkt ( , ) = (200, 75) (0.4525, ).

18 Aufgabe 9 Koordinatensuche Wir starten wieder in (0, 0) und nehmen als Abstiegsrichtung (1, 0), nämlich die x-achse.

19 Aufgabe 9 Koordinatensuche Wir starten wieder in (0, 0) und nehmen als Abstiegsrichtung (1, 0), nämlich die x-achse. Wir müssen also die Funktion f ((0, 0) + s(1, 0)) = s 2 + 2s minimieren. Durch Nullsetzen der Ableitung erhalten wir als optimale Schrittweite s = 1.

20 Aufgabe 9 Koordinatensuche Wir starten wieder in (0, 0) und nehmen als Abstiegsrichtung (1, 0), nämlich die x-achse. Wir müssen also die Funktion f ((0, 0) + s(1, 0)) = s 2 + 2s minimieren. Durch Nullsetzen der Ableitung erhalten wir als optimale Schrittweite s = 1. Der zweite Iterationspunkt ist also (x 1, y 1 ) = ( 1, 0).

21 Aufgabe 9 Koordinatensuche Wir starten wieder in (0, 0) und nehmen als Abstiegsrichtung (1, 0), nämlich die x-achse. Wir müssen also die Funktion f ((0, 0) + s(1, 0)) = s 2 + 2s minimieren. Durch Nullsetzen der Ableitung erhalten wir als optimale Schrittweite s = 1. Der zweite Iterationspunkt ist also (x 1, y 1 ) = ( 1, 0). Nun suchen wir in y-richtung, minimieren also die Funktion f (( 1, 0) + s(0, 1)) = 5s 2 3s 1.

22 Aufgabe 9 Koordinatensuche Wir starten wieder in (0, 0) und nehmen als Abstiegsrichtung (1, 0), nämlich die x-achse. Wir müssen also die Funktion f ((0, 0) + s(1, 0)) = s 2 + 2s minimieren. Durch Nullsetzen der Ableitung erhalten wir als optimale Schrittweite s = 1. Der zweite Iterationspunkt ist also (x 1, y 1 ) = ( 1, 0). Nun suchen wir in y-richtung, minimieren also die Funktion f (( 1, 0) + s(0, 1)) = 5s 2 3s 1. Das Minimum wird in s = 0.3 angenommen, also ist der letzte Iterationspunkt ( 1, 0.3).

23 Aufgabe 9 Newtonverfahren Die Hessematrix ist 2 f (x, y) = ( ). Für den Newton-Schritt (x i+1, y i+1 ) = (x i, y i ) ( 2 f (x i, y i ) ) 1 f (xi, y i ) müssen wir diese invertieren. Die Inverse ist 1 4 Der erste Newton-Schritt lautet also (x 1, y 1 ) = (0, 0) 1 2 ( ( ) ( ) ( ) 2 4 = ) ( = ) Da der Gradient an dieser Stelle verschwindet, haben wir den Minimalpunkt ( 4, 3 2 ) gefunden und brauchen keine weitere Iteration.

24 Aufgabe 9 Newtonverfahren Die Hessematrix ist 2 f (x, y) = ( ). Für den Newton-Schritt (x i+1, y i+1 ) = (x i, y i ) ( 2 f (x i, y i ) ) 1 f (xi, y i ) müssen wir diese invertieren. Die Inverse ist 1 4 Der erste Newton-Schritt lautet also (x 1, y 1 ) = (0, 0) 1 2 ( ( ) ( ) ( ) 2 4 = ) ( = ) Da der Gradient an dieser Stelle verschwindet, haben wir den Minimalpunkt ( 4, 3 2 ) gefunden und brauchen keine weitere Iteration. Der Newtonalgorithmus löst die quadratische Approximation exakt. Bei einer quadratischen Funktion findet er also stets in einem Schritt das Minimum.

25 Aufgabe