Optimierung für Wirtschaftsinformatiker: Analytische Optimierung mit Ungleichungsnebenbedingungen

Größe: px

Ab Seite anzeigen:

Download "Optimierung für Wirtschaftsinformatiker: Analytische Optimierung mit Ungleichungsnebenbedingungen"

Chantal Hase
vor 8 Jahren
Abrufe

1 Optimierung für Wirtschaftsinformatiker: Analytische Optimierung mit Ungleichungsnebenbedingungen Dr. Nico Düvelmeyer Freitag, 8. Juli : 1 [1,1]

2 Inhaltsübersicht für heute 1 NLP Aufgabe KKT 2 Nachtrag Duale Optimallösung 3 Einführung Iterationsverfahren Beispiel Abstiegsrichtung Allgemeines Abstiegsverfahren 2: 2 [2,2]

3 Inhaltsübersicht für heute 1 NLP Aufgabe KKT 2 Nachtrag Duale Optimallösung 3 Einführung Iterationsverfahren Beispiel Abstiegsrichtung Allgemeines Abstiegsverfahren 3: 3 [3,3]

4 Nichtlineare Optimierung (NonLinear Programming) (Wdhlg) Minimiere f (x) unter h i (x) = 0 i E g i (x) 0 i I x Ω = R n f, g i, h i hinreichend glatt, C 1 (R n ) oder C 2 (R n ) E und I endliche Mengen falls E = I = : freie/unrestringierte Optimierung sonst restringierte Optimierung oder Opt. mit Nebenbed. Ziel: lokales Optimum (aber oft schon Zulässigkeit schwer!) Anw.: Optimalsteuerung, Parameterschätzung (nichtlin.), Lösung nichtlinearer Gleichungssysteme 4: 4 [4,5]

freie/unrestringierte Optimierung sonst restringierte Optimierung oder Opt. mit Nebenbed.

5 Nichtlineare Optimierung (NonLinear Programming) (Wdhlg) Minimiere f (x) unter h i (x) = 0 i E g i (x) 0 i I x Ω = R n Verf.: für lokal gute Konvergenz: Newton, Quasinewton,... zur Suche lokaler Mulden: Line-Search, Trust-Region, CG,... Input: Unterroutinen für Funktionswert, Gradient, (Hessematrix) Größe: einige 100 bis einige 1000 Variablen (mehr bei spez. Struktur) 4: 5 [4,5]

.. zur Suche lokaler Mulden: Line-Search, Trust-Region, CG,.

6 Restringierte Nichtlineare Optimierung g,h h g 0 X N 0(h) S (g) 0 5: 6 [6,6]

7 Beispiel Minimiere f (x, y) = (x 7) 2 + (y 7) 2 unter x, y R x, y 0 x + y 10 6: 7 [7,7]

8 Lagrange-Funktion Bestrafung der Verletzung von h i (x) = 0 mit Multiplikatoren µ i R und von g i (x) 0 mit λ i 0 in der Zielfunktion ergibt die Lagrange-Funktion L(x, µ, λ) = f (x) + i E µ i h i (x) + i I λ i g i (x). 7: 8 [8,8]

in der Zielfunktion ergibt die Lagrange-Funktion L(x, µ,

9 Regularität In x X ist die Regularitätsbedingung der linearen Unabhängigkeit (linear independence constraint qualification, kurz LICQ) erfüllt, wenn die Gradienten h i ( x) (i E) und g i ( x) (g i aktiv bei x) linear unabhängig sind. 8: 9 [9,9]

qualification, kurz LICQ) erfüllt, wenn die Gradienten h i (

10 Existenz von Lagrange-Multiplikatoren Satz (Karush-Kuhn-Tucker) Sei x ein lokales Minimum von (P), in dem (LICQ) erfüllt ist. Dann gibt es (eindeutige) Lagrange-Multiplikatoren µ R E und λ R I +, sodass f (x ) + i E µ i h i (x ) + i I λ i g i (x ) = 0 λ i g i(x ) = 0 i I [Kompl.] In einem lokalen Minimum, in dem (LICQ) erfüllt ist, liegt der negative Gradient der Zielfunktion im Kegel, der von den Gradienten der aktiven Nebenbedingungen aufgespannt wird. 9: 10 [10,10]

Dann gibt es (eindeutige) Lagrange-Multiplikatoren µ R E und λ R I +, sodass f (x ) + i E µ i h i (x ) + i I λ i g i

11 Die KKT-Bedingungen Optimierungsverfahren suchen nach Lösungen der KKT-Bedingungen x L = f (x) + µ i h i (x) + λ i g i (x) = 0, µ L = h i (x) = 0, i E, λ L = g i (x) 0, i I, λ i 0, i I, g i (x)λ i = 0, i I, also nach stationären Punkten (x, µ, λ) R n R E R I + der Lagrange- Funktion. Jeder solche Punkt ist auch stationärer Punkt von (P) und jeder stationäre Punkt von (P), in dem (LICQ) erfüllt ist, lässt sich so finden. 10: 11 [11,11]

stationären Punkten (x, µ, λ) R n R E R I + der Lagrange- Funktion.

12 Mozart: das Duale optimal (Whdlg) max unter c T x Ax b x 0 (P M ) x T a 1 min b T y unter A T y c y A = 1 1, b = ( ) 3 c = 2 1 ȳ = 1 A T ȳ = 0 11: 12 [12,12] (D M ) e 1 a 2 e a +a = c ( ) 3 = c, b 2 T ȳ = 16, x = a 3 ( ) 4 2 x K

1 2 9 ( ) 3 c = 2 1 ȳ = 1 A T ȳ = 0 11: 12 [12,12] (D M ) e 1

13 Kriterien 2. Ordnung (I) aktive Menge A(x) = {i I : g i (x) = 0} linearisierter Tangentialkegel zu (P) in x: T P (x) := {d R n : h i (x) T d = 0 (i E), Teilkegel g i (x) T d 0 (i A(x))} T P (x, λ ) := {d T P (x ) : d T g i (x ) = 0 mit λ i > 0} Notwendige Optimalitätsbedingung 2. Ordnung Ist x ein lokales Minimum von (P), das (LICQ) erfüllt, und sind (µ, λ ) die Lagrange-Multiplikatoren zu x, dann gilt d T xx L(x, µ, λ )d 0 für alle d T P (x, λ ). 12: 13 [13,13]

h i (x) T d = 0 (i E), Teilkegel g i (x) T d 0 (i A(x))} T P (x, λ ) := {d T P (x ) : d T g i (x ) = 0 mit λ i > 0}

14 Kriterien 2. Ordnung (II) Hinreichende Optimalitätsbedingungen Erfüllt x X mit (µ, λ ) die KKT-Bedingungen und gilt d T xx L(x, µ, λ )d > 0 für alle d T P (x, λ ) \ {0} so ist x ein lokales Minimum von (P). 13: 14 [14,14]

$T xx L(x, µ, λ )d > 0 für alle d T P (x, λ ) \ {0} so$

15 Inhaltsübersicht für heute 1 NLP Aufgabe KKT 2 Nachtrag Duale Optimallösung 3 Einführung Iterationsverfahren Beispiel Abstiegsrichtung Allgemeines Abstiegsverfahren 14: 15 [15,15]

16 Simplex und dual zulässige Lösung (Wdhld. V6) Sei x primal optimale BL x N = 0, x B = A 1 B b = β, c T x = d = cb T x B = cb T A 1 B b = y T b = b T y. es zeigt sich: y = A T B c B ist dual zulässig A T y c A T B y c B und A T N y c N A T B y = AT B A T B c B = c B A T N y = AT N A T B c B = ζ + c N c N 15: 16 [16,16]

17 Direktes Ablesen einer dualen Optimallösung am Simplex-Tableau Voraussetzung Standardform kommt von Normalform pro Restriktion 1 Schlupfvariable Schlupfvariablen nicht in Zielfunktion Folgerung Dann steht im Endtableau die duale Lösung in der ZF-Zeile bei den Schlupfvariablen! 16: 17 [17,17]

Schlupfvariable Schlupfvariablen nicht in Zielfunktion Folgerung Dann

18 Inhaltsübersicht für heute 1 NLP Aufgabe KKT 2 Nachtrag Duale Optimallösung 3 Einführung Iterationsverfahren Beispiel Abstiegsrichtung Allgemeines Abstiegsverfahren 17: 18 [18,18]

19 Aufgabe 1.5 und sqp aufgabe15 [xminloc, fminloc, INFO, ITER, NF] =... aufgabe15_fabl(xminloc) [xminloc, fminloc, INFO, ITER, NF] =... aufgabe15_fabl(xminloc) [xminloc, fminloc, INFO, ITER, NF] aufgabe15_fabl(xminloc) Programming.html 18: 19 [19,19]

$1, {@aufgabe15_f, @aufgabe15_fabl}) aufgabe15_fabl(xminloc) [xminloc, fminloc, INFO, ITER, NF] =... sqp(-3.$

20 Numerik Grundlagen Was ergibt folgender Octave-Code? a = 1; b = 2; c = 3; a+(b+c) == (a+b)+c 19: 20 [20,22]

21 Numerik Grundlagen Was ergibt folgender Octave-Code? a = 1; b = 2; c = 3; a+(b+c) == (a+b)+c Und dieser? a = rand; b = rand; c = rand; a+(b+c) == (a+b)+c 19: 21 [20,22]

22 Numerik Grundlagen Was ergibt folgender Octave-Code? a = 1; b = 2; c = 3; a+(b+c) == (a+b)+c Und dieser? a = rand; b = rand; c = rand; a+(b+c) == (a+b)+c Frage Wie rechnen Computer? 19: 22 [20,22]

23 Definition Abstiegsrichtung Seien f : R n R und x R n. d R n heißt Abstiegsrichtung von f in x, falls es ein ᾱ > 0 gibt mit f (x + αd) < f (x) 0 < α ᾱ. 20: 23 [23,23]

24 Hinreichende Bedingung für Abstiegsrichtung Hilfssatz Sei f : R n R stetig differenzierbar in x. d ist eine Abstiegsrichtung von f in x, wenn grad f (x) T d < 0 gilt. f (x + d) = f (x) + (grad f (x)) T d + o( d ) 21: 24 [24,24]

25 Algorithmus (Abstiegsverfahren) 1 Bestimme einen Startpunkt x [0] R n und setze i = 0. 2 Falls ein Abbruchkriterium erfüllt ist, STOP. 3 Berechne eine Abstiegsrichtung d [i] und eine Schrittweite α i > 0, so dass f (x [i] + α i d [i] ) < f (x [i] ) gilt und setze x [i+1] = x [i] + α i d [i]. 4 Setze i := i + 1 und gehe zu 3. 22: 25 [25,25]

Ähnliche Dokumente

Optimierung für Wirtschaftsinformatiker: Analytische Optimierung ohne Nebenbedingungen

Optimierung für Wirtschaftsinformatiker: Analytische Optimierung ohne Nebenbedingungen Dr. Nico Düvelmeyer Freitag, 1. Juli 2011 1: 1 [1,1] Inhaltsübersicht für heute 1 Einführung und Wiederholung Beispiel