Vorlesung Einführung in die Mathematische Optimierung (Wintersemester 2013/14)

Transkript

1 Vorlesung Einführung in die Mathematische Optimierung (Wintersemester 3/) Kapitel : Optimierung ohne Nebenbedingungen Volker Kaibel Otto-von-Guericke Universität Magdeburg (Version vom. Oktober 3) Gliederung Funktionen mehrerer Veränderlicher Darstellung Globale und lokale Extrema Konvexe / konkave Funktionen Differenzierbare Funktionen Ableitungen erster Ordnung Ableitungen zweiter Ordnung Quadratische Funktionen, Definitheit von Matrizen Lokale Optimalitätskriterien für differenzierbare Funktionen Notwendige Kriterien Hinreichende Kriterien Das Newton-Verfahren

2 Nomenklatur... 3 Optimierungsproblem: min{f (x) x X } bzw. max{f (x) x X } (Muss nicht unbedingt angenommen werden.) Schreibweise: min f (x) s.t. x X max f (x) s.t. x X (s.t.: subject to; unter der Bedingung, dass) X R n (n ): Menge der zulässigen Lösungen f : X R {, }: Zielfunktion... Nomenklatur Optimalwert: inf{f (x) x X } bzw. sup{f (x) x X } (aus R {, }) x X Optimallösung: f (x ) = Optimalwert, d.h. f (x ) f (x) bzw. f (x ) f (x) für alle x X. Optimierungsproblem unzulässig: X = Optimierungsproblem unbeschränkt: Optimalwert = bzw. Optimalwert = (insbesondere: unbeschränkte Probleme sind zulässig)

3 5 Funktionsgraph Definition. Der Graph einer Funktion f : R n X R ist die Menge { (x, f (x)) x X } R n f (x, x ) = cos(x ) sin(x ) f (x, x ) = 5x + x 6 Niveauflächen Definition. Die Niveaufläche (Niveaulinie für n = ) einer Funktion f : R n X R zum Wert α R ist die Menge { x X f (x) = α } R n f (x, x ) = cos(x ) sin(x ) f (x, x ) = 5x + x

4 7 Globale Minima (Maxima analog) Definition.3 Eine Funktion f : R n X R nimmt in x X ihr (globales) Minimum über X an, wenn f (x ) f (x) für alle x X gilt. Minimum heißt immer globales Minimum. Die Optimallösungen von min{f (x) x X } sind genau die Punkte, in denen f ihr Minimum über X annimmt. Eine Funktion kann in unendlich vielen Punkten ihr Minimum annehmen (z.b. konstante Funktionen oder f (x, x ) = cos(x ) sin(x )). Eine Funktion kann auch kein Minimum annehmen (z.b. nicht konstante lineare Funktionen). 8 Lokale Minima (Maxima analog) Definition. Eine Funktion f : R n X R nimmt in x X ein (lokales) Minimum über X an, wenn ein ε > existiert, so dass f (x ) f (x) für alle x X mit x x < ε gilt. Globale Minima sind immer auch lokale Minima. Lokale Minima müssen keine globalen Minima sein. Funktionen können in unendlich vielen oder auch in keinen Punkten lokale Minima annehmen.

5 9 Konvexe / konkave Funktionen Definition.5 Eine Funktion f : R n R heißt (streng) konvex, wenn für alle x, y R n (mit x y) und < λ < gilt. f (λx + ( λ)y) (<) λf (x) + ( λ)f (y) Definition.6 Eine Funktion f : R n R heißt (streng) konkav, wenn für alle x, y R n (mit x y) und < λ < gilt. f (λx + ( λ)y) (>) λf (x) + ( λ)f (y) Geometrische Interpretation Beobachtung.7 Eine Funktion f : R n R ist genau dann konvex/konkav, wenn ihr Graph für alle Punkte x, y R n unterhalb/oberhalb (und möglicherweise auf) der Verbindungstrecke der beiden Punkte (x, f (x)) und (y, f (y)) liegt. 3 f (x, x ) = x

6 Beispiele konvexer / konkaver Funktionen f (x, x ) = x + x f (x, x ) = x x streng konvex streng konkav Beispiel Barrier-Funktion

7 3 Extrema konvexer / konkaver Funktionen Satz.8 Nimmt eine konvexe/konkave Funktion in einem Punkt ein lokales Minimum/Maximum an, so nimmt sie dort auch ihr globales Minimum/Maximum an. Bemerkung.9 Hat eine streng konvexe/konkave Funktion ein globales Minimum/Maximum, so nimmt sie es in einem eindeutig bestimmten Punkt an. Eigenschaften konvexer / konkaver Funktionen Satz. Eine Funktion ist genau dann konvex und konkav, wenn sie affin ist. Definition. Eine Funktion f : R n R heißt affin, wenn sie die Summe einer linearen und einer konstanten Funktion ist (d.h. es gibt a R n und β R mit f (x) = a, x + β für alle x R n ). Definition. Für zwei Vektoren v, w R n ist v, w := n v i w i i= das Standard-Skalarprodukt von v und w.

8 Gradienten Definition.3 Ist f : R n X R differenzierbar in einem inneren Punkt x int(x ), so ist grad x f := ( f x (x ),..., f x n (x ) ) 5 der Gradient von f in x. Ist v R n mit v =, so ist grad x f, v R der Anstieg von f im Punkt x in Richtung v. ( v := n i= v i Euklidische Norm) Die affine Funktion ϕ(x) := grad x f, x x + f (x ) appoximiert f lokal bei x gut: f (x) ϕ(x) lim x x x x = Gradienten und Niveaulinien 6 Bemerkung. Ist f : R n X R differenzierbar in einem inneren Punkt x int(x ) mit α = f (x ), so steht grad x f senkrecht auf der Niveaulinie von f zum Wert α und zeigt in die Richtung des größten Anstiegs von f in x f (x, x ) = x x

9 Die Hesse-Matrix Definition.5 Ist f : R n X R zweimal differenzierbar in einem inneren Punkt x int(x ), so ist f x x (x )... f x x n (x ) hess x f :=..... f x n x (x )... f x x n (x ) 7 die Hesse-Matrix von f in x. f zweimal stetig differenzierbar: hess x f symmetrisch Die quadratische Funktion q(x) := (x x ) T hess x f (x x )+ grad x f, x x +f (x ) appoximiert f lokal bei x sehr gut: f (x) q(x) lim x x x x = Einschub: Notation für Matrizen und Vektoren 8 [p] := {,,..., p} R [m] [n] : Menge der (reellen) m n-matrizen Besondere Matrizen: Op R p, O [m] [n] : Nullvektor, Nullmatrix p R p, [m] [n]: Einsvektor, Einsmatrix I [n] [n] : Identitätsmatrix Auch ohne Subskripte, wenn Kontext klar ei = (,...,,,,..., ) R n : i-ter Einheitsvektor Für A R [m] [n], i [m], j [n]: A(i,j) = A ij = a ij : Eintrag in Zeile i, Spalte j Ai, R n : i-te Zeile von A A,j R m : j-te Spalte von A Im Kontext von Matrix-Multiplikation: Identifikation von R p mit R [p] [] (Spaltenvektoren)

10 Quadratische Funktionen 9 Definition.6 Eine Funktion q : R n R heißt quadratisch, wenn es eine symmetrische Matrix Q R [n] [n] sowie c R n und γ R gibt mit q(x) = x T Qx + c, x + γ für alle x R n Die Symmetrieforderung an Q ist wegen keine Einschränkung, x T Qx = x T( (Q + QT ) ) x Definite Matrizen Definition.7 Eine Matrix Q R [n] [n] ist positiv definit positiv semidefinit negativ definit negativ semidefinit, wenn für alle x R n \ {O n } x T Qx > x T Qx x T Qx < x T Qx gilt. Sie ist indefinit, wenn sie weder positiv noch negativ semidefinit ist.

11 Eigenwerte Satz.8 Eine symmetrische Matrix Q R [n] [n] ist positiv definit positiv semidefinit negativ definit negativ semidefinit, wenn alle Eigenwerte von Q positiv nicht negativ negativ nicht positiv sind. Sie ist indefinit, wenn sie positive und negative Eigenwerte hat. Konvexität / Konkavität Satz.9 Eine quadratische Funktion q : R n R mit q(x) = x T Qx + c, x + γ ist genau dann (streng) konvex/konkav, wenn für alle x R n die Matrix Q positiv/negativ semidefinit (definit) ist x + x - x x - x x -

12 3 Konvexität / Konkavität Satz. Eine zweimal stetig differenzierbare Funktion f : R n R ist genau dann konvex/konkav, wenn für alle x R n die Hesse-Matrix hess x f positiv/negativ semidefinit ist. Ist die Hesse-Matrix sogar überall positiv/negativ definit, so ist f streng konvex/konkav. Bemerkung. Für die durch q(x) = x T Qx + c, x + γ (mit symmetrischer Matrix Q) definierte quadratische Funktion q : R n R gilt für jedes x :. grad x q = Qx + c. hess x q = Q Kriterien erster Ordnung Satz. Nimmt f : R n X R ein lokales Extremum in einem inneren Punkt x int(x ) an, in dem f differenzierbar ist, so gilt grad x f = O n. Definition.3 Für eine differenzierbare Funktion f : R n X R (X offen) heißen die x X mit grad x f = O n die stationären Punkte. Korollar. Die stationären Punkte sind die einzigen Kandidaten für lokale Extrema differenzierbarer Funktionen (über offenen Mengen).

13 Kriterien zweiter Ordnung 5 Satz.5 Sei f : R n X R (X offen) zweimal stetig differenzierbar auf X und sei x X ein stationärer Punkt von f.. Ist hess x f positiv definit, so nimmt f in x ein lokales Minimum an.. Ist hess x f negativ definit, so nimmt f in x ein lokales Maximum an. 3. Ist hess x f indefinit, so nimmt f in x kein lokales Extremum an Die Idee des Newton-Verfahrens Sei f : R n R zweimal stetig differenzierbar auf R n mit: hessx f ist positiv definit für alle x R n f hat ein globales Minimum, welches also in einem eindeutigen stationären Punkt x min R n angenommen wird. Strategie: Erzeuge eine Folge (bzw. ein Anfangsstück davon) x (), x (), R n mit 6 lim x (k) = x min. k Für jedes k: Wähle eine geeignete Richtung d (k) R n. Bestimme x (k+) als (angenäherte) Optimallösung des eindimensionalen Minimierungsproblems min{f (x (k) + td (k) ) t R}. (Richtungsminimierung von f in x (k) in Richtung d (k) )

14 7 Bestimmung der Richtungen d (k) Die quadratische Funktion q (k) (x) := (x x (k) ) T (hess x (k) f )(x x (k) ) + grad x (k) f, x x (k) + f (x (k) ) = x T Q (k) x + c (k), x + γ (k) mit Q (k) c (k) γ (k) = hess x (k) f = grad x (k) f (hess x (k) f )x (k) = f (x (k) ) + x (k)t (hess x (k) f )x (k) approximiert die Funktion f in der Nähe von x (k) sehr gut. 8 Bestimmung der Richtungen d (k) q (k) ist streng konvex mit eindeutigem Minimand x. Hoffnung: d (k) = x x (k) ist eine gute Richtung x ist der stationäre Punkt von q (k) O n = grad x q (k) = Q (k) x + c (k) Q (k) ist positiv definit, also invertierbar: x = (Q(k) ) c (k) Also: d (k) = ( hess x (k) f ) (gradx (k) f (hess x (k) f )x (k) ) = x (k) (hess x (k) f ) grad x (k) f := (hess x (k) f ) grad x (k) f grad x (k) f, d (k) = (grad x (k) f ) T (hess x (k) f ) grad x (k) f <, falls x (k) nicht stationär für f (d (k) Abstiegsrichtung in x (k) )

15 9 Richtungsminimierung mit Two-Slope-Test Sei x (k) nicht stationär für f. Sei ϕ k : R + R die Funktion mit ϕ k (t) = f (x (k) + td (k) ). d (k) Abstiegsrichtung, also ϕ k () <. Ideale Wahl: x (k+) = x (k) + τk d (k) für Optimallösung τk von min{ϕ k (t) t R + } Statt dessen: Wähle zu Anfang Parameter > α > > α > und setze dann x (k+) = x (k) + τ k d(k) für ein τ k >, das die Two-Slope Bedingung erfüllt. ϕ k () + α ϕ k ()τ ϕ k(τ) ϕ k () + α ϕ k ()τ 3 Bestimmung von τ k Bestimme durch Testen von u =,,, 8,... ein u > mit ϕ k () + α ϕ k ()τ ϕ k(u). Falls ϕ k (u) ϕ k () + α ϕ k ()u: τ k = u Sonst: Setze l = (gilt: ϕ k (l) ϕ k () + α ϕ k ()l)) ( ) Überprüfe beide Ungleichungen der Two-Slope Bedingung für τ = u l. Beide erfüllt: τ k = τ Erste verletzt: l = τ, weiter mit ( ) (Zweite verletzt:) u = τ, weiter mit ( ) Bemerkung Das Verfahren bestimmt nach endlich vielen Schritten ein geeignetes τ k.

16 Analyse des Newton-Verfahrens 3 Satz.6 Ist f : R n R zweimal stetig differenzierbar auf R n mit überall positiv definiter Hesse-Matrix und sei x () R n so, dass X () := {x R n f (x) f (x () )} beschränkt ist, so konvergiert die mit der Newton-Methode und Two-Slope-Test erzeugte Folge gegen den Punkt, in dem f ihr Minimum annimmt. Bemerkung Für alle genügend großen k gilt sogar x (k+) x min L m x (k) x min, wobei L die Lipschitz-Konstante von x hess x f und m der kleinste Eigenwert von hess x f auf X sind. Insbesondere: Quadratische Konvergenz bei genügend gutem Startpunkt Und für nicht-konvexe Funktionen? 3 Modell: f : R n X R gegeben durch Orakel für die Auswertung von f (x) (grad x f, hess x f ) Es gibt keinen Algorithmus, der für jedes f entscheidet, ob f ein globales Minimum hat (sogar für n = ). Für X = [, ] n R n und Lipschitz-stetige Funktionen mit vorgegebener Lipschitz-Konstante L ( f (x) f (x ) L x x für alle x, x X ): Es gibt keinen Algorithmus, der µ(f ) := min{f (x) x X } für jede solche Funktion f berechnet. Aber: Es gibt einen Algorithmus, der für jede solche Funktion f in O( ( L + ε )n ) Schritten ein x X berechnet mit f (x ) µ(f ) ε. ( Kein Algorithmus kann das in weniger als Ω( L ) ) n Schritten ε für jedes solche f. S. A. Vavasis, Nonlinear Optimization, Complexity Issues. Oxford Science Publications, 99. (Kapitel 6)