Optimierung für Nichtmathematiker

Transkript

1 Optimierung für Nichtmathematiker Prof. Dr. R. Herzog WS/ /

2 Problemstellung Klassifikation Inhaltsübersicht Problemstellung und Grundbegriffe Klassifikation von Optimierungsaufgaben Vorlesung I Einführung und Motivation / 6

3 Problemstellung Klassifikation Überblick über spezielle Klassen von Optimierungsproblemen Jedes Verfahren ist zugeschnitten auf eine bestimmte Problemklasse. Diese unterscheiden sich nach den Eigenschaften der Funktionen f, g i, h i den Eigenschaften der Grundmenge Ω der Form, in der die Problemdaten gegeben sind den Ansprüchen an die Lösung (lokal/global/multikriteriell). Verfahren/Löser für viele wichtige Problemklassen gibt es auf dem NEOS Server for Optimization Vorlesung I Einführung und Motivation / 6

4 Problemstellung Klassifikation Nichtlineare Optimierung (NonLinear Programming) Minimiere f () unter h i () = i E g i () i I Ω f, g i, h i hinreichend glatt, C (R n ) oder C (R n ), d.h., mindestens einmal oder zweimal stetig differenzierbar, E und I endliche Mengen (unendlich: Semiinfinite Optimierung ) falls E = I = : freie/unrestringierte Optimierung sonst: restringierte Optimierung oder Opt. mit Nebenbed. Ω = R n (meist) Vorlesung I Einführung und Motivation 4 / 6

5 Problemstellung Klassifikation Nichtlineare Optimierung (NonLinear Programming) Minimiere f () unter h i () = i E g i () i I Ω f, g i, h i hinreichend glatt, C (R n ) oder C (R n ), d.h., mindestens einmal oder zweimal stetig differenzierbar, E und I endliche Mengen (unendlich: Semiinfinite Optimierung ) falls E = I = : freie/unrestringierte Optimierung sonst: restringierte Optimierung oder Opt. mit Nebenbed. Ω = R n Ziel: Anwendung: Verfahren: Input: Größe : (meist) lokales Optimum (aber oft schon Zulässigkeit schwer!) (nichtlineare) Parameterschätzung, Optimalsteuerung, Shape Optimization, Lösung nichtlinearer Gleichungssysteme,... Newton, Quasi-Newton,... (gute lokale Konvergenz) Line-Search, Trust-Region, CG,... (lokale Suche) Unterroutinen für Funktionswert, Gradient, (Hessematri) einige bis einige Variablen (mehr bei spez. Struktur) Vorlesung I Einführung und Motivation 5 / 6

6 Problemstellung Klassifikation Konvee Optimierung (Conve Optimization) Minimiere f () unter A = b g i () i I C f, g i konvee Funktionen A = b nur lineare Gleichungsnebenbedingungen! falls f, g i glatt smooth conve opt. falls f, g i nicht notw. diffb. nonsmooth conve opt. I endliche Menge C einfache konvee Menge (Bo, ganz R n,... ) Vorlesung I Einführung und Motivation 6 / 6

7 Problemstellung Klassifikation Konvee Optimierung (Conve Optimization) Minimiere f () unter A = b g i () i I C f, g i konvee Funktionen A = b nur lineare Gleichungsnebenbedingungen! falls f, g i glatt smooth conve opt. falls f, g i nicht notw. diffb. nonsmooth conve opt. I endliche Menge C einfache konvee Menge (Bo, ganz R n,... ) Ziel: globales Optimum Anwendung: Portfolio Design, Eperimental Design, Optimalsteuerung, Signal Processing, Berechnung von Schranken für nichtlineare Probleme,... Verfahren: smooth: Newton, Quasi-Newton,... nonsmooth: Subgradienten-, Bündel-Verfahren Input: Unterroutinen für Funktionswert, (Sub-)Gradient, (Hessematri) Größe : einige bis einige Var. (mehr bei spez. Struktur) Vorlesung I Einführung und Motivation 7 / 6

8 Problemstellung Klassifikation Konvee Opt. mit Struktur (Structured Conve Opt.) q( ) Minimiere q() unter A = b K lineare (affine) oder konve-quadratische Zielfunktion q() = c T (+ T Q mit Q symm. positiv semidefinit) lineare Gleichungs- oder auch Ungleichungsnebenbedingungen konvee Kegel spezieller Struktur q linear, K = R n +: Lineare Opt. (Linear Programming) A = b K q linear, K = Q n +: Second Order Cone Programming (SOCP) q linear, K = S n +: Semidefinite Opt. (SemiDefnite Pogramming.) q quadrat., K = R n +: (Konvee) Quadratische Opt. (QP) Vorlesung I Einführung und Motivation 8 / 6

9 Problemstellung Klassifikation Konvee Opt. mit Struktur (Structured Conve Opt.) q( ) Minimiere q() unter A = b K lineare (affine) oder konve-quadratische Zielfunktion q() = c T (+ T Q mit Q symm. positiv semidefinit) lineare Gleichungs- oder auch Ungleichungsnebenbedingungen konvee Kegel spezieller Struktur q linear, K = R n +: Lineare Opt. (Linear Programming) A = b K q linear, K = Q n +: Second Order Cone Programming (SOCP) q linear, K = S n +: Semidefinite Opt. (SemiDefnite Pogramming.) q quadrat., K = R n +: (Konvee) Quadratische Opt. (QP) Ziel: globales Optimum in kurzer Zeit Anwendung: Portfolio Design, Eperimental Design, Optimalsteuerung, Signal Processing, Berechnung von Schranken für ganzz. Probleme,... Verfahren: LP, SOCP, SDP, QP: Innere-Punkte-Verf. (mit Newton) LP: Simple Input: Koeffizienten der Matrizen und Vektoren (evtl. Kegeltyp) Größe : einige bis einige Millionen Variablen Vorlesung I Einführung und Motivation 9 / 6

10 Problemstellung Klassifikation Ganzzahlige Optimierung (Integer Programming) Minimiere c T unter A b Z n c T lineare Zielfunktion A b lineare Gleichungs- oder auch Ungleichungsnebenbedingungen Z n nur ganzzahlige Lösungen! verwandte Varianten: Binary Integer P.: {, } n ( kombinatorische Opt.) Mied Integer P.: R n Z n Mied Integer NonLinear P.: f, g i, h i nichtlinear Vorlesung I Einführung und Motivation / 6

11 Problemstellung Klassifikation Ganzzahlige Optimierung (Integer Programming) Minimiere c T unter A b Z n c T lineare Zielfunktion A b lineare Gleichungs- oder auch Ungleichungsnebenbedingungen Z n nur ganzzahlige Lösungen! verwandte Varianten: Binary Integer P.: {, } n ( kombinatorische Opt.) Mied Integer P.: R n Z n Mied Integer NonLinear P.: f, g i, h i nichtlinear Ziel: sehr problemabhängig (meist NP-schwer), gute Näherungslösung mit Gütegarantie Anwendung: Probleme mit Entscheidungskomponenten, z.b. Flüsse in Netzwerken, Zuweisungs-, Transport-, Standortprobleme, VLSI-Design, Basisauswahl,... Verfahren: Input: Größe : konvee/lineare Relaation, lokale Suche/Rundungsheuristiken, eakte Lösung durch Branch and Bound (effiz. Enumerieren), für sehr spezielle Probleme: eakte Algorithmen von Koeffizienten der Matrizen bis hin zu strukturnutzenden Zusatzroutinen etrem problemabhängig, von unter bis zu Millionen Vorlesung I Einführung und Motivation / 6

12 Problemstellung Klassifikation Globale Optimierung (Global Optimization) f, g i, h i E und I Ω Minimiere f () unter h i () = i E g i () i I Ω hinreichend glatt von bekannter Struktur (z.b. Polynome) es können Unterschätzer konstruiert werden (kleine) endliche Mengen einfache konvee Menge (Bo) Vorlesung I Einführung und Motivation / 6

13 Problemstellung Klassifikation Globale Optimierung (Global Optimization) f, g i, h i E und I Ω Minimiere f () unter h i () = i E g i () i I Ω hinreichend glatt von bekannter Struktur (z.b. Polynome) es können Unterschätzer konstruiert werden (kleine) endliche Mengen einfache konvee Menge (Bo) Ziel: globales Optimum (i.a. zu schwer, nur sehr kleine Dimension!) Anwendung: kleine nichtlineare Optimalsteuerungsprobleme... Verfahren: Branch and Bound: pro Intervall der Unterteilung untere Schranken durch Lösung konveer Relaation und obere Schranken durch NLP-Löser Input: algebraische Beschreibung der Funktionen Größe : etwa - Variable (je nach spez. Struktur u.u. auch mehr) Vorlesung I Einführung und Motivation / 6

14 Problemstellung Klassifikation Einige weitere Klassen Meist durch spezielle Anforderungen einer Anwendung motiviert: Multikriterielle Optimierung (Mehrziel-Optimierung): Beispiele: Portfolio soll Gewinn maimieren und Risiko minimieren; Auto soll möglichst schnell mit möglichst wenig Treibstoff fahren; größte Stabilität eines Bauteils bei geringstem Materialeinsatz, etc. Darstellung konkurrierender Ziele durch vektorwertige Zielfunktion f : R n R m (bzw. durch ein Partialordnung auf R m ) Pareto-optimale Lösung : bzgl. Partialordnung nicht verbesserbar für m klein: Berechnung der Paretofront, sonst Rückführung auf Standardverf. durch Skalarisierung (gewichtete Linearkombination) oder leikographisches Optimieren mittels neuer Nebenbedingungen Vorlesung I Einführung und Motivation 4 / 6

15 Problemstellung Klassifikation Einige weitere Klassen Meist durch spezielle Anforderungen einer Anwendung motiviert: Multikriterielle Optimierung (Mehrziel-Optimierung): Beispiele: Portfolio soll Gewinn maimieren und Risiko minimieren; Auto soll möglichst schnell mit möglichst wenig Treibstoff fahren; größte Stabilität eines Bauteils bei geringstem Materialeinsatz, etc. Darstellung konkurrierender Ziele durch vektorwertige Zielfunktion f : R n R m (bzw. durch ein Partialordnung auf R m ) Pareto-optimale Lösung : bzgl. Partialordnung nicht verbesserbar für m klein: Berechnung der Paretofront, sonst Rückführung auf Standardverf. durch Skalarisierung (gewichtete Linearkombination) oder leikographisches Optimieren mittels neuer Nebenbedingungen Ableitungsfreie Optimierung (derivative-free optimization): Es ist jeweils nur f () bestimmbar (wird durch Simulation, Messung etc. ermittelt), aber keine Ableitungsinformationen vorhanden. f () billig: numerisches Differenzieren oder Verf. von Nelder-Mead f () teuer: modellerstellende Verfahren (Kriging, Powell,... ) Vorlesung I Einführung und Motivation 5 / 6

16 Problemstellung Klassifikation Stochastische Optimierung: Einige weitere Klassen Statistische Daten in Entscheidungen einbeziehen: Ein-/Ausschalten von Kraftwerken für stochstisches Verbrauchsmodell, Portfoliooptimierung für stochastische Finanzmodelle, Logistik-Optimierung nach stochastischem Bedarfsmodell oft Einteilung in gewichtete mehrstufige Szenarien, rekursives Lösen mit Standardverfahren Vorlesung I Einführung und Motivation 6 / 6

17 Problemstellung Klassifikation Stochastische Optimierung: Einige weitere Klassen Statistische Daten in Entscheidungen einbeziehen: Ein-/Ausschalten von Kraftwerken für stochstisches Verbrauchsmodell, Portfoliooptimierung für stochastische Finanzmodelle, Logistik-Optimierung nach stochastischem Bedarfsmodell oft Einteilung in gewichtete mehrstufige Szenarien, rekursives Lösen mit Standardverfahren Robuste Optimierung: Gegen Datenunsicherheit, Mindestanforderungen oder Ungenauigkeiten in der realen Umsetzung absichern: leichteste Brücke für unterschiedliche Lasten, Entwurf von Antennen-Arrays, Mindestproduktionskapazitäten auch bei Maschinenausfällen geschickte Modellierung erlaubt oft den Einsatz von Standardverfahren Vorlesung I Einführung und Motivation 7 / 6

18 Teil II Freie Optimierung Vorlesung II Freie Optimierung 8 / 6

19 Inhaltsübersicht Einführung in die freie Optimierung Vorlesung II Freie Optimierung 9 / 6

20 Freie Nichtlineare Optimierung Verfahren zur Minimierung glatter Funktionen ohne Nebenbedingungen, min f (), f : R Rn R hinreichend glatt n Hinreichend glatt bedeutet, dass f so oft stetig differenzierbar sein soll, wie es für das jeweilige Verfahren erforderlich ist. Vorlesung II Freie Optimierung / 6

21 Freie Nichtlineare Optimierung Verfahren zur Minimierung glatter Funktionen ohne Nebenbedingungen, min f (), f : R Rn R hinreichend glatt n Hinreichend glatt bedeutet, dass f so oft stetig differenzierbar sein soll, wie es für das jeweilige Verfahren erforderlich ist. Ziele für die Verfahren: Finde ein lokales Minimum (sogar weniger: finde ein, das die notwendigen Opt.-Bedingungen. Ordnung erfüllt, siehe dort) schnelle Konvergenz in der Nähe lokaler Optima der Rechenaufwand soll möglichst klein bleiben numerische Stabilität und hohe Genauigkeit Vorlesung II Freie Optimierung / 6

22 Freie Nichtlineare Optimierung Verfahren zur Minimierung glatter Funktionen ohne Nebenbedingungen, min f (), f : R Rn R hinreichend glatt n Hinreichend glatt bedeutet, dass f so oft stetig differenzierbar sein soll, wie es für das jeweilige Verfahren erforderlich ist. Ziele für die Verfahren: Finde ein lokales Minimum (sogar weniger: finde ein, das die notwendigen Opt.-Bedingungen. Ordnung erfüllt, siehe dort) schnelle Konvergenz in der Nähe lokaler Optima der Rechenaufwand soll möglichst klein bleiben numerische Stabilität und hohe Genauigkeit Anwendungen: nichtlineare Kleinste-Quadrate-Probleme als Unterroutine für Optimierungsprobleme mit Nebenbedingungen [siehe Barriere-, Straf- und augmentierte Lagrange-Verfahren] Vorlesung II Freie Optimierung / 6

23 Freie Nichtlineare Optimierung Verfahren zur Minimierung glatter Funktionen ohne Nebenbedingungen, min f (), f : R Rn R hinreichend glatt n Hinreichend glatt bedeutet, dass f so oft stetig differenzierbar sein soll, wie es für das jeweilige Verfahren erforderlich ist. Ziele für die Verfahren: Finde ein lokales Minimum (sogar weniger: finde ein, das die notwendigen Opt.-Bedingungen. Ordnung erfüllt, siehe dort) schnelle Konvergenz in der Nähe lokaler Optima der Rechenaufwand soll möglichst klein bleiben numerische Stabilität und hohe Genauigkeit Anwendungen: nichtlineare Kleinste-Quadrate-Probleme als Unterroutine für Optimierungsprobleme mit Nebenbedingungen [siehe Barriere-, Straf- und augmentierte Lagrange-Verfahren] In welcher Form soll f für die Verfahren zugänglich sein? Vorlesung II Freie Optimierung / 6

24 Inhaltsübersicht Einführung in die freie Optimierung Vorlesung II Freie Optimierung 4 / 6

25 Orakel allgemein und Orakel. Ordnung In vielen Anwendungen ist die Funktion f nicht analytisch verfügbar (so wie f () = sin()), sondern ergibt sich z.b. aus der Lösung eines Systems von Differentialgleichungen, d.h. aus einer Simulation. Daher setzen allgemeine Optimierungsverfahren nur eine Unterroutine voraus, die das Verfahren nach dem Wert der Funktion und eventuell auch nach Ableitungsinformation in dem jeweils betrachteten Punkt befragen kann Orakel. Ist die Funktion doch analytisch gegeben, so erzeugen Modellierungssprachen wie AMPL, GAMS,... automatisch entsprechende Orakel/Unterroutinen, die den Funktionswert und zusätzlich Ableitungsinformation liefern. Vorlesung II Freie Optimierung 5 / 6

26 Orakel allgemein und Orakel. Ordnung In vielen Anwendungen ist die Funktion f nicht analytisch verfügbar (so wie f () = sin()), sondern ergibt sich z.b. aus der Lösung eines Systems von Differentialgleichungen, d.h. aus einer Simulation. Daher setzen allgemeine Optimierungsverfahren nur eine Unterroutine voraus, die das Verfahren nach dem Wert der Funktion und eventuell auch nach Ableitungsinformation in dem jeweils betrachteten Punkt befragen kann Orakel. Ist die Funktion doch analytisch gegeben, so erzeugen Modellierungssprachen wie AMPL, GAMS,... automatisch entsprechende Orakel/Unterroutinen, die den Funktionswert und zusätzlich Ableitungsinformation liefern. Ein Orakel. Ordnung berechnet für gegebenes R n nur den Funktionswert f (), aber keine Ableitungsinformation. Verfahren für glatte Funktionen benötigen Ableitungsinformation und approimieren diese numerisch durch vielfache Funktionsaufrufe (siehe später). Vorlesung II Freie Optimierung 6 / 6

27 Orakel. Ordnung: f (), f () Für R n werden Funktionswert f () und Gradient f () R n berechnet. Vorlesung II Freie Optimierung 7 / 6

28 Orakel. Ordnung: f (), f () Für R n werden Funktionswert f () und Gradient f () R n berechnet. Gradient: f () Gradient in =., y= f () :=..5 f n () f () zeigt in Richtung des steilsten Anstiegs von f in. f () misst die Größe des Anstiegs. ] ist der Normalvektor [ f () zur Tangentialebene ] } an den Graphen ] : R n von f in. {[ f () [ f () f(,y) y f y Vorlesung II Freie Optimierung 8 / 6

29 Orakel. Ordnung: f (), f () Für R n werden Funktionswert f () und Gradient f () R n berechnet. Gradient: f () Gradient in =., y= f () :=..5 f n () f () zeigt in Richtung des steilsten Anstiegs von f in. f () misst die Größe des Anstiegs. ] ist der Normalvektor [ f () zur Tangentialebene ] } an den Graphen ] : R n von f in. {[ f () [ f () Die Tangentialebene bildet das lineare Modell von f in der Nähe von : f(,y) f () := f ( ) + f ( ) T ( ). Für nahe bei ist es eine gute Näherung an f (): lim f () f ( ) f ( ) T ( ) f ( + h) f ( ) f ( ) T h = lim =. h h Vorlesung II Freie Optimierung 9 / y f y

30 Orakel. Ordnung: f (), f () Für R n werden Funktionswert f () und Gradient f () R n berechnet. Gradient: f () Gradient in =, y=.5 f () :=..5 f n () f () zeigt in Richtung des steilsten Anstiegs von f in. f () misst die Größe des Anstiegs. ] ist der Normalvektor [ f () zur Tangentialebene ] } an den Graphen ] : R n von f in. {[ f () [ f () f(,y) y y Die Tangentialebene bildet das lineare Modell von f in der Nähe von : f () := f ( ) + f ( ) T ( ). Für nahe bei ist es eine gute Näherung an f (): lim f () f ( ) f ( ) T ( ) f ( + h) f ( ) f ( ) T h = lim =. h h Vorlesung II Freie Optimierung / 6 f

31 Orakel. Ordnung: f (), f () Für R n werden Funktionswert f () und Gradient f () R n berechnet. Gradient: f () Gradient in =.9, y= f () :=..5 f n () f () zeigt in Richtung des steilsten Anstiegs von f in. f () misst die Größe des Anstiegs. ] ist der Normalvektor [ f () zur Tangentialebene ] } an den Graphen ] : R n von f in. {[ f () [ f () Die Tangentialebene bildet das lineare Modell von f in der Nähe von : f(,y) f () := f ( ) + f ( ) T ( ). Für nahe bei ist es eine gute Näherung an f (): lim f () f ( ) f ( ) T ( ) f ( + h) f ( ) f ( ) T h = lim =. h h Vorlesung II Freie Optimierung / y y f

32 Orakel. Ordnung: f (), f () Für R n werden Funktionswert f () und Gradient f () R n berechnet. Gradient: f () Gradient in =.8, y=.5 f () :=..5 f n () f () zeigt in Richtung des steilsten Anstiegs von f in. f () misst die Größe des Anstiegs. ] ist der Normalvektor [ f () zur Tangentialebene ] } an den Graphen ] : R n von f in. {[ f () [ f () y f Die Tangentialebene bildet das lineare Modell von f in der Nähe von : f(,y) f () := f ( ) + f ( ) T ( ). Für nahe bei ist es eine gute Näherung an f (): lim f () f ( ) f ( ) T ( ) f ( + h) f ( ) f ( ) T h = lim =. h h Vorlesung II Freie Optimierung / 6 y

33 Orakel. Ordnung: f (), f () Für R n werden Funktionswert f () und Gradient f () R n berechnet. Gradient: f () Gradient in =.7, y= f () :=..5 f n () f () zeigt in Richtung des steilsten Anstiegs von f in. f () misst die Größe des Anstiegs. ] ist der Normalvektor [ f () zur Tangentialebene ] } an den Graphen ] : R n von f in. {[ f () [ f () Die Tangentialebene bildet das lineare Modell von f in der Nähe von : f(,y) f () := f ( ) + f ( ) T ( ). Für nahe bei ist es eine gute Näherung an f (): lim f () f ( ) f ( ) T ( ) f ( + h) f ( ) f ( ) T h = lim =. h h Vorlesung II Freie Optimierung / y y f

34 Gradient und Richtungsableitung, lineares Modell Das lineare Modell von f in hat in jede Richtung h R n den gleichen Anstieg wie f in : die Richtungsableitung von f in in Richtung h, f ( ) T f ( + αh) f ( ) h = lim =: D h f ( ) α α [= Ableitung d dαφ() der D-Funktion Φ : R R, Φ(α) := f ( + αh)] Vorlesung II Freie Optimierung 4 / 6

35 Gradient und Richtungsableitung, lineares Modell Das lineare Modell von f in hat in jede Richtung h R n den gleichen Anstieg wie f in : die Richtungsableitung von f in in Richtung h, f ( ) T f ( + αh) f ( ) h = lim =: D h f ( ) α α [= Ableitung d dαφ() der D-Funktion Φ : R R, Φ(α) := f ( + αh)] Gradient in (,y)=(.,), h=(.8,.8) (,y)=(.,), h=(.8,.8).5 f(,y) y h f y Vorlesung II Freie Optimierung 5 / 6 Φ(α), lineares Modell α

36 Gradient und Richtungsableitung, lineares Modell Das lineare Modell von f in hat in jede Richtung h R n den gleichen Anstieg wie f in : die Richtungsableitung von f in in Richtung h, f ( ) T f ( + αh) f ( ) h = lim =: D h f ( ) α α [= Ableitung d dαφ() der D-Funktion Φ : R R, Φ(α) := f ( + αh)] Gradient in (,y)=(.,), h=(,.5) (,y)=(.,), h=(,.5).5 f(,y) y y h f Vorlesung II Freie Optimierung 6 / 6 Φ(α), lineares Modell α

37 Gradient und Richtungsableitung, lineares Modell Das lineare Modell von f in hat in jede Richtung h R n den gleichen Anstieg wie f in : die Richtungsableitung von f in in Richtung h, f ( ) T f ( + αh) f ( ) h = lim =: D h f ( ) α α [= Ableitung d dαφ() der D-Funktion Φ : R R, Φ(α) := f ( + αh)] Gradient in (,y)=(.8,.5), h=(, ) (,y)=(.8,.5), h=(, ).5 f(,y) y y f h Vorlesung II Freie Optimierung 7 / 6 Φ(α), lineares Modell α

38 Gradient und Richtungsableitung, lineares Modell Das lineare Modell von f in hat in jede Richtung h R n den gleichen Anstieg wie f in : die Richtungsableitung von f in in Richtung h, f ( ) T f ( + αh) f ( ) h = lim =: D h f ( ) α α [= Ableitung d dαφ() der D-Funktion Φ : R R, Φ(α) := f ( + αh)] Gradient in (,y)=(.8,.5), h=(.,.8) (,y)=(.8,.5), h=(.,.8).5 f(,y) y y f h Vorlesung II Freie Optimierung 8 / 6 Φ(α), lineares Modell α

39 Gradient und Richtungsableitung, lineares Modell Das lineare Modell von f in hat in jede Richtung h R n den gleichen Anstieg wie f in : die Richtungsableitung von f in in Richtung h, f ( ) T f ( + αh) f ( ) h = lim =: D h f ( ) [D λh f ( ) = λd h f ( )] α α [= Ableitung d dαφ() der D-Funktion Φ : R R, Φ(α) := f ( + αh)] Gradient in (,y)=(.,), h=(.8,.8) (,y)=(.,), h=(.8,.8).5 f(,y) y h f y Vorlesung II Freie Optimierung 9 / 6 Φ(α), lineares Modell α

40 Gradient und Richtungsableitung, lineares Modell Das lineare Modell von f in hat in jede Richtung h R n den gleichen Anstieg wie f in : die Richtungsableitung von f in in Richtung h, f ( ) T f ( + αh) f ( ) h = lim =: D h f ( ) [D λh f ( ) = λd h f ( )] α α [= Ableitung d dαφ() der D-Funktion Φ : R R, Φ(α) := f ( + αh)] Gradient in (,y)=(.,), h=(.,.) (,y)=(.,), h=(.,.).5 f(,y) y h f y Vorlesung II Freie Optimierung 4 / 6 Φ(α), lineares Modell α

41 Orakel. Ordnung: f (), f (), f () Für R n werden f ( ), f ( ) und Hessematri f ( ) (. Abl.) berechnet. Vorlesung II Freie Optimierung 4 / 6

42 Orakel. Ordnung: f (), f (), f () Für R n werden f ( ), f ( ) und Hessematri f ( ) (. Abl.) berechnet. f ()... f Quadratisches Modell in =., y= n () f () := f n ()... f n n ().5 f () ist symmetrisch, falls f zweimal stetig differenzierbar ist..5 f () best. die Krümmung von f.5 Das quadrat. Modell aus[ f (),] f (), f () schmiegt sich in f () an den ] } Graphen : R n y von f an. {[ f () f ( ), f ( ) und f ( ) bilden das quadratische Modell von f um, f () := f ( ) + f ( ) T ( ) + ( )T f ( )( ). Für nahe bei ist es eine sehr gute Näherung an f : f () f ( ) f ( ) lim T ( ) ( )T f ( )( ) =. Vorlesung II Freie Optimierung 4 / 6 f(,y)

43 Orakel. Ordnung: f (), f (), f () Für R n werden f ( ), f ( ) und Hessematri f ( ) (. Abl.) berechnet. f ()... f Quadratisches Modell in =, y=.5 n () f () := f n ()... f n n ().5 f () ist symmetrisch, falls f zweimal stetig differenzierbar ist..5 f () best. die Krümmung von f.5 Das quadrat. Modell aus[ f (),] f (), f () schmiegt sich in f () an den ] } Graphen : R n y von f an. {[ f () f ( ), f ( ) und f ( ) bilden das quadratische Modell von f um, f () := f ( ) + f ( ) T ( ) + ( )T f ( )( ). Für nahe bei ist es eine sehr gute Näherung an f : f () f ( ) f ( ) lim T ( ) ( )T f ( )( ) =. Vorlesung II Freie Optimierung 4 / 6 f(,y)

44 Orakel. Ordnung: f (), f (), f () Für R n werden f ( ), f ( ) und Hessematri f ( ) (. Abl.) berechnet. f ()... f Quadratisches Modell in =.9, y= n () f () := f n ()... f n n ().5 f () ist symmetrisch, falls f zweimal stetig differenzierbar ist..5 f () best. die Krümmung von f.5 Das quadrat. Modell aus[ f (),] f (), f () schmiegt sich in f () an den ] } Graphen : R n y von f an. {[ f () f ( ), f ( ) und f ( ) bilden das quadratische Modell von f um, f () := f ( ) + f ( ) T ( ) + ( )T f ( )( ). Für nahe bei ist es eine sehr gute Näherung an f : f () f ( ) f ( ) lim T ( ) ( )T f ( )( ) =. Vorlesung II Freie Optimierung 44 / 6 f(,y)

45 Orakel. Ordnung: f (), f (), f () Für R n werden f ( ), f ( ) und Hessematri f ( ) (. Abl.) berechnet. f ()... f Quadratisches Modell in =.8, y=.5 n () f () := f n ()... f n n ().5 f () ist symmetrisch, falls f zweimal stetig differenzierbar ist..5 f () best. die Krümmung von f.5 Das quadrat. Modell aus[ f (),] f (), f () schmiegt sich in f () an den ] } Graphen : R n y von f an. {[ f () f ( ), f ( ) und f ( ) bilden das quadratische Modell von f um, f () := f ( ) + f ( ) T ( ) + ( )T f ( )( ). Für nahe bei ist es eine sehr gute Näherung an f : f () f ( ) f ( ) lim T ( ) ( )T f ( )( ) =. Vorlesung II Freie Optimierung 45 / 6 f(,y)

46 Orakel. Ordnung: f (), f (), f () Für R n werden f ( ), f ( ) und Hessematri f ( ) (. Abl.) berechnet. f ()... f Quadratisches Modell in =.7, y= n () f () := f n ()... f n n ().5 f () ist symmetrisch, falls f zweimal stetig differenzierbar ist..5 f () best. die Krümmung von f.5 Das quadrat. Modell aus[ f (),] f (), f () schmiegt sich in f () an den ] } Graphen : R n y von f an. {[ f () f ( ), f ( ) und f ( ) bilden das quadratische Modell von f um, f () := f ( ) + f ( ) T ( ) + ( )T f ( )( ). Für nahe bei ist es eine sehr gute Näherung an f : f () f ( ) f ( ) lim T ( ) ( )T f ( )( ) =. Vorlesung II Freie Optimierung 46 / 6 f(,y)

47 Quadratisches Modell in Richtung h Das quadratische Modell von f in hat in jede Richtung h R n die gleiche Steigung und Krümmung wie f in. f ( + αh) = f ( ) + α f ( ) T h + α ht f ( )h. [Taylor-Entw.. Ordnung der D-Funktion Φ : R R, Φ(α) := f ( + αh)] Vorlesung II Freie Optimierung 47 / 6

48 f(,y) Quadratisches Modell in Richtung h Das quadratische Modell von f in hat in jede Richtung h R n die gleiche Steigung und Krümmung wie f in. f ( + αh) = f ( ) + α f ( ) T h + α ht f ( )h. [Taylor-Entw.. Ordnung der D-Funktion Φ : R R, Φ(α) := f ( + αh)] quad. Modell in (,y)=(.,), h=(.8,.8) y h f y (,y)=(.,), h=(.8,.8) Vorlesung II Freie Optimierung 48 / 6 Φ(α), quadratisches Modell α

49 f(,y) Quadratisches Modell in Richtung h Das quadratische Modell von f in hat in jede Richtung h R n die gleiche Steigung und Krümmung wie f in. f ( + αh) = f ( ) + α f ( ) T h + α ht f ( )h. [Taylor-Entw.. Ordnung der D-Funktion Φ : R R, Φ(α) := f ( + αh)] quad. Modell in (,y)=(.,), h=(,.5) y y h f (,y)=(.,), h=(,.5) Vorlesung II Freie Optimierung 49 / 6 Φ(α), quadratisches Modell α

50 f(,y) Quadratisches Modell in Richtung h Das quadratische Modell von f in hat in jede Richtung h R n die gleiche Steigung und Krümmung wie f in. f ( + αh) = f ( ) + α f ( ) T h + α ht f ( )h. [Taylor-Entw.. Ordnung der D-Funktion Φ : R R, Φ(α) := f ( + αh)] quad. Modell in (,y)=(.8,.5), h=(, ) y y f h (,y)=(.8,.5), h=(, ) Vorlesung II Freie Optimierung 5 / 6 Φ(α), quadratisches Modell α

51 Quadratisches Modell in Richtung h Das quadratische Modell von f in hat in jede Richtung h R n die gleiche Steigung und Krümmung wie f in. f ( + αh) = f ( ) + α f ( ) T h + α ht f ( )h. [Taylor-Entw.. Ordnung der D-Funktion Φ : R R, Φ(α) := f ( + αh)] quad. Modell in (,y)=(.8,.5), h=(.,.8) f(,y) y y f h (,y)=(.8,.5), h=(.,.8) Vorlesung II Freie Optimierung 5 / 6 Φ(α), quadratisches Modell α

52 Klein-o-Notation Für glatte Funktionen gilt: f ( + h) f ( ) f ( ) T h lim =. h h Andere Notation dafür: f ( + h) = f ( )+ f ( ) T h+ o( h ). Lies: Die lineare Funktion f ( )+ f ( ) T h ist in der Nähe von ein solch gute Näherung für die Funktion f ( + h), dass der Unterschied zwischen den beiden schneller als h gegen null geht. Vorlesung II Freie Optimierung 5 / 6

53 Klein-o-Notation Für glatte Funktionen gilt: f ( + h) f ( ) f ( ) T h lim =. h h Andere Notation dafür: f ( + h) = f ( )+ f ( ) T h+ o( h ). Lies: Die lineare Funktion f ( )+ f ( ) T h ist in der Nähe von ein solch gute Näherung für die Funktion f ( + h), dass der Unterschied zwischen den beiden schneller als h gegen null geht. Analog für das quadratische Modell: f ( + h) = f ( )+ f ( ) T h+ ht f ( )h + o( h ). Vorlesung II Freie Optimierung 5 / 6

54 Klein-o-Notation Für glatte Funktionen gilt: f ( + h) f ( ) f ( ) T h lim =. h h Andere Notation dafür: f ( + h) = f ( )+ f ( ) T h+ o( h ). Lies: Die lineare Funktion f ( )+ f ( ) T h ist in der Nähe von ein solch gute Näherung für die Funktion f ( + h), dass der Unterschied zwischen den beiden schneller als h gegen null geht. Analog für das quadratische Modell: f ( + h) = f ( )+ f ( ) T h+ ht f ( )h + o( h ). Das Landau-Symbol g(h) = o( g(h)) steht immer als Ersatz für eine nicht weiter interessierende Funktion g(h) mit der Eigenschaft g(h) lim h g(h) =. Also: g(h) wird schneller klein als g(h) für h. Vorlesung II Freie Optimierung 54 / 6

55 Klein-o-Notation Bei Folgen: g( (k) ) = o( g( (k) )), falls gilt: g( (k) ) lim k g( (k) ) =. Vorlesung II Freie Optimierung 55 / 6

56 Niveaumengen und Niveaulinien Verfahren der freien nichtlinearen Optimierung betrachten nur Punkte mit besserem Zielfunktionswert als dem derzeitigen, also nur Punkte aus der r Niveaumenge von f zu einem Wert r R, S r (f ) := { R n : f () r}. f S (f) r Vorlesung II Freie Optimierung 56 / 6

57 Niveaumengen und Niveaulinien Verfahren der freien nichtlinearen Optimierung betrachten nur Punkte mit besserem Zielfunktionswert als dem derzeitigen, also nur Punkte aus der Niveaumenge von f zu einem Wert r R, S r (f ) := { R n : f () r}. f r S (f) r Funktionsdarstellungen über Niveaulinien [ Linien ] N r (f ) := { R n : f () = r} (contour plots) helfen, Verfahren zu illustrieren. [Höhenlinien in Landkarten, Wetterkarten] Beachte: Der Gradient ist immer orthogonal zur Niveaulinie, denn für, + h N r (f ) gilt = f ( + h) f () = f () T h + o( h ). Beispiel: quadratische Funktion T Q + q T + d mit Q positiv definit Vorlesung II Freie Optimierung 57 / 6

58 Niveaumengen und Niveaulinien Verfahren der freien nichtlinearen Optimierung betrachten nur Punkte mit besserem Zielfunktionswert als dem derzeitigen, also nur Punkte aus der Niveaumenge von f zu einem Wert r R, S r (f ) := { R n : f () r}. f r S (f) r Funktionsdarstellungen über Niveaulinien [ Linien ] N r (f ) := { R n : f () = r} (contour plots) helfen, Verfahren zu illustrieren. [Höhenlinien in Landkarten, Wetterkarten] Beachte: Der Gradient ist immer orthogonal zur Niveaulinie, denn für, + h N r (f ) gilt = f ( + h) f () = f () T h + o( h ). Beispiel: quadratische Funktion T Q + q T + d mit Q indefinit Vorlesung II Freie Optimierung 58 / 6

59 Niveaumengen und Niveaulinien Verfahren der freien nichtlinearen Optimierung betrachten nur Punkte mit besserem Zielfunktionswert als dem derzeitigen, also nur Punkte aus der Niveaumenge von f zu einem Wert r R, S r (f ) := { R n : f () r}. f r S (f) r Funktionsdarstellungen über Niveaulinien [ Linien ] N r (f ) := { R n : f () = r} (contour plots) helfen, Verfahren zu illustrieren. [Höhenlinien in Landkarten, Wetterkarten] Beachte: Der Gradient ist immer orthogonal zur Niveaulinie, denn für, + h N r (f ) gilt = f ( + h) f () = f () T h + o( h ). Beispiel: quadratische Funktion T Q + q T + d mit Q negativ definit Vorlesung II Freie Optimierung 59 / 6

60 Niveaumengen und Niveaulinien Verfahren der freien nichtlinearen Optimierung betrachten nur Punkte mit besserem Zielfunktionswert als dem derzeitigen, also nur Punkte aus der Niveaumenge von f zu einem Wert r R, S r (f ) := { R n : f () r}. f r S (f) r Funktionsdarstellungen über Niveaulinien [ Linien ] N r (f ) := { R n : f () = r} (contour plots) helfen, Verfahren zu illustrieren. [Höhenlinien in Landkarten, Wetterkarten] Beachte: Der Gradient ist immer orthogonal zur Niveaulinie, denn für, + h N r (f ) gilt = f ( + h) f () = f () T h + o( h ). Beispiel: quadratische Funktion T Q + q T + d mit Q positiv semidefinit Vorlesung II Freie Optimierung 6 / 6

61 Niveaumengen und Niveaulinien Verfahren der freien nichtlinearen Optimierung betrachten nur Punkte mit besserem Zielfunktionswert als dem derzeitigen, also nur Punkte aus der Niveaumenge von f zu einem Wert r R, S r (f ) := { R n : f () r}. f r S (f) r Funktionsdarstellungen über Niveaulinien [ Linien ] N r (f ) := { R n : f () = r} (contour plots) helfen, Verfahren zu illustrieren. [Höhenlinien in Landkarten, Wetterkarten] Beachte: Der Gradient ist immer orthogonal zur Niveaulinie, denn für, + h N r (f ) gilt = f ( + h) f () = f () T h + o( h ). Beispiel: Rosenbrock-Funktion (banana shape) f (, y) = 4 [(y ) + ( ) ] Minimum wird in (,) angenommen. y Vorlesung II Freie Optimierung 6 / 6