Optimierung I. 1 Einführung. Luise Blank. Wintersemester 2012/13. Universität Regensburg

Größe: px

Ab Seite anzeigen:

Download "Optimierung I. 1 Einführung. Luise Blank. Wintersemester 2012/13. Universität Regensburg"

Fabian Möller
vor 8 Jahren
Abrufe

1 Universität Regensburg Wintersemester 2012/13 1 Einführung

2 Anwendungen Finanzwirtschaft: maximale Gewinnrate unter Beschränkungen an das Risiko; Portfolio von Investments Produktion: maximiere Gewinn bei gegebenen Produkten; Lagerhaltung erzeugende Industrie: Parameteridentifikation, d.h. bestimme Parameter (Hitzezufuhr etc.), sodass das gewünschte Produkt erhalten wird; Kontrolle chemischer und biologischer Prozesse; Oberflächenoptimierung in der Fahrzeugindustrie; Berechnung von Roboterbahnen Anwendungen Medizin: Bildverarbeitung; Strahlentherapie, d.h. wo soll wie bestrahlt werden, um die Krebszellen zu zerstören, aber gesunde zu erhalten Natur: Energieminimierung; Identifikation der seismologischen Eigenschaften der Erde Travelling Salesman; Bahnfahrpläne; Routen von Handyverbindungen; Navigationssysteme Einige konkrete Beispiele sind u.a. im Geiger/Kanzow oder auch in: H.J. Pesch: Schlüsseltechnologie Mathematik, zu finden.

), sodass das gewünschte Produkt erhalten wird; Kontrolle chemischer und biologischer Prozesse; Oberflächenoptimierung in der Fahrzeugindustrie; Berechnung von Roboterbahnen Anwendungen Medizin:

3 Klassifizierung Die diskrete (oder ganzzahlige, kombinatorische) Optimierung untersucht x Z n. Hierzu gehört das Traveling-Salesman-Problem. Neuerdings wird auch vermehrt gemischt ganzzahlige Optimierung betrachtet (x 1,... x n Z, x k+1,... x n IR). In dieser Vorlesung betrachten wir die kontinuierliche (continuous), (endlich dimensionale) Optimierung, also x IR n. In manchen Optimierungsproblemen können die Modelle (Nebenbedingungen) nur stochastisch beschrieben werden. Dann ist das Kostenfunktional f in der Regel ein Erwartungswert und wir erhalten ein stochastisches Optimierungsproblem (z.b. Finanzplanung unter Zukunftsprognosen). Wir betrachten in dieser Vorlesung die deterministische Optimierung. Klassifizierung Desweiteren betrachten wir nur glatte Funktionen, d.h. sie sind zumindest einmal differenzierbar. Damit sind z.b. mehrstufige Optimierungsprobleme min f (ŷ(x)) u.d.n. ŷ(x) = arg min g(x, y) x B y B x ausgeschlossen, da ŷ i.d.r. auch für glattes g nicht differenzierbar von x abhängt.

In dieser Vorlesung betrachten wir die kontinuierliche (continuous), (endlich dimensionale) Optimierung, also x IR n.

4 Klassifizierung Wir betrachten also deterministische, kontinuierliche, glatte Optimierungsprobleme im IR n (= B). Auch diese lassen sich einteilen: Klassifizierung 1 Unrestringierte Minimierungsprobleme: außer x IR n gibt es keine Nebenbedingungen (E = I = ). Somit ist f auch nichtlinear. (unconstrained NLP) 2 Lineare Programierung, LP (Programme): f und alle c i sind affin (oft wird auch lax von c i linear gesprochen). 3 Nichlineare Programmierung, NLP: f oder ein c i ist nicht affin 4 Quadratische Probleme,QP: f ist eine quadratische Funktion (f (x) = 1 2 xt Gx + x T c + d) und alle c i sind affin. 5 Konvexe Programme: f und F sind konvex, d.h. in (1.2) f ist konvex, c i ist affin für i E, c i ist konkav für i I. 6 restringierte nichtlineare Optimerung, NLP

(unconstrained NLP) 2 Lineare Programierung, LP (Programme): f und alle c i sind affin (oft wird auch lax von c i linear gesprochen).

5 Klassifizierung Obige Einteilung ist jedoch nicht disjunkt: x Z c(x) := sin(πx) = 0 also diskretes Problem entspricht einem glatten NLP c i (x) 0 c i (x) x 2 i = 0 mit einer zusätzlichen Variablen x i (Schlupfvariable) Ungleichungsrestriktionen werden zu Gleichungsrestriktionen c 1 (x) = 0,..., c k (x) = 0 c 2 1 (x) c2 k (x) = 0 Durch solche Umformungen wird oft jedoch nichts gewonnen, da die neue Problemformulierung nicht einfacher ist. Lokale und globale Optimierung Eine weitere Unterscheidung gibt es zwischen globaler und lokaler Optimierung. Die meisten Analysen und Algorithmen für NLPs betrachten lokale Lösungen der Optimierungsprobleme, also lokale Minima. Für konvexe und somit insbesondere für lineare Probleme sind lokale Minima jedoch immer auch globale Minima (siehe später).

.. + c2 k (x) = 0 Durch solche Umformungen wird oft jedoch nichts gewonnen, da die neue Problemformulierung nicht einfacher ist.

6 Lokale und globale Optimierung 1.4 Beispiel: für die Relevanz der Nebenbedinungen f (x 1, x 2 ) = x x 2 2 min u.d.n.b. (1) : x 2 = x 1 bzw. (2) : x 2 = 3 2 sin(10x 1) + 2 f quadratisches, konvexes Gütefunktional (1): lineare Nebenbedingung, ein lokales/globales Minimum (2): nichtlineare Nebenbedingung, viele lokale Minima Aufbau der Vorlesung I Nichlineare Minimierung ohne Nebenbedingungen Theorie inklusiver konvexer Optimierungsprobleme Liniensuche Trust-Region-Methode II Optimalitätsbedingungen für NLP KKT-Bedingungen (Bedingungen 1ter Ordnung) Regularitätsbedingungen (als Voraussetzung für KKT-Bed.) Bedingungen 2ter Ordnung III Theorie und Numerik zu Quadratischen Problemen

lokale Minima Aufbau der Vorlesung I Nichlineare Minimierung ohne Nebenbedingungen Theorie inklusiver konvexer Optimierungsprobleme Liniensuche Trust-Region-Methode II

7 Literatur J. Nocedal, S.J. Wright: Numerical Optimization, Springer-Verlag W. Alt: Nichtlineare Optimierung, Eine Einführung in Theorie, Verfahren und Anwendungen, Vieweg Verlag. C. Geiger, C. Kanzow: Numerische Verfahren zur Lösung unrestringierter Optimierungsaufgaben, Springer. C. Geiger, C. Kanzow: Theorie und Numerik restringierter Optimierungsaufgaben, Springer. Chr. Großmann, J. Terno: Numerik der Optimierung, Teuber-Studienbücher. 2 Einführung und Optimalitätsbedingungen

Kanzow: Numerische Verfahren zur Lösung unrestringierter Optimierungsaufgaben, Springer. C. Geiger, C.

8 2.5 Beispiel: Rosenbrock-Funktion f (x 1, x 2 ) = 100(x 2 x 2 1 ) 2 + (1 x 1 ) Beispiel: Rosenbrock-Funktion Höhenlinien

9 2.6 Beispiel: Funktion von Himmelblau (1972) f (x 1, x 2 ) = (x x 2 11) 2 + (x 1 + x 2 2 7) Beispiel: Funktion von Himmelblau (1972) Höhenlinien

10 4 Überblick über die Algorithmen Beispiel: Suchrichtungen abhängig vom Trust-Region-Radius

11 5.3 Gradientenverfahren Beispiel: quadratische Funktion ( ) 1 0 A =, b = bzw. f (x, y) = 1 2 (x y 2 ) mit Startwert (1, 20) T

12 Beispiel: Rosenbrock-Funktion Gradientenverfahren nach Algorithmus 5.38 angewendet auf die Rosenbrock-Funktion mit x 0 = ( 1.9, 2) T, c 1 = 0.2, β = 0.5 Beispiel: Rosenbrock-Funktion Mit Startschrittweite 1: tol it x f grad x j x 1.00e [ , ] 1.37e e e e [ , ] 8.45e e e e [ , ] 1.01e e e e [ , ] 8.25e e e e [ , ] 9.96e e e e [ , ] 8.00e e e-06

747e-01 1.00e-02 692 [1.009185,1.018495] 8.45e-05 8.40e-03 2.065e-02 1.00e-03 820 [1.001005,1.002016] 1.01e-06 9.00e-04 2.253e-03 1.00e-04 1051 [1.

13 Beispiel: Rosenbrock-Funktion Gradientenverfahren nach Algorithmus 5.38 angewendet auf die Rosenbrock-Funktion mit x 0 = ( 1.9, 2) T, c 1 = 0.2, β = 0.5 aber mit der Armijo-Regel startend mit der Testschrittweite 0.2 statt 1. Beispiel: Rosenbrock-Funktion Die Suchrichtungen sind visuell parallel zur den übernächsten:

2, β = 0.5 aber mit der Armijo-Regel startend mit der Testschrittweite 0.

14 Beispiel: Rosenbrock-Funktion Mit Startschrittweite 0.2: tol it x f grad x j x 1.00e [ , ] 8.93e e e e [ , ] 8.84e e e e [ , ] 9.02e e e e [ , ] 8.86e e e e [ , ] 8.84e e e e [ , ] 8.82e e e-06 Die Kondition κ = cond( 2 f (x )) ist relativ groß und κ 1 κ nahe bei 0. Abschätzung (5.35) ergibt eine Reduktion um 0.1 nach rund 2888 Iterationen ( 2888 κ 1 κ+1) /10. In der obigen Tabelle werden ungefähr 2500 gebraucht. 6.5 Iterative Lösung des Trust-Region Teilbproblems

98e-06 2.104e-05 1.00e-06 13143 [0.999999,0.999998] 8.82e-13 1.00e-06 2.102e-06 Die Kondition κ = cond( 2 f (x )) 2508.0 ist relativ groß und κ 1 κ+1 0.99920 nahe bei 0. Abschätzung (5.

15 Aufwand p c keine Zerlegung von B dogleg: p B Zerlegung von B IR n n mittels Cholesky Newton-Verfahren für (6.35): für jede Iteration λ (l) muß p (l) = p(λ (l) ) nach (6.31) berechnet werden, d.h. (B + λ (l) I ) zerlegt werden. Da (B + λ (l) I ) pos.def. für λ (l) > λ 1 ist, nutze hierfür die Cholesky-Zerlegung. Typischerweise werden nur 2-3 Iterationen ausgeführt, um die exakte Lösung so gut zu approximieren, daß das ganze trust-region Verfahren konvergiert. Mehr hierzu in Moré/Sorensen 1983: Computing a trust region step. Fall q T 1 g = 0 Falls eine Nullstelle λ λ 1 von p(λ) = 0 existiert, verfahre wie oben Falls nicht, gibt es ein λ mit λ 2 < λ < λ 1 und p( λ) =, aber B + λi ist nicht positiv semidefinit. Daher: berechne einen normierten Eigenvektor q 1 zum Eigenwert λ 1 von B. Für p = τq 1 + n j=1 λ j λ 1 q T j g λ j + λ q j gilt p 2 = τ 2 + n j=1 λ j λ 1 q T j g (λ j + λ) 2 Bestimme nun τ so dass p = mit λ = λ 1. Dann folgt (6.30). Mehr hierzu in Moré/Sorensen 1983: Computing a trust region step.

Typischerweise werden nur 2-3 Iterationen ausgeführt, um die exakte Lösung so gut zu approximieren, daß das ganze trust-region Verfahren konvergiert.

16 7 Ergänzung Inexakte Newton-Methoden Nutze die Newton-Darstellung des Schritts p N k, d.h. 2 f k p N k = f k aber löse dieses Gleichungssystem inexakt, z.b. durch einen iterativen Löser. Vermeide hiermit die Zerlegung, das Aufstellen und das Speichern der Hesse-Matrix 2 f k. Unter der Voraussetzung, dass die relativen Residuen gleichmäßig beschränkt sind, d.h. 2 f k p k + f k f k η < 1 kann superlineare (quadratische) Konvergenz gezeigt werden.

Vermeide hiermit die Zerlegung, das Aufstellen und das Speichern der Hesse-Matrix 2 f k.

Ähnliche Dokumente

Optimierung für Nichtmathematiker

Optimierung für Nichtmathematiker Typische Prüfungsfragen Die folgenden Fragen dienen lediglich der Orientierung und müssen nicht den tatsächlichen Prüfungsfragen entsprechen. Auch Erkenntnisse aus den