Einführung in Softwaretools zur Nichtlinearen Optimierung

Transkript

1 Einführung in Softwaretools zur Nichtlinearen Optimierung 3. April April 2017 Sebastian Garreis, M. Sc. (hons) Johannes Haubner, M. Sc. Technische Universität München Fakultät für Mathematik Lehrstuhl für Mathematische Optimierung (M1) Garching, 4. April 2017

2 Kursplan Montag, 3. April 2017: Optimierungsverfahren in der unrestringierten Optimierung Vergleich von Konvergenzverhalten einzelner Verfahren MATLAB Dienstag, 4. April 2017: Optimierungsverfahren in der restringierten Optimierung Vorstellen von externer Lösungs-Software Modellieren und Lösen mit AMPL NEOS Mittwoch, 5. April 2017: Innere-Punkte-Verfahren Installation und Kompilieren größerer Optimierungspakete AMPL und Ipopt

3 P1 C 60 -Molekül min f (x), f (x) = 1 x R F (x) 2 2. (1) x k+1 = x k + σ k s k, f (x k + σ k s k ) f (x k ) σ k γ f (x k ) T s k.

4 P1 C 60 -Molekül min f (x), f (x) = 1 x R F (x) 2 2. (1) x k+1 = x k + σ k s k, f (x k + σ k s k ) f (x k ) σ k γ f (x k ) T s k. Gradientenverfahren: s k = f (x k ) = F (x k ) T F (x k ),

5 P1 C 60 -Molekül min f (x), f (x) = 1 x R F (x) 2 2. (1) x k+1 = x k + σ k s k, f (x k + σ k s k ) f (x k ) σ k γ f (x k ) T s k. Gradientenverfahren: s k = f (x k ) = F (x k ) T F (x k ), Gauß-Newton-Verfahren: F (x k ) T F (x k )s k = F (x k ) T F (x k ) (= f (x k )),

6 P1 C 60 -Molekül min f (x), f (x) = 1 x R F (x) 2 2. (1) x k+1 = x k + σ k s k, f (x k + σ k s k ) f (x k ) σ k γ f (x k ) T s k. Gradientenverfahren: Gauß-Newton-Verfahren: i s k = f (x k ) = F (x k ) T F (x k ), F (x k ) T F (x k )s k = F (x k ) T F (x k ) (= f (x k )), Newton-Verfahren: [ ] F i (x k )F i (x k ) + F (x k ) T F (x k ) s k = F (x k ) T F (x k ).

7 P2 Gradienten-, Newton-, inverses BFGS-Verfahren Newton-Verfahren löst unrestringierte Optimierungsprobleme mit quadratischer Zielfunktion in einer Iteration. Keine lokal-quadratische Konvergenz des Newton-Verfahrens ist häufig ein Indiz für eine Verletzung der hinreichenden Optimalitätsbedingung zweiter Ordnung. Konvergenz-Geschwindigkeit des Gradienten-Verfahrens hängt bei quadratischen Funktionen von der Kondition der Hesse-Matrix ab. Vorteile inverses BFGS-Verfahren : Matrix-Vektor-Multiplikation statt lineares Gleichungssystem, keine zweiten Ableitungen notwendig, häufig lokal ähnliches Konvergenzverhalten wie Newton-Verfahren beobachtbar (superlineare Konvergenz).

8 P2 Gradienten-, Newton-, inverses BFGS-Verfahren Konvergenz der Verfahren für f (x) := x x θx (θ (0, 1]): Gradientenverfahren Newton-Verfahren BFGS-Verfahren Startpunkt Lösung

9 P2 Gradienten-, Newton-, inverses BFGS-Verfahren Konvergenz der Verfahren für f (x) := x x θx (θ (0, 1]): 10 2 Gradientenverfahren 10 0 Newton-Verfahren BFGS-Verfahren 10-2 Abstand zur Lösung Iteration

10 P3 Problem der Brachistochrone Vergleich von Speicherbedarf und Rechenaufwand: Speicher Flops Gradienten-Verfahren O(n) O(n) Vektor-Vektor-Operationen Newton-Verfahren (dense) O(n 2 ) O(n 3 ) Lösung LGS mit vollbesetzter Matrix Newton-Verfahren (sparse) O(n) O(n) Lösung LGS mit Tridiagonal-Matrix

11 P3 Problem der Brachistochrone Vergleich von Speicherbedarf und Rechenaufwand: Speicher Flops Gradienten-Verfahren O(n) O(n) Vektor-Vektor-Operationen Newton-Verfahren (dense) O(n 2 ) O(n 3 ) Lösung LGS mit vollbesetzter Matrix Newton-Verfahren (sparse) O(n) O(n) Lösung LGS mit Tridiagonal-Matrix Bei vielen Problemen lässt sich die Struktur der Hesse-Matrix ausnutzen, um den Speicherbedarf und den Rechenaufwand zur Lösung des linearen Gleichungssystems zu reduzieren.

12 Das restringierte Optimierungsproblem min f (x) u. d. N. g(x) 0, h(x) = 0 (2) x Rn mit f : R n R, g : R n R m, h : R n R p glatt genug. KKT-Bedingungen (notwendig, falls eine CQ erfüllt ist): Es gibt λ R m und µ R p mit f ( x) + g( x) λ + h( x) µ = 0 h( x) = 0 λ 0, g( x) 0, λ T g( x) = 0 Die erste Bedingung kann mit Hilfe der Lagrangefunktion L(x, λ, µ) = f (x) + λ T g(x) + µ T h(x) (3) auch als x L( x, λ, µ) = 0 geschrieben werden.

13 Implementierungsaspekte Wie sind die Funktionen gegeben? Explizit oder implizit Ungenauigkeiten Programmiersprachen? Ableitungen? Startpunktwahl Schätzung der Lösung Schätzung der Startmatrizen M k, B k, H k Heuristik

14 Implementierungsaspekte Lösen von Teilproblemen Lineare Gleichungssysteme QPs bei SQP-Verfahren LPs Geschickte Parameterwahl Große Optimierungsprobleme Darstellung von/operationen mit Vektoren und Matrizen Effiziente Operationen und Lösung der Teilprobleme notwendig

15 Optimierungssoftware Je nach Problemstellung (linear, quadratisch, konvex, allgemein, nichtglatt, gemischt-ganzzahlig, unrestringiert, restringiert, Verfügbarkeit der Ableitungen etc.) gibt es andere Löser. Die Eingabe des eigentlichen Problems (der Daten eines Problems) ist unterschiedlich. Überblick über einige Software findet man zum Beispiel hier:

16 AMPL AMPL: Modellierungssoftware Keine eigenen Löser Schnittstellen zu vielen Lösern, Grundlegende Syntax: Jede Anweisung beginnt mit einem Schlüsselwort und endet mit ; Groß- und Kleinschreibung ist wichtig Grundlegende Struktur: model bsp.mod; data bsp.dat; solve; oder commands bsp.com; Anzeige von Lösung x mit display x;

17 AMPL Einfaches Beispiel Problem: max 3x 1 + x 2 u. d. N. x 1 + x 2 4, 2x 1 + 3x 2 6, x 1, x 2 0 x R 2 Zugehörige Modelldatei: var x1; var x2; maximize ziel: 3*x1+x2; subject to nb1: x1+x2 <= 4; subject to nb2: -2*x1+3*x2 <= 6; subject to nb3: x1 >= 0; subject to nb4: x2 >= 0;

18 AMPL Einfaches Beispiel Aufruf des Lösers: option solver minos; solve; MINOS 5.5: optimal solution found. 1 iterations, objective 12 display x1,x2,ziel; x1 = 4 x2 = 0 ziel = 12 Stattdessen kann auch eine Command-Datei aufgerufen werden.

19 AMPL Weitere Features: Mengendefinitionen Parameter (für Data-Datei) Indexmengen-Schreibweise Excel-Schnittstelle viele weitere problemabhängigen Schlüsselwörter nutzbar

20 AMPL Ein etwas komplizierteres Beispiel: set M; # Menge von Bedarfsorten set N; # Menge von Produktionsorten param a {i in N} >= 0; # Angebotsmengen param b {j in M} >= 0; # Bedarfsmengen param c {i in N, j in M}; # Kosten param s {i in N, j in M}; # Schranken var x {i in N, j in M} >= 0, <= s[i,j]; minimize kosten: sum {i in N, j in M} x[i,j]*c[i,j]; #sum {j in M, i in N}... oder sum {i in N} sum {j in M} subject to bedarf {j in M}: sum {i in N} x[i,j] = b[j]; subject to angebot {i in N}: sum {j in M} x[i,j] = a[i];

21 Los geht s!