Rechnerpraktikum zur Nichtlinearen Optimierung

Transkript

1 Rechnerpraktikum zur Nichtlinearen Optimierung 9. März März 2016 Sebastian Garreis, B. Sc. Philipp Jarde, M. Sc. Technische Universität München Fakultät für Mathematik Lehrstuhl für Mathematische Optimierung (M1) Garching, 10. März 2016

2 Kursplan Mittwoch, 9. März 2016: Optimierungsverfahren in der unrestringierten Optimierung Vergleich von Konvergenzverhalten einzelner Verfahren Matlab Donnerstag, 10. März 2016: Optimierungsverfahren in der restringierten Optimierung Vorstellen von externer Lösungs-Software Modellieren und Lösen mit AMPL NEOS Freitag, 11. März 2016: Innere-Punkte-Verfahren Installation und Kompilieren größerer Optimierungspakete AMPL und Ipopt

3 P1 - C 60 -Molekül min f (x), f (x) = 1 x R F (x) 2 2. (1) x k+1 = x k + σ k s k, f (x k + σ k s k ) f (x k ) σ k γ f (x k ) T s k.

4 P1 - C 60 -Molekül min f (x), f (x) = 1 x R F (x) 2 2. (1) x k+1 = x k + σ k s k, f (x k + σ k s k ) f (x k ) σ k γ f (x k ) T s k. Gradientenverfahren: s k = f (x k ) = F (x k ) T F (x k ),

5 P1 - C 60 -Molekül min f (x), f (x) = 1 x R F (x) 2 2. (1) x k+1 = x k + σ k s k, f (x k + σ k s k ) f (x k ) σ k γ f (x k ) T s k. Gradientenverfahren: s k = f (x k ) = F (x k ) T F (x k ), Gauß-Newton-Verfahren: F (x k ) T F (x k )s k = F (x k ) T F (x k ) (= f (x k )),

6 P1 - C 60 -Molekül min f (x), f (x) = 1 x R F (x) 2 2. (1) x k+1 = x k + σ k s k, f (x k + σ k s k ) f (x k ) σ k γ f (x k ) T s k. Gradientenverfahren: Gauß-Newton-Verfahren: i s k = f (x k ) = F (x k ) T F (x k ), F (x k ) T F (x k )s k = F (x k ) T F (x k ) (= f (x k )), Newton-Verfahren: [ ] F i (x k )F i (x k ) + F (x k ) T F (x k ) s k = F (x k ) T F (x k ).

7 P2 - Gradienten-, Newton-, inverses BFGS-Verfahren Newton-Verfahren löst unrestringierte Optimierungsprobleme mit quadratischer Zielfunktion in einer Iteration. Keine lokal-quadratische Konvergenz des Newton-Verfahrens ist ein häufiges Indiz für eine Verletzung der hinreichenden Optimalitätsbedingung zweiter Ordnung. Konvergenz-Geschwindigkeit des Gradienten-Verfahren hängt bei quadratischen Funktionen von der Kondition der Matrix ab. Vorteile inverses BFGS-Verfahren : Matrix-Vektor-Multiplikation statt lineares Gleichungssystem, keine 2. Ableitungen notwendig, häufig lokal ähnliches Konvergenzverhalten wie Newton-Verfahren beobachtbar (superlineare Konvergenz).

8 P3 - Problem der Brachistochrone Vergleich von Speicherbedarf und Rechenaufwand: Speicher Flops Gradienten-Verfahren O(n) O(n) Vektor-Vektor-Operationen Newton-Verfahren (dense) O(n 2 ) O(n 3 ) Lösung LGS mit voller Matrix Newton-Verfahren (sparse) O(n) O(n) Lösung LGS mit tridiagonal-matrix

9 P3 - Problem der Brachistochrone Vergleich von Speicherbedarf und Rechenaufwand: Speicher Flops Gradienten-Verfahren O(n) O(n) Vektor-Vektor-Operationen Newton-Verfahren (dense) O(n 2 ) O(n 3 ) Lösung LGS mit voller Matrix Newton-Verfahren (sparse) O(n) O(n) Lösung LGS mit tridiagonal-matrix Bei vielen Problemen lässt sich die Struktur der Hesse-Matrix ausnutzen, um sowohl Speicherbedarf als auch den Rechenaufwand zur Lösung des linearen Gleichungssystems zu reduzieren.

10 Das restringierte Optimierungsproblem min f (x) u. d. N. g(x) 0, h(x) = 0 (2) x Rn mit f : R n R, g : R n R m, h : R n R p glatt genug. KKT-Bedingungen (notwendig, falls eine CQ erfüllt ist): Es gibt λ R m und µ R p mit f ( x) + g( x) λ + h( x) µ = 0 h( x) = 0 λ 0, g( x) 0, λ T g( x) = 0 Die erste Bedingung kann mit Hilfe der Lagrangefunktion L(x, λ, µ) = f (x) + λ T g(x) + µ T h(x) (3) auch als x L( x, λ, µ) = 0 geschrieben werden.

11 Implementierungsaspekte Wie sind die Funktionen gegeben? Explizit oder implizit Ungenauigkeiten Programmiersprachen? Ableitungen? Startpunktwahl Schätzung der Lösung Schätzung der Startmatrizen M k, B k, H k Heuristik

12 Implementierungsaspekte Lösen von Teilproblemen Lineare Gleichungssysteme QPs bei SQP-Verfahren LPs Geschickte Parameterwahl Große Optimierungsprobleme Darstellung von/operationen mit Vektoren und Matrizen Effiziente Operationen und Lösung der Teilprobleme notwendig

13 Optimierungssoftware Je nach Problemstellung (linear, quadratisch, konvex, allgemein, nichtglatt, gemischt-ganzzahlig, unrestringiert, restringiert, Verfügbarkeit der Ableitungen etc.) gibt es andere Löser. Die Eingabe des eigentlichen Problems (der Daten eines Problems) ist unterschiedlich. Überblick über einige Software findet man zum Beispiel hier:

14 AMPL AMPL: Modellierungssoftware Keine eigenen Löser Schnittstellen zu vielen Lösern, Grundlegende Syntax: Jede Anweisung beginnt mit einem Schlüsselwort und endet mit ; Groß- und Kleinschreibung ist wichtig Grundlegende Struktur: model bsp.mod; data bsp.dat; solve; oder commands bsp.com; Anzeige von Lösung x mit display x;

15 AMPL Einfaches Beispiel Problem: max 3x 1 + x 2 u. d. N. x 1 + x 2 4, 2x 1 + 3x 2 6, x 1, x 2 0 x R 2 Zugehörige Modelldatei: var x1; var x2; maximize ziel: 3*x1+x2; subject to nb1: x1+x2 <= 4; subject to nb2: -2*x1+3*x2 <= 6; subject to nb3: x1 >= 0; subject to nb4: x2 >= 0;

16 AMPL Einfaches Beispiel Aufruf des Lösers: option solver minos; solve; MINOS 5.5: optimal solution found. 1 iterations, objective 12 display x1,x2,ziel; x1 = 4 x2 = 0 ziel = 12 Stattdessen kann auch eine Command-Datei aufgerufen werden.

17 AMPL Weitere Features: Mengendefinitionen Parameter (für Data-Datei) Indexmengen-Schreibweise Excel-Schnittstelle viele weitere problemabhängigen Schlüsselwörter nutzbar

18 AMPL Ein etwas komplizierteres Beispiel: set M; # Menge von Bedarfsorten set N; # Menge von Produktionsorten param a i in N >= 0; # Angebotsmengen param b j in M >= 0; # Bedarfsmengen param c i in N, j in M; # Kosten param s i in N, j in M; # Schranken var x i in N, j in M >= 0, <= s[i,j]; minimize kosten: sum i in N, j in M x[i,j]*c[i,j]; #sum j in M, i in N... oder sum i in N sum j in M subject to bedarf j in M: sum i in N x[i,j] = b[j]; subject to angebot i in N: sum j in M x[i,j] = a[i];

19 Los geht s!