Rechnerpraktikum zu Grundlagen der Nichtlinearen Optimierung

Transkript

1 Rechnerpraktikum zu Grundlagen der Nichtlinearen Optimierung Dr. Florian Lindemann Moritz Keuthen, M.Sc. Technische Universität München Garching,

2 Kursplan Dienstag, Optimierungsverfahren in der unrestringierten Optimierung Vergleich von Konvergenzverhalten einzelner Verfahren Matlab Mittwoch, Optimierungsverfahren in der restringierten Optimierung Vorstellen von externer Lösungs-Software Modellieren und Lösen mit NEOS Donnerstag, Innere-Punkte-Verfahren Installation und Kompilieren größerer Optimierungspakete und Ipopt

3 P1 - C 60 -Molekül min f (x), f (x) = 1 x R F (x) 2 2. (1) x k+1 = x k + σ k s k, f (x k + σ k s k ) f (x k ) σ k γ f (x k ) T s k.

4 P1 - C 60 -Molekül min f (x), f (x) = 1 x R F (x) 2 2. (1) x k+1 = x k + σ k s k, f (x k + σ k s k ) f (x k ) σ k γ f (x k ) T s k. Gradientenverfahren: s k = f (x k ) = F (x k ) T F (x k ),

5 P1 - C 60 -Molekül min f (x), f (x) = 1 x R F (x) 2 2. (1) x k+1 = x k + σ k s k, f (x k + σ k s k ) f (x k ) σ k γ f (x k ) T s k. Gradientenverfahren: s k = f (x k ) = F (x k ) T F (x k ), Gauß-Newton-Verfahren: F (x k ) T F (x k )s k = F (x k ) T F (x k ) (= f (x k )),

6 P1 - C 60 -Molekül min f (x), f (x) = 1 x R F (x) 2 2. (1) x k+1 = x k + σ k s k, f (x k + σ k s k ) f (x k ) σ k γ f (x k ) T s k. Gradientenverfahren: s k = f (x k ) = F (x k ) T F (x k ), Gauß-Newton-Verfahren: F (x k ) T F (x k )s k = F (x k ) T F (x k ) (= f (x k )), Newton-Verfahren: [ ] F i (x k )F i (x k ) + F (x k ) T F (x k ) s k = F (x k ) T F (x k ). i

7 P2 - Gradienten-, Newton-, inverses BFGS-Verfahren Newton-Verfahren löst unrestringierte Optimierungsprobleme mit quadratischer Zielfunktion in einer Iteration.

8 P2 - Gradienten-, Newton-, inverses BFGS-Verfahren Newton-Verfahren löst unrestringierte Optimierungsprobleme mit quadratischer Zielfunktion in einer Iteration. Keine lokal-quadratische Konvergenz des Newton-Verfahrens ist ein häufiges Indiz für eine Verletzung der hinreichenden Optimalitätsbedingung zweiter Ordnung.

9 P2 - Gradienten-, Newton-, inverses BFGS-Verfahren Newton-Verfahren löst unrestringierte Optimierungsprobleme mit quadratischer Zielfunktion in einer Iteration. Keine lokal-quadratische Konvergenz des Newton-Verfahrens ist ein häufiges Indiz für eine Verletzung der hinreichenden Optimalitätsbedingung zweiter Ordnung. Konvergenz-Geschwindigkeit des Gradienten-Verfahren hängt bei quadratischen Funktionen von der Kondition der Matrix ab.

10 P2 - Gradienten-, Newton-, inverses BFGS-Verfahren Newton-Verfahren löst unrestringierte Optimierungsprobleme mit quadratischer Zielfunktion in einer Iteration. Keine lokal-quadratische Konvergenz des Newton-Verfahrens ist ein häufiges Indiz für eine Verletzung der hinreichenden Optimalitätsbedingung zweiter Ordnung. Konvergenz-Geschwindigkeit des Gradienten-Verfahren hängt bei quadratischen Funktionen von der Kondition der Matrix ab. Vorteile inverses BFGS-Verfahren : Matrix-Vektor-Multiplikation statt lineares Gleichungssystem, keine 2. Ableitungen notwendig, häufig lokal ähnliches Konvergenzverhalten wie Newton-Verfahren beobachtbar (superlineare Konvergenz).

11 P3 - Problem der Brachistochrone Vergleich von Speicherbedarf und Rechenaufwand: Speicher Flops Gradienten-Verfahren O(n) O(n) Vektor-Vektor-Operationen

12 P3 - Problem der Brachistochrone Vergleich von Speicherbedarf und Rechenaufwand: Speicher Flops Gradienten-Verfahren O(n) O(n) Vektor-Vektor-Operationen Newton-Verfahren (dense) O(n 2 ) O(n 3 ) Lösung LGS mit voller Matrix

13 P3 - Problem der Brachistochrone Vergleich von Speicherbedarf und Rechenaufwand: Speicher Flops Gradienten-Verfahren O(n) O(n) Vektor-Vektor-Operationen Newton-Verfahren (dense) O(n 2 ) O(n 3 ) Lösung LGS mit voller Matrix Newton-Verfahren (sparse) O(n) O(n) Lösung LGS mit tridiagonal-matrix

14 P3 - Problem der Brachistochrone Vergleich von Speicherbedarf und Rechenaufwand: Speicher Flops Gradienten-Verfahren O(n) O(n) Vektor-Vektor-Operationen Newton-Verfahren (dense) O(n 2 ) O(n 3 ) Lösung LGS mit voller Matrix Newton-Verfahren (sparse) O(n) O(n) Lösung LGS mit tridiagonal-matrix Bei vielen Problemen lässt sich die Struktur der Hesse-Matrix ausnutzen, um sowohl Speicherbedarf als auch den Rechenaufwand zur Lösung des linearen Gleichungssystems zu reduzieren.

15 Das restringierte Optimierungsproblem min f (x) u.d.n. g(x) 0, h(x) = 0 (2) x Rn mit f : R n R, g : R n R m, h : R n R p. KKT-Bedingungen (notwendig falls CQ) Es gibt λ R m und µ R p mit f (x ) + g(x )λ + h(x )µ = 0 h(x ) = 0 λ 0, g(x ) 0, λ T g(x ) = 0 Die erste Bedingung kann mit Hilfe der Lagrangefunktion L(x, λ, µ) = f (x) + λ T g(x) + µ T h(x) (3) auch als x L(x, λ, µ ) = 0 geschrieben werden.

16 Wie sind die Funktionen gegeben? Explizit oder implizit Ungenauigkeiten Programmiersprachen? Ableitungen? Startpunktwahl Schätzung der Lösung Schätzung der Startmatrizen M k, B k, H k Heuristik

17 Lösen von Teilproblemen Lineare Gleichungssysteme QPs bei SQP-Verfahren LPs Geschickte Parameterwahl Große Optimierungsprobleme Darstellung von/operationen mit Vektoren und Matrizen Effiziente Operationen und Lösung der Teilprobleme notwendig

18 Je nach Problemstellung (linear, quadratisch, konvex, allgemein, unrestringiert, restringiert, mit 1.Ableitungen, etc.) gibt es andere Löser. Die Eingabe des eigentlichen Problems (der Daten eines Problems) ist unterschiedlich. Überblick über einige Software findet man zum Beispiel hier:

19 : Modellierungssoftware keine eigenen Löser Schnittstellen zu vielen Lösern, siehe

20 Grundlegende Syntax jede Anweisung beginnt mit einem Schlüsselwort und endet mit ; Groß- und Kleinschreibung ist wichtig Grundlegende Struktur model bsp.mod; data bsp.dat; solve; oder commands bsp.com; Anzeige von Lösung x mit display x;

21 Einfaches Beispiel Problem: max 3x 1 + x 2 u.d.n. x 1 + x 2 4, 2x 1 + 3x 2 6, x 1, x 2 0 Zugehörige Modelldatei var x1; var x2; maximize ziel: 3*x1+x2; subject to nb1: x1+x2 <= 4; subject to nb2: -2*x1+3*x2 <= 6; subject to nb3: x1 >= 0; subject to nb4: x2 >= 0;

22 Einfaches Beispiel Aufruf des Lösers: option solver minos; solve; MINOS 5.5: optimal solution found. 1 iterations, objective 12 display x1,x2,ziel; x1 = 4 x2 = 0 ziel = 12 Stattdessen kann auch eine Command-Datei aufgerufen werden.

23 Weiteres Umfangreiche Features möglich Mengendefinitionen Parameter (für Data-Datei) Indexmengen-Schreibweise Excel-Schnittstelle viele weitere problemabhängigen Schlüsselwörter nutzbar

24 Etwas komplizierteres Beispiel set M; # Menge von Bedarfsorten set N; # Menge von Produktionsorten param a i in N >= 0; # Angebotsmengen param b j in M >= 0; # Bedarfsmengen param c i in N, j in M; # Kosten param s i in N, j in M; # Schranken var x i in N, j in M >= 0, <= s[i,j]; minimize kosten: sum i in N, j in M x[i,j]*c[i,j]; #sum j in M, i in N... oder sum i in N sumj in M subject to bedarf j in M: sum i in N x[i,j] = b[j]; subject to angebot i in N: sum j in M x[i,j] = a[i];

25 Los gehts! Zusammenfassung Tag 1