Rechnerpraktikum zur Optimierung III

Transkript

1 TU München Lehrstuhl Mathematische Optimierung Prof. Dr. M. Ulbrich Dipl.-Math. Florian Lindemann Sommersemester 007 Teil II Rechnerpraktikum zur Optimierung III Für die Bearbeitung des Aufgabenzettels benötigen wir MATLAB. Dieses können Sie im Terminal durch den Aufruf starten. /usr/local/applic/bin/matlab P3. Berechnung eines 60-eckigen Polyeders (C 60 -Molekül) Die 60 Ecken v i = (v 1 i,v i,v3 i ) R3 eines Polyeders sollen so bestimmt werden, dass seine Oberfläche aus 1 regelmäßigen Fünf- und 0 regelmäßigen Sechsecken der Seitenlänge 1 besteht (C 60 -Molekül). Für je zwei benachbarte Ecken v i,v j muss daher gelten v i v j 1 = 0. Weiter gelten in jedem Fünfeck (v i1,v i,v i3,v i4,v i5,v i1 ) die Gleichungen v ij v ij+ 4sin (3π/10) = 0, j = 1,...,5, wobei i 6 = i 1, i 7 = i. Ebenso gilt für jedes Sechseck (v i1,v i,v i3,v i4,v i5,v i6,v i1 ) v ij v ij+ 4sin (π/3) = 0, j = 1,...,6, wobei i 7 = i 1, i 8 = i. Schließlich fordern wir noch, um das Polyeder zu fixieren, v 1 = 0, v 1 = v = 0, v 1 3 = 0. All diese = 76 Gleichungen schreiben wir in der Form F(x) = 0 mit F : R 180 R 76 und x = (v 1,...,v 60 ) T. Zur numerischen Behandlung überführen wir das obige Gleichungssystem in ein nichtlineares Optimierungsproblem: min f(x), f(x) = 1 x R 180 F(x). (1) Anhand dieses hochdimensionalen Problems lassen sich die Eigenschaften von Optimierungsverfahren sehr gut visualisieren. Mit Hilfe von MATLAB wurden ein Gradienten- und ein Gauß-Newton-Verfahren zur Lösung dieses Problems implementiert. Die entsprechenden Prozeduren heißen gradverf und GaussNewton. Außerdem stehen unter den Namen xinit1, xinit, usw., mehrere Startpolyeder zur Verfügung. 1

2 Gradientenverfahren mit Armijo-Schrittweitenwahl: x k+1 = x k + σ k s k, s k = f(x k ) = F (x k ) T F(x k ), σ k { k k = 0,1...} maximal mit f(x k +σ k s k ) f(x k ) σ k γ f(x k ) T s k. Gauß-Newton-Verfahren mit Armijo-Schrittweitenwahl: x k+1 = x k + σ k s k, F (x k ) T F (x k )s k = F (x k ) T F(x k ) (= f(x k )), σ k wie oben. a) Laden Sie sich über die Website des Rechnerpraktikums die Datei P3.tar herunter und entpacken Sie diese in Ihrem Arbeitsverzeichnis. Starten Sie MATLAB und wechseln Sie in dieses Arbeitsverzeichnis. b) Durch die Eingabe x1 = load( xinit1 ); gradverf(x1, ffct ); wird das Gradientenverfahren auf das Problem (1) angewendet, wobei im Punkt xinit1 gestartet wird. Nach jeder Iteration wird das zur aktuellen Iterierten gehörende Polyeder graphisch dargestellt. Außerdem werden k, f(x k ), f(x k ) und σ k ausgegeben. Durch Drücken der <CR>-Taste kann die nächste Iteration gestartet werden. Ebenso wird durch x = load( xinit ); GaussNewton(x, Ffct, ffct ); das Gauß-Newton-Verfahren gestartet, wobei xinit der Startpunkt ist. Führen Sie für mehrere Startpolyeder xinit1, xinit,... das Gradientenund das Gauß-Newton-Verfahren durch und bewerten Sie die Leistungsfähigkeit der beiden Algorithmen. c) Wir wollen nochmal den Startpunkt xinit6 mit dem Gauß-Newton-Verfahren betrachten und mehr Iterationen zulassen. Öffnen Sie dafür die Datei GaussNewton.m und setzen Sie die maximale Iterationszahl itmax auf den Wert 100. Starten Sie das Verfahren erneut und beurteilen Sie das Ergebnis. Wie ist die Lösung zu interpretieren und warum?

3 P4. Gradienten-, Newton-, inverses BFGS-Verfahren a) Laden Sie sich über die Website des Rechnerpraktikums die Datei P4.tar herunter und entpacken Sie diese in Ihrem Arbeitsverzeichnis. b) Untersuchen Sie mit MATLAB das Konvergenzverhalten des Gradienten-, Newton- und des inversen BFGS-Verfahrens für folgende Funktionen und Startpunkte: Dateiname Zielfunktion f Startpunkte 1) ExA.m (x 1 x ) + (x 1 4) (0,0), (10,10) ) ExBk.m x 1 + kx, (1,10), (10,1), k = 1,10,100 (1,100) 3) Rosenbrock.m 100(x x 1 ) + (1 x 1 ) (0,0), (-1.,1) 4) Brown.m (Browns (x ) (x 10 6 ) (1,1), (10,10) schlecht skalierte Fkt.) +(x 1 x ) Orientieren Sie sich dabei an folgender Syntax: Gradientenverfahren: Newtonverfahren: inverses BFGS-Verfahren: gradverf([0;0], ExA ); newton([0;0], ExA ); bfgs([0;0], ExA, gexa ); In allen Fällen wird das jeweilige Optimierungsverfahren mit dem Startpunkt (0,0) auf die Funktion ExA angewendet. Beim BFGS-Verfahren ist eine gesonderte Eingabe der Funktion zur Auswertung des Gradienten (in diesem Fall gexa) vorgesehen. Entsprechende Funktionen gexb1, gbrown, usw. sind ebenfalls vorhanden. Um mehr Iterationen beim Gradientenverfahren zuzulassen, öffnen Sie die Datei gradverf.m und setzen Sie die maximale Iterationszahl itmax auf den Wert

4 P5. Alternative Schrittweitenberechnung Bei der Armijo-Regel wird die Schrittweite zu einem Punkt x und einer Abstiegsrichtung s durch folgenden Algorithmus bestimmt: Bestimme die größte Zahl σ {1,β,β,...}, für die gilt: f(x + σs) f(x) σγ f(x) T s wobei β, γ (0, 1). Dabei wird σ so lange mit dem Faktor β verkleinert, bis die Armijo-Bedingung erfüllt ist. Anstelle dieses Backtracking-Ansatzes kann man die Funktion φ(σ) = f(x + σs) interpolieren, um eine geeignete Schrittweite zu finden. Die Armijo-Bedingung kann mit φ auf folgende Form gebracht werden: φ(σ) φ(0) σγφ (0) () Gesucht ist ein σ welches () erfüllt. Sei eine Startschätzung σ 0 (z.b. σ 0 = 1) gegeben. Falls σ 0 () nicht erfüllt, so approximieren wir φ(σ) mit Hilfe eines quadratischen Modells φ Q (σ): ( φ(σ0 ) φ(0) σ 0 φ ) (0) φ Q (σ) = σ + φ (0)σ + φ(0) σ 0 welches die Interpolationsbedingungen φ Q (0) = φ(0),φ Q (σ 0 ) = φ(σ 0 ) und φ Q (0) = φ (0) erfüllt. Die neue Schrittweite ist das Minimum von φ Q, also φ (0)σ0 σ 1 = (φ(σ 0 ) φ(0) φ (0)σ 0 ) Falls σ 1 die Armijo-Bedingung () erfüllt, so ist die Suche beendet. Andernfalls kann man ein kubisches Modell φ K (σ) erstellen, welches den Interpolationsbedingungen an φ(0),φ (0),φ(σ 0 ) und φ(σ 1 ) genügt: φ K (σ) = aσ 3 + bσ + σφ (0) + φ(0) wobei ( a b ) = 1 ( σ 0 σ1 σ0 σ 1 (σ 1 σ 0 ) σ0 3 σ1 3 )( φ(σ1 ) φ(0) φ (0)σ 1 φ(σ 0 ) φ(0) φ (0)σ 0 ) Über die erste Ableitung von φ K kann man erkennen, dass das Minimum σ von φ K im Intervall [0,σ 1 ] liegt und gegeben ist durch σ = b + b 3aφ (0) 3a Falls σ die Armijo-Bedingung () erfüllt, so ist eine passende Schrittweite gefunden. Falls nicht, kann der Prozess der kubischen Interpolation fortgesetzt werden, bis eine Lösung gefunden wird, wobei die Werte φ(0),φ (0) und die letzten beiden Werte von φ benutzt werden. Um zu vermeiden, dass ein σ k entweder zu nahe an σ k 1 oder zu viel kleiner als σ k 1 ist, wird zudem folgende Regel eingeführt: 4

5 Falls σ k / [β min σ k 1,β max σ k 1 ] setzen wir: σ k = σ k 1 Dabei sind β min,β max (0,1) mit β min < β max zwei von k und auch von einer äußeren Iteration unabhängige Konstanten. Dies garantiert, dass in endlich vielen Schritten eine Schrittweite gefunden wird und das Gradientenverfahren mit dieser Schrittweitenregel global konvergiert. a) Laden Sie sich über die Website des Rechnerpraktikums die Datei P5.tar herunter und entpacken Sie diese in Ihrem Arbeitsverzeichnis. Starten Sie MATLAB und wechseln Sie in dieses Arbeitsverzeichnis. b) Die Armijo-Regel mit Interpolation ist in der Datei InterpArmijo.m implementiert. Vergleichen Sie den Quelltext mit der Beschreibung der Schrittweitenregel. c) Ein Gradientenverfahren, welches mit der interpolierten Armijo-Regel arbeitet ist IPAgradverf. Testen Sie die neue Schrittweitenregel anhand des Problems ExA aus der Aufgabe P4 mit dem Startpunkt (10,10): IPAgradverf([10;10], ExA ); und vergleichen Sie das Ergebnis und die Iterationszahlen mit dem Gradientenverfahren mit normaler Armijo-Regel. Testen Sie auch andere Startpunkte. d) Vergleichen Sie die beiden Verfahren anhand einiger Probleme aus der Aufgabe P4. e) Vergleichen Sie sie auch beim Polyeder-Problem aus Aufgabe P3. Um die Iterationszahlen besser vergleichen zu können, können Sie die pause Befehle in der Datei IPAgradverf.m auskommentieren (mit %). P6. Hausaufgabe Im nächsten Rechnerpraktikum wollen wir Optimierungssoftware auf den Rechnern installieren. Diese nutzt zum Lösen der auftretenden Gleichungssysteme externe Lineare-Algebra-Pakete. Damit wir diese nutzen können, muss sich jeder Benutzer vorher bei der HSL (früher Harwell Subroutine Library) registrieren lassen. Ihre Hausaufgabe besteht darin, sich die Pakete MA7 und MC19 zu besorgen: a) Gehen Sie zur Seite Folgen Sie den Instruktionen auf der Seite, lesen Sie die Nutzer-Lizenz und registrieren Sie sich, wenn Sie mit den Lizenzvereinbarungen einverstanden sind. b) Wenn Sie sich registriert haben, erhalten Sie einen Username und ein Passwort. Damit haben Sie Zugang zu HSL Archive Programs. Laden Sie sich dort die Pakete MA7 und MC19 herunter. Beachten Sie, dass Sie ebenfalls die Pakete FD05, ID05 und ZA0 benötigen, die Sie auch dort heruterladen können (für die Arithmetik Generic IEEE). 5