Serie 1. Paul Boeck und Gregor Milicic

Transkript

1 Serie 1 Paul Boeck und Gregor Milicic Inhaltsverzeichnis Aufgabenstellung und Vorbetrachtungen Aufgabenstellung Theoretische Vorbetrachtung Newton-Verfahren Broyden-Verfahren Konvergenzbetrachtung Programmbeschreibung 3 Newton.m Broyden.m konvergenz.m prak1.m Experimente und Beobachtungen 5 prak1(1,[1;1;1.5],10*eps,50,0,1) - Experiment prak1(1,[10;10;10],10*eps,50,0,1) - Experiment prak1(1,[40;-0;0],10*eps,50,0,1) - Experiment prak1(,[1;1;1],10*eps,100,0,1) - Experiment prak1(,[5;-;10],10*eps,100,0,1) - Experiment prak1(,[8;8;8],10*eps,100,0,1) - Experiment Auswertung 7 1

2 Aufgabenstellung und Vorbetrachtungen Aufgabenstellung Das Newton- und das Broyden-Verfahren sollen zur Nullstellenbestimmung einer beliebigen Funktion f C 1 (R d, R d ) in einem MATLAB-Programm implementiert werden, wobei der Nutzer die Möglichkeit haben soll, sowohl neben dem Startwert x 0 auch die Toleranzgrenze einzugeben. Zu dem wurde gewünscht, das Konvergenzverhalten der Funktion f zu untersuchen auf lineare, überlineare bzw. quadratische Konvergenz. Theoretische Vorbetrachtung Newton-Verfahren Beim Newton-Verfahren erhält man die Annäherung x k+1 der Nullstelle x aus der Formel: x k+1 = x j f (x j ) 1 f(x j ) Nach dem lokalen Konvergenzsatz aus der Vorlesung ist das Newton-Verfahren für jeden Startwert x 0 B(x,ρ) durchführbar, falls die Ableitung f in x regulär ist. Allerdings sagt der Satz nichts über ρ aus, so dass experimentell ermittelt werden muss, ob und wenn ja ab welchem Wert das Newton-Verfahren tatsächlich konvergiert. Praktisch umgesetzt berechnen wir allerdings in unserem Programm nicht x j mit der oben beschriebenen Formel, sondern wir lösen zuerst das Gleichungssystem f (x j ) x = f(x j ) um danach x j+1 mit x j+1 = x x j zu bestimmen. Damit muss nicht die Inverse der Ableitung f (x j ) bestimmt werden, was numerisch sehr aufwändig wäre. In allen Funktionen benutzen wir zudem die bereits in MATLAB implementierte Funktion norm(), womit also immer die -Norm der jeweiligen Matrix benutzt wird. Broyden-Verfahren Das Broyden-Verfahren zur Nullstellenbestimmung gehört zur Klasse der Quasi-Newton-Verfahren, d.h. es wird eine Quasi-Newton-Bedingung genutzt. Im Unterschied zum klassischen Newton-Verfahren wird nicht die Nullstelle der Tangente, also der Funktion g(x j ) = f(x j ) + f (x j )(x x j ) zur näherungsweisen Berechnung der Nullstelle genutzt, sondern allgemeiner die Funktion g j (x) = f(x j ) + A j (x x j ) (Beim Newtonverfahren war dabei A j = f (x j )). Ziel ist es dabei, die Anzahl der Funktionsaufrufe zu minimieren. Zur Bestimmung der Matrix A j wird dabei die Quasi-Newton-Bedingung g j (x j 1 ) = f(x j 1 ) so dass sich dann zur Bestimmung von A j ergibt: A j = A j 1 + z j (f(x j ) f(x j 1 A j 1 z j )z T j mit z j = x j x j 1. Genauso wie beim Newton-Verfahren lösen wir auch hier nicht die oben beschriebene Gleichung direkt, sondern lösen das Gleichungssystem A j ( x) = f(x j ) Das Broyden-Verfahren ist unter den gleichen Bedingungen wie das Newton-Verfahren durchführbar, sodass auch hier wieder experimentell bestimmt werden muss, ob und wann für welchen Startwert x 0 das Broyden-Verfahren konvergiert. Konvergenzbetrachtung Für die Ermittlung der Konvergenzgeschwindigkeit nehmen wir als Ersatz für die exakte Nullstelle x die berechnete Annäherung, die letzte berechnete Iterierte x. Dazu betrachten wir die Gleichungen a = q b p mit b := x x k,a := x x k+1 und c := x x k+. Damit ergibt sich: und c = q a p p = log c a log a und q = a b b p Dabei haben wir für jede 3 aufeinander folgende Iterierten die jeweiligen Werte von p und q bestimmt.

3 Programmbeschreibung Newton.m Ein Aufruf Funktion Newton.m sieht so aus: [xn,yn] = Newton(x0,f,Df,opt) Dabei ist x0 der Startwert, f und Df sind function_handle auf eine reelle, vektorwertige Funktion und ihre Ableitung. Stimmen die Dimension der beiden nicht überein, so wird von Matlab ein dimension error geworfen und das Programm stürzt ab. (Dies ist nicht explizit programmiert, sondern allgemeines Verhalten von Matlab). In der Variable opt können verschiedene Parameter des Algorithmus verändert werden. Die Optionen sind iter entscheidet, ob die Zwischenwerte, also die Nullstellennäherung nach jeder Iteration gespeichert wird. Der Defaultwert ist 1(also ja). Für höhere Geschwindigkeit sollten dies deaktiviert werden (oder besser komplett auskommentiert werden). maxiter gibt die maximale Anzal der Iterationen an, die dem Verfahren gelassen werden, bevor es abbricht. Der Defaultwert ist hier 100, da mehr Iterationen in der Regel keinen Sinn machen. TOL gibt die Toleranz an, ab der eine Nullstelle akzeptiert wird und das Verfahren mit Erfolgsmeldung abbricht. Der Defaultwert ist wie in der Aufgabenstellung empfohlen 10*eps*cond(Df(x0)) verbose lässt das Verfahren in jeder Iteration ausführliche Information wie Jacobimatrix an dieser Stelle oder deren Rang. Diese Einstellung ist nur für Experimente zu empfehlen und daher im Default deaktiviert(0). Der Kern der Funktion ist dieser: 1 while norm( fx ) > TOL count = count +1; 3 i f count == maxiter, 4 error ( Zu v i e l e Iterationen! Verfahren abgebrochen! ) 5 end; 6 Dfx = Df(x0 ) ; 7 [ y, R] = l i n s o l v e (Dfx, fx ) ;%newtonschritt 8 if R < 100 TOL 9 error ( Jacobimatrix i s t singulaer. Verfahren abgebrochen! ) ; 10 end 11 x0 = y + x0 ; 1 fx = f (x0 ) ; 13 end Leicht zu erkennen sind die beiden Abbruchbedingungen (Zeile 4 und 9). Der erste, falls die maximale Anzahl der Iterationen erreicht ist, die andere, falls die Kondition der Jacobimatrix zu schlecht ist. Die Rückgabewerte der Funktion sind xn und yn. xn werden dabei die verschiedenen Iterierten gepspeichert, bzw. deren Funktionswerte. Sollte iter deaktiviert sein, so wird in xn nur die gefundene Nullstelle gespeichert. Andernfalls haben xn und yn die folgende Struktur (bei einer n dimensionalen Funktion und k Schritten bis die Nullstelle gefunden wurde.) x (0) 1 x (0)... x (0) n }{{} Startwert x (1) 1 x (1)... x (1) n }{{} 1. Schritt... x (k) 1 x (k)... x (k) n }{{} k. Schritt Es sind also k n Matrizen. Ein Zugriff auf die jte Iterierte wäre damit xn(:,j). Broyden.m Ein Aufruf Funktion Broyden.m sieht so aus: [xn,yn] = Broyden(x0,f,Df,opt) 3

4 Die Parameter und Optionen der Variable opt sind genauso wie bei der Funktion Newton.m. Deshalb wird hier auf eine erneute Ausführung verzichtet. Der Kern der Funktion ist dieser: 1 while norm( fx0 ) > TOL 3 count = count +1; 4 5 %Ueberpruefen der maximalen Anzahl der Iterationsschritte 6 i f count == maxiter, 7 error ( Zu v i e l e Iterationen! Verfahren Abgebrochen! ) 8 end; 9 10 %Loesen des Gleichungssystems A j ( x { j+1) x j)= f ( x j ) 11 [ y, R] = l i n s o l v e (A0, fx0 ) ; 1 x1 = y + x0 ; if R < 100 TOL 16 error ( Matrix A j i s t numerisch singulaer. Verfahren abgebrochen! ) ; 17 end %Berechnung z j 0 delta x=x1 x0 ; 1 fx1=f (x1 ) ; 3 4 %Berechnung der neuen Matrix, A j=a {j 1} + z j ˆ( ) 5 %( f ( x j) f ( x {j 1} A {j 1} z j ) z j ˆT 6 A0=A0+(norm( delta x )ˆ( )) (( fx1 fx0) A0 ( delta x )) ( delta x ) ; 7 8 %Setzen des neuen Wertes 9 x0=x1 ; %Zuweisung des neuen Funktionswertes 3 fx0 = fx1 ; 33 end Leicht zu erkennen sind die beiden Abbruchbedingungen (Zeile 7 und 16). Der erste, falls die maximale Anzahl der Iterationen erreicht ist, die andere, falls die Kondition der Jacobimatrix zu schlecht ist. Als Startmatrix A 0 wird dabei die Ableitung der Funktion f an der Stelle x 0 verwendet, A 0 = f (x 0 ). Ansonsten erfolgt die Berechnung der Werte wie im Theorieteil beschrieben. Die Rückgabewerte und deren Format ist wieder mit denen beim Newton-Verfahren identisch. konvergenz.m Die Funktion[q,p] = konvergenz(x) berechnet die beiden Konvergenzparameter p und q aus dem Gleichungssystem x x k+1 = q x x k p x x k+ = q x x k+1 p wie im Theorieteil beschrieben. Dabei muss der Eingabewert x genau die Struktur haben, wie sie von Newton und Broyden ausgegeben werden. Die letzte berechnete Nullstelle in x wird als echte Nullstelle x angenommen und dient als Basis der Berechnung. Sind also mehr als 3 Werte in x, so wird für jeweils 3 aufeinander folgende Stellen das System gelöst, wodurch die Listen p und q entstehen. prak1.m Die Funktion [] = prak1(n,x0,tol,maxiter,verbose,latex) dient zum Experimentieren anhand der konkreten Aufgabenstellung. Es startet mit gegeben Startwert die Verfahren Newton und Broyden und analysiert danach deren 4

5 Konvergenzgeschwindigkeit. Außerdem sind die Beispielfunktionen in dieser Datei gespeichert. Ein Erweitern durch andere Funktionen benötigt lediglich C&P Vorgänge in den switch Blöcken für Newton und Broyden(Zeilen 34 und 47). Der Parameter n schaltet zwischen den verschiedenen Funktionen hin und her. 1 und sind dabei die Funktionen, die Aufgrund unserer Matrikelnummer genutzt werden sollten. 4 ist eine weitere, allerdings dimensionale Funktion, die wir zu Testzwecken verwendet haben, da wir unter BroydenMethodMod/Links/BroydenMethodMod lnk 7.html das Broyden Verfahren mit den Zwischenergebnissen abgleichen konnten. x0 ist der Startwert für beide Verfahren, TOL,maxiter,verbose gibt die gleichnamigen Optionen an die beiden Verfahren weiter. latex ist ein Schalter, der die Ausgabe der Konvergenztabellen auf L A TEX Stil stellt. Damit wurden die in diesem Dokument vorhanden Tabellen erzeugt. Werden weniger Parameter gegeben, werden jeweils Defaultwerte gewählt, die das Newtonverfahren zum Konvergieren bringen, das Broydenverfahren aber abbrechen lässt. Die beiden Verfahren werden nacheinander ausgeführt. Sollte das Newtonverfahren aufgrund eines Fehlers abbrechen, so kann das Broydenverfahren nicht mehr ausgeführt werden. Bei strukturellen Fehlern, etwa wenn die Dimensionen der Funktion, deren Ableitung und des Startwertes nicht zusammen passen, ist das sinnvoll. Im Fall des Abbruchs, weil zu viele Iterationen gebraucht wurden, ist dieses Verhalten zumindest theoretisch nicht gut. Praktisch haben wir aber festgestellt, dass das Broydenverfahren stets mehr Iterationen gebraucht hat, als das Newtonverfahren. Experimente und Beobachtungen In diesem Abschnitt stellen wir einige Tabellen mit Werten zusammen, die die Konvergenz der beiden Verfahren verdeutlichen sollen. Bei den ersten 3 Experimenten haben wir die erste Funktion, also r 4,0 benutzt, bei den anderen 3 Experimenten die zweite in der Funktion prak1.m implementierte Funktion, r 3, 4. Bei beiden Funktionen haben wir Startwerte gefunden, bei denen das Newton-Verfahren konvergierte, das Broyden-Verfahren aber abbricht (Experiment, prak1(1,[1;1;1.5],10*eps,50,0,1) - Experiment 1 Die gefundene Nullstelle ist x 0 = (1,0,0) T, und es wurden 7 Iterationen benötigt. Auch das Broyden-Verfahren konvergierte gegen die Nullstelle x 0 = (1,0,0) T, benötigte aber 1 Iterationen. prak1(1,[10;10;10],10*eps,50,0,1) - Experiment Wieder konvergierte das Newton-Verfahren gegen die Nullstelle x 0 = (1,0,0) T, diesmal wurden allerdings 13 Iterationen benötigt. Diesmal konvergiert das Broyden-Verfahren gegen eine andere Nullstelle, nämlich x 0 = ( ,0.4794,0) T, und es wurden 35 Iterationen benötigt e e+004 Tabelle 1: Experiment 1 5

6 e e e e e e e e-033 Tabelle : Experiment e e bricht ab Tabelle 3: Experiment 3 6

7 prak1(1,[40;-0;0],10*eps,50,0,1) - Experiment 3 Das Verfahren hat nach 15 Iterationen x 0 = (1,0,0) T als Nullstelle ermittelt. Broyden bricht wegen zu vielen Iterationen ab. prak1(,[1;1;1],10*eps,100,0,1) - Experiment 4 Newton hat 6 Iterationen gebraucht, x 0 = (0.0091,0.0343,0.3000) T und Broyden 9 Iterationen x 0 = (0.0091,0.0343,0.3000) T. prak1(,[5;-;10],10*eps,100,0,1) - Experiment 5 Für Newton wurden 7 Iterationen gebraucht, x 0 = (7.573,1.81,4.736) T und Broyden 4 Iterationen, x 0 = (0.0091,0.0343,0.3000) T. prak1(,[8;8;8],10*eps,100,0,1) - Experiment 6 Es wurden 9 Iterationen gebraucht, x 0 = (7.573,1.81,4.736) T. Das Broyden-Verfahren bricht ab, es wurden zu viele Iterationen benötigt. Auswertung Der Vorteil des Broyden-Verfahrens, die Zeitersparnis durch die wenigen Funktionsaufrufe, konnte wir nicht wirklich nachvollziehen, da nicht die Zeit bei unseren Betrachtungen beachtet wurde, sondern nur die Anzahl der Iterationsschritte. Außerdem muss man kritisch anmerken, dass der Nutzer in den meisten Fällen nur die Funktion f ohne die Ableitung angibt, sodass zusätzlich immer wieder die Ableitung an den entsprechenden Stellen berechnet und ausgewertet werden muss, was auch nochmal die Zeit beeinflusst und ein Vorteil des Broyden-Verfahrens ist, da dieses ja komplett ohne die Ableitung der Funktion f auskommt. Deutlich wurde bei den Experimenten auch, dass ein Gewinn an Genauigkeit bei der Nullstelle nur mit der Erhöhung der Zahl der Iterationen und damit der Laufzeit einhergeht, wobei aber gerade beim Newton-Verfahren auf Grund der quadratischen Konvergenz ein oder zwei Iterationsschritte mehr schon einen deutlichen Gewinn an Genauigkeit herbeiführen e+006 Tabelle 4: Experiment 4 7

8 e Tabelle 5: Experiment e-015 bricht ab Tabelle 6: Experiment 6 8