Practical Numerical Training UKNum 3: Nullstellenbestimmung C. Mordasini Max Planck Institute for Astronomy, Heidelberg Program: 1) Introduction 2) Bisektion 3) Newton-Raphson 4) Sekanten 5) Regula falsi
1 Einführung
Aufgabe Eine der wichtigsten Aufgaben der Numerik: Lösung von Gleichungen. Schreibe um als f(x) =0 Deshalb Nullstellenbestimmung genannt. (Engl.: Root Finding) 1 Unabhängige Variable, 1 Gleichung: 1 dimensionales Problem. N unabhängige Variable, N Gleichungen: Mehrdimensionales Problem f(x) =0 Deutlich schwieriger. In dieser Vorlesung: Nur 1D Fall.
Grundprinzip Grundprinzip der iterativen Lösung: Ausgehend von einer vorgegebenen, geschätzten Lösung wird x schrittweise mit einem Algorithmus verbessert bis f(x) kleiner als ein geforderter Wert (Konvergenzkriterium) ist (hoffentlich). Dazu existieren verschiedene Algorithmen: Bisektion Regula Falsi Sekanten Newton-Raphson verschieden kombinierte Verfahren (z.b. Brent s Methode) Je verschieden Vor- und Nachteile.
Vorsicht Im Allgemeinen abwägen zwischen sicheren Methoden (finden der Nullstelle) und Geschwindigkeit (nötige Anzahl Iterationen). Machmal versagen bestimmte Algorithmen! Beispiele weiter unten. Deshalb wenn immer möglich: Gute Anfangsschätzung für x (resp. Intervall) Analyse des Verhalten von f(x): z.b. Funktion zeichnen
Grundtheorem Nullstellensatz von Bolzano: Eine reelle, stetige Funktion f(x) hat mindestens eine Nullstelle zwischen xl und xu wenn gilt f(xl) f(xu) <0 (Vorzeichenwechsel im Intervall).
Bracketing the root Man sagt dann xl und xu umgeben die Nullstelle (bracketing the root). Ein erster Schritt der Nullstellenbestimmung besteht oft darin, xl und xu zu bestimmen. Dies ist selber schon nicht unbedingt trivial.
Bracketing the root: Probleme I...mindestens... : Mehrfache Nullstellen. Schwierig zu sagen auf welche Nullstelle der Algorithmus konvergiert. Abhängig z.b. von Anfangsschätzung.
Bracketing the root: Probleme II Doppelte Nullstelle: Kein Vorzeichenwechsel.
Bracketing the root: Probleme III Nullstelle nur an einem Punkt c x 1 d Oder in einem sehr kleinen Intervall. f(x) =3x 2 + 1 π 4 ln [ (π x) 2] +1 31 30 29 28 27 f(x)<0 nur in π±10-667 (!) 26 25 3.10 3.15 3.20 Bracketing values können nicht bestimmt werden.
Bracketing the root: Probleme IV Unstetigkeitsstellen: Vorzeichenwechsel, aber keine Nullstelle a f(x) = 1 b x c Bisektion z.b. konvergiert auf c als Nullstelle.
Bracketing the root: Probleme V Andere pathologische Funktionen 1.0 0.5-0.10-0.05 0.05 0.10-0.5-1.0 f (x) = sin(1/x)
2 Bisektion
Algorithmus Bisektion= Zweiteilung deshalb auch Intervallhalbierungsverfahren genannt. Algorithmus (Graphisch) Einfachste Methode (langsam, aber sehr stabil).
Schritt 1: Bracketing Wähle (Bestimme) xl und xu so dass f(xl) f(xu) <0. (Bracketing) Es gelte xl < xu.
Schritt 2: Mittpunkt Schätze die Nullstelle von f(x) ab als Mittpunkt xm zwischen xl und xu.
Schritt 3: Halbiere Intervall Prüfe a) Falls, liegt die Nullstelle zwischen x l und x m ; Setze x l = x l ; x u = x m. b) Falls, liegt die Nullstelle zwischen x m and x u ; Setze x l = x m ; x u = x u. c) Falls ; dann ist x m die Nullstelle. Beende den Algorithmus. Fall b
Schritt 4: Schätze Fehler Neue Schätzung für die Nullstelle Berechne den Absolutwert des geschätzten relativen Fehlers (Unsicherheit)
Schritt 5: Konvergenz? Vergleiche Absolutwert des geschätzten relativen Fehlers mit einer vorgegebenem Toleranzgrenze (Abbruchkriterium)? Ja Ne Zurück zu Schritt 2 mit neuem Intervall Stop Algorithmus: Nullstelle mit geforderter Präzision gefunden Prüfe zusätzlich ob die Anzahl Iterationen grösser ist als ein bestimmtes Limit ist (z. B. 40 =>2-40 = ca. 10-12 ): Algorithmus konnte die Nullstelle nicht mit der geforderten Genauigkeit bestimmten. Fehlermeldung.
Anderes Kriterium Oft wird als Konvergenzmass auch xu-xl verwendet. Die verlange Präzision ist entweder absolut gegeben xu-xl <xacc,abs oder relativ (xu-xl)/xl <xacc,rel. Es sei n= xu-xl bei der n-ten Iteration. Offenbar gilt für Bisektion: ɛ n+1 = ɛ n /2 Wenn 0 das Anfangsintervall ist, bedeutet dies dass wir n = log 2 ɛ 0 ɛ Iterationen brachen um die gewünschte Genauigkeit zu erreichen.
Konvergenzeigenschaften Schreibe ɛ n+1 = constant (ɛ n ) m Bisektion: constant=0.5, m=1 Konvergenzverhalten mit einer Konstante <1 und m=1 wird linear genannt. Konvergenzverhalten mit m>1 heisst superlinear.
Beispiel I Treibender Ball im Wasser g Wie tief taucht der Ball bei gegebenem Radius und Dichte ein? Gleichgewicht von Gravitationskraft und Auftrieb.
Beispiel II Führt zur Gleichung Nimm an R=5.5 cm, Dichte des Balles 600 kg/m 3, g=9.81 m/s 2, Dichte des Wasser 1000 kg/m 3 Aufgabe Führe drei Iterationen mit Bisektion aus um x annäherungsweise zu bestimmen. Bestimme jeweils den Absolutwert des geschätzten relativen Fehlers.
Beispiel III Bestimmung der Bisektionsgrenzen. (Bracketing) In diesem Fall hilft die Physik. Da die Dichte des Balles kleiner als die des Wasser ist, muss gelten:
Beispiel IV Graphische Darstellung von f(x)
Beispiel V Test an den Bisektionsgrenzen. Ändern sich die Vorzeichen? Somit gibt es im Intervall mindestens eine Nullstelle.
Beispiel VI Erste Iteration: Neue Schätzung der Nullstelle Auswerten, Bracketing prüfen Somit befindet sich die Nullstelle zwischen xm und xu. Also sind die neuen
Beispiel VII Zweite Iteration: Neue Schätzung der Nullstelle Auswerten, Bracketing prüfen Somit befindet sich die Nullstelle zwischen xl und xm. Also sind die neuen
Beispiel VIII Zweite Iteration: Fehlerabschätzung
Beispiel IX Dritte Iteration: Neue Schätzung der Nullstelle Auswerten, Bracketing prüfen Somit befindet sich die Nullstelle zwischen xl und xm. Also sind die neuen
Beispiel X Dritte Iteration: Fehlerabschätzung
Beispiel XI Fortsetzung der Iteration
Vor- und Nachteile Konvergenz garantiert. Deshalb besonders geeignet bei bösartigen Funktionen. Mit jedem Schritt wird das Bracketing Intervall genau halbiert. Vergleichsweise langsame, lineare Konvergenz.
3 Newton Raphson
Prinzip Sehr bekannt. Elegant. Unterscheidet sich von allen anderen Methoden indem dass hier nicht nur f(x), sondern auch die Ableitung f (x) benötigt wird. Geometrische Interpretation: Verlängere die Tangente beim momentanen xi bis sie die Nullline quert. Der dortige x-wert ist die neue Schätzung für die Nullstelle xi+1. f(x) 1 3 2 x
Prinzip II Algebraische Interpretation: Betrachte die Taylor Entwicklung f(x + δ) f(x)+f (x)δ + f (x) 2 δ 2 +... Für δ klein genug ist der lineare Term dominant. ( + )=0 Wir wollen f(x + δ) =0, und lösen auf: δ = f(x) f (x). Somit ist die gesuchte nächste Iteration xi+1 gegeben als (vgl auch Geradengleichung)
Algorithmus für N-R 0.Wähle einen Startpunkt xi (erste Schätzung) für die Nullstelle (nur ein Wert benötigt). 1. Berechne bei xi die Funktion f(xi) und die Ableitung f (xi). 2. Die Schätzung xi+1 für die neue Nullstelle ist 3. Berechne den Absolutbetrag des geschätzten relativen Fehlers 4. Abbruchkriterium wie bei Bisektion, sonst weiter iterieren ab Punkt 1.
Beispiel I Funktion und Ableitung. Bestimme sinnvollen Startwert. Wir haben gesehen (Physik) dass die Nullstelle zwischen 0 und 0.11 m liegen muss. Wir wählen x0=0.05 m. Frage: Wieso wäre 0 und 0.11 m keine gute Wahl?
Beispiel II Iteration 1
Beispiel III Iteration 2
(Natürlich nur im Rahmen von vier signifikanten Ziffern wie hier verwendet.) Beispiel III Iteration 3
Vorteile von N-R Nur ein Anfangswert nötig. Schnelle Konvergenz. Man kann zeigen dass gilt ɛ i+1 = ɛ 2 i f (x) 2f (x) d.h. die quadratische Konvergenz. Die Anzahl signifikanter Stellen wird in der Nähe der Nullstelle bei jeder Iteration ungefähr verdoppelt. Deshalb ist N-R die Methode der Wahl bei Funktionen mit stetiger, nichtverschwindender Ableitung in der Nähe der Nullstelle. Für den Praxiseinsatz sollte N-R mit zusätzlichen Sicherheitsmassnahmen ausgestattet werden. Dazu wird typischerweise ein Hybridalgorithmus aus Bisektion ( failsafe ) und N-R (schnelle Konvergenz) verwendet. Solche Algorithmen finden sich z.b. in Numerical Recipes.
Nachteile von N-R Konvergenz ist nicht garantiert! Man kann verschiedene Fälle finden, wo der Algorithmus versagt. Generell gilt, dass weit weg von der Nullstelle (wo die höheren Terme der Taylorentwicklung wichtig wären) sinnlose xi+1 auftreten können. Dort ist Bisektion besser.
Nachteile von N-R I Divergenz bei lokalen Extrema und (quasi) Sattelstellen, also überall dort wo f (x) =0 oder sehr klein wird. f(x) Nirvana 3 2 1 x Wird die Ableitung genau gleich 0, stürzt der Algorithmus ab (Division durch 0). Im Ball Beispiel wäre dies bei 0 und 0.11 der Fall da dort =0.
Nachteile von N-R II Gelegentlich kann sich der Algorithmus noch retten (wenn f (x) klein, aber nicht genau 0 wird), doch es braucht viele Iterationen. Beispiel Iteration Number x i 0 5.0000 1 3.6560 2 2.7465 3 2.1084 4 1.6000 5 0.92589 6 30.119 7 19.746...... 18 0.2000 Bei der 5ten Iteration kommen wir nahe zum Sattelpunkt bei 1=> Sprung zu weit entferntem xi+1. Schlussendlich wird zwar doch noch die korrekte Nullstelle gefunden, aber erst nach vielen Schritten.
Nachteile von N-R III Oscillationen um lokale Minima und Maxima. Der Algorithmus konvergiert auf ein lokales Maximum oder Minimum. Am Schluss auch Divergenz möglich. Beispiel (keine reellen Nullstellen). Iteration Number 0 1.0000 3.00 1 0.5 2.25 300.00 2 1.75 5.063 128.571 3 0.30357 2.092 476.47 4 3.1423 11.874 109.66 5 1.2529 3.570 150.80 6 0.17166 2.029 829.88 7 5.7395 34.942 102.99 8 2.6955 9.266 112.93 9 0.97678 2.954 175.96
Nachteile von N-R IV Nichtkonvergente, endlose Zyklen. f(x) 1 x 2 Tritt oft auf wenn f und f durch Interpolation in Tabellen berechnet wird. Ein besser Anfangsschätzung der Nullstelle hätte den Algorithmus gerettet.
Nachteile von N-R V Nullstellen-Springen: Bei oszillierenden Funktion springt der Algorithmus auf eine Nullstelle die weiter weg ist als eine andere Nullstelle nahe bei der Anfangsschätzung. Beispiel Konvergenz auf 0, statt auf
4 Sekanten
Prinzip Newton-Raphson: Oft ist aber die Ableitung unbekannt. Verwende Approximation: Einsetzen ergibt die Rekursion der Sekanten Methode
Geometrische Interpretation I Gestern: Lineare Interpolation. Interpoliere (und extrapoliere!) auf die Nullstelle der linearen Interpolierenden. =0 Lösen dieser Gleichung nach x (entsprechend x2) führt auf die gleiche Rekursion. Deshalb auch Interpolationsmethode genannt.
Geometrische Interpretation II f(x) 2 3 x 4 1 Interpolation und Extrapolation auf 0 durch die zwei zuletzt berechneten Punkte, egal ob sie die Nullstelle umgeben oder nicht. Zahlen geben die Reihenfolge an mit der die Punkte verwendet werden.
Algorithmus 1. Beginne mit zwei Schätzungen x-1 und x0 möglichst nahe bei der Nullstelle. 2. Berechne die nächste Schätzung als 3. Berechne den geschätzten Fehler 4. Prüfe ob das geforderte Abbruchkriterium erfüllt ist. Wenn nein, iteriere weiter ab Punkt 2 (wobei das momentane xi zum xi-1 wird, und das momentane xi+1 zum xi). Prüfe auch ob die maximal zulässige Anzahl Iterationen nicht überschritten wird.
Beispiel I Funktion Anfängliche Schätzungen Diese umgeben die Nullstelle nicht. Im Allgemeinen ist es aber besser, auch bei den Sekanten bracketing Startwerte zu verwenden.
Beispiel II 1. Iteration
Beispiel III 2. Iteration
Beispiel IV 3. Iteration
Konvergenzeigenschaften Die Sekantenmethode konvergiert superlinear: lim ɛ k+1 const ɛ k 1.618 k Der Exponent entspricht dem goldenen Schnitt.
Vor- und Nachteile Schnelle Konvergenz nahe bei der Nullstelle (falls). Konvergenz nicht garantiert. Ähnliche Nachteile wie N-R: Lokale Eigenschaften können den Algorithmus divergieren lassen. Die Nullstelle wird während des Algorithmus nicht unbedingt umgeben, selbst wenn sie es anfänglich mit den Startwerten wurde.
Nachteil: Illustration Division durch 0 (wie bei N-R) Nullstellen-Springen (wie bei N-R)
5 Regula Falsi
Prinzip Eng mit der Sekanten Methode verwandt (gleiche Iterationsformel). Unterschied zu Sekanten: Anstatt für die nächste Iteration immer streng die letzten zwei Punkte zu verwenden, werden hier die letzten zwei Punkte verwendet die die Zusatzbedingung erfüllen, dass sie die Nullstelle umgeben. Die Startpunkte müssen die Nullstelle umgeben. Die Nullstelle bleibt auch während des Verlaufs des Algorithmus umgeben.
Graphische Darstellung f(x) 2 3 4 x 1 Die Regula Falsi benutzt die zwei letzten Punkte, die die Nullstelle umgeben. Punkt 1 bleibt deshalb für mehrere Iterationen aktiv. Die Konvergenz ist langsamer als bei Sekanten, doch ist sie zugesichert.
Algorithmus 1. Beginne mit zwei Schätzungen x-1 und x0 möglichst nahe bei der Nullstelle die die Nullstelle umgeben. 2. Berechne die nächste Schätzung als 3. Prüfe die Bracketing Bedingung: Wenn gilt f(xi) f(xi+1)<0: Iteriere weiter mit xi und xi+1. Sonst: Iteriere weiter mit xi+1 und dem letzten xj für das gilt f(xi+1) f(xj)<0. Dies trifft bei Konstruktion gerade für xi-1 zu. 4. Abbruchkriterien wie zuvor.
Konvergenzeigenschaften Das Konvergenzverhalten ist schwierig genau auszurechen, da manchmal neue Punkte verwendet werden, und manchmal nicht. Langsamer als Sekanten, aber trotzdem oft superlinear.
Vor- und Nachteile Konvergenz garantiert. Langsamer als Sekanten. Nullstelle muss anfangs umgeben sein. In der Praxis spielt sowohl die Sekanten wie auch die Regula Falsi keine Rolle mehr, sondern wurde durch Hybridalgorithmen ersetzt.
Ressourcen Dieses Script basiert auf: http://numericalmethods.eng.usf.edu von Autar Kaw, Jai Paul Wärmstens empfohlen für alle Arten von Numerischen Algorithmen: Numerical Recipes (2nd/3rd Edition). Press et al., Cambridge University Press http://www.nr.com/oldverswitcher.html Enthält zahlreiche Nullstellenbestimmungsroutinen.