Fixpunkt-Iterationen

Transkript

1 Fixpunkt-Iterationen 2. Vorlesung Numerische Methoden I Clemens Brand und Erika Hausenblas Montanuniversität Leoben 3. März 2016

2 Nichtlineare Gleichungen, Fixpunkt-Iterationen 1 Wiederholung Aufgabentypen Fixpunkt-Iteration 2 Aufgaben in R und R n Skalare und vektorielle Formulierung Beispiel Kepler-Gleichung Direkte Fixpunkt-Iteration Newton-Verfahren Sekantenmethode 3 Fixpunkt-Iteration: Theorie Konvergenzordnung Kontrahierende Abbildung Konvergenzbedingung 4 Graphische Veranschaulichung 5 Prüfungsfragen Clemens Brand und Erika Hausenblas 3. März / 39

3 Wiederholung, Fragenliste Nichtlineare Gleichungen in einer Variablen Was ist... Wie geht... Theorie Praxis eine lineare (nichtlineare, polynomiale, algebraische, transzendente) Gleichung? eine Nullstelle?... mehrfache Nullstelle? ein Fixpunkt? Intervallhalbierung?... Regula Falsi? Sekantenmethode?... Newton-Verfahren? Fixpunkt-Iteration? Wann, warum und wie schnell findet Intervallhalbierung garantiert eine Nullstelle? Begriffe Konvergenzordnung, lineare und quadratische Konvergenz Haben Sie die Aufgaben auf den letzten zwei Folien der vorigen Woche durchgerechnet?

4 Wiederholung: Aufgabentypen Gleichungen lassen sich in verschiedener Weise formulieren und lösen Die Problemstellung Gesucht ist ein x, für das gilt... g(x) = h(x), (Finden der Lösung einer Gleichung) f(x) = 0, (Finden einer Nullstelle der Funktion f ) x = f(x), (Finden eines Fixpunktes der Funktion f ) Definition Unter einer Nullstelle der Funktion f versteht man eine Lösung der Gleichung f(x) = 0. Unter einem Fixpunkt der Funktion f versteht man eine Lösung der Gleichung x = f(x).

5 Wiederholung: Fixpunkt-Iteration Formulierung für R R Gegeben eine Funktion φ: R R und ein Startwert x (0) R. Ergebnis Falls konvergent, liefert die Fixpunkt-Iteration einen Fixpunkt x von φ. Iterationsvorschrift für k = 0,1,2... x (k+1) = φ(x (k) ) Viele numerische Verfahren lassen sich als Fixpunkt-Iterationen formulieren. Die Theorie der Fixpunkt-Iteration ist daher von grundlegender Bedeutung.

6 Mehrere Gleichungen und Unbekannte Themenübersicht für heute Aufgaben im R n Vektoren, vektorwertige Funktionen Unbekannte zu einem Vektor zusammenfassen Gleichungssystem als vektorwertige Funktion schreiben Begriffe Nullstelle und Fixpunkt lassen sich direkt verallgemeinern Auch Fixpunkt-Iteration geht analog Bei geeigneter Schreibweise ändert sich fast nichts gegenüber dem Fall einer Gleichung und Unbekannten Clemens Brand und Erika Hausenblas 3. März / 39

7 Beispiel: zwei Unbekannte Nichtlineares Gleichungssystem in zwei Unbekannten 4x 1 x 2 +x 1 x 2 = 1 x 1 + 6x 2 = 2 log(x 1 x 2 ) Nullstelle einer vektorwertigen Funktion f : R 2 R 2 4x 1 x 2 +x 1 x 2 1 = 0 x 1 + 6x 2 + log(x 1 x 2 ) 2 = 0 f 1 (x 1,x 2 ) = 0 f 2 (x 1,x 2 ) = 0 f(x) = 0 Fixpunkt einer vektorwertigen Funktion Φ : R 2 R 2 x 1 = 1 4 (x 2 x 1 x 2 + 1) x 2 = 1 6 (x 1 log(x 1 x 2 )+2) x = Φ(x) Beispiel im Skriptum, ab S.17, durchgerechnet!

8 Skalare und vektorwertige Funktionen Schreibweise: Vektoren und vektorwertige Funktionen fett gedruckt Reellwertige Funktionen, Skalare: f : R R, y = f(x) Vektorwertige Funktionen, Vektoren: f : R n R n, y = f(x) Komponenten eines Vektors R n : x 1 x 2 x =. oder xt = [x 1,x 2,...,x n ] x n Normalerweise ist mit x ein Spalten-, mit x T ein Zeilenvektor gemeint. Iterationsindizes sind (um sie von Vektorkomponenten zu unterscheiden) in der Regel hochgestellt, in Klammern: x (k),k = 0,1,2...

9 Aufgabentypen im R n Gleichungen lassen sich auf verschiedene Weise formulieren und lösen Es seien f,g,h Funktionen R n R n und x R n Die Problemstellung Gesucht ist ein x, für das gilt... g(x) = h(x), (Finden der Lösung eines Gleichungssystems) f(x) = 0, (Finden einer Nullstelle der Funktion f) x = f(x), (Finden eines Fixpunktes der Funktion f)

10 Nullstellen und Fixpunkte im R n Definition Eine Nullstelle der Funktion f : R n R n ist ein Wert x, für den gilt: f(x) = 0. Definition Ein Fixpunkt der Abbildung f : R n R n ist einen Wert x, für den gilt: x = f(x). ( Funktion oder Abbildung meint in diesem Kontext dasselbe. In Fixpunkt-Gleichungen ist der typische Funktions-Name meist Φ statt f)

11 Fixpunkt-Iteration im R n Das Grundprinzip vieler iterativer Verfahren Gegeben eine Funktion Φ: R n R n und ein Startwert x (0) R n. Ergebnis Falls konvergent, liefert die Fixpunkt-Iteration einen Fixpunkt x von Φ. Iterationsvorschrift für k = 0,1,2... x (k+1) = Φ(x (k) ) Viele numerische Verfahren lassen sich als Fixpunkt-Iterationen formulieren. Die Theorie der Fixpunkt-Iteration ist daher von grundlegender Bedeutung.

12 Ein Beispiel x ǫ sinx = m Die Kepler-Gleichung setzt verschiedene Parameter einer elliptischen Umlaufbahn in Beziehung Angenommen, ǫ 1 und m 0 sind gegeben; x ist gesucht. Formulieren Sie selber Lösungswege graphische Darstellung: wo liegen überhaupt Lösungen? Durch Fixpunkt-Iteration Als Nullstellen-Aufgabe (hier lassen sich das Newtonsche Verfahren oder die Sekanten-Methode gut anwenden) Clemens Brand und Erika Hausenblas 3. März / 39

13 Fixpunkt-Verfahren für Kepler-Gleichung findet Fixpunkt von φ(x) = m+ǫ sinx Konkret für m = 2,ǫ = 0,1 und Startwert x (0) = 0 ergibt sich neue Näherung x (1) = φ(x (0) ) = 2, und weiter... x (2) = φ(x (1) ) = 2, x (3) = φ(x (2) ) = 2, x (4) = φ(x (3) ) = 2, x (5) = φ(x (4) ) = 2, x (6) = φ(x (5) ) = 2, x (7) = φ(x (6) ) = 2, Die Anzahl richtiger Stelle nimmt konstant zu (hier 1 2 pro Iteration)

14 Newton-Verfahren für Kepler-Gleichung findet Nullstelle von f(x) = x ǫ sinx m f(x) = x ǫ sinx m f (x) = 1 ǫ cosx x (n+1) = x (n) x(n) ǫ sinx (n) m 1 ǫ cosx (n) Funktion Ableitung Iterationsvorschrift Konkret für m = 2,ǫ = 0,1 und Startwert x (0) = 0 ergibt sich f(x (0) ) = 2 f (x (0) ) = 0,9 neue Näherung x (1) = 2, und weiter... x (2) = 2, x (3) = 2, x (4) = 2, x (5) = 2, Die Anzahl richtiger Stellen nimmt immer rascher zu

15 Newton-Verfahren in Fixpunkt-Form Auch das Newton-Verfahren ist ein Fixpunkt-Verfahren! Fixpunkt-Gleichung x = x f(x) f (x) x = φ(x) Bitte verwechseln Sie nicht Das Newton-Verfahren sucht eine Nullstelle der Funktion f(x). Iterativ bestimmt es einen Fixpunkt der Funktion φ(x) = x f(x)/f (x)

16 Sekantenmethode für Kepler-Gleichung berechnet aus zwei alten Werten den nächsten Wähle Startwerte x (0) = 0; x (1) = 2 Nächster Wert x (2) = x (1) f(x (1) x (1) x (0) ) f(x (1) ) f(x (0) ) neue Näherung x (2) = 2, und weiter... x (3) = 2, x (4) = 2, x (5) = 2, x (6) = 2, Die Anzahl richtiger Stellen nimmt auch hier rasch zu

17 Sekantenmethode Sekantenmethode ist zweidimensionale Fixpunkt-Iteration Die Sekantenmethode berechnet aus zwei Näherungen x (0),x (1) eine verbesserte Näherung, rechnet dann mit zwei neuen Näherungen weiter. Fasse die beiden Näherungen als Komponenten eines Vektors auf. Die Schreibweise [ ] [ ] x1 x 2 x =, Φ(x) = x x 2 f(x 2 ) 1 x 2 x 2 f(x 1 ) f(x 2 ) formuliert die Sekantenmethode als zweidimensionale Fixpunkt-Iteration x (k+1) = Φ(x (k) ) für k = 0,1,2...

18 Wichtige Themen zur Fixpunkt-Iteration Konvergenzordnung: wie rasch konvergiert eine Iteration Was ist eine kontrahierende Abbildung Wann konvergiert Fixpunktiteration anschaulich erklärt mathematisch exakte Konvergenzbedingung Was bedeutet lokale Konvergenz Anschauliche Bedeutung von Φ < 1 Clemens Brand und Erika Hausenblas 3. März / 39

19 Konvergenzordnung Angenommen, eine Iteration x (k+1) = Φ(x (k) ) für k = 0,1,2... konvergiert zu x, und die Fehlerschranke ǫ (k) schätzt den Fehler: x (k) x ǫ (k). Neue Fehlerschranke mindestens um Faktor C kleiner als alte Fehlerschranke: lineare Konvergenz (wenn C < 1), also ǫ (k+1) C ǫ (k)...das Quadrat des alten Fehlers: quadratische Konvergenz; typisch für Newton-Verfahren. ǫ (k+1) C(ǫ (k) ) 2...(allgemein) die p-te Potenz des alten Fehlers, p 1: Konvergenz p-ter Ordnung. Bei Sekanten-Verfahren ist p ǫ (k+1) C(ǫ (k) ) p

20 Konvergenzordnung gibt an, wie rasch die Genauigkeit zunimmt Faustregeln Lineare Konvergenz braucht eine fixe Anzahl von Schritten pro gültiger Stelle. Je kleiner C, desto rascher nimmt Genauigkeit zu. Quadratische Konvergenz verdoppelt pro Schritt (ungefähr) die Zahl der korrekten Dezimalstellen. Beispiel: Fehler ǫ (k) < 10 3 ǫ (k+1) < C (10 3 ) 2 = C 10 6 ǫ (k) < 10 6 ǫ (k+1) < C (10 6 ) 2 = C Sekanten-Regel: etwa 60% mehr korrekte Stellen pro Schritt. Die Faustregeln für Newton- und Sekantenverfahren gelten nur bei genügend kleinen Fehlern; umso besser, je mehr Stellen bereits korrekt sind.

21 Konvergenzordnung Definition Ein Iterationsverfahren x (k+1) = Φ(x (k) ) k = 0,1,2... mit Iterationsfunktion Φ: R n R n, Fixpunkt x R n und Fehlerschranken x (k) x ǫ k heißt lokal konvergent von (mindestens) p-ter Ordnung (p 1), wenn für alle Startwerte x (0), die genügend nahe an x liegen, gilt und C < 1, falls p = 1. ǫ (k+1) C [ǫ (k)] p

22 Konvergenzordnung: Lehrsatz Zusammenhang zwischen Ableitungen im Fixpunkt und Konvergenzordnung Ist φ(x) in einer Umgebung von ξ genügend oft differenzierbar und φ (ξ) = 0, φ (ξ) = 0,...,φ (p 1) (ξ) = 0, und φ (p) (ξ) 0, dann liegt für p = 2,3,... ein Verfahren p-ter Ordnung vor. Ein Verfahren erster Ordnung liegt vor, wenn zu p = 1 gilt: φ (ξ) < 1.

23 Kontrahierende Abbildung R R Locker formuliert: Wenn bei unterschiedlichen Eingaben x,y die Ergebnisse φ(x),φ(y) näher beisammen liegen: φ(x) φ(y) C x y, C < 1 Unterschiedliche Startwerte liegen nach Anwendung von φ näher beisammen Fortgesetzte Anwendung bringt Werte immer näher zusammen Schließlich ziehen sich alle Werte auf einen Fixpunkt zusammen Fixpunkt-Iteration konvergiert für kontrahierende Abbildungen.

24 Fixpunkt-Iteration konvergiert für kontrahierende Abbildungen Die Funktion φ: R R besitze einen Fixpunkt x, es gelte also φ(x ) = x. Sei ferner U eine Umgebung um den Fixpunkt x in der Form U = {x : x x < d}, sodass φ dort eine kontrahierende Abbildung ist, d.h.es gilt φ(x) φ(y) C x y, C < 1 für alle x,y U. Dann konvergiert die Fixpunkt-Iteration x (k+1) = φ(x (k) ) mindestens linear gegen x für alle Startwerte x (0) B.

25 Bemerkungen Die Formulierung des Satzes auf der vorigen Folie setzt die Existenz eines Fixpunktes voraus. Dadurch wird der Konvergenz-Beweis kurz und schmerzlos. Eine etwas allgemeinere Formulierung und ein technisch aufwändigerer Beweis zeigen, dass aus der Kontraktions-Eigenschaft auch schon die Existenz und Eindeutigkeit eines Fixpunktes folgen. Das ist der berühmte Fixpunktsatz von Banach.

26 Konvergenz des Fixpunktverfahrens für φ: R R Das Fixpunktverfahren konvergiert lokal, falls φ (x ) < 1. Ist φ(x) in einer Umgebung des Fixpunktes x stetig differenzierbar und φ (x ) < 1, so konvergiert die Fixpunkt-Iteration x (k+1) = φ(x (k) ) mindestens linear mit C φ (x ) gegen x für alle x (0) in der Nähe des Fixpunktes. Der Fehler nimmt um den Faktor C pro Iteration ab

27 Interpretation der Bedingung φ (x ) < 1. Locker gesagt: Fixpunkt-Iteration konvergiert, wenn φ(x) nicht wirklich stark von x abhängt. Ableitung φ misst, wie stark sich φ(x) ändert, wenn sich x ändert. Der Konvergenzsatz quantifiziert, wie stark φ von x abhängen darf, damit Iteration konvergiert. Bedingung φ (x ) < 1 bedeutet: φ ist kontrahierende Abbildung Clemens Brand und Erika Hausenblas 3. März / 39

28 Beispiel: φ(x) = 9 4 x(1 x) Zwei Fixpunkte: ξ 1 = 0,ξ 2 = 5 9. Einsetzen der Fixpunkte in φ (x) = 9 4 (1 2x) liefert φ (0) = 9 4 > 1 φ ( 5 9 ) = 1 4 < 1 Folgerungen: Für Startwerte in der Nähe von ξ 2 = 5 9 konvergiert die Fixpunkt-Iteration. φ(x) ändert sich dort nur etwa 1/4 so stark, wenn sich x-werte ändern. Ein Fehler im Eingabewert bewirkt einen 1/4 so großen Fehler im Resultat. Wiederholtes Einsetzen macht den Fehler immer kleiner

29 Fixpunkt-Iteration, graphisch interpretiert waagrecht zur Mediane, senkrecht zur Funktion Fixpunkt-Iteration 0.8 x = ax(1 x) graphisch veranschaulicht für a = 5/2 Startwert x = 1/

30 Fixpunkt-Iteration x = ax(1 x) für a = 3,15 Startwert x = 1/100 konvergiert zu Zyklus mit Periode 2 weitere Beispiele: Skriptum-Titelblatt

31 Ein Prüfungsbeispiel Die Funktion φ(x) = 18 30x + 23x2 4x 3 9 hat Fixpunkte für x = 3/4, 2 und 3. Überprüfen Sie mithilfe der Konvergenzsätze für die verschiedenen Fixpunkte: Konvergiert die Fixpunkt-Iteration x (k+1) = φ(x (k) ), und wenn ja, mit welcher Konvergenzordnung?

32 Prüfungsbeispiel Gegeben sei die Funktion φ(x) = ax(1 x) für ein a 0 1 Zeigen Sie: x = 0 und x = (a 1)/a sind Fixpunkte von φ. 2 In welchem Bereich muss a liegen, damit eine Fixpunkt-Iteration lokal zu x = 0 konvergiert? 3 In welchem Bereich muss a liegen, damit eine Fixpunkt-Iteration lokal nach x = (a 1)/a konvergiert? 4 Für welchen Wert von a folgt lokal quadratische Konvergenz zum Fixpunkt x = (a 1)/a?

33 Prüfungsbeispiel Gegeben sei die Funktion f(x) = x Wie lautet die reelle Nullstelle von f? 2 Zeigen Sie: Das Newton-Verfahren zur Nullstellenbestimmung führt auf die Iterationsvorschrift x = 1 3x 2 + 2x 3 3 Leiten Sie die Konvergenzordnung dieser Iteration her.

34 Newton-Verfahren für z 3 1 = 0 mit z C Die Formel des Newton-Verfahrens gilt auch für komplexen Zahlen. Fixpunkt-Gleichung z = 1 3z 2 + 2z 3 konvergiert für Startwerte aus den Bereichen rosa/ocker/cyan jeweils zu z = 1 z = i z = i