Grundlagen der Numerischen Mathematik

Transkript

1 Grundlagen der Numerischen Mathematik a.o.univ.prof. Mag.Dr. Stephen Keeling Literatur: Numerical Analysis von R.L. Burden und J.D. Faires Unterlagen: 1

2 Inhaltsverzeichnis I Einführung Motivierendes Beispiel: Bildverarbeitung Approximation von Ableitungen und Integralen Mittelwertsatz Optimalitätsbedingung fürs Bildverarbeitungsbeispiel Randwertproblem fürs Bildverarbeitungsbeispiel Fehleranalyse Satz von Taylor O-Notation Zwischenwertsatz Iterative Bestimmung einer Nullstelle Konvergenzgeschwindigkeit Stabilität Darstellung von Zahlen im Computer Aufrundung und Abrundung Signifikante Ziffern Fehler der Fließkommadarstellung Auslöschung Horner Algorithmus 2 Lineare Gleichungssysteme: Direkte Methoden Gaußsche Elimination Rückwärts Substitution Diskretisierung einer PDG Automatisierung der Gaußschen Elimination Pseudo-Kode der Gaußschen Elimination flops der Gaußschen Elimination Rekursive Lösungen: Evolutionsgleichung LU Zerlegung Rekursive Lösungen mit LU Pivot Strategien Pseudo-Kode für Gaußsche Elimination mit Pivot-Suche LU Zerlegung mit Permutation Skalierte Pivotsuche

3 Inhaltsverzeichnis II Pseudo-Kode mit Skalierter Pivotsuche Totale Pivotsuche Inverse und Determinante Besondere Eigenschaften einer Matrix Gerschgorin Satz Pseudo-Kode für den Cholesky Algorithmus Bandmatrizen Sparse Speicherformat Lineare Gleichungssysteme: Iterative Methoden Vektornormen Äquivalenz von Normen Qualitative Eigenschaften der Normen Matrixnormen Charakterisierung bekannter Matrixnormen Spektralradius Konvergente Matrizen Zerlegungen für Iterationen Jacobi Methode Pseudo-Kode der Jacobi Methode Gauß-Seidel Methode Symmetrische Gauß-Seidel Methode Approximierte Inversen SOR Methode Konvergenz von Iterativen Verfahren Konjugierte Gradienten Präkonditionierung Fehler Abschätzungen 3 Eigenwerte und Eigenvektoren Vektoriteration Inverse Vektoriteration Berechnung aller Eigenwerte Die Householder Methode Hessenberg Matrizen

4 4 Inhaltsverzeichnis III Pseudo-Kode zur Transformation auf Hessenberg oder Tridiagonale Form QR Algorithmus Givens Transformationen Konvergenz des QR-Algorithmus Pseudo-Kode für den QR-Algorithmus Ausgleichsprobleme Lineare Regression Polynome Regression Singulärwert Zerlegung Eigenschaften der SWZ Pseudoinverse Berechnung der SWZ Berechnung der SWZ Vereinfachung auf Bidiagonale Form Pseudo-Kode zur Transformation auf Bidiagonale Form Diagonalisierende Iteration Folge der Bidiagonalen Matrizen Pseudo-Kode für den QR Algorithmus zur Singulärwert-Zerlegung Interpolation Lagrange Interpolierende Polynome Genauigkeit globaler Interpolation Iterierte Interpolation Nevilles Algorithmus Dividierte Differenzen Hermite Interpolation Stückweise Polynome Interpolation Stückweise Kubisch Hermite Interpolation Splines Die Kanonischen Splines Glattheitsbedingungen Interpolation mit Kubischen Splines Tensor Produkte für 2D Interpolation Nicht Lineare Gleichungen

5 Inhaltsverzeichnis IV Pseudo-Kode für das Bisektionsverfahren Fixpunktiteration Pseudo-Kode für eine Fixpunktiteration Vergleich zweichen Bisektions- und Fixpunktiteration Newton Verfahren Pseudo-Kode für das Newton Verfahren Pseudo-Kode für Sekant Verfahren Vergleich zweichen Newton und Bisektionsiteration Asymptotische Konvergenzrate Systeme von Nicht Linearen Gleichungen Abstiegsverfahren Implizite Fixpunktiteration Newton Verfahren für Systeme Richtungsfelder der Lösungsverfahren Entrauschen Ergebnisse Numerisches Differenzieren und Integrieren Approximation der Ableitungen Richardson Extrapolation Numerische Integration Trapez-Regel Simpson-Regel Genauigkeit einer geschlossenen Newton-Cotes Formel Genauigkeit einer offenen Newton-Cotes Formel Mittelpunkt-Regel Zusammengesetzte Mittelpunkt-Regel Zusammengesetzte Simpsons-Regeln Zusammengesetzte Trapez-Regeln Romberg Integration Gauß Quadratur 5 Gewöhnliche Differentialgleichungen Das Eulersche Verfahren Wärmegleichung Konservative Verfahren

6 Inhaltsverzeichnis V Wellengleichung Crank-Nicholson Verfahren Runge-Kutta Methoden Runge-Kutta-Fehlberg Methoden Konsequenz, Stabilität, Konvergenz Absolute Stabilität Steife Systeme Randwertprobleme Diskretisierung eines Sturm-Liouville Randwertproblems Rayleigh-Ritz Methode 6

7 Was ist Numerische Mathematik? Experiment zu Hause: Im Taschenrechner: 2 eingeben, dann 10 und 10 x 2. Subtrahiere 2. Ergebnis 0. Warum? Zahlen werden nicht genau gespeichert! Wie soll man Ax = b, f (x) = 0, u (x) = f (x) lösen? Antwort: Näherungsweise. Ein gutes numerisches Verfahren soll nicht erlauben, dass Fehler sich schlecht aufbauen! 7

8 Motivierendes Thema: Signal- und Bildverarbeitung Dieses Beispiel wird mehrmals in verschiedenen Kontexten analysiert. v(x) ist ein gegebenes verrauschtes Signal. u (x) ist das gewünschte Signal. u(x) ist eine Abschätzung von u (x). 8

9 Motivierendes Thema: Signal- und Bildverarbeitung Wie bestimmt man u u? Ansatz: Ω = (0, 1), u u = argmin w J(w), J(u) = (u v) 2 dx + µ u 2 dx Ω Ω Qualitativ: µ u = Mittelwert von v (übergeglättet) µ 0 u = v (untergeglättet) Das beste µ ist irgendwo in der Mitte. Optimalitätsbedingung zur Bestimmung von u? Diskreter Ansatz... 9

10 Motivierendes Thema: Signal- und Bildverarbeitung Die Daten werden üblicherweise sowieso diskret gegeben: v i = v(x i ) auf einem Gitter x i = ih, i = 0,..., N, h = 1/N 0 x 0 x i h x N 1 Fragestellung: Es gelten N h [u(x i ) v(x i )] 2 i=0 h 0 Ω u(x) v(x) 2 dx 10 µh N [ ] u(xi ) u(x i 1 ) 2 h 0 µ u (x) 2 dx h Ω i=1 unter welchen Bedingungen?

11 Motivierendes Thema: Signal- und Bildverarbeitung Satz (Mittelwertsatz): Wenn f C[a, b] differenzierbar in (a, b) ist, dann c (a, b) sodass f (c) = [f (b) f (a)]/[b a]. Also ξ i (x i 1, x i ) sodass u(x i ) u(x i 1 ) h und N [ ] u(xi ) u(x µh i 1 ) 2 = µ h i=1 = u(x i) u(x i 1 ) x i x i 1 = u (ξ i ) N [u (ξ i )] 2 h µ Satz (Mittelwertsatz für Integrale): Wenn f C[a, b] und g(x) 0, x [a, b], dann c (a, b) sodass b a i=1 f (x)g(x)dx = f (c) b a g(x)dx Ω u (x) 2 dx 11 Themen: Approximation von Ableitungen und Integralen.

12 Motivierendes Thema: Signal- und Bildverarbeitung Für Daten {v i } und Approximationen {u i u(x i )} seien u = u 0,..., u N T und v = v 0,..., v N T. Wir minimieren: J h (u) = h N (u i v i ) 2 + µh i=0 Optimalität: J h (u) = u J h (u) = 0. N [ ui u i 1 h i=1 ] 2 J h u k }{{} 0<k<N = 2h(u k v k ) + µh/h 2 [2 (u k u k 1 ) 2 (u }{{} k+1 u k )] }{{} i=k i=k+1 J h = 2h(u 0 v 0 ) + µ/h[ 2 (u 1 u 0 )] u 0 }{{} i=k+1=1 12 J h = 2h(u N v N ) + µ/h[2 (u N u N 1 ) u N }{{} i=k=n ]

13 Motivierendes Thema: Signal- und Bildverarbeitung oder J h (u) = 2h(u v) + 2(µ/h)Du wobei Optimalität: D = = 1 2h J h(u) = u v + µ h 2 Du oder das lineare Gleichungssystem: [ µ h 2 D + I ] u = v 13

14 Motivierendes Thema: Signal- und Bildverarbeitung Optimalitätssystem komponentenweise: µ u i+1 2u i + u i 1 h 2 + u i = v i, i = 1,..., N 1 µ u 1 u 0 h 2 + u 0 = v 0, i = 0 u µ N + u N 1 h 2 + u N = v N, i = N wobei in der zweiten und dritten Zeilen, u 0 = u 1 beziehungsweise u N = u N+1 (virtuelle Randbedingungen u = 0) zu sehen sind. Kontinuum-Ansatz für Optimalität: Richtungableitung sind Null für alle Störungen w: 0 = δj d (u; w) = lim J(u + ɛw) δu ɛ 0 dɛ 14

15 Motivierendes Thema: Signal- und Bildverarbeitung Gilt wenn u das Randwertproblem erfüllt: { µu + u = v, Ω u = 0, Ω Vergleich mit dem diskreten Ergebnis zeigt: u (x i ) u i+1 2u i + u i 1 h 2 Approximation der zweiten Ableitung. Hausaufgabe: Schreibe eine Approximation J h (u) für J(u) = (u v) 2 dx + µ u 2 + ε 2 dx Ω Ω und leite die Optimalitätsbedingung J h (u) = 0 her. 15

16 Zusammenfassung unserer Fragestellungen Wie leitet man Formeln zur Approximation eine Integrals her? Formeln für Ableitungen? Wann wissen wir, dass diese Formeln konvergieren wenn h 0? Und zwar schnell? Wie löst man die entstehenden Gleichungssysteme? Wenn das Integral Ω u 2 dx in J mit Ω u dx ersetzt wird, ist das Entrauschen-Ergebnis viel besser, aber das Gleichungssystem ist nicht linear. Wie löst man das nicht lineare Problem? Dies werden wir später mit dem Newtonschen Verfahren lösen. 16

17 Fehleranalyse Fehler heissen Abbruchsfehler, wenn sie durch eine Diskretisierung und trotz exakter Arithmetik entstehen, z.b. der Rest in u (x i ) 1 h 2 [u(x i+1) 2u(x i ) + u(x i 1 )] wird nicht berechnet sondern abgebrochen. Fehler heissen Rundungsfehler, wenn Zahlen einer Rechnung nicht exakt gespeichert werden können. Diese können üblicherweise so grafisch dargestellt werden: 17

18 Fehleranalyse Wie können wir die Abbruchsfehler abschätzen? Satz (Taylor): Sei u C k [a, b] und u (k+1) existiert in [a, b]. Sei x 0 [a, b]. x [a, b], ξ zwischen x und x 0 sodass u(x) = k m=0 u (m) (x 0 ) (x x 0 ) m + u(k+1) (ξ) m! (k + 1)! (x x 0) k+1 Anwendung für die zweite Ableitung: x i+1 x i = h 18 u(x i+1 ) = u(x i ) + u (1) (x i )h + u (2) (x i ) h2 2 + u(3) (x i ) h3 6 + u(4) (ξ i+1 ) h4 24 u(x i 1 ) = u(x i ) u (1) (x i )h + u (2) (x i ) h2 2 u(3) (x i ) h3 6 + u(4) (ξ i 1 ) h4 24 Summe: u(x i+1 ) 2u(x i ) + u(x i 1 ) h 2 = u (x i ) + F(h)

19 Fehleranalyse Der Abbruchsfehler ist: Man sagt, F(h) = O(h 2 ). F(h) = [u (4) (ξ i+1 ) + u (4) (ξ i 1 )] h2 24 Def: F(x) = O(G(x)) für x x 0 (x 0 R {± }) wenn lim x x0 F(x)/G(x) <. F(x) = O(G(x)) wenn lim x x0 F(x)/G(x) = 0. Wenn die exakte Lösung erfüllt u (4) (x) c, x, dann gilt: 19 F(h) u (4) (ξ i+1 ) + u (4) (ξ i 1 ) h2 24 ( u (4) (ξ i+1 ) + u (4) (ξ i 1 ) ) h2 24 2c h2 24 ch2 12 lim h 0 F(h)/h2 c 12 Ähnlich gilt F(h) = O(h).

20 Konvergenz Bemerkung: Wir haben gezeigt, der Abbruchsfehler dieser Approximation der zweiten Ableitung konvergiert zu Null mit Verfeinerung. Wir haben aber noch nicht gezeigt, [ µ h 2 D + I ] u = v... { µu + u = v, Ω u = 0, Ω dass die Lösung des linearen Gleichungssystems zur exakten Lösung des Randwertproblems mit Verfeinerung konvergiert, max i u i u(x i ) 0, h 0 aber der Taylorsatz gehört zum Werkzeug. Bemerkung: Die Optimalitätsbedingung J h (u) = 0 für J(u) = (u v) 2 dx + u 2 + ε 2 dx Ω Ω 20 ist nicht linear. Wir brauchen ein Verfahren, um die Nullstelle zu bestimmen...

21 Nullstellen Einfaches Beispiel: f : R R, finde die Nullstelle x 0. Wir haben durch Versuch und Irrtum x 1 und x 2 gefunden, sodass f (x 1 )f (x 2 ) < 0. Gibt es eine Nullstelle zwischen x 1 und x 2? Satz (Zwischenwert): Wenn f C[a, b] und k zwischen f (a) und f (b) liegt, dann existiert c (a, b) sodass f (c) = k gilt. Gegenbeispiele: 21

22 Nullstellen Bekannte Verfahren zur Bestimmung einer Nullstelle: Bisektion { a, f (c)f (b) < 0 f (a)f (b) < 0... (a + b)/2 = c b, f (a)f (c) < 0 und Newton x k+1 = x k f (x k )/f (x k ), k = 1, 2,... Unsere Fragen: Ist ein Verfahren konvergent? Was soll das Abbruchskriterium sein? Was ist die Geschwindigkeit der Konvergenz? 22

23 Konvergenz und Stabilität Def: Die Folge {x k } konvergiert zu x mit Konvergenzgeschwindigkeit O(y k ) wenn x k = x + O(y k ). Beispiel: x k = (k + 1)/k 2 = 0 + O(1/k): lim k x k /(1/k) = lim k (k + 1)/k = 1. Ähnlich y k = (k + 3)/k 3 = 0 + O(1/k 2 ). Falls (Rundungs)fehler in einer Iteration auftauchen, können sie sich schlecht aufbauen? D.h. ist das Verfahren stabil? Wir stellen die Fehler als Anfangsstörung E 0 dar... 23

24 Konvergenz und Stabilität 24 Def: Sei E k der Fehler eines Verfahrens nach k Operationen, wenn der Anfangsfehler E 0 ist. Wenn gilt E k ck E 0 0 < c c(k) sagt man, das Fehlerwachstum ist linear. Wenn nur gezeigt werden kann, E k ca k E 0 0 < c c(k), a > 1 sagt man, das Fehlerwachstum ist exponentiell. Da Fehlerwachstum in der Regel unvermeidlich ist, sagen wir, ein Verfahren mit höchstens linearem Fehlerwachstum ist stabil. Beispiel: Wir berechnen die Folge 3 k. Methode 1: p0 = 1, p k = 1 3 p k 1. Probiere sie! Sie ist stabil! Methode 2: p 0 = 1, p 1 = 1 3, p k = 10 3 p k 1 p k 2, z.b. p 2 = = 1 (mit exakter Arithmetik). Probiere sie! 3 2 Sie ist nicht stabil! Die Fehler in diesem Beispiel sind Rundungsfehler. Wie entstehen sie genau?

25 Darstellung von Zahlen im Computer Beispiel: IEEE Fließkommazahl einfacher Genauigkeit (32 bits, 4 bytes). 8bits 8bits 8bits {}}{{}}{{}}{{ 8bits=1byte }}{ e 0 e 7 m 1 m23 σ }{{}}{{} e m σ Vorzeichen, e Exponent, m Mantissa e = e 0,..., e 7, m = m 1,..., m 23, e k, m k {0, 1} V = ( 1) σ, E = e k 2 k, M = 1 + m k 2 k k=0 k=1 Fließkommazahl: x = V 2 E M 25

26 Darstellung von Zahlen im Computer Beispiel: x = 1 x = (1) 10 = (1.0) (M [1, 2)) M = (1) 2 m k = 0, k = 1,..., 23 0 = E = (127) 10 + e e = (127) 10 Wie bringt man (127) 10 auf die binäre Darstellung? Algorithmus für die dezimalen Ziffer von 127: = , = , 1 10 = Algorithmus für die binären Ziffer von 127: = , 63 2 = , 31 2 = , 15 2 = , 7 2 = , 3 2 = , 1 2 = Also e = (127) 10 = ( ) 2 26 x (IEEE):

27 Darstellung von Zahlen im Computer Beispiel: x = Algorithmus für die dezimalen Ziffer von 0.375: = , = , = Algorithmus für die binären Ziffer von 0.375: = , = , = Also x = (0.375) 10 = (0.011) 2 = (1.1) (M [1, 2)) M = (1.1) 2 m 1 = 1, m k = 0, k = 2,..., 23 e (127) 10 = E = (2) 10 e = (125) 10 = ( ) 2 x (IEEE):

28 Darstellung von Zahlen im Computer Beispiel: x = x = (12) 10 + (0.375) 10 x = (1100) 2 + (0.011) 2 = ( ) 2 x = ( ) 2 2 3, (M [1, 2)) M = ( ) 2 m 1 = 1, m 5 = 1, m 6 = 1, sonst m k = 0 e (127) 10 = E = (3) 10 e = (130) 10 = ( ) 2 x (IEEE):

29 Darstellung von Zahlen im Computer Beispiel: x = 0.1 Algorithmus für die binären Ziffer von 0.1: = , = , = , = , = zurück zum Anfang Also x = (0.1) 10 = ( ) 2 = ( ) Probe: x = k=1 2 4k 1 2 k=1 2 4k = 1 10 M = ( ) 2 m 1 = 1, {m 4k = m 4k+1 = 1} 5 k=1, sonst m k = 0? e (127) 10 = E = (4) 10 e = (123) 10 = ( ) 2 29 Mit Aufrundung (m 23 = 1) x (IEEE): Mit Abrundung (m 23 = 0) x (IEEE):

30 Darstellung von Zahlen im Computer Fortsetzung des Beispiels: x = 0.1 Mit Aufrundung (m 23 = 1) x (IEEE): ( ) 10 Mit Abrundung (m 23 = 0) x (IEEE): ( ) 10 Mit einfacher Genauigkeit gibt es keine speicherbaren Zahlen zwischen diesen! IEEE Fließkommazahl doppelter Genauigkeit (64 bits, 8 bytes) x = V 2 E M, E = e k 2 k k=0 52 V = ( 1) σ, M = 1 + m k 2 k k=1

31 Darstellung von Zahlen im Computer Fehler in der Darstellung? Def: Wenn p eine Approximation zu p ist, ist der absolute Fehler p p. Der relative Fehler ist p p / p wenn p 0. Def: p approximiert p zu t signifikanten Ziffern wenn t N die größte Zahl ist, bei der der relative Fehler kleiner als 5 10 t ist. Beispiel: x = 0.1, x = (Aufrundung) < x x x = < t = 8 31

32 Darstellung von Zahlen im Computer Relativer Fehler der Fließkommazahl-Darstellung fl(x), mit Abrundung und p-ziffer Genauigkeit M = p 1 k=0 m k2 k, x fl(x) x = k=p = V 2E ( k=0 )m k2 k V 2 E ( p 1 k=0 )m k2 k V 2 E ( k=0 )m k2 k m k 2 k / m k 2 k m k 2 k k=0 1 k=p k=p 2 k = 2 p 2 k = 2 p = 2 (p 1) (< tol) k=0 32 IEEE einfache Genauigkeit, p = 24, 2 p , t = 7 IEEE doppelte Genauigkeit, p = 53, 2 p , t = 16

33 Darstellung von Zahlen im Computer Verlust von signifikanten Ziffern: Auslöschung. Bildlich gesehen: x 1 = ( 1) σ 2 E M 1 x 2 = ( 1) σ 2 E M 2 gleich anders x 2 x 1 E ####### ( 1) σ 2Ẽ(M 2 M 1 ) Ẽ ####### Nur die Ziffer ####### überleben Subtraktion. In exakter Arithmetik wäre der letzte Bereich mit richtigen Ziffern besetzt. 33

34 Darstellung von Zahlen im Computer Beispiel: Berechne die Nullstellen von p(x) = x x + 1 mit 4-Dezimal-zifferiger Genauigkeit [(62.10) ] [ ] x 1 = Besserer Weg: A B = (A 2 B 2 )/(A + B) = b + b 2 4ac 2a = b2 + (b 2 4ac) 2a[b + b 2 4ac] Auch anfällig für Auslöschung: Skalarprodukt 34

35 Darstellung von Zahlen im Computer Auch anfällig für Auslöschung: Polynomauswertung Beispiel: An der Stelle x = 4.71 das Polynom p(x) = x 3 6x 2 + 3x mit 3-Dezimal-zifferiger Genauigkeit auswerten. exakt: = zifferig: , 4% relativer Fehler Horner Algorithmus: p(x) = x[x 2 + 6x + 3] = x[x(x 6) + 3] p x 6, p x p, p p + 3, p x p, p p Ergebnis: -14.5, 0.25% relativer Fehler 35

36 Lineare Gleichungssysteme: Direkte Methoden Gaußsche Elimination zur Lösung von Ax = b. Beispiel: Das System: 3x 1 + 6x 2 9x 3 = 12 2x 1 + 5x 2 8x 3 = 11 x 1 4x 2 7x 3 = 10 E 1 E 2 E 3 E 2 E E 1, E 3 E E 1, E 3 E E 2, 3x 1 + 6x 2 + 9x 3 = 12 x 2 14x 3 = 3 6x 2 10x 3 = 6 3x 1 + 6x 2 + 9x 3 = 12 x 2 14x 3 = 3 94x 3 = 24 36

37 Gaußsche Elimination und Rückwärts Substitution Rückwärts Substitution: 3x 1 + 6x 2 + 9x 3 = 12 x 1 = 1 3 ( 12 6x 2 9x 3 ) = x 2 14x 3 = 3 x 2 = x 3 = x 3 = 24 x 3 = Zur Lösung von Ax = b kann man die Schritte auf die erweiterte Matrix [A b] durchführen: [A b] = R 3 4 (R n (n+1) ) Wenn es mehrere rechte Seiten gibt, Ax i = b i, i = 1, 2,..., m oder AX = B, X = [x 1,..., x m ], B = [b 1,..., b m ] 37 kann man die Schritte gleichzeitig auf die erweiterte Matrix [A B] durchführen. Aber nicht wenn b i von x i 1 abhängt!

38 Diskretisierung einer PDG Die Diskretisierung [ µ h 2 D + I]u = v des Randwertproblems, { µu + u = v, Ω u = 0, Ω wird sehr groß mit Verfeinerung, aber sie ist trotzdem immer tridiagonal; deswegen ist es ziemlich billig, Gaußsche Elimination für dieses System durchzuführen. Bessere Motivation: Ω = (0, 1) 2, u = u xx + u yy { µ u + u = v, Ω u/ n = 0, Ω (N+1) 2 N+2 2N+2 1 N+1 38 u xx + u yy u i+1,j 2u ij + u i 1,j h 2 + u i,j+1 2u ij + u i,j 1 h 2

39 Diskretisierung einer PDG Gleichungssystem: µ h 2 µ h 2 4µ h µ h 2 µ h O(N) O(N) u 0,0. u N,0. u 0,N.. = v 0,0. v N,0. v 0,N.. u N,N v N,N Obwohl die Matrix dünn besetzt ist (sparse, d.h. ganz wenig nicht triviale Elemente), führt Gaußsche Elimination zur Auffüllung (fill-in) der Zwischendiagonalen. 39

40 Automatisierung der Gaußschen Elimination 40 Um die Lösungsschritte der Gaußschen Elimination zu automatisieren, müssen wir diese symbolisch schreiben: 2. Zeile: 3. Zeile:. i. Zeile: i = 2,..., n Ergebnis: sonst Null { A [A b] A21 = A 21 /A 11 (Multiplikator: m 21 ) { A 2j = A 2j A 21 A 1j, j = 2,..., n(+1) A31 = A 31 /A 11 (Multiplikator: m 31 ) A 3j = A 3j A 31 A 1j, j = 2,..., n(+1) { Ai1 = A i1 /A 11 (Multiplikator: m i1 ) A ij = A ij A i1 A 1j, j = 2,..., n(+1) A 11 m 21. m n1 Pivot neues b neue Zielspalte

41 Automatisierung der Gaußschen Elimination Mit der nächsten Zielspalte: 3. Zeile:. i. Zeile: i = 3,..., n Ergebnis: sonst Null { A32 = A 32 /A 22 (Multiplikator: m 32 ) A 3j = A 3j A 32 A 2j, j = 3,..., n(+1) { Ai2 = A i2 /A 22 (Multiplikator: m i2 ) A ij = A ij A i2 A 2j, j = 3,..., n(+1) A 11 m 21 A 22. m 32. m n1 m n2 Pivot neues b neue Zielspalte 41 Wird mit Zielspalten fortgesetzt, bis man ein Dreieck für die Multiplikatoren hat.

42 Automatisierung der Gaußschen Elimination Pseudo-Kode zur Gaußschen Elimination: A <- [A,b] % Erweiterung for k=1,...,n-1 % Pivot-Index for i=k+1,...,n % Zeilen-Index A ik = A ik / A kk % Multiplikator for j=k+1,...,n+1 % Spalten-Index A ij = A ij - A ik*a kj end end end 42 Pseudo-Kode zur Rückwärts Substitution: x n = A n,n+1 / A nn for i=n-1,...,1 s=0 for j=i+1,...,n s = s + A ij*x j end x i = (A i,n+1 - s) / A ii end

43 flops der Gaußschen Elimination 43 Wie viele Operationen kostet Gaußsche Elimination? Divisionen } k = 1,..., n 1 n 1 (n k) i = k + 1,..., n (n k) Multiplikationen k=1 k = 1,..., n 1 i = k + 1,..., n (n k) j = k + 1,..., n(+1) (n + 1 k) Subtraktionen Nützliche Summen: m 1 = m, k=1 m k = k=1 n 1 (n k)(n+1 k) k=1 n 1...ebenso : (n k)(n + 1 k) m(m + 1), 2 k=1 (vgl. m 0 k p 1 dk = m p /p) m k 2 m(m + 1)(2m + 1) = 6 k=1

44 flops der Gaußschen Elimination Kosten für Gaußsche Elimination: Divisionen n 1 n 1 (n k) = n k=1 k=1 n 1 1 k=1 (n 1)n n(n 1) k = n(n 1) = 2 2 Multiplikationen n 1 (n k)(n + 1 k) = (n }{{} k=1 n(n+1) (2n+1)k+k 2 n n) k=1 n 1 1 (2n + 1) k=1 n 1 k + k=1 k 2 = (n 2 (n 1)n (n 1)n[2(n 1) + 1] + n)(n 1) (2n + 1) + = n(n2 1) Subtraktionen: auch n(n 2 1)/3 Gesamte Operationen: n(n 1)/2 + 2n(n 2 1)/3 = n(n 1)(4n + 7)/6 = O(n 3 )

45 flops der Gaußschen Elimination Kosten für Rückwärts Substitutionen: Divisionen: n Subtraktionen: n 1 Additionen: i = n 1,..., 1 j = i + 1,..., n (n i) Multiplikationen: auch n(n 1)/2 } n 1 (n i) = i=1 Gesamte Operationen: 2n 1 + 2n(n 1)/2 = n 2 + n 1 = O(n 2 ) Botschaft: Rückwärts Substitution ist viel billiger! n(n 1) 2 Hausaufgabe: Einen Pseudo-Kode für Vorwärts Substitution schreiben und die gesamten Operationen ausrechnen. 45

46 Rekursive Lösungen: Evolutionsgleichung Wenn man sehr viele Systeme lösen muss, Ax i = b i, i = 1, 2,..., m ist es vorteilhaft wenn man die folgenden Schritte durchführen kann: Gaußsche Elimination nur einmal mit Kosten O(n 3 ) machen, das Ergebnis irgendwie speichern und dann m-mal Rückwärts und Vorwärts Substitutionen mit Kosten O(mn 2 ) machen. Sonst sind die Kosten O(mn 3 )! Beispiel: Evolutionsgleichung, { u = Bu u(0) = u 0 oder mit τ = t k+1 t k, zeitlich diskretisieren u(t k+1 ) u(t k ) t k+1 t k = Bu(t k+1 ) 46 Au k+1 = [I τb]u k+1 = u k, k = 0, 1,...

47 LU Zerlegung Wie kann man die O(n 3 ) Arbeit für Gaußsche Elimination günstig speichern? Definiere A (1) = A. Ergebnis nach der ersten Zielspalte ist A (2) = M (1) A (1) wobei: A (2) = 0. 0 Probe: Sei A = z 1.. z n, M (1) A = m M (1) =. I (n 1)... m n1 z 1 z 2 m 21 z 1. 47

48 LU Zerlegung Ergebnis nach der zweiten Zielspalte ist A (3) = M (2) A (2) wobei: A (3) = M (2) = I (n 2)... m 32 0 m n2 Am Ende von Gaußscher Elimination: A (n) = M (n 1) A (n 1) = M (n 1) M (1) A wobei A (n) eine obere Dreiecksmatrix ist. Definiere U = A (n). Bemerke: A = M (1) 1 M (n 1) 1 U Was sind die Inversen von M (i) explizit? 48

49 LU Zerlegung Bemerke: m I (n 1)... m n1 Es gelten I (n 1) = M (1) 1 M (1) = I (n)... -m 21 -m n1 M (i) 1 = m i+1,i... i = 1,..., n I (n i)... m n,i 49 Bemerke: m I (n 1)... m n m =. I (n 2)... m n m m I (n 2)... m n1 m n2

50 LU Zerlegung Es gilt: M (1) 1 M (n 1) 1 = Wir haben gezeigt: 1 0 m 21 1 m m n m n2 0 m n,n 1 1 = L 50 Satz: Wenn alle Pivot-Elemente a (k) kk nicht Null sind und alle Multiplikatoren m jk = a (k) jk /a(k) kk wohl definiert sind, kann die Matrix mit A = LU faktorisiert werden, wobei U = {u ij }, u ij = L = {l ij }, l ij = { a (n) ij, 1 i n, i j n 0, 2 i n, 1 j < i m ij, 2 i n, 1 j < i 1, 1 i n, j = i 0, 1 i n, i < j n

51 Rekursive Lösungen mit LU Mit dieser Zerlegung kann man mehrere sequentielle Systeme günstig lösen: Ax i = b i Ly i = b i, Ux i = y i. Beispiel: Evolutionsgleichung, { u = Bu u(0) = u 0 zeitlich diskretisieren u(t k+1 ) u(t k ) t k+1 t k = Bu(t k+1 ) mit τ = t k+1 t k, Au k+1 = [I τb]u k+1 = u k, k = 0, 1,... Durch die LU Zerlegung A = LU, O(n 3 ), Vorwärts Substitution: Lu k+ 1 2 = u k, O(n 2 ) Rückwärts Substitution: Uu k+1 = u k+ 1 2, O(n 2 ) k = 0, 1,... 51

52 Pivot Strategien Pivot Strategien: 52 Beispiel: [ Exakte Lösung: Mit 4-zifferiger Arithmetik, ] [ x1 x 2 ] = x 1 = 10.00, x 2 = [ m 21 = = Erster Schritt von Gaußscher Elimination, [ (1764) In exakter Arithmetik wäre es gewesen, [ ( ) ] ] ]

53 Pivot Strategien Nun Rückwärts Substitution mit 4-zifferiger Arithmetik x 2 = x 2 x 1 = (59.14)(1.001) = x 1 Hausaufgabe: Zeige, wenn die Zeilen getauscht werden, [ ] bekommt man x , x

54 Pivot Strategien 54 Pseudo-Kode zur Gaußschen Elimination mit Pivot-Suche: A <- [A,b] % Erweiterung I(i)=i, i=1,...,n % Zeiger Initialisierung for k=1,...,n-1 % Pivot-Index p=argmax {k<=i<=n} A I(i),k % Größtes Pivot-Element if A I(p),k = 0 then stop % Test für Regularität It = I(k), I(k) = I(p), I(p) = It % Virtueller Zeilentausch for i=k+1,...,n % Zeilen-Index A I(i),k = A I(i),k / A I(k),k % Multiplikator for j=k+1,...,n+1 % Spalten-Index A I(i),j = A I(i),j - A I(i),k*A I(k),j end end end Pseudo-Kode zur Rückwärts Substitution: x n = A I(n),n+1 / A I(n),n for i=n-1,...,1 s=0 for j=i+1,...,n s = s + A I(i)j*x j end x i = (A I(i),n+1 - s) / A I(i),i end k p Tausch mit I( )

55 LU Zerlegung mit Permutation Wie kann man mit Pivot-Suche die Matrix schön zerlegen? Def: Eine Permutationsmatrix P hat genau einen nicht trivialen Eintrag (mit dem Wert 1) in jeder Spalte und in jeder Zeile, und es gilt PP T = I. Beispiel: P = [ ] A = [ ] PA = [ Bemerkung: {I(i) : i = 1,..., n} ist eine gegebene Permutation von den Zahlen {1,..., n}. Die Permutationsmatrix P i,j = δ I(i),j erfüllt à = PA wobei à ij = A I(i),j. ] 55 Wegen dem obigen Satz haben wir à = LU von dem Algorithmus mit Pivot-Suche, und PA = LU wobei A (n) I(i),j, i > j { A (n) P i,j = δ I(i),j L ij = 1, i = j U ij = I(i),j, i j 0, i > j 0, i < j

56 Skalierte Pivotsuche Weitere Pivotsuche-Strategien Das 2 2 Beispiel hätten wir so umschreiben können: [ ] [ ] [ ] x ( 10 = 4 ) x 2 Erster Schritt von Gaußscher Elimination ohne Tauschen, m 21 = [ (0.1764) führt zur gleichen Lösung wie vorher ohne Pivotsuche: ] x , x = x 1 Neue Strategie: Man sollte die Zeilen skalieren. 56

57 Skalierte Pivotsuche 57 Pseudo-Kode zur G.E. mit skalierter Pivotsuche: A <- [A,b] % Erweiterung s i=max j A i,j, i=1,...,n % Zeilenskalen I(i)=i, i=1,...,n % Zeiger Initialisierung for k=1,...,n-1 % Pivot-Index p=argmax {k<=i<=n} A I(i),k /s I(i) % Größtes Pivot-Element if A I(p),k = 0 then stop % Test für Regularität It = I(k), I(k) = I(p), I(p) = It % Virtueller Zeilentausch for i=k+1,...,n % Zeilen-Index A I(i),k = A I(i),k / A I(k),k % Multiplikator for j=k+1,...,n+1 % Spalten-Index A I(i),j = A I(i),j - A I(i),k*A I(k),j end end end Pseudo-Kode zur Rückwärts Substitution: x n = A I(n),n+1 / A I(n),n for i=n-1,...,1 s=0 for j=i+1,...,n s = s + A I(i)j*x j end x i = (A I(i),n+1 - s) / A I(i),i end

58 Totale Pivotsuche Bemerkung: Kosten für Tauschen und Skalieren sind O(n 2 ) Weitere Pivotsuche-Strategien: Totale Pivotsuche Virtueller Zeilentausch mit einem Zeiger I( ). Virtueller Spaltentausch mit einem Zeiger J( ). Bestimmung des Pivot-Elements: (p,q)=argmax (k i,j n) A I(i),J(j) Zusätzliche Arbeit ist O(n 3 ). Geeignet wenn das Problem sehr verschiedene Skalen hat, d.h. wenn die Matrix A sehr steif ist. Verwendung: Zeilentausch: Ax = b P 1 Ax = LUx = P 1 b Spaltentausch: Ax = b AP 2 P 2 x = LUP 2 x = b Beides: (P 1 AP 2 )P 2 x = LUP 2 x = P 1 b 58 Ly = P 1 b, Uz = y, x = P T 2 z

59 Inverse und Determinante Bemerkung: Falls die Inverse notwendig ist, kann man sie günstig durch die Lösung des folgenden Systems berechnen: AX = I X = A 1 Die direkte Berechnung ist aber viel teurer. Bemerkung: Die Determinante, a 11 a 1k δ k = det.. a k1 a kk kann man mit Gaußscher Elimination so berechnen, δ k = a (1) 11 a(2) 22 a(k) falls keine Pivotsuche notwendig ist. Die direkte Berechnung ist aber viel teurer.

60 Diagonal Dominante Matrizen Wann wird keine Pivotsuche notwendig? Def: Eine Matrix {a ij } = A R n n ist streng diagonal dominant wenn n a ii > a ij, i = 1,..., n i j=1 Bei Gleichheit ist sie schwach diagonal dominant. 60 Beispiel: Wir haben die folgende Diskretisierung, { µu + u = v, Ω [ µ ] u Au = = 0, Ω h 2 D + I u = v wobei A = µ h µ h 2 µ h 2 2µ h µ h µ h 2 2µ h µ h 2 µ h 2 µ h 2 + 1

61 SPD Matrizen A ist streng diagonal dominant: (x 0, x N ) i = 0, N : (x i ) 0 < i < N : µ h > µ h 2 2µ h > µ h 2 + µ h 2 Satz: Für eine streng diagonal dominante Matrix, kann Gaußsche Elimination ohne Pivotsuche stabil durchgeführt werden. Def: Eine symmetrische Matrix A R n n ist positiv definit (SPD) wenn x T Ax > 0, x R n, x 0. Bemerkung: Wenn A R n n symmetrisch ist, sind die Eigenwerte reel und es gilt 61 min{λ σ(a)} x T Ax x T x max{λ σ(a)} Wenn min{λ σ(a)} > 0 gezeigt werden kann, ist A SPD.

62 Gerschgorin Satz Dies kann man für das obige Beispiel mit dem folgenden Satz zeigen. Satz (Gerschgorin): Für {a ij } = A R n n gilt n σ(a) R i wobei R i = z C : z a ii i=1 n i j=1 a ij Weiters liegen genau k Eigenwerte in k j=1 R i j wenn diese Menge einen leeren Schnitt mit den anderen Scheiben hat. Beispiel: Wo liegen die Eigenwerte für das obige A? 62 R 0 = B( µ h 2 + 1, µ h 2 ) R i = B( 2µ h 2 + 1, 2µ h 2 ) R N = B( µ h 2 + 1, µ h 2 ) C 1 µ h µ h µ h 2 + 1

63 Notwendigkeit einer Pivotsuche Das obige A ist symmetrisch und es gilt also ist A SPD. 1 min{λ σ(a)} x T Ax x T x Satz: Für eine SPD Matrix kann Gaußsche Elimination ohne Pivotsuche stabil durchgeführt werden. Botschaft: Für viele Matrizen in Anwendungen ist eine Pivotsuche nicht notwendig, aber es ist sicher nicht immer so. Folgesatz: Eine Matrix A R n n ist SPD genau dann wenn L R n n eine untere Dreiecksmatrix sodass A = LL T. Mit der Gleichung für LL T = A = {a ij }, L = {l ij }, 63 a ij = min(i,j) k=1 l ik l jk a 11 = l 2 11 a 21 = l 21 l 11 a 12 = l 11 l landet man auf dem folgenden Algorithmus:

64 Pseudo-Kode für den Cholesky Algorithmus L 11 = A 11 for i=2,...,n L i1 = A i1 / L 11 end for j=2,...,n-1 s = 0 for k=1,...,j-1 s = s + L jk * L jk end L jj = A jj s for i=j+1,...,n s = 0 for k=1,...,j-1 s = s + L ik * L jk end L ij = [A ij - s]/l jj end end s = 0 for k=1,...,n-1 s = s + L nk * L nk end L nn = A nn s Hausaufgabe: Mit dem obigen Gleichungssystem leite diese Methode her. Bemerke: Der Cholesky Algorithmus ist nur für SPD Matrizen. Hausaufgabe: Schätze die flops des Kodes ab. 64

65 Bandmatrizen Die Bandbreite einer solchen Matrix, a 1,1 a 1,q A = a p+1, a n q,n a n,n p a n,n R n n is p + q + 1, die kleinste Anzahl der benachbarten Diagonalen, zu denen die nicht trivialen Elemente eingeschränkt sind. Bemerke: p n 1, q n 1, Bandbreite 2n Wenn p + q + 1 << 2n 1 ist A eine Bandmatrix.

66 Bandmatrizen Um Speicherplatz zu reduzieren, wird A als Liste der Diagonalen gespeichert: 0 0 a 1,1 a 1,q B = an q,n. a p+1,1... R n (p+q+1) a n,n p a n,n 0 0 Bemerke: Die nicht trivialen Elemente von A = {a i,j } lassen sich bezüglich der Elemente von B = {b α,β } so darstellen: a i,j = b i,j i+p+1 66

67 Sparse Speicherformat Hausaufgabe: Schreibe einen Pseudo-Kode zur Implementierung des Gauß Algorithmus für A bezüblich B mit möglichst wenig arithmetischen Operationen. Es gibt auch sparse format: A = sparse(i, j, w, m, n) A R m n, A i(k),j(k) = w(k) Beispiel: A = µ h µ h 2 µ h 2 2µ h µ h µ h 2 2µ h µ h 2 µ h 2 µ h A = spdiags([ µ h 2 + 1; ( 2µ h 2 + 1)ones(N 1, 1); µ h 2 + 1], 0, N + 1, N + 1) spdiags( µ h 2 ones(n + 1, 1), +1, N + 1, N + 1) spdiags( µ h 2 ones(n + 1, 1), 1, N + 1, N + 1) 67

68 Lineare Gleichungssysteme: Iterative Methoden 68 Iterative Verfahren zur Lösung von Ax = b. Um Ax = b zu lösen, werden wir solche Iterationen formulieren, x k+1 = T x k + c, k = 0, 1,... Um Konvergenz zu untersuchen, müssen wir eine gewisse Infrastruktur aufbauen. Def: Eine Vektornorm ist eine Funktion : R n R mit den Eigenschaften: 1. x 0, x R n ( n i=1 x i keine Norm) 2. x = 0 x = 0, ( x 1 keine Norm für n > 1) 3. αx = α x, x R n, α R ( n i=1 x i 2 keine Norm) 4. x + y x + y, x, y R n (f ( n i=1 x 2 i ) keine Norm wenn f nicht konvex)

69 Vektornormen Satz: Die folgenden sind Normen: [ n ] 1 p x lp = x i p, 1 p <, x lp = max x i, 1 i n i=1 Satz: x, y R n gilt n x y x i y i x lp y lq i=1 wobei 1/p + 1/q = 1. x =1 x 1 =1 Beweis (für p = q = 2): Mit x, y R n beliebig, seien x = x 1,..., x n und ỹ = y 1,..., y n. Dann gilt x n i=1 x iy i + y 2 2 x n i=1 x iy i + y 2 2 = x x ỹ + ỹ 2 2 = x + ỹ 2 2 [ x 2 + ỹ 2 ] 2 p = x 2 =1 69 = x x 2 ỹ 2 + ỹ 2 2

70 Äquivalenz von Normen Satz: In R n sind alle Normen äquivalent, d.h. für 2 beliebige Normen x A und x B auf R n c 1, c 2 c 1 x A x B c 2 x A x R n Insbesondere: Satz: x R n, x x 2 n x Beweis: Für x R n sei x k = x. Dann gilt x 2 = x k 2 n n x i 2 = x 2 2 x k 2 = n x k 2 = n x 2 i=1 i=1 Hausaufgabe: Zeige Äquivalenz der Normen 1 und 2. 70

71 Qualitative Eigenschaften der Normen Soll man einen Fehler x x mit der l 1 -, l 2 - oder l -Norm messen? Mit einer anderen Norm? Antwort: Es hängt vom Kontext ab! Beispiel: Die gemessenen ph-werte einer chemischen Lösung sind f = a, b,..., b R n+1. Dieses Beispiel übertreibt die Situation, in der ein einziger Wert ein statistischer Ausreißer ist, während die anderen Werte näher bei einander liegen. In einem Blick ist b die beste Abschätzung vom ph. Hausaufgabe: Für e = 1,..., 1 zeige a + nb 1 + n = arg min c R f ce 2 2 während b = arg min c R f ce 1 71 Also läßt die 2 -Norm sich von Ausreißern beeinflussen. Botschaft: Die 1 -Norm ist statistisch robuster.

72 Matrixnormen Auch müssen wir den Abstand zwischen Matrizen messen. Def: Eine Matrixnorm ist eine Funktion : R n n R mit den Eigenschaften: 1. A 0, A R n n 2. A = 0 A = 0 3. αa = α A, A R n n, α R 4. A + B A + B, A, B R n n 5. AB A B, A, B R n n 72 Def: Für eine Vektornorm V ist die entsprechende induzierte (oder natürliche) Matrixnorm M definiert durch: A M = max Ax V x V =1 Hausaufgabe: Zeige dass diese Funktion M eine Matrixnorm ist.

73 Charakterisierung bekannter Matrixnormen Satz: Die Matrixnormen 1, 2 und sind für eine Matrix {A ij } = A R n n explizit so gegeben: n A 1 = max Ax 1 = max a ij x 1 =1 1 j n i=1 A 2 = max x 2 =1 Ax 2 = [ max{λ σ(a T A)} ] 1 2 n A = max Ax = max x =1 1 i n a ij j=1 73 Def: Eine Matrixnorm M ist mit einer Vektornorm V kompatibel (oder verträglich) wenn gilt Ax V A M x V, x R n, A R n n Hausaufgabe: Zeige für eine Matrix {A ij } = A R n n, die 1 Frobenius Matrixnorm, 2 n A F = A ij 2 i,j=1 ist mit der Vektornorm x 2 kompatibel.

74 Spektralradius Def: Sei R n mit einer gewissen Vektornorm V versehen. Für x k, x R n gilt lim k x k = x genau dann wenn ɛ > 0, K, k K, x x k V < ɛ. Satz: Für x k = (x 1 ) k,..., (x n ) k, x = x 1,..., x n R n gilt lim k x k = x genau dann wenn lim k (x i ) k = x i. Beweis: Hausaufgabe. Def: Die Eigenwerte einer Matrix A R n n sind die Nullstellen des charakteristischen Polynoms p(λ) = det(a λi), σ(a) = {λ : p(λ) = 0} und die entsprechenden Eigenvektoren sind die nicht trivialen Lösungen (x 0) zur Gleichung Ax = λx. Def: Der Spektralradius einer Matrix A R n n ist 74 ρ(a) = max{ λ : λ σ(a)}

75 Spektralradius ρ(a) ist der größte Vergrößerungsfaktor. Beispiel: A = SΛS 1, S = [x 1, x 2 ], [ ] 1 0 Λê Λ =, 1 = ê 1, Ax 1 = x Λê 2 = 2ê 2, Ax 2 = 2x 2 Satz: Sei eine beliebige Matrixnorm auf R n n, die von der Vektornorm auf R n induziert ist. Dann gilt ρ(a) A, A R n n Beweis: Wähle λ, x so aus, dass Ax = λx, λ = ρ(a) und x = 1 gelten. Dann gilt ρ(a) = λ = λ x = λx = Ax A x = A. Wie kann man eine Lösungsiteration 75 x k+1 = T x k + c von Ax = b herleiten? Zerlegung: A = M + N, wobei

76 Konvergente Matrizen Systeme mit M leicht zu lösen sind: Mx k+1 = b Nx k so c = M 1 b und T = M 1 N. Die exakte Lösung x = A 1 b erfüllt Mx = b Nx, Subtraktion, (x k+1 x ) = T (x k x ) Wenn gilt T < 1 für eine induzierte (oder verträgliche) Matrixnorm, dann gilt x k+1 x T x k x, x k+1 x T k x 0 x k 0 Def: T R n n ist konvergent wenn gilt 76 lim (T k ) ij = 0, k 1 i, j n

77 Konvergente Matrizen 77 Beispiele: [ ] [ ] [ ] 2 0 A =, A k 2 k = [ 1 ] [ B = ] [ ] 0 1, B k 0 = k [ 3 k 1 ] [ C = , C k 1 ] [ ] 0 = k k [ 2 k+1 2 k 3 D = 2 16 ] [ ] 1 [ ] [ 5 6 5, D k 1 2 ( 9 = 10 )k [ ( 1 10 )k ] D 1 = 5.7, D 2 = , D = 4.7 und ρ(d) = 0.9. Gibt es eine Matrixnorm M wobei D M < 1? Satz: Sei A R n n gegeben. ɛ > 0 gibt es eine induzierte Matrixnorm Mɛ wobei gilt ρ(a) + ɛ > A Mɛ. Bemerkung: Diese Matrixnorm Mɛ hängt von A ab. ]

78 Zerlegungen für Iterationen Satz: Die folgenden sind äquivalent: 1. T R n n ist konvergent 2. lim k T k = 0 für eine induzierte Matrixnorm 3. lim k T k = 0 für alle induzierten Matrixnormen 4. ρ(t ) < 1 5. lim k T k x = 0, x R n In der Zerlegung A = M + N, Mx k+1 = b Nx k welches M ist geeignet? Besonders wenn A diagonal dominant ist, ist die folgende Zerlegung natürlich: A = D + L + U, M = D, N = L + U 78 wobei D eine diagonale Matrix, L ist eine streng untere Dreiecksmatrix und U ist eine streng obere Dreiecksmatrix.

79 Jacobi Methode Die Jacobi Methode: T J = D 1 (L + U) x k+1 = D 1 [b (L + U)x k ] = D 1 [b (L + U + D) = A x k + Dx k ] = x k + D 1 [b Ax k ] = x k + D 1 r k wobei r = b Ax das Residuum für gegebenes x ist. Die Jacobi Methode, komponentenweise, j<i a ij xj k + a ii x k+1 i + j>i a ij x k j = n a ij x j = b i, j=1 1 i n Im folgenden Pseudo-Kode wird x i sequentiell in einer Schleife i = 1,..., n berechnet: 79

80 Pseudo-Kode der Jacobi Methode 80 d i = A ii, i=1,...,n x i = b i, i=1,...,n for it=1,...,itmax for i=1,...,n r i = b i for j=1,...,n r i = r i - A ij * x j end dx i = r i / d i end for i=1,...,n x i = x i + dx i end if ( dx < tol * x ) break end end % Abbruchsparameter: itmax O(n) % tol = relative Fehlertoleranz

81 Jacobi Methode Wenn ein neuer Wert x i+dx i im Pseudo-Kode verfügbar ist, warum nicht in x i sofort speichern? Somit wären die Zeilen im Pseudo-Kode dx i = r i / d i x i = x i + dx i neben einander innerhalb einer einzigen i-schleife. Da im Pseudo-Kode die Schleife i=1,...,n so läuft, würde die neue Iteration so aussehen: j<i oder a ij x (k+1) j x (k+1) i +a ii x (k+1) i + j>i = 1 b i a ii j<i a ij x (k) j = a ij x (k+1) j n a ij x j = b i, j=1 j>i a ij x (k) j 1 i n 81 In Matrixnotation,

82 Gauß-Seidel Methode 82 In Matrixnotation, x k+1 = D 1 [b Lx k+1 Ux k ] oder die Gauß-Seidel Methode, (D + L)x k+1 = b Ux k Die Zerlegung A = M + N ist M = D + L, N = U und T GS = M 1 N = (D + L) 1 U. Umgeschrieben, x k+1 = (D + L) 1 [b Ux k ] }{{} Vorwärts Substitution = (D + L) 1 [b (D + L + U) x k + (D + L)x k ] }{{} =A = x k + (D + L) 1 [b Ax k ] = x k + (D + L) 1 r k

83 Symmetrische Gauß-Seidel Methode Es gibt eine gewisse Asymmetrie bei der Gauß-Seidel Methode. Wir hätten die Schleife ebensogut i=n,...,1 laufen lassen können. Mit der Schleife in dieser entgegengesetzten Richtung bekommt man x k+1 = (D + U) 1 [b Lx k ]. Mit beiden Schleifen bekommt man die Symmetrische Gauß-Seidel Methode, { x k+ 1 2 = (D + L) 1 [b Ux k ] x k+1 = (D + U) 1 [b Lx k+ 1 2 ] Hausaufgabe: Finde die Iterationsmatrix T SGS für die Symmetrische Gauß-Seidel Methode. 83

84 Approximierte Inversen 84 Bemerkung: Die Zerlegung A = M + N kann so umgeschrieben werden: x k+1 = M 1 Nx k + M 1 b = [ M 1 (M + N) + I]x k + M 1 b = [I M 1 A]x k + M 1 b und so wird M 1 eine Approximierte Inverse benannt, da I M 1 A klein sein sollte. Hausaufgabe: Oben sind genannt worden: M J = D und M GS = (D + L). Leite die Approximierte Inverse M SGS für die Symmetrische Gauß-Seidel Methode. Zeige, wenn A symmetrisch ist, ist M SGS symmetrisch, während M GS im allgemeinen nicht symmetrisch ist.

85 SOR Methode 85 Gauß-Seidel noch einmal komponentenweise, x (k+1) i = 1 b i a ii j<i a ij x (k+1) j j> a ij x (k) j Man könnte das alte und das neue so gewichten. In Matrix-Notation, ω +x (k) i (1 ω) x k+1 = D 1 [b Lx k+1 Ux k ]ω + x k (1 ω) Dx k+1 = [b Lx k+1 Ux k ]ω + Dx k (1 ω) (D + ωl)x k+1 = [b Ux k ]ω + Dx k (1 ω) x k+1 = (D + ωl) 1 [(1 ω)d ωu]x k + ω(d + ωl) 1 b Diese Methode heisst Successive Over-Relaxation (SOR) 0 < ω < 1 under relaxed, d.h. sie konvergiert wegen Dämpfung, wenn sie bei ω = 1 möglicherweise nicht konvergiert. ω > 1 over relaxed, d.h. sie konvergiert schneller wegen Extrapolation, wenn sie bei ω = 1 schon zuverlässig konvergiert.

86 Konvergenz von Iterativen Verfahren Die Symmetrische Successive Over-Relaxation (SSOR) Methode: { x k+ 1 2 = (D + ωl) 1 [(1 ω)d ωu]x k + ω(d + ωl) 1 b x k+1 = (D + ωu) 1 [(1 ω)d ωl]x k ω(d + ωu) 1 b Konvergenz Satz: Wenn für das System Ax = b gilt x = T x + c, dann erfüllt das iterative Verfahren x k+1 = T x k + c die Konvergenz lim k x k = x, genau dann wenn ρ(t ) < 1. Bemerkung: Wenn für eine induzierte Norm T < 1 gezeigt werden kann, folgt ρ(t ) < Satz: Wenn A streng diagonal dominant ist, gilt lim k x k = x, x 0 R n, für die Jacobi und Gauß-Seidel Methoden.

87 Konvergenz von Iterativen Verfahren Wie wählt man ω für SOR aus? Sodass ρ(t SOR ) < 1, wobei T SOR = (D + ωl) 1 [(1 ω)d ωu]. Satz: Wenn für {a ij } = A R n gilt a ii 0, 1 i n, folgt ρ(t SOR ) ω 1. Deswegen gilt ρ(t SOR ) < 1 nur für ω (0, 2) gilt. Umgekehrt: Satz (Ostrowski-Reich): Wenn A SPD ist und 0 < ω < 2 gilt, folgt für SOR die Konvergenz lim k x k = x, x 0 R n. Beispiel: Für die Diskretisierung Au = [ µ D + I]u = v des h 2 Randwertproblems, { µu + u = v, x (0, 1) u = 0, x {0, 1} 87 haben wir schon gezeigt, A ist streng diagonal dominant sowohl SPD. Deswegen konvergieren Jacobi und Gauß-Seidel sowohl SOR, ω (0, 2).

88 Konjugierte Gradienten Die Methode der Konjugierten Gradienten Satz: Sei f C 2 (Ω). Wenn x Ω erfüllt f (x ) = 0 und 2 f (x ) SPD ist, ist x ein lokales Minimum für f. 88 Explizite Bespiele: Für f (x) = b T x gelten f (x) = b und 2 f (x) = 0. x k n b i x i = i=1 n i=1 b i x i x k = n b i δ ik = b k Für f (x) = x T Mx, M R n n, gelten f (x) = (M + M T )x und 2 f (x) = M + M T. n n n n ( ) xi x j x i M ij x j = M ij x j + x i M ij x k x k x k i=1 j=1 i=1 j=1 n n ( ) n n = δik M ij x j + x i M ij δ jk = M kj x j + M ik x i i=1 j=1 i=1 j=1 i=1

89 Konjugierte Gradienten Satz: Sei A R n n SPD. Dann löst x das System Ax = b genau dann wenn x die Funktion g(x) = 1 2 x T Ax b T x minimiert. Beweis: ( ) Aus Ax = b folgt g(x ) = Ax b = 0. Weil A SPD ist, hat g genau einen kritischen Punkt. Da 2 g(x) = A SPD x R n ist, ist g überall konvex, und x ist ein lokales Minimum. Aus der konvexen Analysis ist x ein globales Minimum. ( ) Mit einem Minimum g(x ) von g C (R n ) gilt notwendigerweise g(x ) = 0. Da A SPD ist,!x g(x ) = Ax b = 0. Vorausgesetzt ist A SPD, und Ax = b soll gelöst werden. Entwicklung der Methode der Konjugierten Gradienten: 89 Sei x 0 eine Approximation der Lösung x. Sei v 1 eine gegebene Suchrichtung zur Minimierung von g. Wo ist das Minimum von g entlang v 1 von x 0 weg?

90 Konjugierte Gradienten Antwort durch die Ketten-Regel, d dt g(x 0 +tv 1 ) = g(x 0 +tv 1 ) v 1 = [A(x 0 +tv 1 ) b] v 1 = 0 und das Minimum ist in x 1 = x 0 + t 1 v 1 wobei t 1 = ( Ax 0 + b) v 1 v 1 Av 1 = r 0 v 1 v 1 Av 1 Eigenschaft des Gradienten: g(x 1 ) {x : g(x) = c}, c = g(x 1 ) Orthogonalität r 1 v 1 = g(x 1 ) v 1 = [A(x 0 + t 1 v 1 ) b] v 1 = 0 bedeutet v 1 {x : g(x) = g(x 1 )}. Wie soll man die Suchrichtung v 2 auswählen? 90 Antwort: Minimiere g über span{x 1 + r 1, x 1 + v 1 }.

91 Konjugierte Gradienten Die Funktion (t, σ) g(x 1 + tr 1 + σv 1 ) wird minimiert: d dσ g(x 1 + tr 1 + σv 1 ) = g(x 1 + tr 1 + σv 1 ) v 1 = σ=ts = [A(x 1 + tr 1 + tsv 1 ) b] v 1 = (Ax 1 b) v 1 +t[a (r 1 + sv 1 )] v 1 = 0 }{{}}{{} r 1 v 1 =0 =v 2 Nimm v 2 = r 1 + s 1 v 1 wobei s 1 = r 1 Av 1 v 1 Av 1 Bemerke: v 2 Av 1 = (r 1 + s 1 v 1 ) Av 1 = 0, d.h. v 1 und v 2 sind A-orthogonal oder A-konjugiert. d dt g(x 1 + tr 1 + ts 1 v 1 ) = d dt g(x 1 + tv 2 ) = 0 führt zu t = t Die obigen Formeln sind allgemein für jede Iteration...

92 Konjugierte Gradienten Zusammenfassung der Formeln: 92 x 0 sei gegeben Für k = 1, 2,... v 1 = r 0 = b Ax 0 t k = r k 1 v k /v k Av k x k = x k 1 + t k v k r k v k = 0 r k = b Ax k v k+1 Av k = 0 s k = r k Av k /v k Av k Vereinfachungen: v k+1 = r k + s k v k r k v k = 0 t k = r k 1 [r k 1 + s k 1 v k 1 ] v k Av k = r k 1 r k 1 v k Av k Also r k = b Ax k = b A(x k 1 + t k v k ) = r k 1 t k Av k r k r k 1 = r k 1 r k 1 t k (v k s k 1 v k 1 ) Av k = 0 r k r k = r k r k 1 t k r k Av k = t k r k Av k und s k = r k Av k v k Av k = r k r k /t k r k 1 r k 1 /t k = r k r k r k 1 r k 1

93 Konjugierte Gradienten Die Methode der Konjugierten Gradienten: x 0 sei gegeben Für k = 1, 2,... v 1 = r 0 = b Ax 0 t k = r k 1 r k 1 /v k Av k x k = x k 1 + t k v k r k = r k 1 t k Av k s k = r k r k /r k 1 r k 1 v k+1 = r k + s k v k Hausaufgabe: Schreibe einen effizienten Pseude-Kode zur Implementierung dieser Methode. Vorausgesetzt dass A SPD ist: Satz: Es gelten r k r l = 0, 0 l < k und v k Av l = 0, 1 l < k. 93 Satz: Mit exakter Arithmetik gilt Ax k = b für ein k n.

94 Präkonditionierung Angenommen gilt C 2 A aber Systeme Cy = c mit SPD C sind leichter zu lösen als Systeme Ax = b. Das Problem Ax = b kann so umgeschrieben werden: (C 1 AC 1 )(Cx) = C 1 b Die Methode der Konjugierten Gradienten führt schneller zur Konvergenz, wenn sie auf das hergeleitete System angewendet wird, falls die SPD Matrix (C 1 AC 1 ) besser konditioniert ist als die Matrix A. Def: Sei eine induzierte Matrixnorm. Die Konditionszahl einer Matrix A bezüglich dieser Norm ist κ (A) = A A Bemerkung: 1 = I = AA 1 A A 1 = κ (A). Beispiel: [ ] 1 1 ɛ σ(a) = {ɛ, 2 ɛ} A = 1 ɛ 1 κ 2 (A) = (2 ɛ)/ɛ ɛ (0,1)

95 Fehler Abschätzungen Satz: Eine gegebene Vektornorm und die entsprechende induzierte Matrixnorm sei mit bezeichnet, und κ ist die entsprechende Konditionszahl. Dann für A R n n und b, x = A 1 b, x, R n gilt: x x x b A x κ(a) b 95 Beweis: Aus Ax = b folgt b = Ax A x 1 x A b Mit e = x x und r = b A x = Ax A x = Ae gilt und daher e = A 1 Ae A 1 Ae = A 1 r e x A 1 A r b

96 Fehler Abschätzungen Ist ( b Ax k < τ b ) ein gutes Abbruchskriterium einer Iteration x k k x? Wegen der obigen Abschätzung bleibt es offen, dass x x k / x sehr groß sein kann. Pessimistisch? Beispiel: [ ] 1 1 ɛ σ(a) = {ɛ, 2 ɛ} A = x = [ cos(θ) sin(θ) x 2 = 1, 1 ɛ 1 ] θ= π 4 ɛ (0,1) b = Ax = κ 2 (A) = (2 ɛ)/ɛ [ cos(θ) + (1 ɛ) sin(θ) sin(θ) + (1 ɛ) cos(θ) b 2 2 = 1+(1 ɛ)2 +4 cos(θ) sin(θ) (1 ɛ) = (2 ɛ) 2 }{{} x = x + z δ, z = 1 [ sin(2θ)=2 ], Az = ɛz, z 2 = 1 ] 96 x x 2 = z 2 δ = 1 δ, b A x 2 = Az 2 δ = ɛ δ

97 Fehler Abschätzungen Zusammenfassung: mit δ = ɛ, x x 2 x 2 }{{} 1/δ δ 0 = κ 2 (A) }{{} (2 δ 2 )/δ 2δ 0 b A x 2 b }{{ 2 } δ/(2 δ 2 ) δ 0 0 d.h. es kann doch sein, dass das Residuum sehr klein wird, während der Fehler groß bleibt. Abbruchskriterium? Zu empfehlen ist: ( x k+1 x k < τ x k+1 ) wobei die Toleranz τ rein von der Genauigkeit der Fließkommazahl-Darstellung gewählt werden kann. 97

98 Eigenwerte und Eigenvektoren Zuerst eine gewisse Infrastruktur: 98 Satz: Hat A R n n die verschiedenen Eigenwerte {λ i } k i=1, (k n), mit den entsprechenden Eigenvektoren {x i } k i=1, dann sind diese Eigenvektoren linear unabhängig. Wenn k = n gilt, dann bilden die Eigenvektoren eine Basis für R n. Def: P R n n ist orthogonal wenn P 1 = P T gilt. Def: A, B R n n sind ähnlich wenn S R n n A = S 1 BS. Satz: A = S 1 BS σ(a) = σ(b) und Ax = λx BSx = λsx. Satz: Ist A R n n symmetrisch und D = diag({λ i } n i=1 ), {λ i } n i=1 = σ(a), dann P Rn n orthogonal wobei D = P T AP. Satz: Ist A R n n symmetrisch, gilt σ(a) R. Satz: Ist A R n n symmetrisch, dann bilden die Eigenvektoren eine orthonormale Basis für R n. Satz: A ist SPD A ist symmetrisch und σ(a) R +.

99 Vektoriteration Zur Bestimmung eines dominanten Eigenwerts Der Plan: Für A R n n und einen Startvektor x 0, soll A k x 0 einigermaßen zu einem Eigenvektor konvergieren, der zum dominanten Eigenwert gehört. Angenommen hat A R n n die Eigenwerte {λ i } n i=1 mit den entsprechenden Eigenvektoren {v i } n i=1, die eine Basis für R n bilden. Zusätzlich gelten λ 1 > λ 2 λ n d.h. λ 1 ist dominant. Ein beliebiger Startvektor für die Vektoriteration kann so dargestellt werden: n x 0 = α i v i Angenommen gilt α 1 0 und x 0 ist normalisiert sodass x 0 = 1 gilt. i=1

100 Vektoriteration Die Vektoriteration: Für k = 1, 2,... Behauptungen: y k = Ax k 1 x k = y k /yp k k wobei µ k = yp k k 1 { y k pk = y k d.h. x k = 1 µ k k λ 1 und s k x k k v 1 v 1 wobei s 2 k = 1 Zuerst eine Darstellung von x k, x k = y k y k p k = Ax k 1 y k p k Dann eine Darstellung für µ k, Ay k 1 = yp k k yp k 1 = = Ak 1 y 1 k 1 yp k k yp 1 = Ak x 0 k 1 i=1 y p i i µ k = 100 yp k k 1 p k 1 (= 1) = (Ax k 1 ) pk 1 xp k 1 = (Ak x 0 ) / k 1 pk 1 i=1 y p i i k 1 (A k 1 x 0 ) pk 1 / k 1 i=1 y = (Ak x 0 ) pk 1 p i (A k 1 x 0 ) pk 1 i x k 1

101 Vektoriteration Weil λ 1 dominant ist, gilt [ µ k = λ k 1 λ k 1 1 [ α 1 v 1 + α 1 v 1 + n ( ) k λi ] v i 0 λ 1 i=2 n ( ) k 1 λi i=2 λ 1 0 p k 1 v i ] p k 1 k λ 1 Wegen der obigen Darstellung von x k gilt [ y k = yp k k x k = yp k A k x 0 λ k 1 k k i=1 y = p i k 1 i i=1 y α p i 1 v 1 + }{{} i Q=1/(α 1 ν k ) Mit vp 1 = v 1 gilt n i=2 ( ) ] k λi α i v i λ yp k k yp k = y k yp k = ν ky k ν k y k p k v 1 v 1 p = 1

102 Inverse Vektoriteration 102 y k p k y k p Also konvergieren die Vektoren x k wie behauptet: x k = y k Ax k 1 y k = ±1 p (Ax k 1 = Ak x 0 / k 1 i=1 y p i i ) p (A k x 0 ) p / k 1 i=1 y = Ak x 0 p i (A k x 0 ) pk [ i n ( ) ] k λ k 1 α 1 v 1 λi + α i v i λ 1 i=2 0 k = [ n ( ) ] k v 1 λ k 1 α 1 v 1 λi v 1 = sign(v 1 v 1 p ) + α i v i p v 1 λ 1 i=2 0 p Inverse Vektoriteration Um λ k zu berechnen, wird die Vektoriteration auf (A qi) 1 angewendet, wobei λ k q < λ i q, i k. Hausaufgabe: Es gilt µ k k (λ k q) 1 für die Iteration, (A qi)y k = x k 1 x k = y k /yp k k wobei µ k = yp k k 1 { y k pk = y k d.h. x k = 1

103 Berechnung aller Eigenwerte Die Vektoriteration und die Inverse Vektoriteration sind nur zur Berechnung bestimmter Eigenwerte geeignet. Nun suchen wir Verfahren, die alle Eigenwerte und ihre entsprechenden Eigenvektoren liefern. Nach dem Abel-Ruffini Satz gibt es für n 5 keine allgemeine endliche Formel mit Arithmetik und Wurzeln zur Bestimmung der Nullstellen des charakteristischen Polynoms. Daher müssen Eigenwerte iterativ berechnet werden. Der Plan vom QR-Algorithmus: A (1) = A (SPD) Für k = 1, 2... A (k) = Q (k) R (k), A (k+1) = R (k) Q (k) wobei 103 Q (k) orthogonal ist und R (k) eine obere Dreiecksmatrix ist. Aber diese Iteration ist viel billiger, wenn zuerst so transformiert wird: à = PAPT, wobei P orthogonal und à SPD tridiagonal sind.

104 Die Householder Methode 104 Zur Bestimmung der Transformation à = PAPT, A SPD, wobei P orthogonal und à SPD tridiagonal sind: Mit P = P (n 2) P (1), A (1) = A, soll gelten A (2) = P (1) A (1) P (1) = und im nächsten Schritt A (3) = P (2) A (2) P (2) = usw bis à = A(n 1)

105 Householder Transformationen Def: Sei ŵ R n mit ŵ ŵ = 1. Dann heisst P = I 2ŵŵ T eine Householder Transformation. Satz: Eine Householder Transformation ist symmetrisch und orthogonal. P T P = P 2 = (I 2ŵŵ T )(I 2ŵŵ T ) = I 4ŵŵ T +4ŵŵ T ŵŵ T = I Satz: Seien 0 u R n und θ = 1 2 u 2 2. Dann ist P = I u T u/θ eine Householder Transformation. ŵ = u/ u 2 P = I 2ŵ T ŵ Satz: Seien x R n und σ = ± x 2. Angenommen x σê (1). Seien u = x + σê (1) und θ = 1 2 u 2 2. Dann ist P = I ut u/θ eine Householder Transformation und es gilt Px = σê (1). 105 Beweis: x σê (1) u = x + σê (1) 0. Nach dem obigen Satz ist P eine Householder Transformation. Dann gilt

106 Householder Transformationen θ = 1 2 u 2 2 = 1 2 (x + σê(1) ) T (x + σê (1) ) = 1 2 (x T x + 2σx T ê (1) + σ 2 ) (σ 2 = x 2 2 ) = 1 2 (σ2 + 2σx T ê (1) + σ 2 ) = σ 2 + σx 1 Daher gilt (I uu T /θ)x = x uu T x/θ = x (x + σê (1) ) (x + σê(1) ) T x σ 2 + σx 1 = x (x + σê (1) ) (x T x + σx 1 ) σ 2 = σê (1) + σx 1 Bemerkung: Um Auslöschung zu vermeiden, soll σ mit dem gleichen Vorzeichen wie x 1 ausgewählt werden. P wird auch nicht verändert, wenn x zur Sicherheit skaliert wird. 106 Algorithmus: Hausaufgabe: θ = 1 2 u 2 2 { v = x/ x θ = ρu 1 1, t 0 s(t) = ρ = s(v 1 ) v 2 σ = ρ x 1, sonst u = v + ρê (1) P = I u T u/θ Px = σê (1)

107 Transformation auf Tridiagonale Form Zur Bestimmung von P (1) sei a (1) = Dann a (1) 11 a (1) 21.. a (1) n1 = a (1) 11 ã (1) P = I ũ T ũ/θ, ũ R n 1 wobei Pã (1) = σê (1) R n 1 [ ] P = I u T 0ũ u/θ, u = R n erfüllt Pa (1) = P a (1) 11 ã (1) = a (1) 11 σ

108 Transformation auf Tridiagonale Form 108 Zur Bestimmung von P (2) sei a (2) 12 a (2) 12 a (2) 22 a = Dann erfüllt a (2) 22.. a (2) n2 Pa (2) = = ã (2) P = I u T u/θ, u = P P = I ũ T ũ/θ, ũ R n 2 wobei Pã (2) = σê (1) R n ũ a (2) 12 a (2) 22 ã (2) R n = a (2) 12 a (2) 22 σ 0.

109 Hessenberg Matrizen Dann sehen die Matrizen P (i) P (1) A so aus: P (2) P (1) A = P (1) A = Und P (n 2) P (1) A ist eine obere Hessenberg Matrix: P (n 2) P (1) A =

110 Transformation auf Tridiagonale Form 110 Wenn A (1) = A SPD ist, gilt A (2) = P (1) A (1) P (1) = a (1) ã (1) T + +. P ã (1) Ã. P = a (1) 11 σ 0 σ PÃ P. + + P (2) wird von A (2) = P (1) A (1) P (1) wie vorher bestimmt, und ähnlich ist A (3) = P (2) A (2) P (2) tridiagonal. Dann mit P = P (n 2) P (1) ist PAP T tridiagonal.

111 Pseudo-Kode zur Transformation auf Hessenberg oder Tridiagonale Form 111 H = A, Q = I, ASym = (A = A ) for k=1,...,n-2 h i = H k+i,k, i=1,...,n-k (theta,sigma,u) = Householder(h) % (I-uu /theta)h=-sigma e1 for l=k,...,n % H <- (I-ũũ /theta)h, l=k Verbesserung? sm = sum(h k+i,l * u i: i=1,...,n-k) H k+i,l = H k+i,l - sm*u i/theta, i=1,...,n-k end for l=1,...,n % Q <- Q(I-ũũ /theta) sm = sum(q l,k+i * u i: i=1,...,n-k) Q l,k+i = Q l,k+i - sm*u i/theta, i=1,...,n-k end If ASym for l=k,...,n % H <- H(I-ũũ /theta) sm = sum(h l,k+i * u i: i=1,...,n-k) H l,k+i = H l,k+i - sm*u i/theta, i=1,...,n-k end end end % ASym = false => A=Q*H, ASym = true => A=Q*H*Q

112 QR Algorithmus Für die Iteration, A (k) = Q (k) R (k), A (k+1) = R (k) Q (k), gilt A (k+1) = R (k) Q (k) = Q (k)t A (k) Q (k) = = } Q (k)t {{ Q (1)T } A } Q (1) {{ Q (k) } Q T Q 112 also sind die Matrizen {A (k) } alle ähnlich zu A. Unter gewissen Bedingungen gilt A (k) k Λ = diag(σ(a)). Der erste Bedarf ist, ein Algorithmus zur QR-Zerlegung. Householder Transformationen funktionieren: Für Q (1) a (1) = a (1) 11 a (1) 21.. a (1) n1 Q (1) = I u T u/θ, u R n wobei Q (1) a (1) = σê (1) R n

113 QR Algorithmus Q (1) A= 113 Für Q (2) a (2) = Es gelten a (2) 12 a (2) 22.. a (2) n2 = σ a (2) 12 ã (2) Q(2) Q (1) A= Q (2) = I ũ T ũ/θ, ũ R n 1 wobei Q (2) ã (2) = σê (1) [ R n 1 ] 0ũ Q (2) = I u T u/θ, u = σ σ 2. 0 Nach n 1 solchen Transformationen ergibt sich eine obere Dreiecksmatrix, Q T A = Q (n 1) Q (1) A = R

114 Givens Transformationen Aber wenn A schon tridiagonal ist, kann Q billiger konstruiert werden: a 1 b b 1 a 2 b... 2 A = b n 2 a n 1 b n b n 1 a n 114 Def: Eine Givens Transformation G = G ij (θ) hat die Form GG T = I, G = q ii q ij q ji q jj q ii = cos(θ) = q jj q ij = sin(θ) = q ji für irgendwelche i, j und θ

115 Givens Transformationen Für x 1 = a 1, y 1 = b 1, soll θ so ausgewählt werden, dass cos(θ) sin(θ) x 1 y 1 sin(θ) cos(θ) b 1 a 2 b = b n 1 a n g 1 d 1 e 1 0 x 2 y 2 b 2 a 3 b b n 1 Mit s 1 = sin(θ 1 ), c 1 = cos(θ 1 ), } s 1 x 1 + c 1 b 1 = 0 s1 = b 1 / b1 2 + x 2 s c2 1 = 1 c 1 = x 1 / b1 2 + x 1 2 a n 115 Hausaufgabe: Für g 1 > 0 ist Q eindeutig bestimmt.

116 Die QR-Zerlegung Initialisierung: R = A, Q = I. Für k = 1,..., n 1, 116 Q = G k,k+1 (θ k )Q, R = G k,k+1 (θ k )R wobei sin(θ k ) = b k / bk 2 + x k 2, cos(θ k) = x k / bk 2 + x k 2. Es gilt 1 cos(θk) sin(θk) sin(θ k ) cos(θ k ) g k 1 d k 1 e k 1 0 x k y k 0 b k a k+1 b k g k d k e k 0 x k+1 y k+1 0 b k+1 a k+2 b k Am Ende setze Q = Q T und es gilt A = QR. Eindeutig?

117 QR Algorithmus Satz: Sei A R n n mit Rang(A) = n. Dann gibt es eine Zerlegung A = QR, wobei Q orthogonal ist und R eine obere Dreiecksmatrix ist. Weiters ist die Zerlegung eindeutig, wenn die diagonalen Einträge von R positiv sind. Bemerkung: Für die Konvergenz des QR-Algorithmus zur Bestimmung der Eigenräume von A ist diese eindeutige Zerlegung nicht notwendig. 117 Nun haben wir eine QR-Zerlegung A (k) = Q (k) R (k). Zu zeigen ist, dass A (k+1) = R (k) Q (k) = Q (k)t A (k) Q (k) wieder tridiagonal ist. Zuerst wird gezeigt, Q (k) ist obere Hessenberg.

118 Tridiagonale Form Bleibt Erhalten Bemerke: 1 c 2 s 2 s 2 c c 1 s 1 s 1 c = c 1 s Induktiv: c k s k s k c k = Also ist G k,k+1 (θ k ) G 1,2 (θ 1 ) untere Hessenberg. 118

119 Tridiagonale Form Bleibt Erhalten 119 Daher haben wir folgende Struktur für A (k+1) = R (k) Q (k) = und A (k+1) ist eine obere Hessenberg Matrix. = Aber A (k+1) = Q (k)t A (k) Q (k) ist symmetrisch und deswegen tridiagonal!

120 Konvergenz des QR-Algorithmus Satz: Sei A R n n symmetrisch mit Eigenwerten {λ i } n i=1, die erfüllen λ 1 > λ 2 > > λ n > 0. Seien {v i } n i=1 die entsprechenden Eigenvektoren, die eine orthonormale Basis bilden. Für die Matrix Q = [v 1,..., v n ] soll es eine LU-Zerlegung Q T = LU geben, ohne dass Q T mit einer Permutationsmatrix multipliziert werden muss. Dann mit A (1) = A und einer (beliebigen) QR-Zerlegung A k = Q k R k, konvergiert die Folge A (k+1) = R (k) Q (k) zur diagonalen Matrix Λ = diag({λ i } n i=1 ). Bemerkung: Mit A (k) = {a (k) ij } gilt ( a (k) i+1,i = O λ i+1 λ i ) ( k oder a (k) i+1,i = O wenn man eine Verschiebung macht, λ i+1 q λ i q k ) 120 A (k) qi = Q (k) R (k), A (k+1) = R (k) Q (k) + qi

121 Pseudo-Kode für den QR-Algorithmus 121 a i = H ii, i=1,...,n, b i = H i,i+1 = H i+1,i, i=1,...,n-1 for k=1,...,kmax x 1 = a 1, y 1 = b 1 for j=1,...,n-1 % compute R, Q (storing c s & s s) g j = x jˆ2 + b jˆ2 c j = x j / g j, s j = b j / g j d j = c j * y j + s j * a j+1 x j+1 = c j * a j+1 - s j * y j if j (n-1) e j = s j * b j+1, y j+1 = c j * b j+1 end end g n = x n a 1 = s 1 * d 1 + c 1 * g 1, b 1 = s 1 * g 2 for j=2,...,n-1 % compute R * Q, overwriting H a j = s j * d j + c j * c j-1 * g j b j = s j * g j+1 end a n = c n-1 * g n if ( b < tol * a ) then break end % a i, i=1,...,n Eigenwerte von H

122 Ausgleichsprobleme Beispiel (Lineare Regression): Gegeben sind {(x i, y i )} m 1 i=0. Was ist die beste Gerade durch diese Daten? Es soll minimiert werden: E(a, b) = m 1 [y i (a + bx i )] 2 V = V (x) = [e, x] i=0 = y V c 2 2 c = a, b T (e i = 1) = c T V T V c 2c T V T y + y T y E(c ) = min 0 = c E(c ) = 2V T V c 2V T y Hausaufgabe: {x i } m 1 i=0 verschieden V T V ist SPD. Wenn c die normalen Gleichungen löst, V T V c = V T y 122 folgt E(c ) = min.

123 Lineare und Polynome Regression Hausaufgabe: Zeige, für lineare Regression ist die Lösung explizit so gegeben: a = ȳ b x, b xy = xȳ x 2 x 2 Polynome Regression: wobei z.b. xy = 1 m 1 x i y i m i=0 (V =Vandermonde Matrix) m 1 n 1 E(c) = [y i P(x i ; c)] 2, P(x; c) = c k x k i=0 k=0 = y V c 2 2 V = [e, x,..., x n 1 ] = c T V T V c 2c T V T y + y T y c = c 0,..., c n 1 T Lösung gegeben durch die normalen Gleichungen, V T V c = V T y 123 aber V T V kann für hohes n schlecht konditioniert sein.

124 Singulärwert Zerlegung Ein alternativer Ansatz ist durch die Singulärwert Zerlegung gegeben. Satz (SWZ): Für A R m n orthogonale Matrizen U R m m, V R n n sodass U T AV = Σ = diag{σ 1,..., σ p } R m n wobei p = min{m, n} und σ 1 σ 2 σ p 0. Also U T AV = Σ A = UU T AVV T = UΣV T. Def: A = UΣV T ist die Singulärwert Zerlegung (SWZ) von A, und {σ i } p i=1 sind die Singulärwerte von A. 124 Satz: Sei A = UΣV T die SWZ für A R m n, wobei m > n und σ 1 σ r > σ r+1 = = σ n = 0 gelten. Dann wird Ax b 2 durch x = V Σ U T b R n minimiert, wobei Σ = diag{σ 1 1,..., σ 1 r, 0,..., 0} R n m. Wenn x R n auch minimierend ist und x x gilt, dann gilt x 2 < x 2.

125 Eigenschaften der SWZ Satz (Eigenschaften der SWZ): Sei A = UΣV T die SWZ für A R m n mit p = min{m, n}. Es gelten: U = {u 1,..., u m }, V = {v 1,..., v n } Av i = σ i u i, A T u i = σ i v i, i = 1,..., p. σ 1 σ r > σ r+1 = = σ n = 0 N (A) = span{v i } n i=r+1, R(A) = span{ui } r i=1. A 2 = σ 1. A 2 F = σ σ2 p. κ (A) = max Ax / min Ax m n κ 2 (A) = σ 1 /σ n. x =1 x =1 A T A = V Σ T ΣV T und AA T = UΣΣ T U T. {σ 2 i } p i=1 sind die eindeutigen Nullstellen von det(λi AT A) für p = n oder die eindeutigen Nullstellen von det(λi AA T ) für p = m. 125

126 Pseudoinverse Def: Sei A = UΣV T die SWZ für A R m n. Dann ist ist A = V Σ U T die Pseudo-Inverse von A. Satz: Für A R m n, N (A) = 0 A = (A T A) 1 A T. Beweis: Es gilt x T A T Ax = Ax und zusätzlich folgt Ax 2 2 = 0 x = 0 sowohl m n aus N (A) = 0. Daher ist A T A SPD. Aus A T A = (UΣV T ) T (UΣV T ) = V Σ T U T UΣV T = V Σ T ΣV T folgt, dass die positiven Eigenwerte durch 0 < Σ T Σ = diag{σ1 2,..., σ2 n} R n n gegeben sind. Es folgt (A T A) 1 A T = V [Σ T Σ] 1 V T V Σ T U T = V [Σ T Σ] 1 Σ T U T = V Σ U T = A. Satz: Für A R m n und orthogonale Matrizen P R m m und Q R n n haben A und PAQ die gleichen Singulärwerte. 126 Beweis: Für m > n sind die Eigenwerte {σ 2 i } n i=1 von AT A = V Σ T ΣV T die Eigenwerte von (PAQ) T (PAQ) = (Q T V )Σ T Σ(V T Q). Für n > m sind die Eigenwerte {σ 2 i } m i=1 von AAT = UΣΣ T U T die Eigenwerte von (PAQ) T (PAQ) = (Q T U)ΣΣ T (U T Q).

127 Konditionierung und die SWZ 127 Für A R( m n, m ) > n, mit SWZ, A = U T ΣV, ˆΣ Σ = R m n, ˆΣ = diag{σ 0 i } n i=1, σ i > 0 sei die Projektion P = ΣΣ von R m in R n definiert. Für ein gegebenes b sei die Zerlegung definiert: Ub = c, d T, c R r, d R m r PUb = c, 0 T, (I P)Ub = 0, d T Das Ausgleichsproblem kann so umformuliert werden: Ax b 2 2 = UT ΣV x b 2 2 = ΣV x Ub 2 2 = P(ΣV x Ub) (I P)(ΣV x Ub) P( ), (I P)( ) =0 = ˆΣV x c d 2 2 Da κ 2 (ˆΣ) = κ 2 (ˆΣV ) gilt, erfüllen die Lösungen der Systeme ˆΣV x = c und ˆΣV x = c die Fehlerabschätzung x x 2 κ 2 (ˆΣ) c c 2 x 2 c 2 Vergleiche mit κ 2 (A T A) = κ 2 (ˆΣ) 2 für die normalen Gleichungen.

128 Berechnung der SWZ 128 Berechnung der SWZ (zur Lösung eines Ausgleichsproblems) Da die Singulärwerte durch die Eigenwerte von A T A (m > n) gegeben sind, könnten wir den QR-Algorithmus auf A T A anwenden, um Σ T Σ zu bestimmen. Der folgende Algorithmus mit bidiagonalen Matrizen ist effizienter. Der Plan: Vereinfachung PAQ = B T, 0 T, A R m n, P R m m und Q R n n orthogonal und B R n n obere bidiagonal. Mit B (1) = B ist B (l)t B (l) tridiagonal. (warum?) Setze B (l)t B (l) = Q (l) R (l). (QR-Zerlegung) Dann ist B (l) Q (l) untere bidiagonal. (warum?) Berechne P (l) sodass B (l+1) = P (l) B (l) Q (l) obere bidiagonal ist. (wie?) Zeige, es gilt B (l+1)t B (l+1) = R (l) Q (l)! Im Endeffekt wird ein Schritt eines QR-Algorithmus effizient durchgeführt, und es folgt B (l) diag{σ i } n i=1, l.

129 Vereinfachung auf Bidiagonale Form Für die Vereinfachung PAQ = (B, 0) T setze A = A (1) = (d (1) C (1) ), d (1) R m 1, C (1) R m (n 1) Für k = 2,..., n 1, ( k > 2 ) B A (k) = P (k 1) A (k 1) Q (k 1) (k) 0 0 a = (k) 0 d (k) C (k) wobei B (k) R (k 1) (k 1) a (k) R 1 C (k) R (m k+1) (n k) d (k) R (m k+1) 1 Im nächsten Schritt, ( I P (k) (k 1) 0 = 0 P(k) ) ( I Q (k) (k) 0 = 0 Q(k) ) wobei durch Householder Transformationen P (k) d (k) = σê (1) R m k+1 c (k) = 1.Zeile von P (k) C (k) Q (k)t c (k)t = τê (1) R n k a (k+1) = τ 129

130 Pseudo-Kode zur Transformation auf Bidiagonale Form d i = A i,1, C i,j = A i,j+1, i=1,...,m, j=1,...,n-1 P = I (m m), Q = I (n n) for k=1,...,n % d is (m-k+1) 1 (u,sigma,theta) = Householder(d) % (I-uu /theta)d=-sigma e1 B k,k = -sigma % B grows if (k>1) then B k-1,k = a for l=1,...,n-k % C <- (I-uu /theta) C sm = sum(c i,l * u i: i=1,...,m-k+1) C i,l = C i,l - sm*u i/theta, i=1,...,m-k+1 end for l=1,...,m % P <- (I-uu /theta) P sm = sum(p k-1+i,l * u i: i=1,...,m-k+1) P k-1+i,l = P k-1+i,l - sm*u i/theta, i=1,...,m-k+1 end if (k < n-1) c j = C 1,j, j=1,...,n-k % c is (n-k) 1 130

131 Pseudo-Kode zur Transformation auf Bidiagonale Form 131 (u,tau,theta) = Householder(c) % (I-uu /theta)c=-tau e1 a = -tau for l=2,...,m-k+1 % C <- C(I-uu /theta) sm = sum(c l,i * u i: i=1,...,n-k) C l,i = C l,i - sm*u i/theta, i=1,...,n-k end for l=1,...,n % Q <- Q(I-uu /theta) sm = sum(q l,k+i * u i: i=1,...,n-k) Q l,k+i = Q l,k+i - sm*u i/theta, i=1,...,n-k end end if (k = n-1) then a = C 1,1 if (k < n) % d & C shrink d i = C i+1,1, i=1,...,m-k C i,j = C i+1,j+1, i=1,...,m-k, j=1,...,n-k-1 end end % P*A*Q = (BˆT,0)ˆT, B n n

132 Diagonalisierende Iteration 132 Bei k = n 1, A (n) = P (n 1) A (n 1) und Q (n 1) ist nicht notwendig, weil C (n) nur eine einzige Spalte hat, und c (n 1) R 1 ist schon a (n). Bei k = n, A (n+1) = P (n) A (n) und Q (n) ist nicht notwendig, weil C (n) nicht existiert. Da d (n) R (m n+1) 1, ist P (n) aber notwendig. Dann ist B = B (n+1) bidiagonal. Für die Diagonalisierung von B setze B (1) = B. Sei die obere Hessenberg Matrix Q (l) = G (1,2) (θ 1 ) G (n 1,n) (θ n 1 ) durch Givens Transformationen definiert, damit

133 Diagonalisierende Iteration B (l) Q (l) = Q(l) = eine untere bidiagonale Matrix ist. Dann durch Multiplikation links mit B (l)t R (l)t = B (l)t (B (l) Q (l) ) = ist R (l) eine obere tridiagonale Matrix.

134 Folge der Bidiagonalen Matrizen 134 Daher ist B (l)t B (l) = Q (l) R (l) eine QR Zerlegung von der tridiagonale Matrix B (l)t B (l), = B (l)t B (l) = Q (l) R (l) =

135 Folge der Bidiagonalen Matrizen Sei die untere Hessenberg Matrix P (l) = G (n 1,n) (θ n 1 ) G (1,2) (θ 1 ) durch Givens Transformationen definiert, damit B (l+1) =P (l) (B (l) Q (l) )=P (l) = eine obere bidiagonale Matrix ist. Schliesslich, B (l+1)t B (l+1) = (P (l) B (l) Q (l) ) T (P (l) B (l) Q (l) ) = (Q (l)t B (l)t P (l)t ) (P (l) B (l) Q (l) ) = Q (l)t (B (l)t B (l) )Q (l) = Q (l)t (Q (l) R (l) )Q (l) = R (l) Q (l) und ein Schritt des QR Verfahrens für B T B ist vollständig.

136 Pseudo-Kode für den QR Algorithmus zur Singulärwert-Zerlegung Q = I, P = I, Bk = B for k=1,...,kmax a i = Bk i,i, i=1,...,n b i = Bk i,i+1, i=1,...,n-1 x 1 = a 1 for j=1...,(n-1) % compute Qk by storing c s & s s g j = x jˆ2 + b jˆ2 c j = x j / g j s j = -b j / g j d j = -s j * a j+1 x j+1 = c j * a j+1 end g n = x n % Bk*Qk has (lower) diags {d,g} 136

137 Pseudo-Kode für den QR Algorithmus zur Singulärwert-Zerlegung Qk = I for j=1,...,(n-1) q1 i = Qk i,j * c j - Qk i,j+1 * s j, i=1,...,n q2 i = Qk i,j+1 * c j + Qk i,j * s j, i=1,...,n Qk i,j = q1 i, Qk i,j+1 = q2 i, i=1,...,n end % (Bk*Qk) *Bk = Rk Q = Q*Qk a i = (Bk*Qk) i,i = g i, i=1,...,n b i = (Bk*Qk) i+1,i = d i, i=1,...,n-1 x 1 = a 1 for j=1...,(n-1) g j = x jˆ2 + b jˆ2 c j = x j / g j s j = b j / g j d j = s j * a j+1 x j+1 = c j * a j+1 end g n = x n % Tk has (upper) diags {g,d} 137

138 Pseudo-Kode für den QR Algorithmus zur Singulärwert-Zerlegung Pk = I for i=1,...,(n-1) p1 j = Pk i,j * c i + Pk i+1,j * s i, j=1,...,n p2 j = Pk i+1,j * c i - Pk i,j * s i, j=1,...,n Pk i,j = p1 j, Pk i+1,j = p2 j, j=1,...,n end % Pk*(Bk*Qk) = Tk P = Pk*P Bk i,i = g i, i=1,...,n Bk i,i+1 = d i, i=1,...,(n-1) % Bk *Bk = Rk*Qk if ( d < tol * g ) then break end % g i, i=1,...,n Singulärwerte von B Sn i,i = sign(g i), i=1,...,n S i,i = g i, i=1,...,n P=Sn*P % S = P*B*Q 138

139 Interpolation 139 Für Polynome Regression haben wir das Ausgleichsproblem gehabt: m 1 n 1 E(c) = [y i P(x i ; c)] 2, P(x; c) = c k x k i=0 k=0 mit m > n. Nun n = m. Die explizite Lösung ist gegeben durch die Lagrange interpolierenden Polynome. Beispiel: Gegeben sind (x 0, y 0 ) und (x 1, y 1 ). Die Lagrange interpolierenden Polynome sind: Bemerke: und P(x) = L 0 (x) = x x 1 L 1 (x) = x x 0 x 0 x 1 x 1 x 0 L 0 (x 0 ) = 1 L 1 (x 0 ) = 0 L 0 (x 1 ) = 0 L 1 (x 1 ) = 1 1 y i L i (x) erfüllt P(x j ) = i=0 } oder L i (x j ) = δ ij 1 y i L i (x j ) = i=0 1 y i δ ij = y j i=0

140 Lagrange Interpolierende Polynome Beispiel: Gegeben sind (x 0, y 0 ), (x 1, y 1 ) und (x 2, y 2 ). Die Lagrange interpolierenden Polynome sind: L 0 (x) = (x x 1)(x x 2 ) (x 0 x 1 )(x 0 x 2 ) 140 P N (x j ) = und P(x) = L 1 (x) = (x x 0)(x x 2 ) (x 1 x 0 )(x 1 x 2 ) 2 y i L i (x) erfüllt P(x j ) = i=0 L 2 (x) = (x x 0)(x x 1 ) (x 2 x 0 )(x 2 x 1 ) 2 y i L i (x j ) = i=0 Im allgemeinen werden diese Polynome so definiert: L N,i (x) = P N (x) = N y i L N,i (x j ) = i=0 N i j=0 x x j x i x j N y i L N,i (x) i=0 N y i δ ij = y j i=0 Was ist die Qualität dieser Interpolation? 2 y i δ ij = y j i=0

141 Genauigkeit globaler Interpolation (Gleichmäßig) (Tchebychev) (Ausgleich) Beispiel: Die Funktion f (x) = x 2 /(1 + 20x 2 ) wird mit n = 10 oder m = 100 Punkten folgendermassen interpoliert: P(x i ) = f (x i ), x i = 1 + 2i/n, i = 0,..., n Q(t j ) = f (t j ), t j = cos(π(j + 1/2)/(N + 1)), j = 0,..., n m k=0 R(y k) f (y k ) 2 = min, y k = 1 + 2k/m, k = 0,..., m Die Ergebnisse sehen so aus: 141 wobei die theoretischen Fehler rechts gezeigt werden.

142 Genauigkeit globaler Interpolation Satz: Wenn {x i } N i=0 [a, b] und f CN+1 ([a, b]) dann x [a, b], ξ(x) [a, b] 142 wobei P N (x) = f (x) = P N (x) + f (N+1) (ξ(x)) ψ N+1 (x; x 0,..., x N ) (n + 1)! N f (x i )L N,i (x) ψ N+1 (x; x 0,..., x N ) = i=0 Insbesondere gilt f (x) P N (x) M ψ N+1 (x; x 0,..., x N ) wenn f (N+1) (ξ) M(N + 1)!, ξ [a, b]. N (x x i ) Wie kann man ψ N+1 (x; x 0,..., x N ) minimieren? Diese Funktion ist oben grafisch dargestellt für die Fälle: Gleichmäßig verteilte Stützstellen und Tchebychev Stützstellen. Das zweite Ergebnis ist klar besser, aber man kann nicht immer die Stützstellen auswählen. i=0

143 Iterierte Interpolation Def: Gegeben sind die Daten {(x i, f i )} N i=0. Mit verschiedenen {m j } k j=1, 0 m j N, wird das Polynom hier mit P m1,...,m k bezeichnet, das die Daten {(x mj, f mj )} k j=1 interpoliert. Beispiel: Für x i = i, i = 0, 1, 2, P 0,2 (x) = (x x 2) (x 0 x 2 ) f 0 + (x x 0) (x 2 x 0 ) f 2 Satz: Gegeben sind die Daten {(x i, f i )} N i=0, P 0,...,j 1,j+1,...,N und P 0,...,i 1,i+1,...,N. Dann gilt P 0,...,N (x) = (x x j)p 0,...,j 1,j+1,...,N (x) (x x i )P 0,...,i 1,i+1,...,N (x) x i x j 143 Dieser Satz führt zu einem Algorithmus zur Berechnung des Polynoms P 0,...,N.

144 Iterierte Interpolation Beispiel: Gegeben seien {(x i, f i )} 2 i=0 und eine Auswertungsstelle x für P 012. Man bekommt P 012 (x) aus der Tabelle: x 0 P 0 (x) = f 0 x 1 P 1 (x) = f 1 P 01 (x) = (x x 1)P 0 (x x 0 )P 1 x 0 x 1 x 2 P 2 (x) = f 2 P 12 (x) = (x x 2)P 1 (x x 1 )P 2 x 1 x 2 P 012 (x) = (x x 2)P 01 (x x 0 )P 12 x 0 x 2 Wenn ein neuer Datenpunkt verfügbar wird, dann kann die Tabelle einfach ergänzt werden: x 0 P 0 (x) = f 0 x 1 P 1 (x) = f 1 P 01 (x) = (x x 1 )P 0 (x x 0 )P 1 x 0 x 1 x 2 P 2 (x) = f 2 P 12 (x) = (x x 2 )P 1 (x x 1 )P 2 x 1 x 2 P 012 (x) = (x x 2 )P 01 (x x 0 )P 12 x 0 x 2 x 3 P 3 (x) = f 3 P 23 (x) = (x x 3 )P 2 (x x 2 )P 3 x 2 x 3 P 123 (x) = (x x 3 )P 12 (x x 1 )P 23 x 1 x 3 P 0123 (x) = (x x 3 )P 012 (x x 0 )P 123 x 0 x 3 144

145 Nevilles Algorithmus Algorithmus (Neville): Eingaben sind Daten {(x i, f i )} N i=0 und die Auswertungsstelle x, Ausgabe ist der Wert P 0,...,N (x). Q i,0 = f i, i = 0,..., N for i = 1,..., N for j = 1,..., i Q ij = (x x i j)q i,j 1 (x x i )Q i 1,j 1 x i x i j end end return Q NN Bildlich gesehen: 145 x 0 Q 00 Q ij = P i j,...,i.. Q 11 Q NN = P N N,...,N..... x N Q N0 Q N1 Q NN

146 Dividierte Differenzen Def: P N (x) bezeichnet hier das Polynom, das die Daten {(x i, f i )} N i=0 interpoliert. Nun wollen wir nicht nur den Wert P N (x) an einer Auswertungsstelle x berechnen, sondern auch Koeffizienten eines Polynoms bestimmen. P N (x) kann so dargestellt werden: P N (x) = a 0 + a 1 (x x 0 ) + + a N (x x 0 ) (x x N 1 ) Die Koeffizienten {a i } N i=0 finden wir so: f 0 = P N (x 0 ) = a 0 =: f [x 0 ] f 1 = P N (x 1 ) = a 0 + a 1 (x 1 x 0 ) = f 0 + a 1 (x 1 x 0 ) a 1 = f 1 f 0 x 1 x 0 =: f [x 0, x 1 ] Die restlichen Koeffizienten werden induktiv durch ähnliche Differenzen gegeben: a k = f [x 0,..., x k ], f [x i,..., x i+k ] = f [x i+1,..., x i+k ] f [x i,..., x i+k 1 ] x i+k x i 146

147 Dividierte Differenzen Das interpolierende Polynom ist so gegeben: P N (x) = f [x 0 ] + N k=1 k 1 f [x 0,..., x k ] (x x l ) Satz: Wenn f C N ([a, b]) und {x i } N i=0 [a, b] verschieden sind, dann ξ (a, b) f [x 0,..., x N ] = f (N) (ξ) N! Def: P k (Ω) bezeichnet die Menge der Polynome eines Grades höchstens k auf einem Gebiet Ω. l=0 147 Bemerkung: Seien P L, P D P N die durch Lagrange beziehungsweise Dividierte Differenzen gegebenen Polynome, die die Daten {(x i, f i )} N i=0 interpolieren. Dann gilt P L (x) P D (x), weil Q = P L P D P N, und Q hat die N + 1 Nullstellen {x i } N i=0.

148 Hermite Interpolation Hermite Interpolation Nun seien Daten {(x i, f i )} N i=0 und {(x i,ˆf i )} N i=0 gegeben, und eine interpolierende Funktion H(x) soll konstruiert werden, die erfüllt H(x i ) = f i, H (x i ) = ˆf i, i = 0,..., N. Seien die Basis Funktionen definiert H N,i (x) = [1 2(x x i )L N,i (x i)]l 2 N,i (x) Ĥ N,i (x) = (x x i )L 2 N,i (x) 148

149 Hermite Interpolation Bemerke: und erfüllt H N,i (x j ) = δ ij Ĥ N,i (x j ) = 0 H N,i (x j) = 0 Ĥ N,i (x j) = δ ij H 2N+1 (x) = N i=0 [ f i H n,i (x) + ˆf ] i Ĥ n,i (x) ( ) H 2N+1 (x j ) = f j, H 2N+1 (x j) = ˆf j, i = 0,..., N Satz: Wenn f C 1 ([a, b]) und {x i } N i=0 [a, b] verschieden sind, dann ist H 2N+1 P 2N+1 ([a, b]) das eindeutige Polynom kleinsten Grades, das ( ) erfüllt mit f (x i ) = f i, f (x i ) = ˆf i, i = 0,..., N. 149

150 Stückweise Polynome Interpolation Stückweise Polynome Interpolation Seien die Basis Funktionen definiert, x x i 1, x i 1 x x i x i x i 1 l i (x) = x i+1 x, x i x x i+1 x i+1 x i 0, sonst 150 Es gilt l i (x j ) = δ ij.

151 Stückweise Polynome Interpolation Die Funktion, L(x) = erfüllt N f i l i (x) i=0 L(x j ) = N f i l i (x j ) = i=0 N f i δ ij = f j i=0 Satz: Sei f C 2 ([a, b]) und {x i } N i=0 mit h = max i(x i+1 x i ). Dann gelten max f (x) L(x) 1 8 a x b h2 max a x b D2 f (x) max f (x) L (x) 1 2 h max a x b a x b D2 f (x) 151

152 Stückweise Kubisch Hermite Interpolation Stückweise Kubisch Hermite Interpolation Nun seien Daten {(x i, f i )} N i=0 und {(x i,ˆf i )} N i=0 gegeben, und eine interpolierende Funktion H(x) soll konstruiert werden, die erfüllt H(x i ) = f i, H (x i ) = ˆf i, i = 0,..., N. Seien die Basis Funktionen {φ i } N i=0, {ψ i} N i=0 definiert, 152 die stückweise kubisch sind und erfüllen: φ i (x j ) = δ ij ψ i (x j ) = 0 φ i (x j) = 0 ψ i (x j) = δ ij

153 Stückweise Kubisch Hermite Interpolation Hausaufgabe: Konstruiere {φ i } N i=0, {ψ i} N i=0 für ein regelmäßiges Gitter. Die Funktion H(x) = N i=0 [ f i φ i (x) + ˆf ] i ψ i (x) erfüllt H(x j ) = f j, H (x j ) = ˆf j, i = 0,..., N Satz: Sei f C 4 ([a, b]) und {x i } N i=0 mit h = max i(x i+1 x i ). Dann gelten max a x b Dk [f (x) H(x)] c k h 4 k max a x b D4 f (x) 153 mit c 0 = 1/384, c 1 = 3/216, c 2 = 1/12 und c 3 = 1/2.

154 Splines Spline Funktionen sind stückweise Polynome. Obwohl die gewünschte Glattheit eingebaut werden kann, werden hier nur die B-Splines mit maximaler Glattheit untersucht. Gezeigt wird eine Basis {s i } N 1 i= k für die Menge S k (x) = {s C k 1 ([x 0, x N ]) : s P k ([x i 1, x i ]), 1 i N} für k = 0,..., 3. Basis für stückweise konstante Funktionen: S 0 (x) f (x) = N 1 i=0 α i s i (x) 154

155 Splines Basis für stückweise lineare Funktionen in C 0 ([a, b]): S 1 (x) f (x) = N 1 i= 1 α i s i (x) Basis für stückweise quadratische Funktionen in C 1 ([a, b]): S 2 (x) f (x) = N 1 i= 2 α i s i (x) 155

156 Splines Basis für stückweise kubische Funktionen in C 2 ([a, b]): S 3 (x) f (x) = N 1 i= 3 α i s i (x) Um jede Basis zu erzeugen, π k (x) = + π k 1 (x y)π 0 (y)dy 156 k π k (i) = 1 i=1

157 Die Kanonischen Splines Die Kanonischen Splines explizit: π 0 (x) = π 1 (x) = π 2 (x) = π 3 (x) = { 1 x [0, 1] 0 sonst x x [0, 1] 2 x x [1, 2] 0 sonst 1 = 2 x 2 x [0, 1] 3 4 (x 3 2 )2 x [1, 2] 1 2 (x 3)2 x [2, 3] 0 sonst π 0 (x y)dy = 1 0 π 1 (x y)dy 6 x 3 x [0, 1] 1 6 [1 + 3(x 1) + 3(x 1)2 3(x 1) 3 ] x [1, 2] 1 usw 6 [1 + 3(3 x) + 3(3 x)2 3(3 x) 3 ] x [2, 3] 1 6 (4 x)3 x [3, 4] 0 sonst 157

158 Glattheitsbedingungen Wenn das Gitter gleichmäßig ist, x = {x i } N i=0, h = x i x i 1, ist eine Basis für S k (x) explizit gegeben durch: s k,i (x) = π k ((x x i )/h), i = k,..., N 1 Im allgemeinen werden die Basis Funktionen durch Glattheitsbedingungen bestimmt. Für die linearen Splines: 4 Unbekannte, 4 Bedingungen, 158 Hausaufgabe: Schreibe das Gleichungssystem für die Koeffizienten der Splines Grades 1, 2 und 3.

159 Glattheitsbedingungen Für die quadratischen Splines: 9+9 Für die kubischen Splines:

160 Interpolation mit Kubischen Splines Interpolation mit Kubischen Splines Gegeben seien die Daten {(x i, f i )} N i=0 mit {x i} N i=0 = x R N+1. Zur Vereinfachung wird angenommen, dass das Gitter regelmäßig ist, obwohl es nicht notwendig ist. Die Dimension von S 3 (x) ist N + 3. Im Datensatz fehlen noch 2 Informationsstücke, um eine Interpolante zu bestimmen. s(x) = N 1 i= 3 α i s i (x) S 3 Eine mögliche Ergänzung sind die Randbedingungen: = s (x 0 ) = s 3 (x 0) }{{} = 1/(2h) α 3 +s 2 (x 0) α 2 +s 1 }{{} (x 0) }{{} =0 =1/(2h) und s (x N ) = 0 oder α 3 = α 1 und α N 1 = α N 3. α 3 = α 1 α 3 2h

161 Interpolation mit Kubischen Splines Mit den Randbedingungen: 0 = s (x 0 ) = s 3 (x 0) }{{} =1/h 2 α 3+s 2 (x 0) }{{} = 2/h 2 α 2+s 1 (x α 1 2α 2 + α 3 0) α 3 = }{{} h 2 =1/h 2 und s (x N ) = 0 bekommt man α 3 = 2α 2 α 1 und α N 1 = 2α N 2 α N 3. Durch f 0 = s(x 0 ) = s 3 (x 0 )α 3 + s 2 (x 0 )α 2 + s 1 (x 0 )α 3 1 = 6 α α α 3 = 1 6 (2α 2 α 1 ) α α 3 = α 2 sieht man, für diese Randbedingungen gelten s (x 0 ) = α 1 α 3 2h = α 1 α 2 h = α 1 f 0 h f (x 0 ) 161 und ähnlich s (x N ) f (x N ).

162 Interpolation mit Kubischen Splines Um die Interpolante s S 3 (x) zu bestimmen, werden die Koeffizienten der Basis Funktionen durch die Lösung des linearen Gleichungssystems berechnet: N 2 f j = s(x j ) = α 3 s 3 (x j )+ α i s i (x j )+α N 1 s N 1 (x j ), j = 0,..., N i= 2 mit Randbedingungen, z.b. Bemerke: α 3 = α 1 oder α 3 = 2α 2 α 1 α N 1 = α N 3 α N 1 = 2α N 2 α N 3 s i (x j ) = 0, j < i+1; s i (x i+1 ), s i (x i+2 ), s i (x i+3 ) 0; s k (x j ) = 0, j > i Die Matrix {s i (x j ) : 3 i N 1, 1 j N + 1} ist tridiagonal! Die entsprechende Matrix für lineare Splines ist diagonal!

163 Interpolation mit Kubischen Splines Das System sieht so aus: f 1 θ θ = f N θ θ α 2.. α N 2 wobei θ = 1 3 für die Randbedingungen s (x 0 ) = 0 = s (x N ) und θ = 0 für die Randbedingungen s (x 0 ) = 0 = s (x N ). 163 Satz: Sei f C 1 ([a, b]). Dann!s S 3 s(x i ) = f (x i ), 0 i N, und s (x 0 ) = f (x 0 ), s (x N ) = f (x N ). Für f C 4 ([a, b]) und h = max (x i+1 x i ) gilt 0 i N+1 max a x b Dr [f (x) s(x)] c r h 4 r max a x b D4 f (x), 0 r 3 wobei c 0 = 5/384, c 1 = 1/24, c 2 = 3/8 und c 3 = 1/2(β + 1/β), β = h/ min (x i+1 x i ). 0 i N 1

164 Tensor Produkte für 2D Interpolation Tensor Produkte für 2D Interpolation Gegeben seien Daten {(x i, y j, f ij )} N i,j=0 auf dem 2D Gitter x i = ih, i = 0,..., N, y i = jh, j = 0,..., N, h = 1/N. Die Interpolante ist s(x, y) = N 1 N 1 i= 3 j= 3 α ij s i (x)s j (y) wobei die Koeffizienten {α ij } N 1 i,j= 3 durch Lösung des Gleichungssystems bestimmt werden: N 1 N 1 f kl = s(x k, y l ) = α ij s i (x k )s j (y l ), 0 k, l N i= 3 j= 3 mit z.b. Randbedingungen, θ = 1 oder 2, φ = 1 θ, α 3,j = θα 2,j + φα 1,j, α N 1,j = θα N 2,j + φα N 3,j, 3 j N 1 α i, 3 = θα i, 2 + φα i, 1, α i,n 1 = θα i,n 2 + φα i,n 3, 3 i N Solche Tensor Produkte können für andere Basis Funktionen ähnlich definiert werden, wie z.b. Stückweise Kubisch Hermite Interpolanten.

165 Nicht Lineare Gleichungen 165 Das Ziel ist, eine Nullstelle zu finden, f (x) = 0 wobei f nicht linear ist. Wenn f eine Ableitung ist, F (x) = f (x), kann das Ziel sein, F zu minimieren oder maximieren. Gegeben seien a und b mit f (a)f (b) < 0. Nach dem Zwischenwertsatz ξ (a, b) mit f (ξ) = 0 wenn f C([a, b]). Die einfachste Methode ist das Bisektionsverfahren: { a, f (c)f (b) < 0 f (a)f (b) < 0... (a + b)/2 = c b, f (a)f (c) < 0 In einem Kode soll c entweder a oder b überschreiben. Solang f (a)f (b) < 0 gilt, ist es egal welcher Wert positiv oder negativ ist.

166 Bisektionsverfahren Pseudo-Kode für das Bisektionsverfahren fa = f(a), fb = f(b) 166 if (fa * fb > 0) error: sign(fa) = sign(fb) end for k=1,...,kmax c = (a + b)/2 fc = f(c) if ( b-a < tol* c ) return c end if (fa * fc > 0) a = c % sign(fa) = sign(fc) else b = c % sign(fb) = sign(fc) end end error: failed to converge to relative difference tol after kmax iterations

167 Bisektionsverfahren Satz: Sei f C([a, b]) mit f (a)f (b) < 0. Die Iterierten {c k } des Bisektionsverfahrens konvergieren zu einer Nullstelle x (a, b), f (x ) = 0, und zwar mit folgender Geschwindigkeit: x c k 2 k b a, k Beweis: Sei [a k, b k ] das kte Bisektionsintervall mit c k = (a k + b k )/2 und [a 1, b 1 ] = [a, b]. Es gilt (b a) = (b 1 a 1 ) = 2(b 2 a 2 ) = = 2 k 1 (b k a k ). Aus a k+1 {a k, c k } und b k+1 {c k, b k } folgen (a k+1 a k ) 1 2 (b k a k ) und (b k b k+1 ) 1 2 (b k a k ) und daher c k+1 c k = 1 2 (a k+1 a k ) (b k b k+1 ) 1 2 [ a k+1 a k + b k b k+1 ] 1 2 (b k a k ) = 2 k (b a). Also für k > l gilt c k c l c k c k 1 + c l+1 c l = k 1 m=l c m+1 c m k 1 m=l 2 m (b a) = (b a)(2 l 2 k )/(1 2 1 ) k,l 0.

168 Bisektionsverfahren Deswegen ist {c k } eine Cauchy Folge. Sei x der Limes. Aus c k (a k, b k ) folgen x a k x c k + c k a k x c k + b k a k k 0. und x b k x c k + c k b k x c k + a k b k k 0. Daher aus f C([a, b]) folgen lim f (a k) = f (x ) = lim f (b k ). k k Aus f (a k )f (b k ) 0, k, folgt lim f (a k)f (b k ) 0. k Diese Limiten implizieren 0 f (x ) 2 = lim f (a k )f (b k ) 0 k und es folgt f (x ) = Bemerkung: Obwohl Konvergenz für das Bisektionsverfahren garantiert ist, ist die Geschwindigkeit niedriger als die für das Newton Verfahren, das aber nur lokal konvergiert.

169 Fixpunktiteration Die Nullstelle in der Gleichung f (x) = 0 kann bezüglich eines Fixpunkts x = g(x) einer Funktion g(x) in verschiedenen Weisen umgeschrieben werden: g(x) = x f (x), g(x) = x f (x)/f (x) Dann gibt es eine natürliche Fixpunktiteration: x k+1 = g(x k ), k = 0, 1, 2,... Wann konvergiert diese Iteration? Grafische Darstellung: 169 Wichtige Eigenschaft: g (x ) < 1.

170 Fixpunktiteration Satz: Sei g C([a, b]) mit g([a, b]) [a, b]. Dann x [a, b] g(x ) = x. Falls g C 1 ([a, b]) und γ g (x) γ < 1, x [a, b], dann ist x ein eindeutiger Fixpunkt. Beweis: g([a, b]) [a, b] f (x) := g(x) x erfüllt f (a) = g(a) a a a = 0 und f (b) = g(b) b b b = 0. Wenn f (a) = 0 gelten sollte, ist x = a ein Fixpunkt. Ähnlich wenn f (b) = 0 gelten sollte. Nimm an, f (b) < 0 < f (a). Nach dem Zwischenwertsatz x [a, b] 0 = f (x ) = g(x ) x, da f stetig ist. Wenn es einen zweiten Fixpunkt x [a, b] gäbe, dann würde ein Widerspruch durch den Mittelwertsatz entstehen: x x = g(x ) g( x) = g (ξ)(x x) γ x x < x x 170 wobei ξ zwischen x und x in [a, b] liegt.

171 Fixpunktiteration Satz: Sei g C 1 ([a, b]) mit g([a, b]) [a, b]. Wenn γ g (x) γ < 1, x [a, b], dann x 0 [a, b] konvergiert die Fixpunktiteration x k+1 = g(x k ) zum eindeutigen Fixpunkt x. Beweis: g([a, b]) [a, b] x k+1 (= g(x k )) [a, b], k. Nach dem Mittelwertsatz gilt x k+1 x = g(x k ) g(x ) = g (ξ k )(x k x ) γ x k x γ 2 x k 1 x γ k+1 x 0 x k 0 wobei ξ k zwischen x und x k in [a, b] liegt. Satz: Unter den Bedingungen des letzten Satzes gilt x x k γk 1 γ x 1 x 0, k Beweis: Hausaufgabe.

172 Fixpunktiteration Pseudo-Kode für eine Fixpunktiteration x0 gegeben for k=1,...,kmax x = g(x0) if ( x-x0 < tol* x ) return x end x0 = x end error: failed to converge to relative difference tol after kmax iterations 172 Welche Iteration ist schneller, Bisektion oder Fixpunkt? Hängt von der Funktion ab: g (x ) = 0 favorisiert Fixpunkt. Beispiel: g(x) = xe r(1 x), r 1, f (x) = x g(x). Entspricht einem diskreten Populations-Modell. Hausaufgabe: Zeige, für r [1, 2), ɛ > 0 g(b(1, ɛ)) B(1, ɛ) und γ (0, 1) g (x) γ, x B(1, ɛ).

173 Vergleich zweichen Bisektions- und Fixpunktiteration Für die erste Grafik (r = 1, g (1) = 0) verlangt Bisektion 12 Iterationen und Fixpunkt 6 Iterationen, um x = bzw. x = zu berechnen. 173 Für die zweite Grafik (r = 1.99, g (x ) = 0.99) verlangt Bisektion 12 Iterationen und Fixpunkt 542 Iterationen, um x = bzw. x = zu berechnen.

174 Newton Verfahren Die Strategie: Eine Nullstelle wird durch eine Folge von linearen Approximationen der Funktion bestimmt: Für ein gegebenes x 0 ist y f (x 0 ) = f (x 0 )(x x 0 ) die zu f tangente Gerade an der Stelle (x 0, f (x 0 )). Die Nullstelle dieser Gerade erfüllt f (x 0 ) = f (x 0 )(x x 0 ) oder x = x 0 f (x 0 )/f (x 0 ) Im allgemeinen werden die Newton Iterierten so gegeben: x k+1 = x k f (x k )/f (x k ), k = 0, 1, 2,... Wichtig ist, dass f (x )

175 Newton Verfahren Pseudo-Kode für das Newton Verfahren f(x), fp(x) = f (x), x0 gegeben for k=1,...,kmax f0 = f(x0) fp0 = fp(x0) if (fp0 =/= 0) x1 = x0 - f0/fp0 else x1 = x0 end if ( x1-x0 < tol* x1 ) return x1 end x0 = x1 end error: failed to converge to relative difference tol after kmax iterations 175

176 Sekant Verfahren Pseudo-Kode für das Sekant Verfahren f(x), x0 =/= x1 gegeben f1 = f(x0) for k=1,...,kmax f0 = f1 f1 = f(x1) if (f1 =/= f0) x2 = x1 - f1 * (x1 - x0)/(f1 - f0) else x2 = x1 end if ( x2-x1 < tol* x2 ) return x2 end x0 = x1 x1 = x2 176 end error: failed to converge to relative difference tol after kmax iterations

177 Vergleich zweichen Newton und Bisektionsiteration Für die erste Grafik (r = 1) verlangt Bisektion 12 Iterationen und Newton 5 Iterationen, um x = bzw. x = zu berechnen. 177 Für die zweite Grafik (r = 1.99) verlangt Bisektion 12 Iterationen und Newton 4 Iterationen, um x = bzw. x = 1. 0! zu berechnen.

178 Konvergenz des Newton Verfahrens Satz: Sei f C 2 ([a, b]) mit f (x ) = 0 und f (x ) 0 für x (a, b). Dann ɛ > 0 x 0 B(x, ɛ) die Newton Iterierten {x n } zu x konvergieren. Beweis: Die Funktion g(x) = x f (x)/f (x) erfüllt g(x ) = x. Da f (x ) 0 und f C([a, b]), δ > 0 f (x) 0, x B(x, δ). Deswegen ist g(x) in B(x, δ) wohl definiert und stetig. Aus der Rechnung g (x) = 1 (f (x) 2 f (x)f (x))/f (x) 2 = f (x)f (x)/f (x) 2 folgt g C(B(x, δ)) und g (x ) = 0. Deswegen ɛ > 0 und γ (0, 1) g (x) γ, x B(x, ɛ). Nun sei x B(x, ɛ). Nach dem Mittelwertsatz ξ zwischen x und x g(x) g(x ) = g (ξ)(x x ) γ x x < ɛ 178 Es folgt, g(b(x, ɛ)) B(x, ɛ), und die Bedingungen des obigen Fixpunkt-Konvergenz-Satzes sind erfüllt.

179 Asymptotische Konvergenzrate Bemerkung: Mit g (x ) = 0 ergibt sich die bestmögliche lokale Konvergenz der Fixpunktiteration. Bemerkung: Das Newton Verfahren konvergiert nur lokal, d.h. nur wenn man nah genug beim Fixpunkt x startet. Bemerkung: Um die Vorteile des Bisektions- und des Newton Verfahrens zu kombinieren, kann man mit Bisektion beginnen und dann auf Newton umschalten. Wenn die Abstände zwischen Newton Iterierten nicht kleiner werden, kann man wieder kurzfristig auf Bisektion welchseln und später auf Newton zurückschalten. 179 k Def: Sei {x n } gegeben mit x m x. Wenn gilt x x lim k+1 k x = λ (0, 1] x k α hat die Folge Konvergenzordnung α mit asymptotischer Fehlerkonstante λ.

180 Asymptotische Konvergenzrate Beispiele: α = 1 aymptotisch lineare Konvergenzrate, z.b. x k+1 = g(x k ), 0 < g (x ) < 1 α = 2 aymptotisch quadratische Konvergenzrate, z.b. x k+1 = g(x k ), g (x ) = 0 Satz: Sei g C 1 ([a, b]) mit g([a, b]) [a, b], g(x ) = x (a, b) und g (x) γ < 1, x [a, b]. Wenn g (x ) 0, konvergiert {x k+1 = g(x k )} asymptotisch nur linear zu x. 180 Beweis: Nach dem Mittelwertsatz, ξ k zwischen x k und x in [a, b] x k+1 x = g(x k ) g(x ) = g (ξ k ) x k x k Nach einem obigen Konvergenzsatz 171 gilt x k x, und k daher gilt auch ξ k x. Dann g C 1 ([a, b]) g (ξ k ) k g (x ). Daher gilt x x k+1 x = g (ξ k ) k g (x ) 0. x k

181 Asymptotische Konvergenzrate Satz: Sei g C 2 ([a, b]) mit g(x ) = x (a, b) und g (x ) = 0. Dann ɛ > 0 x 0 B(x, ɛ) konvergiert {x k+1 = g(x k )} mindestens asymptotisch quadratisch zu x. Beweis: Wähle ɛ > 0 so aus, dass g (x) γ < 1, x B(x, ɛ) [a, b]. Seien {x l } k l=0 B(x, ɛ). Nach dem Mittelwertsatz ξ k zwischen x k und x in B(x, ɛ) x x k+1 = g(x ) g(x k ) = g (ξ k ) x x k < x x k Es folgt, x k+1 B(x, ɛ) und daher {x k } k=0 B(x, ɛ). Nach dem Taylorsatz η k zwischen x k und x in B(x, ɛ) x k+1 = g(x k ) = g(x ) + g (x )(x }{{}}{{} k x ) g (η k )(x k x ) 2 =x =0 k Nach einem obigen Konvergenzsatz gilt x k x, und daher k gilt auch η k x. Daher folgt x x k+1 x x k 2 = 1 2 g (η k ) k 1 2 g (x ) = λ <. 181 Bemerkung: Mit g (x ) = 0 ist α noch höher.

182 Nullstellen höherer Multiplizität 182 Beispiel: f (x ) 0 g(x) = x f (x)/f (x) erfüllt g (x) = 1 f (x) 2 f (x)f (x) f (x) 2 = f (x)f (x) x x f (x) 2 0 Was ist wenn f (x ) = 0? Def: Die Nullstelle, f (x ) = 0, hat Multiplizität m, wenn m die höchste Zahl ist, die erfüllt lim x x f (x) / x x m (0, ). Bei m = 1 ist die Nullstelle einfach. Kann Newton asymptotisch quadratisch konvergieren, wenn x keine einfache Nullstelle für f ist? Im allgemeinen nicht. Beispiel: f (x) = e x x 1, x = 0, m = 2, g(x) = x f (x)/f (x) aber g (0) = 1 2 0! Wenn die Nullstelle f (x ) = 0 Multiplizität m > 1 hat, verwende das modifizierte Newton Verfahren: g m (x) = x mf (x)/f (x) Hausaufgabe: Zeige asymptotisch quadratische Konvergenz für g m.

183 Systeme von Nicht Linearen Gleichungen J h u k }{{} 0<k<N Beispiel: Minimiere [ J h (u) = h N N (ui (u i v i ) 2 u + µh i 1 2 h i=0 i=1 1 (u v) 2 dx + µ u ɛ 2 dx Ω Ω ) ] ɛ 2 Für J h (u) = 0 sei D i (u)=[ (ui u i 1 h ) 2 + ɛ 2 ] 1 2 =D i = h(u k v k ) + µ/h[(u k u k 1 )D }{{ k (u } k+1 u k )D k+1 ] }{{} i=k i=k+1 J h = h(u 0 v 0 ) + µ/h[ (u 1 u 0 )D 1 ] u 0 }{{} i=k+1=1 183 J h u N = h(u N v N ) + µ/h[(u N u N 1 )D N }{{} i=k=n ]

184 Optimalitätssystem Die Optimalitätsbedingung ist 0 = 1 h J h(u) = u v + µ D(u)u =: F (u) h2 wobei D(u) = D 1 D 1 D 1 D 1 + D 2 D D N 1 D N 1 + D N D N D N D N Gesucht wird eine Nullstelle F (u) = 0. Ein Ansatz ist, eine Fixpunktiteration u k+1 = G(u k ) zu verwenden, wobei G(u) = v µ h 2 D(u)u 184

185 Konvergenz der Fixpunktiteration Satz: Für B R n sei G C(B, R n ) mit G(B) B. Dann u B G(u ) = u. Wenn G C 1 (B, R n ) und es gilt ρ(g (u)) γ < 1, u B, ist u ein eindeutiger Fixpunkt in B. Wenn für eine induzierte Matrixnorm gilt G (u) γ < 1, u B, erfüllt die Fixpunktiteration {u k+1 = G(u k )} die Abschätzung, u u k γk 1 γ u 1 u 0 k 1 Beispiel: Es wird für das obige Beispiel gezeigt, die Bedingungen dieses Satzes werden mit B = B (v, 2µ h ) erfüllt, und es gilt G (u) 4µ, u B. ɛh 2 Um G(B) B zu zeigen, [G(u) v] i = µ h 2 [D(u)u] i = µ h D i u i u i 1 h u δ i>0 D i+1 u i i+1 δ i<n 2µ h h 185 Also G(u) v 2µ h, u RN+1.

186 Konvergenz der Fixpunktiteration Um G (u) 4µ zu zeigen, wird G ɛh 2 i (u) berechnet, G i = v i µ [ ] u D i u i 1 u i δ i>0 D i+1 u i i+1 δ i<n h h [ h (ui ) ] u Man sieht beispielsweise mit D i (u)= i 1 +ɛ 2 h [ ( ) ] Di 3 ui u 2 i 1 1 h h D 1 i h [ = µ ( ) ] h 2 D3 i D 2 ui u 2 i i 1 h G i u i 1 = µ h und ähnlicherweise, δ i>0 δ i>0 = µɛ2 h 2 D3 i δ i>0 G i u i = µɛ2 h 2 (D3 i δ i>0 + D 3 i+1 δ i<n), G i u i+1 = µɛ2 h 2 D3 i+1 δ i<n 186 Da ɛd i 1 gilt, folgt G (u) 4µ ɛh 2, u R N+1.

187 Abstiegsverfahren Nach dem Konvergenzsatz!u B G(u ) = u und es gilt u u k solang 4µ/(ɛh 2 ) γ < 1. Abstiegsverfahren Man sucht in die Richtung J h (u) γk 1 γ u 1 u 0 u k+1 = u k α h J h(u k ) = u k αu k + αv αµ D(u h 2 k )u k = (1 α)u k + αg(u k ) =: G A (u k ) 187 Hausaufgabe: Zeige für α (0, 1), es gilt G A (B) B für B = B (v, 2µ h ) und G A(u) 1 α + 4αµ ɛh 2, u B.

188 Implizite Fixpunktiteration Implizite Fixpunktiteration Die Optimalitätsbedingung, 0 = 1 h J h(u) = u v + µ h 2 D(u)u kann auch so umgeschrieben werden: [I + µ h 2 D(u) ] u = v Dann ist die Iteration [ I + µ ] h 2 D(u k) u k+1 = v eine implizite Fixpunktiteration mit der Fixpunktfunktion: [ G I (u) = I + µ ] 1 h 2 D(u) v 188 Hausaufgabe: Zeige es gilt G I (B) B für B = B 2 (0, v 2 ) und G I(u) 2 16µ (ɛ 3 h 4 ) v 2 2, u B.

189 Newton Verfahren für Systeme Was ist mit Newton? Aus F (u k )(u k+1 u k ) = F (u k ), k = 0, 1, 2,... F (u) = u v µ D(u)u = u G(u), h2 F folgt D1 3 D1 3 F (u)=i+ µɛ2 h 2 E(u)=I+µɛ2 h 2 (u) = I G (u) D 3 1 D D3 2 D DN 1 3 DN D3 N D3 N DN 3 DN 3 F (u) = I + µɛ2 h 2 E(u) ist SPD u R N+1 : Die Gerschgorin Scheiben in C sind B(z i, r i ) wobei 189 z 0 = 1 + µɛ2 h 2 D 3 1 r 0 = µɛ2 h 2 D 3 1 z i = 1 + µɛ2 h 2 (D 3 i + D 3 i+1 ) r i = µɛ2 h 2 (D 3 i + D 3 i+1 ) z N = 1 + µɛ2 h 2 D 3 N r N = µɛ2 h 2 D 3 N Da ɛd i 1 gilt, folgt 1 z i ± r i 1 + 4µ/(ɛh 2 ), i.

190 Newton Verfahren für Systeme Satz: Für B R n sei G C 2 (B, R n ) mit G(B) B. Dann u B G(u ) = u. Wenn gilt G (u ) = 0, dann ɛ > 0 u 0 B(u, ɛ) die Fixpunktiteration {u k+1 = G(u k )} quadratisch zu u konvergiert. Für die Newton Iteration sei G N (u) = u F (u) 1 F (u) für F ausreichend glatt, und es gilt G N(u) = I [ u F (u) 1 ] F (u) F (u) 1 F (u) u u 0 }{{} 0,u u 190 Somit werden die Bedingungen des letzten Satzes erfüllt. Für das obige Beispiel ist F (u) SPD u R N+1, und daher erfüllt die Newton Iteration die Bedingungen des obigen Satzes.

191 Vergleich der Iterativen Verfahren Wir vereinfachen das obige Beispiel, um die verschiedenen Ansätze zu vergleichen und zu visualisieren. Nimm N = 1, h = 1, u = (u 0, u 1 ) und v = (v 0, v 1 ), J(u) = 1 2 (u 0 v 0 ) (u 1 v 1 ) 2 + µ (u 1 u 0 ) 2 + ɛ 2 Das Abstiegsverfahren ist u k+1 = G A (u k ) oder u k+1 = (1 α)u k + α (v µ ) h 2 D(u k)u k Die Implizite Fixpunktiteration ist u k+1 = G I (u k ) oder [ I + µ ] h 2 D(u k) u k+1 = v 191 Die Newton Iteration ist u k+1 = G N (u k ) oder ] [I + µɛ2 h 2 E(u k) (u k+1 u k ) = [u k v + µ ] h 2 D(u k)u k Die Implizite Fixpunktiteration funktioniert hier am besten.

192 Richtungsfelder der Lösungsverfahren Für N = 1, h = 1, v 0 = 0.1, v 1 = 0.5, ɛ = 10 2 und µ = 1 die Richtungsfelder u k+1 u k, u k (0, 1) 2, der jeweiligen Methoden sind hier grafisch dargestellt: 192 Der Punkt markiert v. Für ɛ klein und µ groß, soll das Minimum u sich näher bei u 0 = u 1 d.h. dem Punkt befinden. Nur das Richtungsfeld für das Implizite Fixpunkt Verfahren zeigt überall zuverlässig in die Richtung des Minimums.