MODUL M4 Numerische Mathematik. Wintersemester 2005/06

Transkript

1 MODUL M4 Numerische Mathematik für Fachrichtung Informatik und Lehramt Wintersemester 2005/06 Martin Arnold Martin Luther Universität Halle Wittenberg Fachbereich Mathematik und Informatik Institut für Numerische Mathematik 13. Februar 2006 Modul M4 Numerische Mathematik für Fachrichtung Informatik und Lehramt Institut für Numerische Mathematik Prof. Dr. M. Arnold ( martin.arnold@mathematik.uni-halle.de ) Dr. H. Podhaisky ( helmut.podhaisky@mathematik.uni-halle.de ) Dipl.-Tech. math. B. Burgermeister ( bernhard.burgermeister@ ) Georg-Cantor-Haus (Heide Süd), Theodor-Lieser-Str. 5, Räume 221, 222, 224 Internet: Stichwort Lehre unter Übungsbesprechung Mi , Uhr, HS 3.04 Abschlussklausur Freitag, den , Uhr, HS I (Kröllwitz) Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Hinweis Dieses Vorlesungsskript ist ausschließlich für den persönlichen Gebrauch der Hörerinnen und Hörer der Lehrveranstaltung Modul M4: Numerische Mathematik für Fachrichtung Informatik und Lehramt (Wintersemester 2005/06) an der Martin Luther Universität Halle Wittenberg bestimmt. Teile des vorliegenden Materials wurden sinngemäß, z. T. auch wörtlich, der angegebenen Lehrbuchliteratur entnommen ohne dies in jedem Einzelfall durch Quellenangaben zu belegen.

2

3 Inhaltsverzeichnis 1 Einführung Grundlagen Klassische Polynominterpolation Lineare Gleichungssysteme Gaußscher Algorithmus Lineare Ausgleichsrechnung Rechnerarithmetik und Rundungsfehler Gleitpunktarithmetik Vektor- und Matrixnormen Kondition und Stabilität Interpolation (II) Spline Interpolation Trigonometrische Interpolation Schnelle Fouriertransformation Quadratur 55 6 Iterationsverfahren für lineare und nichtlineare Gleichungssysteme Nullstellen reeller Funktionen Das Newtonverfahren

4

5 1 Einführung 1.1 Grundlagen Bemerkung 1.1 (Numerische Mathematik) a) Im engeren Sinn: zahlenmäßige Auswertung mathematischer Zusammenhänge z. B. Lösung von linearen und nichtlinearen Gleichungssystemen Numerische Integration und Differentiation Näherungsweise Auswertung reeller Funktionen Numerische Lösung von Differentialgleichungen Numerische Lösung von Optimierungsproblemen b) Typisches Ziel: Näherungen für die exakte Lösung eines mathematischen Problems, deren Fehler beliebig klein gemacht werden kann und für die verlässliche Fehlerschranken vorliegen. c) praktisch: wesentliche Komponente des Wissenschaftlichen Rechnens (engl.: scientific computing): Computersimulation auf der Grundlage mathematischer Modelle in den Anwendungswissenschaften: Naturwissenschaften, Ingenieurwissenschaften, Medizin, Wirtschaftswissenschaften. Bemerkung 1.2 (Entwicklung der Rechentechnik) Entwicklung der Numerik untrennbar verknüpft mit Entwicklung der Rechentechnik Grundlagen: verstärkt ab 18. Jahrhundert 1

6 Bemerkung 1.2: Entwicklung der Rechentechnik Z3 (1941) ENIAC (1946) Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 1.1: Klassische Rechentechnik. Bemerkung 1.2: Entwicklung der Rechentechnik (II) Hitachi SR8000-F1 Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 1.2: Moderner Hochleistungsrechner am LRZ München. 2

7 1941 Z3 (K. Zuse) 1946 ENIAC (J. v. Neumann) 1958 erster Mikrochip 1967 erster Taschenrechner 1976 Home Computer Apple 1981 erster Personal Computer (PC) heute: leistungsfähige Arbeitsplatzrechner (PC, Workstation) Vektor- und Parallelrechner für High performance computing seit 1971: Anzahl der elementaren Transistorfunktionen je Sekunde verdoppelt sich etwa nach jeweils 18 Monaten Bemerkung 1.3 (Literatur) [1] Th. Huckle and S. Schneider. Numerik für Informatiker. Springer Verlag, Berlin, [2] J. Stoer. Numerische Mathematik 1. Springer Verlag, Berlin Heidelberg New York, 8th edition, [3] J. Stoer and R. Bulirsch. Numerische Mathematik 2. Springer Verlag, Berlin Heidelberg New York, 4th edition, [4] P. Deuflhard and A. Hohmann. Numerische Mathematik I. Eine algorithmisch orientierte Einführung. Walter de Gruyter, Berlin New York, 3rd edition, [5] A. Quarteroni, R. Sacco, and F. Saleri. Numerische Mathematik 1. Springer Verlag, Berlin, [6] A. Quarteroni, R. Sacco, and F. Saleri. Numerische Mathematik 2. Springer Verlag, Berlin, [7] G.H. Golub and Ch.F. van Loan. Matrix Computations. The Johns Hopkins University Press, Baltimore London, 3rd edition, Klassische Polynominterpolation Bemerkung 1.4 (Problemstellung) geg.: n + 1 Stützpunkte (x j, y j ), ( j = 0, 1,..., n ) mit Stützstellen x j und Stützwerten y j, zwischen denen ein (oft auch nur vermuteter) funktionaler Zusammenhang besteht: y j = f(x j ), ( j = 0, 1,..., n ). Praktisch oft: Messdaten y j ges.: Polynom Φ (n) (x) höchstens n-ten Grades, das die n + 1 Interpolationsbedingungen erfüllt. y j = Φ (n) (x j ), ( j = 0, 1,..., n ) 3

8 Bemerkung 1.4: Polynominterpolation Beispiel Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 1.3: Interpolationspolynom Φ (2) (x) zu f(x) = sin πx, ( x [0, 1] ). Beispiel Tabellierte Daten, z. B. n = 1, f(x) = e x, x 0 = 0.45, x 1 = 0.46, y 0 = exp(0.45), y 1 = exp(0.46) Lineare Interpolation Beispiel exp(x) Φ (1) (x) = x 0.45 ( ) Φ (1) (0.454) =

9 Bemerkung 1.4: Polynominterpolation (II) Beispiel Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 1.4: Interpolationspolynom Φ (3) (x) zu f(x) = sin πx, ( x [0, 1] ). Bemerkung 1.4: Polynominterpolation (III) Beispiel Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 1.5: Interpolationspolynom Φ (4) (x) zu f(x) = sin πx, ( x [0, 1] ). 5

10 Bemerkung 1.4: Polynominterpolation (IV) Beispiel Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 1.6: Interpolationspolynom Φ (5) (x) zu f(x) = sin πx, ( x [0, 1] ). Bemerkung 1.4: Polynominterpolation (V) Beispiel Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 1.7: Interpolationspolynom Φ (6) (x) zu f(x) = sin πx, ( x [0, 1] ). 6

11 Bemerkung 1.5 (Eindeutigkeit des Interpolationspolynoms) Sind die Stützstellen x 0, x 1,..., x n paarweise voneinander verschieden, so ist das Interpolationspolynom Φ (n) (x) aus Bemerkung 1.4 eindeutig bestimmt, denn gilt für zwei Polynome Φ (n) 1, Φ (n) 2 Π n Φ (n) 1 (x j ) = Φ (n) 2 (x j ) = y j, ( j = 0, 1,..., n ), so ist Φ (n) 1 Φ (n) 2 Π n ein Polynom mit den n + 1 Nullstellen x 0, x 1,..., x n Φ (n) 1 Φ (n) 2 = 0 (Fundamentalsatz der Algebra), Φ (n) 1 (x) Φ (n) 2 (x). Bemerkung 1.6 (Elementarer Zugang) n Sei Φ (n) (x) = a i x i mit den zunächst unbekannten Koeffizienten a 0, a 1,..., a n. Die i=0 Interpolationsbedingungen y j = Φ (n) (x j ), ( j = 0, 1,..., n ) sind äquivalent zu dem linearen Gleichungssystem 1 x 0 x 2 0 x n 0 1 x 1 x 2 1 x n a 0 a 1. = y 0 y 1. 1 x n x 2 n x n n Lösung mit dem Gaußschen Algorithmus, vgl. Abschnitt 2.1. Ziel: Transformation in ein äquivalentes lineares Gleichungssystem mit Dreiecksgestalt Schritt 1 Addiere Vielfache der 1. Zeile zu Zeilen 2,..., n + 1 so, dass in der 1. Spalte alle Elemente unterhalb der Hauptdiagonale verschwinden: 1 x 0 x 2 0 x n 0 a 0 y 0 0 x 1 x 0 x 2 1 x 2 0 x n 1 x n 0 a = y 1 y 0. 0 x n x 0 x 2 n x 2 0 x n n x n 0 a n y n y 0 Rechenaufwand: n 2 Rechenoperationen zur Transformation von n Zeilen mit je n Spalten Schritt k Addiere Vielfache der k-ten Zeile zu Zeilen k + 1,..., n + 1 so, dass in der k-ten Spalte alle Elemente unterhalb der Hauptdiagonale verschwinden. Rechenaufwand: (n + 1 k) 2 Rechenoperationen zur Transformation von n + 1 k Zeilen mit je n + 1 k Spalten gesamt Rechenoperationen. n Gaußschritte mit insgesamt n (n + 1 k) 2 = k=1 n l 2 = l=1 a n y n n(n + 1)(2n + 1) 6 Ergebnis: Rechenaufwand n3 3 + O(n2 ) Rechenoperationen, wächst kubisch mit n. 7

12 Bemerkung 1.7 (Landau Symbole) Sei x 0 R und g : I R in einer Umgebung von x 0 definiert. Gibt es für ein p R, p 0 eine positive Konstante c R, so dass für alle x in einer hinreichend kleinen Umgebung von x 0 die Abschätzung erfüllt ist, so schreibt man sprich: g(x) ist groß O von (x x 0 ) p. Beispiel sin x = O(x), ( x 0 ) g(x) c x x 0 p g(x) = O( (x x 0 ) p ), ( x x 0 ) Existiert lim x x0 g(x) (x x 0 ) p und ist lim x x0 g(x) = 0, so schreibt man (x x 0 ) p g(x) = o( (x x 0 ) p ), ( x x 0 ) sprich: klein o. Beispiel x 3 = o(x), ( x 0 ) Entsprechend bedeutet v(n) = O(n p ), ( n ) für eine Funktion v : N R, dass für alle n n 0 die Abschätzung v(n) cn p einer gewissen positiven Konstanten c R erfüllt ist, und mit v(n) = o(n p ), ( n ) steht für v(n) lim = 0. n n p n(n + 1)(2n + 1) Beispiel v(n) = 6 Es gilt v(n) < n 2n 3n / 6 = n 3, also v(n) = O(n 3 ). Genauer gilt v(n) = n 3 /3 + w(n) mit w(n) = 1 2 n2 + 1n = 6 O(n2 ), man schreibt kurz: v(n) = n 3 /3. Bemerkung 1.8 (Klassische Polynominterpolation: Lagrange Darstellung) Elementarer Zugang aus Bemerkung 1.6 Interpolationspolynom Φ (n) in monomialer Basis { 1, x, x 2,..., x n }: n Φ (n) (x) = a j x j j=0 8

13 Lagrange Darstellung Φ (n) (x) = mit den Lagrangeschen Basispolynomen L (n) j (x) := n i = 0 i j die die Interpolationsbedingungen n j=0 y j L (n) j (x) x x i = (x x 0) (x x 1 ) (x x i 1 ) (x x i+1 ) (x x n ) x j x i (x j x 0 )(x j x 1 ) (x j x i 1 )(x j x i+1 ) (x j x n ), { 1 falls k = j, L j (x k ) = δ kj = 0 sonst, ( k = 0, 1,..., n ) erfüllen. Beispiel n = 2, x 0 = 1, x 1 = 0, x 2 = 1 L (2) 0 (x) = L (2) 1 (x) = L (2) 2 (x) = (x 0)(x 1) ( 1 0)( 1 1) (x + 1)(x 1) (0 + 1)(0 1) (x + 1)(x 0) (1 + 1)(1 0) Bemerkung 1.9 (Horner Schema) Auswertung des Interpolationspolynoms mit O(n) Rechenoperationen: Horner Schema Φ (n) (x) = n a j x j = a 0 + a 1 x + a 2 x a n x n j=0 = a 0 + x (a 1 + x (a x (a n 1 + xa n ) )) a n a n 1 a n 2 a 0 x x a n x (a n 1 + xa n ) x (... ) x a n a n 1 + xa n a n 2 + x(a n 1 + xa n )... = Φ (n) (x) Beispiel Auswertung von Φ(x) = (x 1) 3 = x 3 3x 2 + 3x 1 an der Stelle x = 5 : = = = = = = 64 = Φ(5) 9

14 Algorithmus p := a n for i = n : 1 : 1 p := a i 1 + x p Matlab Code Speicherschema für Vektoren in Matlab (a 0, a 1,..., a n ) = a(1:(n+1)) p = a(n+1); for i=n:-1:1, p = a(i) + x p; end; Bemerkung 1.10 (Rekursive Auswertung des Interpolationspolynoms) Sei Φ i,...,i+l Π l das Interpolationspolynom zu Stützpunkten Dann gilt also (x k, y k ), ( k = i, i + 1,..., i + l ). Φ i+1,...,i+l (x k ) = y k, ( k = i + 1,..., i + l ), Φ i,...,i+l 1 (x k ) = y k, ( k = i,..., i + l 1 ), Φ i,...,i+l (x) = (x x i)φ i+1,...,i+l (x) (x x i+l )Φ i,...,i+l 1 (x) x i+l x i, ( ) denn der rechts stehende Ausdruck erfüllt Φ i,...,i+l (x k ) = y k für k = i, für k = i + l und für k = i + 1,..., i + l 1. Neville Schema x 0 x 1 x 2. x n y 0 = Φ 0 (x) y 1 = Φ 1 (x) y 2 = Φ 2 (x). y n = Φ n (x) Φ 01 (x) = (x x 0)y 1 (x x 1 )y 0 x 1 x 0 Φ 12 (x) = (x x 1)y 2 (x x 2 )y 1 x 2 x 1. Φ n 1,n (x) =... Φ 012 (x) Φ(x) mit Φ(x) = Φ 01 n (x). 10

15 Beispiel 1.11 (Polynominterpolation: Neville Schema) Idee Approximiere 2 = 2 1/2 durch Φ(1/2) mit dem Interpolationspolynom Φ Π 2 zu ( 1, 1/2), (0, 1) und (1, 2). Lagrange Darstellung Φ( 1 2 ) = 2 j=0 y j L (2) j ( 1 2 ) = 1 2 L(2) 0 ( 1 2 ) + 1 L(2) 1 ( 1 2 ) + 2 L(2) 2 ( 1 2 ) mit den Lagrangeschen Basispolynomen L (2) j (x) aus Bemerkung 1.8. Neville ( 1 2 ( 1)) 1 ( 1 2 0) ( 1) ( 1 2 0) 2 ( 1 2 1) = 3 2 = ( ( 1)) 3 ( 1 1) ( 1) = Bemerkung 1.12 (Klassische Polynominterpolation: Newton Darstellung) Problem Neville Schema erfordert O(n 2 ) Rechenoperationen, ebenso die Auswertung von j y jl (n) j (x), aber n a j x j = a 0 + x (a 1 + x (a x (a n 1 + xa n ) )) j=0 kann mit O(n) Rechenoperationen ausgewertet werden. gesucht Darstellung des Interpolationspolynoms, die man effizient bestimmen kann und die mit Horner artigem Schema ausgewertet werden kann. Ansatz Es gilt Φ i,i+1,...,i+l (x) = Φ i,i+1,...,i+l 1 (x) + (x x i )(x x i+1 ) (x x i+l 1 )f i,i+1,...,i+l mit einem f i,i+1,...,i+l R, denn Φ i,i+1,...,i+l (x k ) = Φ i,i+1,...,i+l 1 (x k ), ( k = i, i + 1,..., i + l 1 ). Durch Vergleich der Koeffizienten von x l in ( ) aus Bemerkung 1.10 folgt f i,i+1,...,i+l = f i+1,...,i+l f i,...,i+l 1 x i+l x i. 11

16 Für f k = f(x k ) bezeichnet man diese dividierten Differenzen mit f[x i,..., x i+l ]. Rekursive Berechnung mittels Steigungsschema l = 0 l = 1 l = 2... l = n x 0 x 1 x 2. x n f[x 0 ] = f 0 f 1 f 2. f n f[x 0, x 1 ] = f 1 f 0 x 1 x 0 f[x 1, x 2 ] = f 2 f 1 x 2 x f[x 0, x 1, x 2 ] f[x 0,..., x n ] mit f[x 0, x 1, x 2 ] = f 2 f 1 x 2 x 1 f 1 f 0 x 1 x 0 x 2 x 0,... Newtonsche Darstellung Φ(x) = f[x 0 ] + (x x 0 ) f[x 0, x 1 ] + (x x 0 )(x x 1 ) f[x 0, x 1, x 2 ] (x x 0 )(x x 1 ) (x x n 1 ) f[x 0, x 1,..., x n ] Newton Horner Schema Φ(x) = f[x 0 ] + (x x 0 ) (f[x 0, x 1 ] + (x x 1 ) (f[x 0, x 1, x 2 ] (x x n 2 )(f[x 0, x 1,..., x n 1 ] + (x x n 1 ) f[x 0, x 1,..., x n ]) )) Beispiel vgl. Beispiel ( 1) = = ( 1) = 1 4 Φ(x) = (x ( 1)) + (x ( 1)) (x 0) 2 4 = (x + 1) ( x 1 4 ) Φ( 1 2 ) = ( ) ( ) = =

17 Algorithmen Steigungsschema Newton Horner Schema for i = n : 1 : 0 a i := f i for j = i + 1 : n a j := a j a j 1 x j x i p := a n for i = n 1 : 1 : 0 p := a i + (x x i ) p Satz 1.13 (Restglied der Polynominterpolation) Sei f C n+1 [a, b] und Φ das Interpolationspolynom zu den Stützstellen a x 0 < x 1 <... < x n b, d. h. Φ(x k ) = f(x k ), ( k = 0, 1,..., n ). Dann gibt es zu jedem x [a, b] ein ξ [a, b] mit f( x) Φ( x) = f (n+1) (ξ) (n + 1)! ( x x 0)( x x 1 ) ( x x n ). Beweis Die Behauptung ist trivial für x = x k, ( k = 0, 1,..., n ). Andernfalls betrachtet man mit g(x) := f(x) Φ(x) K(x x 0 )(x x 1 ) (x x n ) K := f( x) Φ( x) ( x x 0 )( x x 1 ) ( x x n ). Die Funktion g hat in [a, b] (mindestens) n+2 Nullstellen: x 0, x 1,..., x n, x. Nach dem Satz von Rolle hat g mindestens n + 1 Nullstellen usw. und schließlich g (n+1) (x) mindestens eine Nullstelle ξ [a, b]. Wegen 0 = g (n+1) (ξ) = f (n+1) (ξ) dn+1 Φ(x) dx n+1 x=ξ }{{} = 0, da Φ Π n = f (n+1) (ξ) K (n + 1)! K d n+1 ( (x x dx n+1 0 )(x x 1 ) (x x n )) x=ξ folgt schließlich K = f (n+1) (ξ) (n + 1)! und hieraus die Behauptung. 13

18 Beispiel 1.15: Funktion von Runge Beispiel Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 1.8: Interpolation der Funktion von Runge: Φ (2) (x), Stützstellen äquidistant. Beispiel 1.15: Funktion von Runge (II) Beispiel Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 1.9: Interpolation der Funktion von Runge: Φ (6) (x), Stützstellen äquidistant. 14

19 Beispiel 1.15: Funktion von Runge (III) Beispiel Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 1.10: Interpolation der Funktion von Runge: Φ (8) (x), Stützstellen äquidistant. Beispiel 1.15: Funktion von Runge (IV) Beispiel Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 1.11: Interpolation der Funktion von Runge: Φ (6) (x), Tschebyscheff Stützstellen. 15

20 Beispiel 1.15: Funktion von Runge (V) Beispiel Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 1.12: Interpolation der Funktion von Runge: Φ (8) (x), Tschebyscheff Stützstellen. Bemerkung 1.14 (Wahl der Stützstellen) a) Nach Satz 1.13 sollte man die Stützstellen möglichst so wählen, dass Typische Stützstellen: max (x x 0)(x x 1 ) (x x n ) min x [a,b] äquidistant: x j := a + jh, Schrittweite h := b a n Tschebyscheff Nullstellen: [a, b] = [ 1, 1] x j := cos (2j + 1)π 2n + 2, ( j = 0, 1,..., n ) b) Zu jeder Folge von Stützstellen lässt sich ein f C[a, b] angeben, so dass die zugehörige Folge der Interpolationspolynome nicht gleichmäßig konvergiert (Satz von Faber). c) Praktische Erfahrung: Polynome hohen Grades neigen zu Oszillationen und sollten vermieden werden. 16

21 Beispiel 1.15 (Funktion von Runge) Äquidistante Stützstellen sind ungeeignet zur Interpolation der Funktion von Runge f(x) = 1, ( x [ 5, 5] ) 1 + x2 (vgl. Abb. 1.8, 1.9 und 1.10). Abb und 1.12). Bessere Ergebnisse für Tschebyscheff Stützstellen (vgl. Bemerkung 1.16 (Hermite Interpolation) Klassische Polynominterpolation Bestimme zu gegebenen Stützstellen x j und gegebenen Stützwerten y j ein Polynom Φ Π n, das die n + 1 Interpolationsbedingungen erfüllt. Φ(x j ) = y j, ( j = 0, 1,..., n ) (Klassische) Hermite Interpolation Bestimme zu gegebenen Stützstellen x j und gegebenen Stützwerten (y j, y j) ein Polynom Φ Π 2n+1, das die 2(n + 1) Interpolationsbedingungen Φ(x j ) = y j, Φ (x j ) = y j, ( j = 0, 1,..., n ) erfüllt. Newtonsche Darstellung Füge die Stützpunkte (x j, y j ), ( j = 0, 1,..., n ) jeweils zweimal in das Steigungsschema ein und ersetze auftretende Quotienten 0/0 durch die vorgegebenen Funktionswerte y j der Ableitung Φ (x). Beispiel n = 1 x 0 x 0 x 1 x 1 y 0 y 0 y 1 y 1 y 0 y 1 y 0 x 1 x 0 y 1 y 1 y 0 x 1 x 0 y 0 x 1 x 0 =: f[x 0, x 0, x 1 ] y 1 y 1 y 0 x 1 x 0 x 1 x 0 =: f[x 0, x 1, x 1 ] f[x 0, x 0, x 1, x 1 ] mit f[x 0, x 0, x 1, x 1 ] := f[x 0, x 1, x 1 ] f[x 0, x 0, x 1 ] x 1 x 0 Ergebnis Φ(x) = y 0 + (x x 0 ) y 0 + (x x 0 ) 2 f[x 0, x 0, x 1 ] + (x x 0 ) 2 (x x 1 ) f[x 0, x 0, x 1, x 1 ] Effiziente Auswertung mit Newton Horner Schema. 17

22 Höhere Ableitungen Interpolationsbedingungen d k Φ dx k (x j) = y (k) j, ( j = 0, 1,..., n; k = 0, 1,..., c j ) bestimmen das Hermite Interpolationspolynom Φ Π r mit r + 1 = n (1 + c j ). j=0 2 Lineare Gleichungssysteme 2.1 Gaußscher Algorithmus Bemerkung 2.1 (Aufgabenstellung) geg.: A R n n, b R n, n = ges.: Lösung x des linearen Gleichungssystems Ax = b formal x = A 1 b, numerisch ungeeignet (Rechenaufwand zur Auswertung von A 1 ) Lösbarkeit x R n genau dann eindeutig bestimmt, wenn A regulär n = 2, n = 3 Lösung mittels Cramerscher Regel Bemerkung 2.2 (Lineare Netzwerkmodelle) Modellbildung komplexer Systeme (Technik, Umwelt) Basisbausteine, verknüpft durch Ein-/Ausgangsbeziehungen und Erhaltungsgrößen Beispiel elektrische Schaltungen, Chip-Design Basisbaustein: Widerstand Ohmsches Gesetz U i = R i I i, ( i = 1, 2,..., 6 ) 18

23 1. Kirchhoffsche Regel In jedem Knoten: Summe der zufließenden gleich Summe der abfließenden Ströme 2. Kirchhoffsche Regel In jeder Masche: Summe der Spannungsabfälle gleich Summe der Quellspannungen Ergebnis Lineares Gleichungssystem [ 1, 4, 3 ] [ 2, 3, 4 ] R R 4 0 R 6 [ 1, 2, 4 ] 0 R R 5 R 6 [ 1, 2, 3 ] 0 0 R 3 R 4 R 5 0 R 1 R 2 R I 1 I 2 I 3 I 4 I 5 I = U 0 0 U Streicht man die redundanten Gleichungen 4 = und [ 1, 2, 3 ] = [ 1, 4, 3 ] + [ 2, 3, 4 ] + [ 1, 2, 4 ], so ergibt sich Ax = b mit A R 6 6, x = (I 1, I 2,..., I 6 ) R 6, b = (0, 0, 0, U, 0, 0) R 6. Beachte Anteil der Nichtnullelemente in A gering schwach besetzte Matrizen Position der Nichtnullelemente a ij in A ergibt sich aus der sog. Topologie der Schaltung Bemerkung 2.3 (Gestaffelte Gleichungssysteme) Spezialfall Rx = z mit regulärer oberer Dreiecksmatrix R = (r ij ) R n n, d. h., r ii 0, r ij = 0, ( i = 1,..., n; j = 1,..., i 1 ). r 11 x 1 + r 12 x r 1n x n = z 1 r 22 x r 2n x n = z 2 Rx = z.... =. r nn x n = z n 19

24 Beispiel 10x 1 7x x 3 = 7 2.5x x 3 = x 3 = 6.2 x 3 = = 1, x 2 = = 1, x 1 = ( 1) 10 = 0 x = ( 0, 1, 1 )... Rückwärtssubstitution allgemein x n = z n r nn, x i = z i n j=i+1 r ij x j r ii, ( i = n 1, n 2,..., 1 ) Algorithmus for i = n : 1 : 1 s := z i for j = (i + 1) : n s := s r ij x j x i := s/r ii Matlab Code x = zeros(size(z)); x(n) = z(n)/r(n,n); for i=n-1:-1:1, x(i) = ( z(i) - r(i,i+1:n) x(i+1:n) ) / r(i,i); end; analog Lx = z mit regulärer unterer Dreiecksmatrix L = (l ij ) R n n, d. h., l ii 0, l ij = 0, ( i = 1,..., n; j = i + 1,..., n ) Vorwärtssubstitution. Bemerkung 2.4 (Gaußscher Algorithmus) Idee Gleichungssystem Ax = b in äquivalentes gestaffeltes Gleichungssystem umformen durch Multiplikation einer Gleichung mit einer von Null verschiedenen Zahl, Addition des Vielfachen einer Gleichung zu einer anderen Gleichung und / oder Vertauschung von Gleichungen. 20

25 Beispiel 10x 1 7x 2 = 7 3x 1 + 2x 2 + 6x 3 = 4 5x 1 x 2 + 5x 3 = 6 Schritt k Addiere Vielfache der k-ten Gleichung zu den Gleichungen k + 1,..., n, so dass in der k-ten Spalte unterhalb der Hauptdiagonale die Nichtnullelemente eliminiert werden engl.: Gaussian elimination k = 1 10x 1 7x 2 = 7 II = x 2 + 6x 3 = 6.1 III = x 2 + 5x 3 = 2.5 k = 2 10x 1 7x 2 = 7 0.1x 2 + 6x 3 = 6.1 III = +25 II + III : 155x 3 = 155 Rücksubstitution x = ( 0, 1, 1 ). Problem Hauptdiagonalelement a (k) kk = 0 im k-ten Eliminationsschritt Lösung Vertauschung der k-ten Gleichung mit einer der Gleichungen k + 1,..., n so, dass Pivotelement a (k) kk 0 (stets möglich, falls A regulär). Strategie Bestimme im k-ten Eliminationsschritt p { k, k + 1,..., n } so, dass a (k) pk = max { a(k) : l = k, k + 1,..., n } und vertausche k-te und p-te Gleichung (Spalten) Pivotisierung auch vorteilhaft zur Verringerung des Einflusses von Rundungsfehlern lk Beispiel k = 2, tausche Gleichungen II III 10x 1 7x 2 = 7 ĨI = III : 2.5x 2 + 5x 3 = 2.5 ĨII = II : 0.1x 2 + 6x 3 = x 1 7x 2 = 7 2.5x 2 + 5x 3 = 2.5 ĨII = ĨI + ĨII : 6.2x 3 =

26 Algorithmus for k = 1 : n 1 p := k; s := a kk for i = k + 1 : n if a ik > s then p := i ; s := a ik for j = k : n s := a kj ; a kj := a pj ; a pj := s s := b k ; b k := b p ; b p := s for i = k + 1 : n l ik := a ik /a kk ; b i := b i l ik b k for j = k + 1 : n a ij := a ij l ik a kj Bemerkung 2.5 (LU Zerlegung) k-ter Eliminationsschritt A (k) A (k+1) mit k 1 n k+1 A (k) = mit 0... L (k) = 1... A (k+1) = in Matrixschreibweise (ohne Pivotisierung) k l k+1,k l n,k 0 n k+1, A (k+1) = 1 1 l k+1,k l n,k n k n k A (k) = (I L (k) )A (k), A (1) := A, A (n) =: U (obere Dreiecksmatrix), (I L (n 1) ) (I L (1) )A = U. 22

27 Auflösen nach A A = LU mit L := (I L (1) ) 1 (I L (n 1) ) 1. Wegen L (i) L (j) = 0, ( i j ), ist (I L (i) )(I + L (i) ) = I L (i) + L (i) = I (I L (i) ) 1 = (I + L (i) ). Außerdem erhält man (I + L (i) )(I + L (j) ) = I + L (i) + L (j), ( i j ), also insgesamt L = (I + L (1) ) (I + L (n 1) ) = I + L (1) + L (2) L (n 1)... untere Dreiecksmatrix. Ergebnis Gauß Algorithmus berechnet LU Zerlegung von A: A = L U mit der oberen Dreiecksmatrix U aus dem gestaffelten linearen Gleichungssystem und der unteren Dreiecksmatrix L, die die Eliminationskoeffizienten l ik enthält und deren Hauptdiagonalelemente = 1 sind. praktisch Abspeicherung der Nicht Diagonalelemente von L unterhalb der Hauptdiagonalen von A. Pivotisierung Spaltenpivotisierung LU = P A mit Permutationsmatrix P Beispiel wie oben = / /10 1/ P A L U Lösung linearer Gleichungssysteme Schritt 1 Berechne mittels Gauß Algorithmus mit Spaltenpivotisierung die LU Zerlegung P A = LU. Für jede rechte Seite: Schritt 2 Vorwärtssubstitution Ly = P b y Schritt 3 Rückwärtssubstitution Ux = y x Software Matlab Kommando lu LAPACK (FORTRAN, C), über DGETRF, DGETRS Rechenaufwand Gemessen in flops... Floating point operations (1 Gleitpunktaddition, 1 Gleitpunktmultiplikation) Schritt 1 n O(n2 ) Rechenoperationen, vgl. Bemerkung 1.6 Schritt 2+3 jeweils n2 2 +O(n) Rechenoperationen n2 +O(n) Rechenoperationen pro linearem Gleichungssystem 23

28 Bemerkung 2.6 (Symmetrische Koeffizientenmatrizen, Cholesky Zerlegung) Wichtiger Spezialfall: Ax = b mit A = A, insbesondere auch symmetrische, positiv definite Koeffizientenmatrizen A, d. h. A = A x Ax > 0, ( x R n \ {0} ). Gauß Algorithmus ohne Pivotisierung A = L U Sei D := diag u ii D 1 U ist obere Dreiecksmatrix mit Hauptdiagonalelementen = 1. 1 i n A = (L D D 1 U) = (D 1 U) DL Aus der Eindeutigkeit der LU Zerlegung (!) folgt D 1 U = L, also A = LDL. Berechnung mit n3 6 + O(n2 ) Rechenoperationen möglich. Pivotisierung: gleichzeitiger Zeilen- und Spaltentausch, um Symmetrie zu erhalten. A symmetrisch, positiv definit Man zeigt, dass der Gauß Algorithmus ohne Pivotisierung stets durchführbar ist. Wegen 0 < y Ay für y := (L ) 1 x ist 0 < y Ay = ((L ) 1 x) (LDL )((L ) 1 x) = (L (L ) 1 x) D(L (L ) 1 x) = x Dx, also ist auch D positiv definit: D = diag d i mit d i > 0. 1 i n Cholesky Zerlegung von A A = ˆLˆL mit ˆL := L D 1/2, D 1/2 = diag i di a 11 a 12 a 1n a 21 a 22 a 2n... a n1 a n2 a nn = ˆl11 ˆl21. ˆl ˆln1 ˆln2 ˆlnn ˆl11 ˆl21 ˆln1 ˆl22 ˆln2.... ˆlnn Algorithmus for k = 1 : n ( k 1 ) 1/2 ˆlkk := a kk ˆl2 kj j=1 for i = (k + 1) : n ˆl ( k 1 ) ik := a ik ˆlijˆlkj / ˆl kk j=1 Vorwärts- / Rückwärtssubstitution wie im allgemeinen Fall, beachte jedoch, dass nur ˆL, nicht ˆL abgespeichert wird. Rechenaufwand n3 6 + O(n2 ) Rechenoperationen, n Quadratwurzeln 24

29 2.2 Lineare Ausgleichsrechnung Bemerkung 2.7 (Methode der kleinsten Quadrate) geg.: ges.: A R m n, m > n, rank (A) = n, b R m Lösung x Rn von Ax = b Methode der kleinsten Quadrate (Gauß) Da i. Allg. keine klassische Lösung x R n mit Ax b = 0 existiert, sucht man als verallgemeinerte Lösung ein x R n so, dass Ax b 2 min. ( ) Hierbei bezeichnet v 2 := ( m ) 1/2 v v = vi 2 die euklidische Vektornorm des Vektors v = (v i ) m i=1 R m, vgl. Abschnitt 3.2. Eigenschaft: Für Vektoren y = (y i ) R n, z = (z i ) R m n gilt ( ) y 2 2 = z i=1 n yi 2 + i=1 m n i=1 Das Kleinste Quadrate Problem ( ) ist äquivalent zu z 2 i = y z 2 2. Ax b 2 2 = m ( n ) 2 a ij x j b i min. i=1 j=1 Notwendige Bedingung für Minimum 0! = x k Ax b 2 2 = 2 m ( n a ij x j b i )a ik, ( k = 1,..., n ), i=1 j=1 m ( n ) a ik a ij x j = i=1 j=1 m a ik b i, ( k = 1,..., n ), i=1 Gaußsche Normalgleichungen A Ax = A b und rank (A) = n ist A A symmetrisch und positiv de- Wegen A A = (A A) R n n finit: ξ R n \ {0} ξ (A A)ξ = (ξ A )(Aξ) = (Aξ) (Aξ) = Aξ 2 2 > 0, denn Aξ 0 wegen ξ 0 und rank (A) = n. Lösung der Normalgleichungen mittels Cholesky Zerlegung 25

30 Problem Bei Verwendung der Gaußschen Normalgleichungen reagiert die numerische Lösung oft sehr empfindlich auf Rundungsfehler. Alternative Orthogonalisierungsverfahren, vgl. Bemerkung Beispiel 2.8 (Lineare Regression) geg.: ges.: Messdaten (x i, y i ), ( i = 1,..., m ), mit Messfehlern behaftet Gerade y = ax + b, die die Messwerte möglichst gut approximiert: y i a + bx i, ( i = 1,..., m ) Ansatz m (a + bx i y i ) 2 min i=1 Matrixschreibweise A ( ) a = y mit y = (y b 1,..., y m ) R m, A = 1 x 1 1 x x m Rm 2, n = 2 Normalgleichungen A A m m j=1 x j m j=1 m x 2 j j=1 ( ) a = A y b x j ( ) a = b m y j j=1 m x j y a, b R j j=1 Bemerkung 2.9 (Orthogonale Transformationen) Idee Verwende orthogonale Transformationen, um lineare Gleichungssysteme und lineare Ausgleichsprobleme in äquivalente Probleme einfacherer Gestalt umzuformen. 26

31 n = 2 Drehungen, Spiegelungen hier Drehmatrizen ( cos θ sin θ Q = sin θ cos θ ) Literatur zu Spiegelungsmatrizen: Stoer, Deuflhard/Hohmann allgemein Givens Drehungen, Householder Spiegelungen hier Givens Drehungen 1... G kl = 1 c s s c l k R m m l k mit c = cos θ, s = sin θ, c 2 + s 2 = 1. Bestimme θ so, dass ( G kl A ) kl = 0 : a kl sa ll + ca kl! = 0 und c 2 + s 2 = 1. a kl > a ll : τ := a ll a kl, s := a kl a ll : τ := a kl a ll, c := τ 2, τ 2, c := s τ s := c τ Bemerkung 2.10 (QR Zerlegung) geg.: A R m n, m n, rank (A) = n Schrittweise Elimination der Nichtnullelemente a ij, ( j < i ) mittels Givens Drehungen: A G 21 A G 31 G 21 A... G m1 G 31 G 21 A G 32 G m1 G 31 G 21 A... R mit G mn G m 1,n G n+1,n G m,n 1 G 32 G m1 G 31 G 21 A = R = ( ) R 0 n n m n 27

32 QR Zerlegung A = QR mit der orthogonalen Matrix Q := G 21G 31 G m,n 1G n+1,n G m,n. Wegen n = rank (A) = rank (R) = rank ( R) ist R R n n regulär. Lösung regulärer linearer Gleichungssysteme 1. QR Zerlegung mittels Givens Drehungen, 2 3 n3 + O(n 2 ) Rechenoperationen 2. Ax = b QRx = b Rx = z, Qz = b 2a) z = Q b = G n,n 1 (G n,n 2 (G n 1,n 2 ( G 31 (G 21 b) ))) Berechnung durch sukzessive Auswertung von Matrix Vektor Produkten G kl w, keine explizite Berechnung von Q 2b) Löse Rx = z mittels Rücksubstitution. Besonders geeignet für Gleichungssysteme Ax = b, deren Lösung sehr empfindlich gegenüber Rundungsfehlern ist, und zur numerischen Rangbestimmung von A. Lösung von Kleinste Quadrate Problemen Wegen w 2 2 = w w ist w 2 invariant gegenüber orthogonalen Transformationen: Qw 2 2 = (Qw) (Qw) = w (Q Q)w = w w = w 2 2 Ax b 2 2 = QRx b 2 2 = Q(Rx Q b) 2 2 = Rx Q b 2 2 = Rx z z ( ) z1 mit Q n b = R m. z 2 m n Lösung: Berechne Q b und löse Rx = z 1 mittels Rücksubstitution. Beispiel 2.11 (Neuronale Netze) Idee Entscheidungen fällen auf Grundlage einer Vielzahl von Einzelinformationen in Anlehnung an Entscheidungsprozesse im menschlichen Hirn. Beispiel Mensch Beim Verlassen des Hauses Regenschirm mitnehmen? Aktuelles Wetter, Wettervorhersage, Wind, Wolken, voraussichtliche Dauer des Aufenthalts im Freien, eigener Gesundheitszustand (Erkältung),... Grundlage der Entscheidung: Erfahrung Konsequenz einer Fehlentscheidung: Lerneffekt Beispiel Technik Wäsche in Waschmaschine stark verschmutzt Messung der Wassertemperatur und Wassertrübung an verschiedenen Punkten 28

33 Neuronales Netz (Ein Schicht Modell, linear) Verhalten des Netzes bestimmt durch Gewichte w 1,..., w n Training des Netzes Wähle w 1,..., w n so, dass eine große Zahl von Tests mit vorgegebenen Eingangsdaten (x (j) 1,..., x (j) n ) und bekannten Resultaten y (j) möglichst gut wiedergegeben wird: n x (j) i w i y (j), ( j = 1,..., m ) i=1 überbestimmtes lineares Gleichungssystem, Bestimmung von (w 1,..., w n ) als Kleinste Quadrate Lösung praktisch Lösung der Normalgleichungen oder Lösung mittels QR Zerlegung. 3 Rechnerarithmetik und Rundungsfehler 3.1 Gleitpunktarithmetik Bemerkung 3.1 (Gleitpunktzahlen) a) Ganzzahlige Datentypen (INTEGER) mit exakter Arithmetik z. B. für Indizes in Laufanweisungen. MaxInt 1,..., 1, 0, 1,..., MaxInt, b) Normalisierte Gleitpunktdarstellung (engl.: floating point numbers) zur Darstellung reeller Zahlen F := { y : y = ± m β e t } R mit β... Basis (meist 2, 8 oder 16), t... Mantissenlänge, e... Exponent, e min e e max m... Mantisse (ganzzahlig), m = 0 oder β t 1 m < β t ( Schreibweise y = ± β e [0.d 1 d 2 d t ] β := ± β e d1 β + d 2 β d ) t 2 β t mit Mantisse m = d 1 d 2 d t oder m = 0. 29

34 3. Rechnerarithmetik und Rundungsfehler Beispiel Zahlendarstellung in Matlab >> format long e % Datenausgabe mit vielen Dezimalstellen >> 1 % Exakte Darstellung ganzer Zahlen ans = 1 >> 1 1 % Exakte Arithmetik für ganze Zahlen ans = 0 >> e-15 % Beim Rechnen mit reellen Zahlen können ans = e-015 % Rundungsfehler auftreten, müssen aber nicht. >> e-15 1 ans = e-015 % Reihenfolge der Rechenschritte ist wesentlich >> e-8-1 ans = e-009 % Groessenordnung der Rundungsfehler: ca. 1.0e-16 >> sqrt(2)^2 2 ans = e-016 >> factorial(170) ans = e+306 >> factorial(171) ans = Inf % Groessenordnung der Rundungsfehler: ca. 1.0e-16 % Darstellbarer Zahlenbereich nach oben beschraenkt % Zahl 171! uebersteigt darstellbaren Zahlenbereich Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 3.1: Rechnen in Gleitpunktarithmetik: Beispiel Matlab. Beispiel β = 2, t = 3, e min = 1, e max = 3 e= 1 e=0 [0.100] 2 [0.101] 2 [0.110] 2 [0.111] 2 [0.100] 2 F [0, ) = { 0, 0.25, , , , 0.5, 0.625, 0.750, 0.875, 1.0, 1.25, 1.50, 1.75, 2.0, 2.5, 3.0, 3.5, 4.0, 5.0, 6.0, 7.0 } e=3 [0.111] 2 Beachte: Gleitpunktzahlen sind auf der reellen Achse nicht gleichverteilt IEEE Standard 754 [1985] Binäre Gleitpunktarithmetik, Quasi Standard einfache Genauigkeit (single precision) 4 Byte, β = 2, t = 23, e min = 126, e max = 127 Zahlenbereich: [1.2 E 38, 3.4 E + 38] doppelte Genauigkeit (double precision) 8 Byte, β = 2, t = 52, e min = 1022, e max = 1023 Zahlenbereich: [2.2 E 308, 1.8 E + 308] 30

35 Abstand zweier positiver Gleitpunktzahlen x, x : Maschinenepsilon eps = β 1 t... kleinste Maschinenzahl, die zu 1 = [0.10 0] β β 1 addiert einen von 1 verschiedenen Wert ergibt Sind x, x unmittelbar benachbart, so gilt 1 eps x x x eps x. β Bemerkung 3.2 (Rundung, Rundungsfehler) a) Sei G die Menge aller y wie in Bemerkung 3.1, jedoch für beliebiges e Z, und fl : R G eine Abbildung mit x fl(x) = min x x, ( x R ). x G Der Übergang x fl(x) heißt runden. fl ist nicht eindeutig, praktisch meist: Gerade Zahl Regel, d. h., für x 1, x 2 G mit x 1 x 2 und wählt man fl so, dass d t geradzahlig. b) praktisch fl(x)! F x x 1 = x x 2 = min x x x G Exponentenüberlauf (engl.: overflow): fl(x) > max { y : y F } Exponentenunterlauf (engl.: underflow): 0 < fl(x) < min { y : y F, y 0 } c) Zu jedem x R mit fl(x) F ist fl(x) = x(1 + δ) mit einem δ mit δ < ε und fl(x) = x/(1 + δ) mit einem δ mit δ ε, wobei ε := 1 2 β1 t die Maschinengenauigkeit (engl.: unit round-off ) bezeichnet: ε 5.96 E 8 (single), ε 1.11 E 16 (double). Begründung Für x > 0 ist x = µ β e t mit einem µ [β t 1, β t 1] und e [e min, e max ]. Unmittelbar benachbarte Gleitpunktzahlen: µ β e t, µ β e t mit µ µ µ. Es gilt x fl(x) = min { µ µ, µ µ } β e t 1 2 µ µ βe t 1 2 βe t = x 1 2µ x ε Bemerkung 3.3 (Absoluter und relativer Fehler) a) Der absolute Fehler einer Größe mit Soll Wert ξ und Ist Wert ξ ist δξ := ξ ξ, 31

36 für ξ 0 ist der zugehörige relative Fehler f rel ( ξ) := ξ ξ ξ b) Der in Bemerkung 3.2c) betrachtete Rundungsfehler erfüllt f rel (x) = fl(x) x x ε.. Bemerkung 3.4 (Gleitpunktarithmetik) Grundrechenarten op { +,,, / }, op : R R R Problem F nicht abgeschlossen bez. op Anforderung ( Standardmodell ) x õp y = (x op y)(1 + δ) x õp y = x op y 1 + δ mit δ = δ(x, y; op), δ = δ(x, y; op), δ ε, δ ε., ( x F ), praktisch x õp y unendlich genau (praktisch: mit größerer Mantissenlänge ) auswerten, anschließend runden auf nächstgelegene Gleitpunktzahl (Gerade Zahl Regel). Alternativen Runden auf nächst kleinere bzw. nächst größere Maschinenzahl Intervallarithmetik Abschneiden überzähliger Ziffern ( chopping ) Beispiel β = 2, t = 3, x = 7 4 = [0.111] 2 2 1, y = 3 8 = [0.110] x + y = [0.111] [0.110] = [11.100] [0.110] = [ ] = [ ] x + y = [0.100] = 2.00 absoluter Fehler: = 1 8 relativer Fehler: 1 8 : % Maschinengenauigkeit: ε = 2 3 = 1 8 = 12.5% Bemerkung 3.5 (Rundungsfehleranalyse: Beispiel Addition) geg.: ges.: a, b, c F s = a + b + c in Gleitpunktarithmetik 32

37 s := (a + b) + c s = ((a + b) + c)(1 + ε 2 ) = ((a + b)(1 + ε 1 ) + c)(1 + ε 2 ) = s + (a + b)ε 1 + (a + b + c)ε 2 + (a + b)ε 1 ε 2 = s + (a + b)ε 1 + s ε 2 mit ε 1, ε 2 ε. Terme höherer Ordnung werden vernachlässigt ( = ). f rel (s) = ε 2 + a + b a + b + c ε a + b 1 ( 1 + ) ε a + b + c Beachte Fehler in Zwischenergebnissen (ε 1 ) können verstärkt werden, ebenso auch Fehler in Ausgangsdaten. kritisch a + b + c a + b s := a + (b + c) s = s + (b + c)ε 3 + s ε 4 mit ε 3, ε 4 ε, f rel (s) = ε 4 + b + c a + b + c ε b + c 3 ( 1 + ) ε a + b + c Beachte Gleitpunktoperationen sind in der Regel weder assoziativ noch kommutativ. Beispiel 3.6 (Addition in Gleitpunktarithmetik) geg.: β = 2, t = 3 a = [0.111] = 7 8, b = [0.110] = 6 8, c = [0.110] = 3 16 F s = ( [0.111] [0.110] ) + [0.110] = [0.001] [0.110] = [0.100] [0.110] = [1.01] = [0.101] = 5 16 = s, exaktes Ergebnis s = [0.111] ( [0.110] [0.110] ) = [0.111] [0.100] = [0.011] = [0.110] = 3 8 Ergebnis: s s = 1, relativer Fehler 20% 16 1 Relativer Fehler in b + c : 8 = 12.5% b + c Verstärkung im Endergebnis s wegen = 9 a + b + c 5 =

38 Bemerkung 3.7 (Auslöschung) Problem Subtraktion annähernd gleich großer Zahlen in Gleitpunktarithmetik geg.: a, b R, ges.: a b ã := fl(a) = a (1 + ε a ), b := fl(b) = b (1 + εb ) fl(a b) = ã b = (ã b) (1 + ε ) mit ε ε = f rel (a b) = a b + ε (a b) + ε a a ε b b a a b ε a b ( a b ε b + ε 1 + mit ε a, ε b ε a + b ) ε a b Relative Fehler ε a, ε b in den Ausgangsdaten können drastisch verstärkt werden, falls a b a, b, insbesondere für a b. Beispiel β = 2, a = 3 5, b = 4 7 t = 5 ã = [ ] 2 2 0, b = [ ]2 2 0 ε a 0.010, ε b 0.016, ε ã b = [ ] = 1 32 absoluter Fehler: , relativer Fehler: 8.6% 35 t = 3 ã = b = [0.101] ε a 0.042, ε b 0.094, ε = ã b = 0, relativer Fehler: 100% Führende Ziffern [ ] 2 in a und b sind gleich und werden bei Subtraktion ausgelöscht Auslöschung. Faustregel Vermeide falls möglich die Subtraktion annähernd gleich großer Zahlen in numerischen Algorithmen. Strategien und Tricks a) Unvermeidbare Subtraktionen annähernd gleich großer Zahlen möglichst an den Anfang des Algorithmus stellen. b) Konjugierte Wurzelausdrücke 1 + x 1 x = ( 1 + x 1 x)( 1 + x + 1 x) 1 + x + 1 x = 2x 1 + x + 1 x, x 1 34

39 Bemerkung 3.7c): (Vermeidbare) Auslöschung Beispiel: see numstab.m % -> evaluate data x = logspace ( -12, -4, 801 ); f = (1-cos(x))./x - x/2; res = x/2.* ( -x.^2/ x.^4/360 - x.^6/(360*7*8) ); % -> plot semilogx ( x, res, 'g', x, f, 'r' ); xlabel ( 'x' ); ylabel ( 'Ergebnis' ); title ( '( 1 - cos x ) / x - x / 2' ); legend ( 'Reihenentwicklung', 'numerisch' ); Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 3.2: Analytische Umformungen zur Vermeidung von Auslöschung. x 2 + px + q = 0 x 1,2 = p p 2 ± 2 4 q Auslöschung für q 1, deshalb für p 0 x 1 := p p 2 sgn(p) 2 q mit sgn(p) := 4 x 2 := q x 1 (Vietascher Wurzelsatz) 1 für p > 0, 0 für p = 0, 1 für p < 0, c) Analytische Umformungen, z. B. Reihenentwicklungen (vgl. Abb. 3.2) 1 cos x x = 1 x ) (1 (1 x2 2 + x ) = x x2 ( ±... ) Fehler der Approximation 1 cos x x x betragsmäßig beschränkt durch x 2 2 x2 12 (Reihenrest alternierender Reihen, Satz von Leibniz) 35

40 Beispiel 3.9: Vektornormen Kugeln Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 3.3: Einheitskugeln im R Vektor- und Matrixnormen Definition 3.8 (Vektornorm) Eine Abbildung. : R n R heißt Vektornorm auf R n, falls 1. x 0, ( x R n ) und ( x = 0 x = 0 ) (Positivität), 2. αx = α x, ( α R, x R n ) (Homogenität), 3. x + y x + y, ( x, y R n ) (Dreiecksungleichung). Beispiel 3.9 (Vektornorm) a) x 2 := n x 2 i... Euklidische Vektornorm x 1 := i=1 n x i... 1 Norm i=1 x := max i=1,...,n x i... Maximumnorm, Norm b) Kugeln im R n : { x : x 1 }, vgl. Abb

41 Bemerkung 3.10 (Eigenschaften von Vektornormen) a) Jedes Skalarprodukt.,. in R n erzeugt eine Vektornorm in R n : x := x, x mit x, y x y, ( x, y R n )... Cauchy Schwarzsche Ungleichung. b) Auf R n sind sämtliche Vektornormen äquivalent, d. h., zu beliebig vorgegebenen Vektornormen. p,. q gibt es Konstanten c, c > 0 mit c x q x p c x q, ( x R n ). Definition 3.11 (Matrixnorm) a) Eine Abbildung. : R m n R heißt Matrixnorm, falls 1. A 0, ( A R m n ) und ( A = 0 A = 0 ) (Positivität), 2. αa = α A, ( α R, A R m n ) (Homogenität), 3. A + B A + B, ( A, B R m n ) (Dreiecksungleichung). b) Eine Matrixnorm. heißt submultiplikativ, falls AB A B, ( A R m n, B R n p ). c) Eine submultiplikative Matrixnorm. heißt verträglich (auch: konsistent) mit einer vorgegebenen Vektornorm., falls Ax A x, ( A R m n, x R n ). Beispiel 3.12 (Frobeniusnorm) m A F := n i=1 j=1 a 2 ij... Frobeniusnorm Submultiplikative Matrixnorm, verträglich mit. 2 : Ax 2 2 = I n = n m ( n ) 2 m ( n ) 2 ( n ) 2 a ij x j a ij x j = A 2 F x 2 2 i=1 j=1 i=1 j=1 j=1 Satz 3.13 (Zugeordnete Matrixnorm) Zu einer vorgegebenen Vektornorm. wird durch Ax A A := sup x 0 x = sup Ax x =1 eine submultiplikative, mit. verträgliche Matrixnorm definiert, die der Vektornorm. zugeordnete Matrixnorm. Es gilt I n = 1. 37

42 Beweis vgl. Huckle/Schneider, Anhang B.2, z. B. I n x I n = sup x 0 x = 1. Beispiel 3.14 (Zugeordnete Matrixnorm) a) Zeilensummennorm ist x zugeordnet, denn Ax = max i=1,...,m n j=1 A := max i=1,...,m a ij x j max i=1,...,m zu einem i 0 { 1,..., m } mit n j=1 n a ij j=1 n a ij x j A x, j=1 a i0,j = max i=1,...,m dass x = 1 und x j = 1, falls a i0,j > 0, x j = 1, falls a i0,j < 0 n a ij wählt man x R n so, j=1 Ax n a i0,jx j = j=1 n a i0,j = A. j=1 b) Spaltensummennorm c) Spektralnorm A 1 := max j=1,...,n m a ij ist x 1 zugeordnet. i=1 A 2 := max λi (A A) i=1,...,n Für orthogonale Matrizen U R n n, also U U = I n, ist λ i (U U) = 1 und U 2 = Kondition und Stabilität Bemerkung 3.15 (Eingabefehler und Fehler im Ergebnis) analytisch Eingabe x Algorithmus / Berechnungsvorschrift Resultat f(x) numerisch Fehler im Resultat entstehen durch Eingabefehler Fehler im Algorithmus Numerische Eingabe x F repräsentiert 38

43 Eingabemenge E = { x R : fl( x) = x } Resultatmenge R = f(e) := { f( x) : x E } Kondition Maß für das Verhältnis von R zu E Ziel Fehler in der Berechnungsvorschrift sollen Menge R nicht deutlich vergrößern Fehler im Ergebnis y = f(x) : δ y := f(x + δ x ) f(x) = f (x) δ x Relativer Fehler: δ y y = f (x) δ x y x f (x) y δ x x Definition 3.16 (Konditionszahl) Zu einem Problem x f(x) heißt cond x := x f (x) f(x) Konditionszahl. Das Problem ist gut konditioniert, wenn cond x klein ist, und schlecht konditioniert für große Konditionszahlen cond x. Beispiel 3.17 (Kondition) Exponentialfunktion x e x, cond x = x ex e x = x, gut konditioniert für x < 1. Logarithmus x ln x, cond x = x 1 x 1 =, sehr schlecht konditioniert für x 1. ln x ln x Gute / schlechte Kondition 39

44 Polynomnullstellen häufig schlecht konditioniertes Problem Beispiel: π(t) = t 4 8t t 2 32t = (t 2) t 1,2 = 2 ± 0.01, t 3,4 = 2 ± 0.01i Relativer Fehler bei Darstellung von durch 16.0 : ε x = , z. B. bei Maschinengenauigkeit ε = t 1,2,3,4 = 2.0 cond t1,2 = 0.01/ Bemerkung 3.18 (Berechnungsvorschrift) Zum mathematischen Problem x f(x) sei die Abbildung x f(x) gegeben zur Berechnung von f(x) in Gleitpunktarithmetik (u. a. auch Reihenfolge der Rechenoperationen festgelegt) Berechnungsvorschrift Beispiel f(x) = 1 1 x 2, für x 1 gut konditioniert, cond x 2. ( ) Berechnungsvorschrift 1: f(x) := 1 1 (x2 ) Berechnungsvorschrift 2: f(x) := (x 2 ) (1 + ( 1 (x 2 ) )) Definition 3.19 (Numerische Stabilität) Zu einem gut konditionierten Problem x f(x) heißt eine Berechnungsvorschrift x f(x) numerisch stabil, wenn die relativen Eingabefehler durch die Berechnungsvorschrift nicht vergrößert werden, und numerisch instabil sonst. 40

45 Bemerkung 3.20 (Lineare Gleichungssysteme: Kondition und Stabilität) a) Betrachte zu gegebener regulärer Matrix A R n n und gegebenem b R n die Lösung des linearen Gleichungssystems Ax = b als Abbildung b x := A 1 b mit gestörten Eingangsdaten b und exakten Matrizen A, A 1 Ergebnis A(x + δ x ) = b + δ b, δ x x A A 1 δ b b Ax = b δ x = A 1 δ b A 1 δ b b = Ax A x Empfindlichkeit der Lösung gegenüber Störungen in den Eingangsdaten wird beschrieben durch die Konditionszahl cond(a) := A A 1. Ergebnis lässt sich übertragen auf Empfindlichkeit gegenüber Störungen in A. Wegen 1 I n = A A 1 A A 1 gilt stets cond(a) 1. Beispiel 1 Gut konditioniert: cond(a) < 10 3 Schlecht konditioniert: cond(a) 10 6 ( 1 0 A = 0 ε cond 2 (A) = 1 1 ε = 1 ε ) ( 1 0, A 1 = 0 1/ε Beispiel 2 Hilbert Matrizen H (n) = (h (n) ij ) i,j R n n Zu b (n) R n, b (n) = (b (n) i ) i mit b (n) i := ) mit 0 < ε 1 für ε 0, Fehlerverstärkung um Faktor 1/ε möglich mit h (n) ij := 1/(i + j 1), ( i, j = 1,..., n ). n 1 i + j 1 ist die Lösung x(n) des linearen Gleichungssystems H (n) x (n) = b (n) gegeben durch x (n) = ( 1, 1,..., 1 ). Fehler der mit Matlab ( ε = 1.1 E 16 ) berechneten Lösung x (n) : j=1 n x (n) x (n) 2 cond 2 (H (n) ) 2 9.0e e e e e e e e e e e e+16 b) Für orthogonale Matrizen Q R n n ist Q 1 = Q und Q 2 = Q 2 = 1 cond 2 (Q) = 1. Operationen mit orthogonalen Matrizen lassen die Kondition einer 41

46 Matrix unverändert: A = QR cond 2 (R) = cond 2 (A). c) Realisierung des Gauß Algorithmus in Gleitpunktarithmetik: Fehlerschranke hängt linear ab von max i,k l ik. Spaltenpivotisierung: l ik 1 kleine Fehlerschranke Numerische Stabilität: numerische Lösung x erfüllt (A + δ A ) x = b mit δ A A 8n 3 max i,j,k a (k) ij ε. max i,j a ij 4 Interpolation (II) Bemerkung 4.1 (Stückweise Hermite Interpolation) geg.: r + 1 Stützstellen x 0, x 1,..., x r Stützwerte (y k, y k ), ( k = 0, 1,..., r ) y 1 3 y 2 2 y y x x 1 x 2 x Definiert man die interpolierende Funktion Φ stückweise durch Hermite Interpolationspolynome Φ [xi 1,x i, ( i = 1,..., r ) mit Interpolationsbedingungen ] Φ(x i 1 ) = y i 1, Φ (x i 1 ) = y i 1, Φ(x i ) = y i, Φ (x i ) = y i, ( i = 1,..., r ), so ist Φ C 1 [a, b], aber deg Φ [xi 1,x i ] Spline Interpolation Bemerkung 4.2 (Kubische Spline Interpolation) Kubische Splines erreichen ähnlich wie zusammengesetzte Hermite Interpolierende eine hohe globale Glattheit, jedoch mit deutlich niedrigerem Polynomgrad: s C 2 [a, b], s [xi,x i+1 ] Π 3. 42

47 Splines der Ordnung k: s C k 2 [a, b], s [xi,x i+1 ] Π k 1. Splinegitter a = x 0 < x 1 <... < x n = b. Zum kubischen Spline s ist s = a [xi,x i+1 ] i + b i (x x i ) + c i 2 (x x i) 2 + d i 6 (x x i) 3, ( i = 0, 1,..., n 1 ) insgesamt 4n Parameter (a i, b i, c i, d i ), ( i = 0, 1,..., n 1 ). n + 1 Interpolationsbedingungen s(x i ) = y i a i = y i, ( i = 0, 1,..., n 1 ), s(x n ) = y n a n 1 +b n 1 (x n x n 1 )+ c n 1 2 (x n x n 1 ) 2 + d n 1 6 (x n x n 1 ) 3 = y n =: a n. 3(n 1) Stetigkeitsbedingungen s(x i+1 0) = s(x i+1 + 0) : s (x i+1 0) = s (x i+1 + 0) : a i + b i h i + c i 2 h2 i + d i 6 h3 i = a i+1, ( i = 0, 1,..., n 2 ) b i + c i h i + d i 2 h2 i = b i+1, ( i = 0, 1,..., n 2 ) s (x i+1 0) = s (x i+1 + 0) : c i + d i h i = c i+1, ( i = 0, 1,..., n 2 ) mit Schrittweiten h i := x i+1 x i, ( i = 0, 1,..., n 1 ). insgesamt 4n 2 lineare Bedingungen an 4n Parameter Zusatzbedingungen (i) s (x 0 ) = s (x n ) = 0... natürlicher kubischer Spline oder (ii) s (x 0 ) = y 0, s (x n ) = y n... vollständiger kubischer Spline oder (iii) s (x 0 ) = s (x n ), s (x 0 ) = s (x n )... periodischer kubischer Spline, für periodische Daten ( y 0 = y n ) s(x 0 ) = s(x n ). In jedem der drei Fälle ist die Splinefunktion eindeutig bestimmt. Berechnung der Koeffizienten d i = c i+1 c i h i, b i = a i+1 a i c i h i 2 h i d i 6 h2 i = y i+1 y i 2c i + c i+1 h i 6 Stetigkeitsbedingung für s (x) ( i = 0, 1,..., n 2 ) y i+1 y i 2c i + c i+1 h i + c i h i + c i+1 c i h i = y i+2 y i+1 2c i+1 + c i+2 h i 6 2 h i+1 6 h i h i+1 h i 6 c i + h i + h i+1 c i+1 + h i c i+2 = y i+2 y i+1 y i+1 y i h i+1 h i 43

48 Zusammen mit c 0 = c n = 0 ergibt sich für den natürlichen kubischen Spline ein tridiagonales lineares Gleichungssystem der Dimension n 1 zur Bestimmung von c 1,..., c n 1 Gaußscher Algorithmus erfordert O(n) Rechenoperationen. Analoges Vorgehen für vollständigen und periodischen Spline. Algorithmus 1 1. a i := y i, ( i = 0, 1,..., n 1 ) Bestimmung der Splinekoeffizienten. 2. Berechne c 0, c 1,..., c n als Lösung eines tridiagonalen Gleichungssystems. 3. Bestimme b i, d i, ( i = 0, 1,..., n 1 ). Algorithmus 2 Auswertung der Splinefunktion. 1. Bestimme Teilintervall (binäre Suche) i := 0, i := n repeat [ ] i + i i := 2 if x x i then i := i else i := i until i i 1 i := i Einfachster Spezialfall: äquidistantes Gitter x i = a + ih mit h = b a [ ] n x a i := h 2. Splineauswertung s(x) = a i + (x x i ) ( b i + (x x i ) ( 1 2 c i d i(x x i ) )) Bemerkung 4.3 (B Splines) Idee Darstellung der Splinefunktion als Linearkombination einfacher Basisfunktionen des Vektorraums der Splinefunktionen B Splines. Beispiel k = 2 : stetige, stückweise lineare Funktion B j (x) = x x j x j+1 x j, ( x [x j, x j+1 ] ), x x j+2 x j+1 x j+2, ( x [x j+1, x j+2 ] ), 0 sonst. 44

49 1 s B 1 B 2 x 0 x 1 x 2 x 3 x 4 x Interpolierender linearer Spline s(x) = n y j B j 1 (x). j=0 allgemein B [xi j Π,x i+1 ] k 1, ( i = 0, 1,..., n 1 ) B j C k 2 [a, b] j B j(x) = 1, ( x [a, b] ) supp B j = [x j, x j+k ], d. h. B j (x) = 0, ( x x j oder x x j+k ) Beispiel Kubischer B Spline 1 s k = 4 x 0 x 1 x 2 x 3 x 4 x Bestimmung der Koeffizienten α j des interpolierenden Splines j α jb j (x) als Lösung eines linearen Gleichungssystems der Bandbreite k 1. Satz 4.4 (Approximationseigenschaften kubischer Splines) Gegeben sei eine Funktion f C 4 [a, b] mit = { a = x 0 < x 1 <... < x n = b } max f (4) (x) M sowie ein Gitter a x b mit Schrittweiten h i := x i+1 x i, ( i = 0, 1,..., n 1 ) und einer Konstanten K max h i / min h i. 0 i n 1 0 i n 1 45

50 Dann gibt es zum vollständigen interpolierenden kubischen Spline s Konstanten C 0, C 1, C 2 und C 3, die von und K unabhängig sind und für die gilt f (k) (x) s (k) (x) C kmk ( max 0 i n 1 h i in jedem Punkt x, in dem s (k) (x) definiert ist. ) 4 k, ( x [a, b], k = 0, 1, 2, 3 ) Beweisidee (i) f(x i ) = s (x i ) für Stützstellen x i (ii) Abschätzung von f (x i ) s (x i) durch Einsetzen von f in das Gleichungssystem aus Bemerkung 4.2 (iii) Hieraus Abschätzungen für x x i. Bemerkung 4.5 (Bernstein Polynome und Bezier Kurven) a) Bernstein Polynome B (n) i (x) = ( ) n (1 x) n i x i, ( i = 0, 1,..., n ) i B i (n) 1 B 0 (n) B 1 (n) B n (n) 1 x Eigenschaften a) i-fache Nullstelle x = 0, (n i)-fache Nullstelle x = 1 b) B (n) i 0 [0,1] n n ( ) c) B (n) n i (x) = (1 x) n i x i = ( (1 x) + x ) n = 1 i i=0 d) B (n) i i=0 (x) = x B (n 1) i 1 (x) B (n 1) i (x) 46

51 b) Bezier Kurve geg.: Kontrollpunkte b 0, b 1,..., b n R k n Bezierkurve im R k : b i B (n) i (x), ( x [0, 1] ). i=0 Anfangspunkt b 0, Endpunkt b n Tangente in b 0 verläuft durch b 1, denn d d dx B(n) 0 (0) = n, dx B(n) 1 (0) = n, d dx B(n) i (0) = 0, ( i > 1 ) n = 2 : Tangenten in b 0 und b 2 schneiden sich in b 1 Kurve verläuft in der konvexen Hülle des von den b i gebildeten Polygons keine unerwünschten Oszillationen b 0 b 2 b Trigonometrische Interpolation Schnelle Fouriertransformation Bemerkung 4.6 (Problemstellung) Interpolation periodischer Daten durch trigonometrische Polynome. N = 2n + 1 ungerade TR N := { φ 2n+1 (t) := a n (a j cos jt + b j sin jt) mit a j, b j R, ( j = 0,..., n ) } j=1 N = 2n gerade TR N := { φ 2n (t) := a n (a j cos jt+b j sin jt)+ a n 2 cos nt mit a j, b j R, ( j = 0,..., n ) } j=1 47

52 Komplexe Darstellung T N C := { φ N (t) := N 1 j=0 c j e ijt : c j C, ( j = 0,..., N 1 ) } Ansatzfunktionen { 1, cos jt, sin jt } bzw. { e ijt : 0 j N 1 } sind linear unabhängig Interpolationsaufgabe zu N Stützpunkten (t k, f k ), ( k = 0, 1,..., N 1 ) eindeutig lösbar. Typische Aufgabenstellung Digitale Signalverarbeitung, Datenerfassung im festen Takt äquidistante Knoten, normiert auf t k = k 2π/N. Bemerkung 4.7 (Trigonometrische Interpolation auf äquidistantem Gitter) Zu t k = k 2π/N, ( k = 0, 1,..., N 1 ) sind ω k := e it k = e ik 2π/N die N-ten Einheitswurzeln. Interpolationsbedingungen φ N (t k ) = f k, ( k = 0, 1,..., N 1 ) bestimmen φ N mit 1 ω 0 ω0 2 ω N 1 0 c 1 ω 1 ω1 2 ω1 N 1 0 f 0 c = f ω N 1 ωn 1 2 ω N 1 c N 1 f N 1 N 1 Bemerkung 4.8 (Komplexe und reelle trigonometrische Polynome) Gilt für das (komplexe) trigonometrische Polynom φ N (t) = N 1 j=0 c j e ijt φ N (t) R, ( t R ), so gilt φ N T N R mit a j = 2 Re c j = c j + c N j, b j = 2 Im c j = i (c j c N j ). Beweis Für die N äquidistanten Knoten t k = k 2π/N, ( k = 0, 1,..., N 1 ) gilt e ijt k = e ink 2π/N e ijt k = e i(n j)t k }{{} = 1 und N 1 j=0 c j e ijt k = φ N (t k ) = φ N (t k ) = N 1 j=0 c j e ijt k = N 1 j=0 c j e i(n j)t k = N c N l e ilt k l=1 48

53 c j = c N j, da Interpolationsaufgabe eindeutig lösbar. Wegen e i 0 t k = e i N t k = 1 ist insbesondere c0 = c 0, also c 0 R. Ebenso folgt c n R für gerade N = 2n. Sei nun N = 2n + 1, so ist φ N (t k ) = c 0 + = c 0 + = c n j=1 c j e ijt k = c 0 + n c j e ijt k + j=1 n (c j e ijt k + c j e ijt k ) j=1 n Re (c j e ijt k ) = c j=1 n c N l e i(n l)t k l=1 n (Re c j cos jt k Im c j sin jt k ). Wegen der Eindeutigkeit des trigonometrischen Interpolationspolynoms folgt die Behauptung durch Koeffizientenvergleich. Analog für gerade N = 2n. j=1 Satz 4.9 (Lösung der trigonometrischen Interpolationsaufgabe) Für äquidistante Stützstellen t k = k 2π/N, ( k = 0, 1,..., N 1 ) ist die Lösung der trigonometrischen Interpolationsaufgabe gegeben durch φ N (t k ) = f k, ( k = 0, 1,..., N 1 ) φ N (t) = N 1 j=0 c j e ijt mit c j := 1 N N 1 k=0 f k ω j k, ( j = 0, 1,..., N 1 ). Beweis Wegen der Eindeutigkeit des trigonometrischen Interpolationspolynoms reicht es aus, für l = 0, 1,..., N 1 zu zeigen Nun ist denn N 1! f l = ω l k 1 ω l k 1 j=0 N 1 j=0 N 1 j=0 ( N 1 1 ) f k ω j k N k=0 }{{} = c j N 1 ω j k ωj l = j=0 ω j l k = 1 ω l k 1 e ijt l = N 1 k=0 f k 1 N 1 N ω j l k = { N falls k = l, 0 sonst, j=0 j=0 ω j k ωj l. N 1 (ω j+1 l k ωj l k ) = ωn l k 1 ω l k 1 = 0, falls l k, denn ω l k ist N-te Einheitswurzel. Hieraus folgt die Behauptung. 49

54 Bemerkung 4.10 (Diskrete Fourier Transformation) Für 2π periodische Funktionen f L 2 (R) erhält man mit den Fourierkoeffizienten die abgebrochenen Fourier Reihen ˆf(j) := 1 2π f(t)e ijt dt, ( j Z ) 2π 0 f n (t) := n j= n ˆf(j)e ijt. Setzt man für N = 2n + 1 c j := c N j, ( j = 1,..., n ), so ist φ N (t k ) = = N 1 j=0 c j e ijt k = n c j e ijt k + j=0 n c j e ijt k + j=0 N 1 j=n+1 n c N l e i(n l)t k = l=1 c j e ijt k n c j e ijt k + j=0 n n c l e i ( l) t k = c j e ijt k. l=1 j= n Approximiert man 2π 0 g(t) dt 2π N N 1 k=0 g(t k ), so ergibt sich 0 g 0 t t 1 2 2π t ˆf(j) 1 N N 1 k=0 f(t k )e ijt k = 1 N N 1 k=0 f k ω j k = c j. Wegen der Analogie zur klassischen kontinuierlichen Fourier Transformation heißt die Abbildung ( ) F N : C N C N N 1, fk ( ) N 1 c k=0 j j=0 aus Satz 4.9 Diskrete Fourier Transformation (DFT) und die Umkehrabbildung N 1 F 1 N : (c j) j (f k ) k, f k := c j ωj k, ( k = 0, 1,..., N 1 ) (Fourier )Synthese oder Inverse diskrete Fourier Transformation (IDFT). j=0 50

55 Beispiel 4.11: Tiefpassfilter Beispiel (Prof. Dr.-Ing. P. Pickel, U Halle, Landwirtschaftliche Fakultät) Fahrweg eines landwirtschaftlichen Nutzfahrzeugs (vertikale Auslenkung) h [m] s [m] Programmieraufgabe Übungsblatt 5 Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 4.1: Anwendung der DFT in der Signalverarbeitung: Ausgangsdaten. Beispiel 4.11: Tiefpassfilter (II) Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 4.2: Anwendung der DFT in der Signalverarbeitung: f max = 2.0 Hz. 51

56 Beispiel 4.11: Tiefpassfilter (III) Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 4.3: Anwendung der DFT in der Signalverarbeitung: f max = 1.0 Hz. Beispiel 4.11: Tiefpassfilter (IV) Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 4.4: Anwendung der DFT in der Signalverarbeitung: f max = 5.0 Hz. 52

57 Beispiel 4.11: Tiefpassfilter (V) Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 4.5: Anwendung der DFT in der Signalverarbeitung: f max = 0.5 Hz. Beispiel 4.11 (Tiefpassfilter) Anwendung der DFT in der Signalverarbeitung Elimination hochfrequenter Anteile im Signal, die häufig durch Messfehler verfälscht ( Messrauschen ) und darüberhinaus für die praktische Anwendung oft nicht relevant sind Tiefpassfilter. praktisch Berücksichtige in φ N (t) nur die Terme a j cos jt und b j sin jt, die zu den ersten j max n Frequenzen gehören (j max ist vom Anwender vorzugeben). Für N = 2n + 1 erhält man j max j max j max f k := c 0 + c j ωj k + c N j ωn j k = c 0 + (c j ωj k + c N j ω k j ), ( k = 0, 1,..., N 1 ). Beispiel j=1 j=1 Rauigkeit einer Feldoberfläche j=1 (Originaldaten von Prof. Dr.-Ing. P. Pickel, Institut für Agrartechnik und Landeskultur). Die Messdaten für die Höhe u(x) einer Feldoberfläche am Ort x liegen im Abstand von x = 0.05 m vor (Abb. 4.1). Bei konstanter Fahrgeschwindigkeit v = 2.0 m/s entspricht dies einer Frequenz von 1 / ( 0.05 m / 2.0 m/s ) = 40 Hz. Die Abb zeigen für verschiedene maximale Frequenzen f max den Vergleich zwischen gefilterten Daten und Originaldaten. Die Elimination der hochfrequenten Anteile in u(t) ist deutlich erkennbar. 53

58 Bemerkung 4.12 (Schnelle Fourier Transformation) engl.: Fast Fourier Transform(ation) (FFT) würde O(N 2 ) Re- Problem Standard Algorithmus zur Auswertung von F N oder F 1 N chenoperationen erfordern (Matrix Vektor Multiplikation). Cooley Tuckey (1965) Sei N = 2M gerade und ω = e i 2π N oder ω = e i 2π N. Dann gilt für α 2l = M 1 k=0 α j = mit M := N/2, ξ := ω 2 und N 1 k=0 g k ξ kl, α 2l+1 = f k ω kj, ( j = 0, 1,..., N 1 ) M 1 k=0 h k ξ kl, ( l = 0, 1,..., M 1 ) g k := f k + f k+m, h k := (f k f k+m ) ω k. Mit 2M Additionen und 2M Multiplikationen ( ω k ω k+1 = ω ω k, h k = (...) ω k ) wird die Berechnung von N Summen der Länge N zurückgeführt auf 2M = N Summen der Länge M = N/2. Beweis α 2l = N 1 k=0 f k ω k 2l = N 2 1 k=0 ( fk ω 2kl + f k+ N 2 ω 2(k+ N )l) M 1 2 = (f k + f k+m ) ω 2kl k=0 α 2l+1 = N 1 k=0 f k ω (2l+1)k = N 2 1 k=0 ( fk ω 2kl+k + f k+ N 2 ω (2l+1)(k+ N )) M 1 2 = k=0 (f k f k+ N 2 ) ω k ω 2kl Rekursive Anwendung besonders einfach für N = 2 p Aufwand zur Berechnung von α 0, α 1,..., α N 1 (Analyse oder Synthese) beträgt 2N log 2 N Multiplikationen. Algorithmus 4.13 (Schnelle Fourier Transformation) Sei N = 2 p und ω = e i 2π N oder ω = e i 2π N. Eingabe: f 0, f 1,..., f N 1 C Ausgabe: α 0, α 1,..., α N 1 C mit α j := N 1 k=0 f k ω kj. 54

59 N red := N ; z := ω while N red > 1 do M red := N red /2 for j = 0 : (N/N red 1) l := jn red for k = 0 : M red 1 a := f l+k + f l+k+mred f l+k+mred := (f l+k f l+k+mred )z k f l+k := a N red := M red ; z := z 2 for k = 0 : N 1 α σ(k) := f k Vertauschung der Komponenten von α bestimmt durch Permutation σ(k) : σ (N 1 j=0 a j 2 j) := N 1 j=0 a N j 2 j mit a 0, a 1,..., a N 1 { 0, 1 }. bit reversal, einfache Implementierung durch Bitmanipulationen Typisches Beispiel eines divide and conquer Algorithmus, gut parallelisierbar, in Signalprozessoren hardwaremäßig verfügbar. 5 Quadratur Bemerkung 5.1 (Problemstellung) geg.: stückweise stetige Funktion f : [a, b] R ges.: I(f) := I b a(f) := Eigenschaften b a f(x) dx a) Linearität: I(αf + βg) = αi(f) + βi(g) b) Positivität: f(x) 0, ( x [a, b] ) I(f) 0 c) Additivität: I b a(f) = I c a(f) + I b c(f), ( c (a, b) ) Spezialfall f(x) = x k I b a( f) = b a x k dx = 1 b k + 1 xk+1 a 55

60 Idee Approximiere f : [a, b] R durch ein (Interpolations )Polynom f und verwende I( f) als Näherungswert für I(f). Beispiel 5.2 (Trapezregel) a) Approximation von f : [a, b] R durch lineares Interpolationspolynom Φ mit Stützstellen a und b: Φ(x) = f(a) + x a ( ) f(b) f(a) b a f f Φ I(Φ) = (b a)f(a) + f(b) f(a) b a a 1 2 (x b a)2 a = b a ( ) f(a) + f(b) 2 b x b) Zusammengesetzte Trapezregel, Trapezsumme. Wähle ein Gitter = { a = x 0 < x 1 < x 2 <... < x N = b } mit Schrittweiten f f h i := x i+1 x i, ( i = 0, 1,..., N 1 ). a h b x I b a(f) = N 1 i=0 I x i+1 x i (f), Trapezregel: I x i+1 Aufsummieren zusammengesetzte Trapezregel: Ia(f) b Ĩb a(f) := h N f(x 0) + i=1 x i (f) h i ( f(xi ) + f(x i+1 ) ) 2 h i 1 + h i f(x i ) + h N f(x N) Spezialfall äquidistantes Gitter x i := a + ih mit i = 0, 1,..., N und h := (b a)/n : I b a(f) Ĩb a(f) = h 2 ( N 1 ) f(a) + 2 f(a + ih) + f(b). i=1 Bemerkung 5.3 (Newton Cotes Formeln) Wähle Interpolationspolynom Φ zu n + 1 äquidistanten Stützstellen x i := a + ih mit h := (b a)/n, ( i = 0,..., n ) : Φ(x) = n i=0 f(x i )L (n) i (x) 56

61 b a f(x) dx b a Φ(x) dx = n ( b i=0 mit Knoten x 0, x 1,..., x n und Gewichten w i := a L (n) i (x) dx ) f(x i ) = b Allgemeine Struktur einer Quadraturformel: Ĩ(f) = Positivität, falls w i > 0, ( i = 0, 1,..., n ) a L (n) i (x) dx. n w i f(x i ) i=0 n w i f(x i ). Gewichte der Newton Cotes Quadraturformeln liegen für [a, b] = [0, 1] tabelliert vor: n w i Name Fehler 1 1/2, 1/2 Trapezregel h 3 /12 f (τ) 2 1/6, 2/3, 1/6 Keplersche Fassregel h 5 /90 f IV (τ) 3 1/8, 3/8, 3/8, 1/8 Newtonsche 3/8 Regel 3h 5 /80 f IV (τ) Positivität nur bis n 7. Für n 8 treten auch negative Gewichte auf praktisch unbrauchbar. Analog zu Beispiel 5.2 definiert man zusammengesetzte Newton Cotes Formeln: Simpson Regel Zusammengesetzte Keplersche Fassregel. S(h) := h ( f(a) + 4f(a + h) + 2f(a + 2h) + 4f(a + 3h) + 2f(a + 4h) ) + 4f(a + (2N 1)h) + f(b) mit h := b a 2N. i=0 Bemerkung 5.4 (Fehlerabschätzungen für Newton Cotes Formeln) Trapezregel Restglied der Polynominterpolation, vgl. Satz 1.13 f(x) Φ(x) = f (ξ) (x a)(x b) mit einem ξ [a, b] 2 b b f(x) dx Φ(x) dx = a } {{ } a } {{ } I(f) Ĩ(f) b a f (ξ) 2 max f (ξ) 1 ξ [a,b] 2 (x a)(x b) }{{} <0 b a dx (x a)(b x) dx = max f (b a)3 (ξ) ξ [a,b] 12 Polynome ersten Grades werden durch die Trapezregel exakt integriert. 57

62 Keplersche Fassregel n = 2, h = b a 2 f(x) Φ(x) = f (ξ) 3! Ähnlich wie bei der Trapezregel zeigt man I(f), x 0 = a, x 1 = a + b 2 (x a)(x a + b )(x b) 2 h5 Ĩ(f) 90 max f IV (ξ). ξ [a,b] Polynome bis zum Grad 3 (!) werden exakt integriert., x 2 = b Bemerkung 5.5 (Gauß Christoffel Quadraturformeln) Idee Wähle Gewichte w i und Knoten x i so, dass Polynome möglichst hohen Grades exakt integriert werden: n w i x j i = Ĩ(xj ) =! I(x j ) = i=0 b a x j dx = bj+1 a j+1 j + 1, ( j = 0, 1,..., m ) m + 1 nichtlineare Gleichungen für 2n + 2 Unbekannte x 0, x 1,..., x n, w 0, w 1,..., w n. Ergebnisse m = 2n + 1 ist stets erreichbar, Knoten x i und Gewichte w i sind für m = 2n + 1 eindeutig bestimmt, Knoten x i sind Nullstellen der sog. Legendre Polynome. Beispiel n = 1 x 0,1 = a + b 2 ± b a 2 3, w 0,1 = b a 2 Ĩ(f) = b a ( f(x0 ) + f(x 1 )) 2 integriert Polynome bis zum Grad 2n + 1 = 3 exakt. Erweiterung b a ω(x)f(x) dx mit Gewichtsfunktion ω(x) 0, ( x [a, b] ). Die optimalen Knoten x 0, x 1,..., x n ergeben sich auch hier als Nullstellen orthogonaler Polynome. Beispiel Tschebyscheff Quadratur 1 1 f(x) 1 x 2 dx n i=0 w i f(x i ) mit x i = cos 2i + 1 2n + 2 π, w i = π, ( i = 0, 1,..., n ) n

63 Literatur Deuflhard/Hohmann, Kapitel 9.3. Bemerkung 5.6 (Romberg Quadratur) Die zusammengesetzte Trapezregel T (h) aus Beispiel 5.2b) ergibt (theoretisch) für h 0 den exakten Wert I b a(f). Idee Berechne T (h i ) für einige endliche Schrittweiten h i > 0, interpoliere die Stützpunkte (h 1, T (h 1 )),..., (h k, T (h k )) durch ein Polynom π(h) mit deg π k 1 und setze Ia(f) b Ĩb a(f) := π(0). Theorie Asymptotische Entwicklung des Fehlers der Trapezsumme (Euler Maclaurinsche Summenformel): T (h) = b a f(x) dx + M c k h 2k + O(h 2M+2 ) mit Konstanten c k. k=1 praktisch Wähle h i = H/n i mit Grundschrittweite H und n i = 2 i 1 und bestimme Interpolationspolynom π mit π(h 2 i ) = T (h i ), ( i = 1,..., k ). Berechnung von π(0) mittels Neville Schema, vgl. Bemerkung 1.10: T i,...,i+l = T i+1,...,i+l T i+1,...,i+l T i,...,i+l 1 ( hi h i+l ) 2 1 mit ( hi h i+l ) 2 = ( ni+l n i ) 2 und T i := T (h i ). Ergebnis: I b a(f) T 1,...,k (Romberg Quadratur, Romberg Schema). wichtig Für n i = 2 i 1 ist h i = 2h i+1 und T (h i+1 ) = h i+1 2 n ( i+1 1 f(a) + 2 j=1 = 1 n 2 T (h i 1 i) + h i+1 k=0 f(a + jh i+1 ) + f(b) ) f(a + (2k + 1)h i+1 ) allgemein Romberg Quadratur ist Spezialfall von Extrapolationsverfahren, die immer dann angewendet werden können, wenn der Fehler eines numerischen Verfahrens eine asymptotische Entwicklung in Potenzen von h hat. Beispiel 5.7 (Extrapolation und Differenzenquotient) a) Rechtsseitiger Differenzenquotient erster Ordnung f (x) f(x + h) f(x) h Taylorentwicklung von f(x + h) ergibt asymptotische h Entwicklung des Fehlers. 59

64 b) Zentraler Differenzenquotient zur Approximation der ersten Ableitung f (x) f(x + h) f(x h) 2h Fehler hat h 2 Entwicklung (Taylorentwicklung von f(x + h) und f(x h) ). 6 Iterationsverfahren für lineare und nichtlineare Gleichungssysteme 6.1 Nullstellen reeller Funktionen Bemerkung 6.1 (Problemstellung) geg.: f C[a, b] ges.: x [a, b] mit f(x ) = 0 Lösungstheorie f linear f(x) = 0 genau dann eindeutig lösbar in R, falls f 0. f nichtlinear i. Allg. nur Aussagen über lokale Eindeutigkeit der Lösung Satz über die implizite Funktion: Ist f(x ) = 0, f C 1 [a, b] und f (x ) 0, so ist y = f(x) in einer Umgebung von x eindeutig nach x auflösbar: x = x(y). f (x ) = 0 mehrfache Nullstelle, numerische Bestimmung oft kompliziert f(a) f(b) < 0 es existiert ein x mit f(x ) = 0 (Zwischenwertsatz) 60

65 Bemerkung 6.2 (Bisektionsverfahren) geg.: f C[a, b], Intervallenden a, b mit f(a) f(b) < 0, Abbruchschranke TOL Initialisierung: f a := f(a), f b := f(b). repeat c := a + b, f c := f(c) 2 if f a f c < 0 then b := c, f b := f c else a := c, f a := f c until b a TOL Ergebnis: x x bi := a + b 2 Iterationsschritte aus- b a Konvergenz stets gesichert: Werden mindestens 1 + log 2 TOL geführt, so gilt x bi x TOL. beachte Wegen der Rundungsfehler bei der Auswertung von f kann x außerhalb des numerisch bestimmten Intervalls [a, b] liegen. praktisch sehr robust, einfach zu implementieren, aber sehr langsame Konvergenz Bemerkung 6.3 (Regula falsi) Idee Bestimme wie im Bisektionsverfahren immer kleinere Intervalle, die x enthalten, berücksichtige bei der Wahl von c jedoch den Lösungsverlauf. praktisch Wähle c als Nullstelle des (linearen) Interpolationspolynoms zu den Stützpunkten (a, f a ) und (b, f b ). geg.: f C[a, b], Intervallenden a, b mit f(a) f(b) < 0, Abbruchschranke TOL Initialisierung: f a := f(a), f b := f(b). repeat c := af b bf a, f c := f(c) f b f a if f a f c < 0 then b := c, f b := f c else a := c, f a := f c until b a TOL Ergebnis: x x rf := a + b 2 61

66 Regula falsi konvergiert i. Allg. deutlich schneller als das Bisektionsverfahren. Problem Langsame Konvergenz, wenn eines der beiden Intervallenden stets unverändert bleibt wie z. B. für f(x) := x 10 1/2, ( x [0, 1] ). Alternative Bleibt eines der beiden Intervallenden a bzw. b über mehr als einen Iterationsschritt unverändert, so ersetze f a := 1f 2 a bzw. f b := 1f 2 b. Bemerkung 6.4 (Sekantenverfahren) Verzichtet man auf eine Einschließung der Nullstelle x, so ergibt sich ausgehend von (x k 1, f(x k 1 )), (x k, f(x k )) in der Regel eine wesentlich bessere Näherung für f : Betrachte das (lineare) Interpolationspolynom f(x) f k (x) := f k 1 + x x k 1 x k x k 1 (f k f k 1 ) und bestimme aus f k (x)! = 0 die neue Näherung x k+1 := x k f k x k x k 1 f k f k 1, f k+1 := f(x k+1 ). Konvergenzordnung des Sekantenverfahrens q := (1 + 5)/2, d. h. 0 lim k x k+1 x x k x q < praktisch Schnelle Konvergenz für gute Startwerte, jedoch Gefahr der Divergenz für schlechte Startwerte Verallgemeinerung Inverse Interpolation. Hinzunahme weiterer Stützpunkte (x i, f(x i )), Bestimmung des Interpolationspolynoms π(y) zu den Stützstellen y = f k, f k 1, f k 2,... und Stützwerten π = x k, x k 1, x k 2,... und Wahl von c als c := π(0). Bemerkung 6.5 (Newtonverfahren) geg.: f C 1 [a, b] Linearisierung von f in x k : f(x) f k (x) := f(x k ) + f (x k )(x x k ) Bestimmung von x k+1 als Nullstelle von f k (x) : x k+1 := x k f(x k) f (x k ) 62

67 Beispiel 6.6: Newtonverfahren gesucht Newtonverfahren Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 6.1: Quadratische Konvergenz des Newtonverfahrens. Quadratisch konvergent für einfache Nullstellen, d. h. linear konvergent für mehrfache Nullstellen. 0 lim k x k+1 x x k x 2 <, Beispiel 6.6 (Newtonverfahren) Berechnung der kleinsten positiven Lösung von f(x) = cos x cosh x + 1 = 0. Newtonverfahren f x k+1 = x k f(x k) f (x k ) f mit Startwert x 0 := π/2 und f 0 = 1 f (x) = cos x sinh x sin x cosh x. x 0 = π/2 x x 63

68 k x k f(x k ) f (x k ) x k x E E E E E E E E E E E < 1.0 E Ergebnis Folge (x k ) konvergiert quadratisch gegen x =

69 Beispiel 6.8: Vereinfachtes Newtonverfahren gesucht Vereinfachtes Newtonverfahren Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 6.2: Lineare Konvergenz des vereinfachten Newtonverfahrens, einmalige Auswertung der Ableitung f (x k ), Startwert x 0 = Das Newtonverfahren Bemerkung 6.7 (Newton Raphson Verfahren) Beispiel 6.8 (Vereinfachtes Newtonverfahren) Betrachte zur Funktion f(x) aus Beispiel 6.6 das vereinfachte Newtonverfahren x k+1 = x k f(x k) f (x 0 ). Startwert x 0 = 2.0 (x k ) konvergiert linear mit α

70 Beispiel 6.8: Vereinfachtes Newtonverfahren (II) gesucht Vereinfachtes Newtonverfahren Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 6.3: Lineare Konvergenz des vereinfachten Newtonverfahrens, einmalige Auswertung der Ableitung f (x k ), Startwert x 0 = π/2. Beispiel 6.8: Vereinfachtes Newtonverfahren (III) gesucht Vereinfachtes Newtonverfahren Martin-Luther-Universität Halle-Wittenberg, FB Mathematik und Informatik Martin Arnold: Numerische Mathematik für Fachrichtung Informatik und Lehramt (WiS 2005/06) Abbildung 6.4: Lineare Konvergenz des vereinfachten Newtonverfahrens, Auswertung der Ableitung f (x k ) in jedem fünften Iterationsschritt, Startwert x 0 = π/2. 66

71 k x k f(x k ) f (x k ) x k x E E E E E E E E E E E E E E E E E E E E E E 10 Startwert x 0 = π/2 (x k ) konvergiert linear mit α 0.65 k x k f(x k ) f (x k ) x k x E E E E E E E E E E E E E E E E E E E E E E 03 Startwert x 0 = π/2, Neuberechnung von f (x k ) in jedem 5. Iterationsschritt Deutliche Verbesserung des Konvergenzverhaltens: α für k 5. k x k f(x k ) f (x k ) x k x E E E E E E E E E E E E E E E E E E E E E E 11 Lemma 6.9 (Kontrahierende Abbildungen) 67

72 Satz 6.10 (Banachscher Fixpunktsatz) Sei E R n kompakt und Φ : E E kontrahierend. Dann gilt: a) Φ hat genau einen Fixpunkt x in E : Φ(x ) = x. b) Für jeden Startwert x 0 E konvergiert die Fixpunktiteration x k+1 = Φ(x k ) gegen x und es gilt: (i) x k x αk 1 α x 1 x 0, (ii) x k+1 x α 1 α x k+1 x k. Beweis Wegen Φ : E E folgt mittels vollständiger Induktion x k E und x k+1 x k = Φ(x k ) Φ(x k 1 ) α x k x k 1... α k x 1 x 0, ( k 0 ). Aus der Dreiecksungleichung folgt x k+m x k = x k+m x k+m 1 + x k+m 1 x k+m 2 + x k+m x k x k+m x k+m 1 + x k+m 1 x k+m x k+1 x k (α k+m 1 + α k+m α k ) x 1 x 0 α k α i x 1 x 0 = αk 1 α x 1 x 0, i=0 also ist (x k ) k eine Cauchy Folge, denn wählt man zu vorgegebenem ε > 0 ein k 0 mit α k 0 1 α x 1 x 0 ε, so gilt für alle k k 0 und alle m 0 die Abschätzung x k+m x k ε. Als Cauchy Folge im Kompaktum E hat (x k ) k einen Häufungspunkt x = lim k x k E mit x x k = lim m x k+m x k Dieser Häufungspunkt ist Fixpunkt von Φ, denn x Φ(x ) = x x k+1 + Φ(x k ) Φ(x ) αk 1 α x 1 x 0. x x k+1 + Φ(x k ) Φ(x ) x x k+1 + α x k x 0. Der Fixpunkt ist eindeutig bestimmt, denn aus x 1 = Φ(x 1) und x 2 = Φ(x 2) folgt also (1 α) x 2 x }{{} 1 0 und x 2 = x 1. >0 x 2 x 1 = Φ(x 2) Φ(x 1) α x 2 x 1, 68

73 Zum Beweis von (ii) verwendet man x k+1+m x k+m = Φ(x k+m ) Φ(x k+m 1 ) α x k+m x k+m 1... α m x k+1 x k, ( m 1 ), um wie oben unter Verwendung der Dreiecksungleichung die Abschätzung x k+1+m x k+1 (α m + α m α) x k+1 x k zu zeigen, aus der die Behauptung durch Grenzübergang m folgt. α 1 α x k+1 x k, ( m 1 ), Bemerkung 6.11 (Konvergenz des Newtonverfahrens) Bemerkung 6.12 (Gedämpftes Newtonverfahren) 69

74

75

76

77

78

79

80

81

82

83

84