Grundlagen Kondition Demo. Numerisches Rechnen. (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang

Transkript

1 Numerisches Rechnen (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang Institut für Geometrie und Praktische Mathematik RWTH Aachen Wintersemester 2011/12 IGPM, RWTH Aachen Numerisches Rechnen 1

2 Heute Themen: Dahmen & Reusken Kap. 2.1 Grundlagen: Normen und Taylorreihen eines Problems Was Sie heute mitnehmen sollten: Was ist die (relative) eines Problems? Wie wird sie berechnet? Wie sind die elementaren Rechenoperationen konditioniert? IGPM, RWTH Aachen Numerisches Rechnen 50

3 Taylorreihe Normierte Räume Definition Sei V ein Vektorraum. Eine Abbildung : V R heißt Norm auf V, falls v V gilt: v 0, und v = 0 nur wenn v = 0. Für alle α R gilt α v = α v Für alle v, w V gilt die Dreiecksungleichung v + w v + w Wenn eine Norm auf V definiert ist, nennt man V oft einen linearen normierten Raum. IGPM, RWTH Aachen Numerisches Rechnen 51

4 Taylorreihe Beispiel: Sei V = R n, x = (x 1,..., x n ) R n. Für jedes p mit 1 p definiert ( n ) 1 x p = x i p p i=1 eine Norm. Speziell: 1-Norm: x 1 = n x i i=1 -Norm: x = max x i i=1,...,n ( n ) Norm: x 2 = x 2 i i=1 2-Norm wird durch ein Skalarprodukt induziert. (Euklidische Norm) IGPM, RWTH Aachen Numerisches Rechnen 52

5 Taylorreihe Einheitskreise in R 2 (m = 2): {x R 2 : x 1} Trefethen & Bau IGPM, RWTH Aachen Numerisches Rechnen 53

6 Taylorreihe Auf einem endlich-dimensionalen Vektorraum V sind alle Normen äquivalent, d.h. zu je zwei Normen und existieren beschränkte, positive Konstanten c und C, so dass c v v C v, für alle v V Beispiel: Sei V = R n, dann gilt und x x 2 x 1 x 2 n x x 1 n x 2 x 1 n x IGPM, RWTH Aachen Numerisches Rechnen 54

7 Taylorreihe "Endlich-dimensionaler Vektorraum" beinhaltet nicht nur R n. Beispiel: Die Menge Π m := { m a i x i a i R } i=0 ist ein R-Vektorraum der Dimension m + 1. Die Monome m i (x) := x i, i = 0,..., m dienen als Basis. Sei V = C 0 (I), I = [a, b] R, dann ist ( b f p = f(x) p dx a ) 1 p. IGPM, RWTH Aachen Numerisches Rechnen 55

8 Taylorreihe Die induzierte Matrixnorm A einer Matrix A R n n ist die kleinste Zahl C, so dass die Ungleichung für alle x R n erfüllt ist. Definition Ax C x Sei A R n n und eine Norm auf R n, dann ist durch Ax A = sup x 0 x = sup Ax x =1 eine dazugehörige Matrixnorm definiert Beachte: Definition gilt entsprechend auch für A R m n. IGPM, RWTH Aachen Numerisches Rechnen 56

9 Taylorreihe Definition Sei A R n n und eine Norm auf R n, dann ist durch Ax A = sup x 0 x = sup Ax x =1 eine dazugehörige Matrixnorm definiert Es gilt: A 0, und A = 0 nur wenn A = 0. Für alle α R gilt α A = α A Für alle A, B R m n gilt die Dreiecksungleichung A + B A + B IGPM, RWTH Aachen Numerisches Rechnen 57

10 Taylorreihe Definition Sei A R n n und eine Norm auf R n, dann ist durch Ax A = sup x 0 x = sup Ax x =1 eine dazugehörige Matrixnorm definiert und: Ax A x Es gibt ein x R n mit Ax = A x AB A B I = 1 IGPM, RWTH Aachen Numerisches Rechnen 57

11 Taylorreihe Einheitskreise in R 2 und Bildbereich für A = [ ] Trefethen & Bau IGPM, RWTH Aachen Numerisches Rechnen 58

12 Taylorreihe Aus der Definition ergeben sich folgende Formeln: 1-Norm: A 1 = -Norm: A = max j=1,...,n i=1 max i=1,...,n j=1 (max. Spaltensumme) n a ij n a ij (max. Zeilensumme) 2-Norm: (Spektralnorm) A 2 = λ max (A T A) wobei λ max (A T A) der größte Eigenwert von A T A ist. IGPM, RWTH Aachen Numerisches Rechnen 59

13 Taylorreihe Beispiel: Für A = [ ] 2 3 ergibt sich: 1 1 A 1 = 4, A = 5. Die Eigenwerte der Matrix A T A = [ ] 5 5 kann man über 5 10 det(a T A λi) = 0 (5 λ)(10 λ) 25 = 0 bestimmen. Also λ 1 = 1 2 (15 5 5), λ 2 = 1 2 ( ) 1 und damit A 2 = 2 ( ). IGPM, RWTH Aachen Numerisches Rechnen 60

14 Taylorreihe Skalare Funktionen Taylorentwicklung (von f um x) Für hinreichend oft differenzierbares f : R R gilt f( x) = f(x) + f (x) ( x x) + f (2) (x) ( x x) f (k 1) (x) (k 1)! ( x x)k 1 + f (k) (ξ) ( x x) k, k! wobei ξ eine Zahl zwischen x und x ist. Hier steht f (n) (x) für die n-te Ableitung von f nach x, d.h. usw. f (2) (x) = f (x) = d2 f(x) dx 2, IGPM, RWTH Aachen Numerisches Rechnen 61

15 Taylorreihe Skalare Funktionen Taylorpolynom vom Grad k 1 in x p k 1 ( x) = f(x) + f (x) ( x x) + f (2) (x) ( x x) f (k 1) (x) (k 1)! ( x x)k 1. Für k = 1 erhält man als Spezialfall den Mittelwertsatz f( x) f(x) = f (ξ), x x wobei ξ eine Zahl zwischen x und x ist. Oft wird die Darstellung f( x) = p k 1 ( x) + O( x x k ) ( x x) verwendet. IGPM, RWTH Aachen Numerisches Rechnen 62

16 Taylorreihe Skalare Funktionen Taylorreihenentwicklung und 2. Ordnung um x = 0 von f(x) = 0.1x x 3 0.5x x Chapra & Canale IGPM, RWTH Aachen Numerisches Rechnen 63

17 Taylorreihe Skalare Funktionen 6 f(x) = e x Taylorpolynom 5. Grades in 0: p 5 (x) = 1 + x + x2 2! + x3 3! + x4 4! + x5 5! IGPM, RWTH Aachen Numerisches Rechnen 64

18 Taylorreihe Skalare Funktionen 3 f(x) = sin(x) Taylorpolynom 7. Grades in 0: p 7 (x) = x x3 3! + x5 5! x7 7! IGPM, RWTH Aachen Numerisches Rechnen 65

19 Taylorreihe Vektorwertige Funktionen Taylorentwicklung (von f um x) Für hinreichend oft differenzierbares f : R n R gilt n f(x) f( x) = f(x) + ( x j x j ) x j + n i,j=1 j=1 1 2 f(x) ( x i x i )( x j x j ) + O( x x x i x ). j ( f(x) Gradient: f(x) =,..., f(x) x 1 x n ( 2 ) n Hesse-Matrix: f f(x) (x) = x i x j i,j=1 ) T IGPM, RWTH Aachen Numerisches Rechnen 66

20 Taylorreihe Vektorwertige Funktionen Taylorentwicklung in kompakter Schreibweise oder f( x) = f(x) + ( f(x)) T ( x x) ( x x)t f (x)( x x) + O( x x 3 2 ). f( x) = f(x) + ( f(x)) T ( x x) + O( x x 2 2 ). Falls x x klein ist, kann man Terme zweiter Ordnung vernachlässigen und schreibt f( x). = f(x) + ( f(x)) T ( x x). = : Übereinstimmung nur in Anteilen 0. und 1. Ordnung. IGPM, RWTH Aachen Numerisches Rechnen 67

21 Fehlerquellen Grundlagen eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme Fehler im Resultat auf Grund von Datenfehlern (oder Eingabefehlern) können häufig nicht vermieden werden eines Problems Fehler im Algorithmus (Verfahrensfehler, Rundungsfehler) Einfluss durch Anpassung des Verfahrens Stabilität eines Algorithmus IGPM, RWTH Aachen Numerisches Rechnen 68

22 eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme Ziel: Analyse der Fehlerverstärkung bei Datenfehlern Konzept der eines Problems Beachte: ist unabhängig von einem speziellen Lösungweg (Algorithmus) gibt an, welche Genauigkeit man bestenfalls (bei exakter Rechnung) bei gestörten Eingangsdaten erwarten kann. Für eine präzisere Beschreibung fassen wir den mathematischen Prozeß oder das Problem als Aufgabe auf, eine gegebene Funktion f : X Y an einer Stelle x X auszuwerten. IGPM, RWTH Aachen Numerisches Rechnen 69

23 Elementare Beispiele Grundlagen eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme Die Berechnung der Multiplikation von x 1 und x 2 : f(x 1, x 2 ) = x 1 x 2 und X = R 2, Y = R. Die Berechnung der Summe von x 1 und x 2 : f(x 1, x 2 ) = x 1 + x 2 und X = R 2, Y = R. Man bestimme die kleinere Nullstelle der Gleichung y 2 2 x 1 y + x 2 = 0, mit x 2 1 > x 2. Die Lösung y ist y = f(x 1, x 2 ) = x 1 x 2 1 x 2. In diesem Fall gilt X = {(x 1, x 2 ) R 2 x 2 1 > x 2}, Y = R. IGPM, RWTH Aachen Numerisches Rechnen 70

24 Elementare Beispiele Grundlagen eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme Bestimmung des Schnittpunktes zweier Geraden: G 1 = {(y 1, y 2 ) R 2 a 1,1 y 1 + a 1,2 y 2 = x 1 } G 2 = {(y 1, y 2 ) R 2 a 2,1 y 1 + a 2,2 y 2 = x 2 } wobei (x 1, x 2 ) T R 2 und a i,j gegeben seien. Mit [ ] a1,1 a A = 1,2 a 2,1 a 2,2 ergibt sich Ay = x. Annahme: det(a) 0, dann ist y durch y = A 1 x gegeben. Also Auswertung der Funktion f(x) = A 1 x, d.h. X = Y = R 2. IGPM, RWTH Aachen Numerisches Rechnen 71

25 eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme Begriff der Ungestörtes Problem }{{} x X Eingabedaten Gestörtes Problem x = x + x X }{{} Eingabedaten Problem, Prozeß f mit Eingabefehler x = x x Problem, Prozeß f Ausgabefehler y = ỹ y = f( x) f(x) y = f(x) Y }{{} Ausgabedaten ỹ = f( x) Y }{{} Ausgabedaten Ziel: Verhältnis Ausgabefehler y zu Eingabefehler x. IGPM, RWTH Aachen Numerisches Rechnen 72

26 eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme Begriff der : skalare Funktion f(x) ỹ = f( x) y = f(x) y x x x x Allgemein: absoluter Eingabefehler: x X absoluter Ausgabefehler: y Y IGPM, RWTH Aachen Numerisches Rechnen 73

27 eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme Begriff der : skalare Funktion f(x) ỹ = f( x) y = f(x) y x x x x Allgemein: relativer Eingabefehler: δ x = x X x X relativer Ausgabefehler: δ y = y Y y Y IGPM, RWTH Aachen Numerisches Rechnen 73

28 eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme Relative und Absolute Definition Mit der relativen eines (durch f beschriebenen) Problems bezeichnet man das Verhältnis δ y δ x des relativen Ausgabefehlers zum relativen Eingabefehler, d.h. die Sensitivität des Problems unter Störungen der Eingabedaten. Absolute : Verhältnis y Y x X Mit wird meistens die relative gemeint. Ein Problem ist umso besser konditioniert, je kleinere Schranken für δ y /δ x (mit δ x 0) existieren. IGPM, RWTH Aachen Numerisches Rechnen 74

29 Taylorentwicklung 1. Ordnung f(x) eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme ỹ = f( x) y y = f(x) x x x x : Verhältnis δ y δ x bzw. y Y x X. IGPM, RWTH Aachen Numerisches Rechnen 75

30 Taylorentwicklung 1. Ordnung f(x) eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme ỹ = f( x) y y = f(x) x x x x : Verhältnis δ y δ x bzw. y Y x X. IGPM, RWTH Aachen Numerisches Rechnen 76

31 Taylorentwicklung 1. Ordnung f(x) eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme ỹ = f( x) y = f(x) y f (x) x x x x x : Verhältnis δ y δ x bzw. y Y x X. IGPM, RWTH Aachen Numerisches Rechnen 77

32 : f : R R Grundlagen eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme Taylorreihenentwicklung 1. Ordnung von f(x) um x f( x). = f(x) + f (x) ( x x) wobei ". =" andeutet, dass beide Seiten nur in den Anteilen nullter und erster Ordnung übereinstimmen. Daraus erhält man die für f : R R (Eingabe: Skalar, Ausgabe: Skalar) f( x) f(x). f(x) = κ rel (x) x x x mit κ rel (x) =. f x (x) f(x). IGPM, RWTH Aachen Numerisches Rechnen 78

33 eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme Für f : R n R lautet die Taylorreihenentwicklung 1. Ordnung f( x). = f(x) + ( f(x)) T ( x x) mit x = (x 1,..., x n ) T R n. Hieraus folgt f( x) f(x). n ( f(x) = f(x) x j=1 j. Mit den Verstärkungsfaktoren φ j (x) = f(x) x j erhält man x j f(x) x j f(x) ) xj x j x j f( x) f(x) f(x) }{{} rel. Fehler der Ausgabe. = n j=1 φ j (x) }{{} Fehlerverstärkung x j x j x j }{{} rel. Fehler der Eingabe IGPM, RWTH Aachen Numerisches Rechnen 79

34 f : R n R Grundlagen eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme Damit erhält man die für f : R n R (Eingabe: Vektor, Ausgabe: Skalar) f( x) f(x) f(x) κ rel (x) n x j x j j=1 mit κ rel (x) = κ rel (x) = max φ j (x) und den j Verstärkungsfaktoren φ j (x) = f(x) x j x j f(x). x j IGPM, RWTH Aachen Numerisches Rechnen 80

35 Beispiel 2.12 Grundlagen eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme Gegeben sei die Funktion f : R R, f(x) = e 3x2. Für die relative szahl erhält man κ rel (x) = f x (x) f(x) = 6 x2. Daraus folgt, dass diese Funktion für x klein gut konditioniert und für x groß schlecht konditioniert ist. Beispiel: x = 0.1, x = : κ rel (0.1) = x x = 10 4 = x f(x) f( x) f(x) x = 4, x = : κ rel (4) = 96 = 10 4 f(x) f( x) = x x x f(x) IGPM, RWTH Aachen Numerisches Rechnen 81

36 Elementare Rechenoperationen eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme bei Multiplikation: x = (x 1, x 2 ) T, f(x) = x 1 x 2 κ rel (x) = 1 (von x unabhängig!) Multiplikation für alle Eingangsdaten gut konditioniert. Ein ähnliches Resultat gilt für die Division. Addition: x = (x 1, x 2 ) T, f(x) = x 1 + x 2 { } x 1 κ rel (x) = max x 1 + x, x 2 2 x 1 + x 2 Bei zwei Zahlen mit gleichem Vorzeichen: κ rel 1. ABER: κ rel (x) 1 wenn x 1 x 2. IGPM, RWTH Aachen Numerisches Rechnen 82

37 Beispiel 2.15 (Nullstelle) Grundlagen eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme Bestimmung der kleineren Nullstelle y von y 2 2x 1 y + x 2 = 0: x = (x 1, x 2 ) T, y = f(x) = x 1 x 2 1 x 2 Partielle Ableitungen f(x) x 1 = f(x) x 2 = x 2 1 x 2 x 1 x 2 1 x 2 = y x 2 1 x x 2 1 x 2 Verstärkungsfaktoren φ j (x) = f(x) x j x j f(x) IGPM, RWTH Aachen Numerisches Rechnen 83

38 eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme Beispiel 2.15 (Nullstelle) Verstärkungsfaktoren φ 1 (x) = φ 2 (x) = y x 2 1 x 2 x 1 y = x 1 x 2 1 x x 2 1 x 2 x 2 y = φ 1(x) : κ rel (x) = max φ j (x) j hängt stark von der Stelle (x 1, x 2 ) ab: Wenn x 2 < 0: φ 1 (x) 1 und κ rel (x) 1 Wenn x 2 x 2 1 : φ 1(x) 1 und κ rel (x) 1 IGPM, RWTH Aachen Numerisches Rechnen 84

39 eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme : f : R n R n Wir haben y = f(x) = A 1 x bzw. für gestörte Daten ỹ = f( x) = A 1 x Damit erhält man die für f : R n R n (Eingabe: Vektor, Ausgabe: Vektor) wobei f( x) f(x) f(x) A A 1 }{{} κ(a) κ(a) A A 1 die szahl der Matrix A ist. x x x IGPM, RWTH Aachen Numerisches Rechnen 85

40 Beispiel 2.28 Grundlagen eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme Die Bestimmung des Schnittpunkts der Geraden 3 u u 2 = u u 2 = (fast parallel!) ergibt das Problem u = A 1 b mit ( ) ( ) A =, b = Die Lösung ist u = (1, 1) T. Wir berechnen den Effekt einer Störung in b: ( ) b =, ũ = A 4 1 b. Man rechnet einfach nach, dass A 1 = 1 ( ) ( ) , ũ = IGPM, RWTH Aachen Numerisches Rechnen 86

41 eines Problems Skalarwertige Probleme Beispiele Vektorwertige Probleme Beispiel 2.28 Als Norm wird die Maximumnorm genommen: x = x = max i x i. Es gilt Störung der Daten b b b = Änderung des Resultats ũ u u = Schlechte wird quantifiziert durch A A 1 = IGPM, RWTH Aachen Numerisches Rechnen 87

42 TU München: Mathe Vital URL Numerische Mathematik (im Aufbau) IGPM, RWTH Aachen Numerisches Rechnen 88

43 Zusammenfassung ist unabhängig von einem speziellen Lösungweg (Algorithmus) gibt an, welche Genauigkeit man bestenfalls (bei exakter Rechnung) bei gestörten Eingangsdaten erwarten kann. Was ist die (relative) eines Problems? Die relative eines Problems bezeichnet das Verhältnis des relativen Ausgabefehlers zum relativen Eingabefehler, d.h. die Sensitivität des Problems unter Störungen der Eingabedaten. IGPM, RWTH Aachen Numerisches Rechnen 89

44 Zusammenfassung Wie wird die berechnet? Wir haben folgende Fälle betrachtet f : R R (Eingabe: Skalar, Ausgabe: Skalar) f : R n R (Eingabe: Vektor, Ausgabe: Skalar) f : R n R n (Eingabe: Vektor, Ausgabe: Vektor) Fall f : R n R n nur für f linear Wie sind die elementaren Rechenoperationen konditioniert? Multiplikation und Division sind für alle Eingangsdaten gut konditioniert. Addition (bzw. Subtraktion) ist gut konditioniert, wenn beide Zahlen das gleiche (bzw. unterschiedliches) Vorzeichen haben; sehr schlecht konditioniert, wenn x 1 x 2 (bzw. x 1 x 2 ). IGPM, RWTH Aachen Numerisches Rechnen 90