Numerisches Rechnen. (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang. Institut für Geometrie und Praktische Mathematik RWTH Aachen

Transkript

1 Numerisches Rechnen (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang Institut für Geometrie und Praktische Mathematik RWTH Aachen Wintersemester 2011/12 IGPM, RWTH Aachen Numerisches Rechnen 1

2 Heute Themen: Dahmen & Reusken Kap. 2.2/2.3 und Rundungsfehler Was Sie mitnehmen sollten: Wie werden Zahlen im Computer dargestellt Welche Probleme können dabei/deswegen auftreten? Stabilität vs. Kondition IGPM, RWTH Aachen Numerisches Rechnen 91

3 Rundungsfehler und Warum betrachten wir Gleitpunktdarstellung? Aufgrund der Art und Weise, wie Zahlen im Computer dargestellt werden, können überraschende Ergebnisse auftreten... >> u = 0.3/0.1 >> 3 - u ans =?... die im schlimmsten Fall verheerende Folgen haben können. IGPM, RWTH Aachen Numerisches Rechnen 92

4 Ariane 5 Flight 501 Erster Start der Ariane 5 am 04. Juni 1996 Crash des Navigationscomputers aufgrund eines Überlaufs bei der Umrechnung eines 64-bit floating point in ein 16-bit signed integer führte zur Selbstzerstörung. Wikipedia Capcom Espace IGPM, RWTH Aachen Numerisches Rechnen 93

5 Beispiel Wir betrachten als Beispiel die Zahl : Dezimalsystem (Basis 10) = = 10 3 ( ) Binärsystem (Basis 2) = = 2 7 ( ) IGPM, RWTH Aachen Numerisches Rechnen 94

6 Man kann zeigen, dass für jedes feste b N, b > 1, sich jede beliebige reelle Zahl x 0 in der Form x = ± d j b j b e j=1 darstellen lässt, wobei der ganzzahlige Exponent e so gewählt werden kann, dass d 1 0. Dezimalsystem (Basis b = 10) Binärsystem (Basis b = 2) IGPM, RWTH Aachen Numerisches Rechnen 95

7 Normalisierte Gleitpunktdarstellung Floating Point Representation: wobei Basis b N\{1}; x = ± 0.d 1 d 2... d m b e ( ) m = ± d j b j b e j=1 Exponent e Z mit r e R; Mantisse f = ± 0.d 1 d 2... d m, d j {0, 1,..., b 1}, für alle j; Mantissenlänge m; Normalisierung: d 1 0 für x 0. IGPM, RWTH Aachen Numerisches Rechnen 96

8 Historie Rundungsfehler und Vor dem Jahr 1985 Keinen einheitlichen Standard Jeder Computer hatte seine eigene Gleitpunktdarstellung Manche binär (Basis 2, 8, 16), manche dezimal, sogar trinär! hat sich auf unterschiedlichen Computern unterschiedlich verhalten! Im Jahr 1985 ANSI/IEEE Standard for Binary Floating-Point Arithmetic ANSI - American National Standards Institute IEEE - Institute of Electrical and Electronics Engineers Alle Computer seit 1985 benutzen diesen Standard Maschinen-unabhängiges Modell, wie sich verhält. IGPM, RWTH Aachen Numerisches Rechnen 97

9 Maschinenzahlen Nur endliche Anzahl von Zahlen ( darstellbar ) (m vs. ): m x = ± d j b j b e j=1 Maschinenzahlen M(b, m, r, R) Definition Reduktionsabbildung fl : R M(b, m, r, R) definiert durch ( m ) j=1 fl(x) := ± d j b j b e falls d m+1 < b ( 2, m ) j=1 d j b j + b m b e falls d m+1 b 2, d.h. die letzte Stelle der Mantisse wird um eins erhöht bzw. beibehalten, falls die Ziffer in der nächsten Stelle b 2 bzw. < b 2 ist. IGPM, RWTH Aachen Numerisches Rechnen 98

10 Bildbereich und Genauigkeit Maschinenzahlen M(b, m, r, R): Es gibt einen begrenzten Bereich von Zahlen, die dargestellt werden können Die Endlichkeit von e beschränkt den Bildbereich. Es gibt nur eine endliche Anzahl von Zahlen, die innerhalb des Bildbereichs dargestellt werden können Die Endlichkeit von f beschränkt die Genauigkeit. IGPM, RWTH Aachen Numerisches Rechnen 99

11 Bildbereich Die Endlichkeit von e beschränkt den Bildbereich: Betragsmäßig kleinste ( 0) Zahl: x MIN = b r 1 Betragsmäßig größte Zahl: x MAX = (1 b m ) b R Achtung: Unterlauf, wenn x < x MIN ; Überlauf, wenn x > x MAX. IGPM, RWTH Aachen Numerisches Rechnen 100

12 Maschinengenauigkeit Beispiel Beispiel In einem Gleitpunkt-Zahlensystem mit Basis b = 10 und Mantis- Gleitpunktdarstellung senlänge m = 6 erhält mit man b folgende = 10 und gerundete m = 6Resultate: x fl(x) fl(x) x x 1 3 = = e 10 = e 10 = = Gleitpunktdarstellung Im Fall b = 2, m = 10 erhält mit b man: = 2 und m = 10 x fl(x) fl(x) x x e e Dahmen & Reusken Dahmen-Reusken IGPM, RWTH Aachen Kapitel Numerisches 2 Rechnen

13 Maschinengenauigkeit Für den relativen Rundungsfehler erhält man fl(x) x b m x 2 be b 1 b = b1 m e 2. Die (relative) Maschinengenauigkeit eps := b1 m 2 charakterisiert das Auflösungsvermögen des Rechners, d.h. eps = inf{δ > 0 fl(1 + δ) > 1} Der Rundungsfehler ε erfüllt ε eps und es gilt fl(x) = x (1 + ε). IGPM, RWTH Aachen Numerisches Rechnen 102

14 Maschinengenauigkeit Beispiel Beispiel In einem Gleitpunkt-Zahlensystem mit Basis b = 10 und Mantis- Gleitpunktdarstellung: senlänge m = 6 erhält man b = folgende 10, m = gerundete 6 eps Resultate: = x fl(x) fl(x) x x 1 3 = = e 10 = e 10 = = Im Fall b = 2, m = 10 erhält man: x fl(x) fl(x) x x e e Gleitpunktdarstellung: b = 2, m = 10 eps = Dahmen & Reusken Dahmen-Reusken IGPM, RWTH Aachen Kapitel Numerisches 2 Rechnen

15 IEEE Standard Double-precision floating-point 64-bit Wort mit 52 bits für f 11 bits für e 1 bit für das Vorzeichen Der Exponent e ist eine ganze Zahl im Intervall 1022 e 1023 Der Wert von 2 52 f ist eine natürliche Zahl im Intervall f < 2 52 IGPM, RWTH Aachen Numerisches Rechnen 104

16 e Rundungsfehler = und e-016 IEEE Standard It turns out that the only roundoff occurs in the division in the first stat The quotient cannot be exactly 4/3, except on that Russian trinary com Consequently the value stored in a is close to, but not exactly equal to, 4/3 subtraction x MIN : f b = a0 -und 1 produces e = 1022 a b whose last bit is 0. This means th multiplication 3*b can be done without any roundoff. The value stored x MAX : f = 1 eps und e = 1023 not exactly equal to 1, and so the value stored in e is not 0. Before the standard, Überlauf: this e code = 1024 was used und f as= a 0quick way to estimate the roundoff le various computers. Schreibweise: infinity oder Inf The Erfüllt: roundoff 1/Inf level = eps 0 und is sometimes Inf+Inf = called Inf floating-point zero, but t misnomer. Not-a-Number There are oder many NaN: floating-point e = 1024 und numbers f 0much smaller than eps smallest positive normalized floating-point number has f = 0 and e = 102 Undefinierte Zahl, z.b. 0/0 largest floating-point number has f a little less than 1 and e = M calls Unterlauf: these numbers e = realmin 1023 and realmax. Together with eps, they chara the standard In MATLAB: system. Binary Decimal eps 2^(-52) e-16 realmin 2^(-1022) e-308 realmax (2-eps)*2^ e+308 If any computation IGPM, RWTHtries Aachen to produce Numerisches a value Rechnen larger than realmax, it105 is

17 Pseudoarithmetik Die Verknüpfung von Maschinenzahlen durch eine exakte elementare arithmetische Operation liefert nicht unbedingt eine Maschinenzahl Beispiel b = 10, m = 3: = Ähnliches passiert bei Multiplikation und Division. Die üblichen arithmetischen Operationen müssen also durch geeignete Gleitpunktoperationen ersetzt werden (Pseudoarithmetik). IGPM, RWTH Aachen Numerisches Rechnen 106

18 Pseudoarithmetik Forderung Für {+,,, } gelte x y = fl(x y) für x, y M(b, m, r, R). Da fl(x) = x (1 + ε), folgt somit, dass für {+,,, } x y = (x y)(1 + ε) für x, y M(b, m, r, R) und ein ε mit ε eps gilt. Vorsicht bei Pseudoarithmetik: Grundlegende Regeln der Algebra, die bei exakter Arithmetik gelten, sind nicht mehr gültig. Reihenfolge der Verküpfung spielt eine Rolle (Assoziativität der Addition geht verloren). IGPM, RWTH Aachen Numerisches Rechnen 107

19 Assoziativgesetz Beispiel 2.36: Zahlensystem mit b = 10, m = 3. Maschinenzahlen Exakte Rechnung: Pseudoarithmetik: x = 6590 = y = 1 = z = 4 = (x + y) + z = (y + z) + x = x y = und (x y) z = , aber y z = und (y z) x = IGPM, RWTH Aachen Numerisches Rechnen 108

20 Distributivgesetz Beispiel 2.37: Für b = 10, m = 3, x = und y = (x y) (x y) = 0.01, (x y) (x y) = , aber (x x) (x y) (y x) (y y) = IGPM, RWTH Aachen Numerisches Rechnen 109

21 Auslöschung Rundungsfehler und Beispiel 2.38: Betrachte x = , y = , x y = Bei 3-stelliger Rechnung (b = 10, m = 3, eps = ) ergibt sich x = fl(x) = 0.736, δ x = ỹ = fl(y) = 0.734, δ y = Die relative Störung im Resultat bei Subtraktion ist hier ( x ỹ) (x y) x y = = 0.64 also sehr groß im Vergleich zu δ x, δ y. IGPM, RWTH Aachen Numerisches Rechnen 110

22 (x y) (x y) eps, x, y M, {+,,, } (x y) Die relativen Rundungsfehler bei den elementaren Gleitpunktoperationen sind betragsmäßig kleiner als die Maschinengenauigkeit, wenn die Eingangsdaten x, y Maschinenzahlen sind. Sei f(x, y) = x y, x, y R, {+,,, } und κ rel die relative Konditionszahl von f. Es gilt {, } : κ rel 1 für alle x, y, {+, } : κ rel 1 wenn x y max{ x, y } Sehr große Fehlerverstärkung bei +, möglich (Auslöschung). IGPM, RWTH Aachen Numerisches Rechnen 111

23 Beispiele Rundungsfehler und t = 0.1 u = 0.3/0.1 Das Ergebnis ist nicht identisch gleich 3, da Zähler etwas kleiner als 0.3 und Nenner etwas größer als 0.1. a = ; b = a ; b == a Der relative Fehler zwischen a und b is kleiner als eps Es gibt keine "double-precision floating point" Zahl zwischen und eps/ eps/2 Beim Summieren betragsmäßig kleinste Zahlen zuerst aufsummieren. IGPM, RWTH Aachen Numerisches Rechnen 112

24 Beispiele Rundungsfehler und Auswerten der Funktion f(x) = 1 x ( x+1 x 1) Exakte Auswertung f(x) = 1 x ( x+1 x 1) Lösung des Gleichungssystems = 1 x x+1 x x = 0 für alle x > 0 17x 1 + 5x 2 = x x 2 = 2.2 ergibt exakte Lösung x = (x 1, x 2 ) T = (1, 1) T. IGPM, RWTH Aachen Numerisches Rechnen 113

25 Beispiel: Polynom 7. Grades Matlab Plot x = 0.988:0.0001:1.012; y = (x-1).^7; plot(x,y) x IGPM, RWTH Aachen Numerisches Rechnen 114

26 Beispiel: Polynom 7. Grades Matlab Plot x = 0.988:0.0001:1.012; y = x.^7-7*x.^6+21*x.^5-35*x.^4+35*x.^3-21*x.^2+7*x-1; plot(x,y) x IGPM, RWTH Aachen Numerisches Rechnen 115

27 Rückwärtsstabilität Beispiele Vorbemerkung Definition Ein Algorithmus heißt gutartig oder stabil, wenn die durch ihn im Laufe der Rechnung erzeugten Fehler in der Größenordnung des durch die Kondition des Problems bedingten unvermeidbaren Fehlers bleiben. Kondition ist Eigenschaft des Problems Stabilität ist Eigenschaft des Verfahrens/Algorithmus Wenn Problem schlecht konditioniert, kann man nicht erwarten, dass die Numerische Methode, d.h. ein stabiler Algorithmus, gute Ergebnisse liefert. Ziel: Numerische Methode soll Fehlerverstärkung nicht noch weiter vergrößern Gute Kondition soll erhalten bleiben. IGPM, RWTH Aachen Numerisches Rechnen 116

28 Rückwärtsstabilität Beispiele Beispiel 2.39: y 2 2a 1 y + a 2 = 0 Bestimmung von u = f(a 1, a 2 ) = a 1 a 2 1 a 2. Algorithmus I y 1 = a 1 a 1 y 2 = y 1 a 2 y 3 = y 2 u = a 1 y 3 Für a 1 = , a 2 = 0.01 in einem Gleitpunkt-Zahlensystem mit b = 10, m = 5 bekommt man das Ergebnis u = Exakte Lösung: u = Problem für diese Eingangsaten a 1, a 2 gut konditioniert. Durch Algorithmus erzeugte Fehler sehr viel größer als unvermeidbarer Fehler. Algorithmus I ist nicht stabil IGPM, RWTH Aachen Numerisches Rechnen 117

29 Rückwärtsstabilität Beispiele Beispiel 2.39: y 2 2a 1 y + a 2 = 0 Alternative: u = a 2 a 1 + a 2 1 a 2 Algorithmus II y 1 = a 1 a 1 y 2 = y 3 = y 1 a 2 y 2 y 4 = a 1 + y 3 u = a 2 y 4 Mit b = 10, m = 5 bekommt man das Ergebnis u = Exakte Lösung: u = Gesamtfehler bleibt im Rahmen der Maschinengenauigkeit. Auslöschung tritt nicht auf. Algorithmus II ist somit stabil IGPM, RWTH Aachen Numerisches Rechnen 118

30 Rückwärtsstabilität Beispiele Beispiel: Filtern verrauschter Bilder Ergebnis Total Variation Minimization Zeitabhängige nichtlineare Diffusionsgleichung Matlab demo Instabilität IGPM, RWTH Aachen Numerisches Rechnen 119

31 Rückwärtsstabilität Beispiele Exaktheit eines Algorithmus Wunsch: Auswertung von f : X Y Wirklichkeit: Auswertung von f : X Y wobei f f aufgrund von Rundungsfehlern (Maschinengenauigkeit),. Definition Ein Algorithmus heißt exakt, wenn f(x) f(x) f(x) = O(eps) Ziel exakter Algorithmus ist zu ehrgeizig Grund: Wenn Problem f schlecht konditioniert ist, werden Rundungsfehler um Kondition κ des Problems verstärkt. IGPM, RWTH Aachen Numerisches Rechnen 120

32 Rückwärtsstabilität Beispiele Rückwärtsstabilität Definition Ein Verfahren heißt rückwärts stabil, wenn für alle x X, f(x) = f( x) für ein x mit x x x = O(eps). Ein rückwärst stabiler Algorithmus gibt die exakte Antwort auf die nahezu richtige Frage (Daten, d.h. x x = x + x). Erinnerung: Gleitpunkarithmetik erfüllt die Forderung fl(x) = x (1 + ε) fl(x y) = (x y) (1 + ε), {+,,, } mit ε eps. IGPM, RWTH Aachen Numerisches Rechnen 121

33 Rückwärtsstabilität Beispiele Rückwärtsstabilität Satz Wird ein rückwärst stabiler Algorithmus zur Lösung eines Problems f : X Y mit Kondition κ(x) angewendet, so gilt f(x) f(x) f(x) = O(κ(x) eps) Beweis: f(x) f(x) f(x) = f( x) f(x) f(x) = κ(x) x x x. Was haben wir gemacht? Fehler im Algorithmus wurden zurückgespiegelt auf Fehler in den Daten. Vorteil: Auswertung von f( x) ist Frage nach Kondition von f. IGPM, RWTH Aachen Numerisches Rechnen 122

34 Rückwärtsstabilität Beispiele Beispiel 2.40 Geg.: Maschinenzahlen x 1, x 2, x 3, Maschinengenauigkeit eps. Ges.: Summe S = (x 1 + x 2 ) + x 3. Man erhält S = ((x 1 + x 2 ) (1 + ε 2 ) + x 3 ) (1 + ε 3 ) mit ε i eps, i = 2, 3. Daraus folgt S = x 1 (1 + ε 2 ) (1 + ε 3 ) + x 2 (1 + ε 2 ) (1 + ε 3 ) + x 3 (1 + ε 3 ). = x 1 (1 + ε 2 + ε 3 ) + x 2 (1 + ε 2 + ε 3 ) + x 3 (1 + ε 3 ) = x 1 (1 + δ 1 ) + x 2 (1 + δ 2 ) + x 3 (1 + δ 3 ) =: ˆx 1 + ˆx 2 + ˆx 3, wobei δ 1 = δ 2 = ε 2 + ε 3 2eps, δ 3 = ε 3 eps Fehlerbehaftetes Resultat S als exaktes Ergebnis zu gestörten Eingabedaten ˆx i = x i (1 + δ i ). IGPM, RWTH Aachen Numerisches Rechnen 123

35 Rückwärtsstabilität Beispiele Beispiel 2.40 Der durch Rechnung bedingte Fehler ist höchstens f(ˆx) f(x) f(x) κ rel (x) 3 ˆx j x j j=1 κ rel (x) 3 j=1 x j δ j κ rel (x) 5 eps Der für die Summation f(x) = f(x 1, x 2, x 3 ) = x 1 + x 2 + x 3 unvermeidbare Fehler ist f( x) f(x) f(x) κ rel(x) 3 κ rel (x) 3 eps x j x j x j j=1 wenn Daten höchstens mit Maschinengenauigkeit gestört werden ( x i = x i (1 + ε), ε eps). Größenordnung der Fehler identisch Berechnung von S ist ein stabiler Algorithmus. IGPM, RWTH Aachen Numerisches Rechnen 124

36 Rückwärtsstabilität Beispiele Summenbildung Summenbildung tritt in vielen Problemen auf (Skalarprodukte, Matrix/Vektor-Multiplikation,... ). Wir betrachten: S n = n x j j=1 Man kann zeigen, dass fl(x 1 + x x n ) (x 1 + x x n ) mit ε i eps, i = 1,..., n. x 1 (ε 1 + ε ε n ) + x 2 (ε ε n ) x n ε n Der erste Summand wird mit größtem Fehler multipliziert. Reihenfolge bei der Summation wichtig der relative Fehler wird am kleinsten, wenn die betragsgrößten Summanden zuletzt aufsummiert werden (vgl. Beispiel 2.36). IGPM, RWTH Aachen Numerisches Rechnen 125

37 Rückwärtsstabilität Beispiele Eigenwertbestimmung Bestimmung der Eigenwerte einer Matrix mit Hilfe des charakteristischen Polynoms: [ ] A = 0 1 Eigenwerte (exakt): λ 1 = und λ 2 = 1. Berechnung über charakteristischen Polynom ergibt: λ 1 = 1 + eps λ 1 λ 1 λ 1 = eps λ 2 = 1 eps λ 2 λ 2 λ 2 = eps Relativer Fehler in den Daten (Koeffizienten des charakteristischen Polynoms) ist O(eps) = O(10 16 ), aber Fehler im Ergebnis ist O( eps) = O(10 8 ). IGPM, RWTH Aachen Numerisches Rechnen 126

38 Was Sie mitnehmen sollten: Wie werden Zahlen im Computer dargestellt Maschinenzahlen M(b, m, r, R) x MIN, x MAX, eps, ε eps IEEE Standard double precision floating point Maschinengenauigkeit eps Welche Probleme können dabei/deswegen auftreten? Assoziativ- und Ditributivgesetz nicht mehr gültig Gefahr der Auslöschung bei {+, } IGPM, RWTH Aachen Numerisches Rechnen 127

39 Stabilität vs. Kondition Bei einem stabilen Lösungsverfahren bleiben die im Laufe der Rechnung erzeugten Rundungsfehler in der Größenordnung der durch die Kondition des Problems bedingten unvermeidbaren Fehler. Kenntnisse über die Kondition eines Problems sind oft für die Interpretation oder Bewertung der Ergebnisse von entscheidender Bedeutung Schlechtes Ergebnis bedeutet nicht unbedingt gleich instabiler Algorithmus, sondern deutet evtl. auf eine schlechte Kondition des Problems hin. In einem Algorithmus sollen (wegen Stabilität) Auslöschungseffekte vermieden werden. IGPM, RWTH Aachen Numerisches Rechnen 128