Numerisches Rechnen. (für Informatiker) M. Grepl J. Berger & J.T. Frings. Institut für Geometrie und Praktische Mathematik RWTH Aachen

Transkript

1 (für Informatiker) M. Grepl J. Berger & J.T. Frings Institut für Geometrie und Praktische Mathematik RWTH Aachen Wintersemester 2010/11

2 Heute Themen: Dahmen & Reusken Kap. 2.2/2.3 und Rundungsfehler evtl. Was Sie heute mitnehmen sollten: Wie werden Zahlen im Computer dargestellt Welche Probleme können dabei/deswegen auftreten? Stabilität vs. Kondition

3 Heute Themen: Dahmen & Reusken Kap. 2.2/2.3 und Rundungsfehler evtl. Was Sie heute mitnehmen sollten: Wie werden Zahlen im Computer dargestellt Welche Probleme können dabei/deswegen auftreten? Stabilität vs. Kondition

4 Rundungsfehler und Warum betrachten wir Gleitpunktdarstellung? Aufgrund der Art und Weise, wie Zahlen im Computer dargestellt werden, können überraschende Ergebnisse auftreten... >> u = 0.3/0.1 >> 3 - u ans =?... die im schlimmsten Fall verheerende Folgen haben können.

5 Rundungsfehler und Warum betrachten wir Gleitpunktdarstellung? Aufgrund der Art und Weise, wie Zahlen im Computer dargestellt werden, können überraschende Ergebnisse auftreten... >> u = 0.3/0.1 >> 3 - u ans =?... die im schlimmsten Fall verheerende Folgen haben können.

6 Ariane 5 Flight 501 Erster Start der Ariane 5 am 04. Juni 1996 Crash des Navigationscomputers aufgrund eines Überlaufs bei der Umrechnung eines 64-bit floating point in ein 16-bit signed integer führte zur Selbstzerstörung.

7 Beispiel Wir betrachten als Beispiel die Zahl : Dezimalsystem (Basis 10) = = 10 3 ( ) Binärsystem (Basis 2) = = 2 7 ( )

8 Beispiel Wir betrachten als Beispiel die Zahl : Dezimalsystem (Basis 10) = = 10 3 ( ) Binärsystem (Basis 2) = = 2 7 ( )

9 Man kann zeigen, dass für jedes feste b N, b > 1, sich jede beliebige reelle Zahl x 0 in der Form x = ± d j b j b e j=1 darstellen lässt, wobei der ganzzahlige Exponent e so gewählt werden kann, dass d 1 0. Dezimalsystem (Basis b = 10) Binärsystem (Basis 2)

12 Normalisierte Gleitpunktdarstellung Floating Point Representation: wobei Basis b N\{1}; x = ± 0.d 1 d 2... d m b e ( ) m = ± d j b j b e j=1 Exponent e Z mit r e R; Mantisse f = ± 0.d 1 d 2... d m, d j {0, 1,..., b 1}, für alle j; Mantissenlänge m; Normalisierung: d 1 0 für x 0.

17 Historie Rundungsfehler und Vor dem Jahr 1985 Keinen einheitlichen Standard Jeder Computer hatte seine eigene Gleitpunktdarstellung Manche binär (Basis 2, 8, 16), manche dezimal, sogar trinär! hat sich auf unterschiedlichen Computern unterschiedlich verhalten! Im Jahr 1985 ANSI/IEEE Standard for Binary Floating-Point Arithmetic ANSI - American National Standards Institute IEEE - Institute of Electrical and Electronics Engineers Alle Computer seit 1985 benutzen diesen Standard Maschinen-unabhängiges Modell, wie sich verhält.

18 Maschinenzahlen Nur endliche Anzahl von Zahlen ( darstellbar ) (m vs. ): m x = ± d j b j b e j=1 Maschinenzahlen M(b, m, r, R) Definition Reduktionsabbildung fl : R M(b, m, r, R) definiert durch ( m ) j=1 fl(x) := ± d j b j b e falls d m+1 < b ( 2, m ) j=1 d j b j + b m b e falls d m+1 b 2, d.h. die letzte Stelle der Mantisse wird um eins erhöht bzw. beibehalten, falls die Ziffer in der nächsten Stelle b 2 bzw. < b 2 ist.

19 Bildbereich und Genauigkeit Maschinenzahlen M(b, m, r, R): Es gibt einen begrenzten Bereich von Zahlen, die dargestellt werden können Die Endlichkeit von e beschränkt den Bildbereich. Es gibt nur eine endliche Anzahl von Zahlen, die innerhalb des Bildbereichs dargestellt werden können Die Endlichkeit von f beschränkt die Genauigkeit.

20 Bildbereich Die Endlichkeit von e beschränkt den Bildbereich: Betragsmäßig kleinste ( 0) Zahl: x MIN = b r 1 Betragsmäßig größte Zahl: x MAX = (1 b m ) b R Achtung: Unterlauf, wenn x < x MIN ; Überlauf, wenn x > x MAX.

21 Maschinengenauigkeit Beispiel Beispiel In einem Gleitpunkt-Zahlensystem mit Basis b = 10 und Mantis- Gleitpunktdarstellung senlänge m = 6 erhält mit man b folgende = 10 und gerundete m = 6Resultate: x fl(x) fl(x) x x 1 3 = = e 10 = e 10 = = Gleitpunktdarstellung Im Fall b = 2, m = 10 erhält mit b man: = 2 und m = 10 x fl(x) fl(x) x x e e Dahmen-Reusken Numerisches Kapitel 2 Rechnen 38

22 Maschinengenauigkeit Für den relativen Rundungsfehler erhält man fl(x) x b m x 2 be b 1 b = b1 m e 2. Die (relative) Maschinengenauigkeit eps := b1 m 2 charakterisiert das Auflösungsvermögen des Rechners, d.h. eps = inf{δ > 0 fl(1 + δ) > 1} Der Rundungsfehler ε erfüllt ε eps und es gilt fl(x) = x (1 + ε).

23 Maschinengenauigkeit Beispiel Beispiel In einem Gleitpunkt-Zahlensystem mit Basis b = 10 und Mantis- Gleitpunktdarstellung: senlänge m = 6 erhält man b = folgende 10, m = gerundete 6 eps Resultate: = x fl(x) fl(x) x x 1 3 = = e 10 = e 10 = = Im Fall b = 2, m = 10 erhält man: x fl(x) fl(x) x x e e Gleitpunktdarstellung: b = 2, m = 10 eps =

24 IEEE Standard Double-precision floating-point 64-bit Wort mit 52 bits für f 11 bits für e 1 bit für das Vorzeichen Der Exponent e ist eine ganze Zahl im Intervall 1022 e 1023 Der Wert von 2 52 f ist eine natürliche Zahl im Intervall f < 2 52

25 e = e-016 Rundungsfehler und IEEE Standard It turns out that the only roundoff occurs in the division in the first stat The quotient cannot be exactly 4/3, except on that Russian trinary com Consequently the value stored in a is close to, but not exactly equal to, 4/3 subtraction b = a - 1 produces a b whose last bit is 0. This means th multiplication x MIN : f = 3*b0 can undbe e = done 1022 without any roundoff. The value stored not xexactly MAX : equal f = 1to 1, eps andund so the e = value 1023stored in e is not 0. Before the standard, this code was used as a quick way to estimate the roundoff le various Überlauf: computers. e = 1024 und f = 0 The Schreibweise: roundoff level infinity eps is oder sometimes Inf called floating-point zero, but t misnomer. Erfüllt: There 1/Inf are many = 0 und floating-point Inf+Inf = numbers Inf much smaller than eps smallest Not-a-Number positive normalized oder NaN: floating-point e = 1024 und number f has 0 f = 0 and e = 102 largestfloating-point Undefinierte Zahl, number z.b. has 0/0 f a little less than 1 and e = M calls these numbers realmin and realmax. Together with eps, they chara the standard Unterlauf: system. e = 1023 Binary Decimal eps 2^(-52) e-16 realmin 2^(-1022) e-308 realmax (2-eps)*2^ e+308 If any computation tries to produce a value larger than realmax, it is

26 Pseudoarithmetik Die Verknüpfung von Maschinenzahlen durch eine exakte elementare arithmetische Operation liefert nicht unbedingt eine Maschinenzahl Beispiel b = 10, m = 3: = Ähnliches passiert bei Multiplikation und Division. Die üblichen arithmetischen Operationen müssen also durch geeignete Gleitpunktoperationen ersetzt werden (Pseudoarithmetik).

27 Pseudoarithmetik Forderung Für {+,,, } gelte x y = fl(x y) für x, y M(b, m, r, R). Da fl(x) = x (1 + ε), folgt somit, dass für {+,,, } x y = (x y)(1 + ε) für x, y M(b, m, r, R) und ein ε mit ε eps gilt. Vorsicht bei Pseudoarithmetik: Grundlegende Regeln der Algebra, die bei exakter Arithmetik gelten, sind nicht mehr gültig. Reihenfolge der Verküpfung spielt eine Rolle (Assoziativität der Addition geht verloren).

28 Pseudoarithmetik Forderung Für {+,,, } gelte x y = fl(x y) für x, y M(b, m, r, R). Da fl(x) = x (1 + ε), folgt somit, dass für {+,,, } x y = (x y)(1 + ε) für x, y M(b, m, r, R) und ein ε mit ε eps gilt. Vorsicht bei Pseudoarithmetik: Grundlegende Regeln der Algebra, die bei exakter Arithmetik gelten, sind nicht mehr gültig. Reihenfolge der Verküpfung spielt eine Rolle (Assoziativität der Addition geht verloren).

29 Beispiel (Assoziativ- und Distributivgesetz) Beispiel Zahlensystem mit b = 10, m = 3. Maschinenzahlen x=6590= Beispiel Zahlensystem y= 1 mit =0.100 b = 10, 10 m 1 = 3. Maschinenzahlen z= 4 = x=6590= Exakte Rechnung: (x + y) y= + z 1 = (y = z) + x 10 = Pseudoarithmetik: x y = z= 4 4 und =0.400 (x y) 10 1 z = , aber Exakte Rechnung: (x + y) + z = (y + z) + x = Pseudoarithmetik: y x z y = und und (y (x z) y) x z = , aber Entsprechend y z = gilt auch das 10 1 Distributivgesetz und (y z) x nicht = mehr: Beispiel 2.37 Für b = 10, m = 3, x = Entsprechend gilt auch das Distributivgesetz nicht 2 und y = mehr: 2 (x y) (x y) = 0.01 Beispiel 2.37 Für (xb = y) 10, m (x= y) 3, x = und, y = aber aber (x y) (x y) = 0.01 (x x) (x (x y) y) (x(y y) x) = (y0.100 y) = , Dahmen-Reusken (x x) IGPM, (x RWTH y) Aachen (y x) Numerisches Kapitel 2 (y y) = Rechnen

30 Beispiel (Auslöschung) Beispiel 2.38 (Auslöschung) Betrachte x = , y = , x y = Bei 3-stelliger Rechnung (b = 10, m = 3, eps = ) ergibt sich x = fl(x) = 0.736, δ x = ỹ = fl(y) = 0.734, δ y = Die relative Störung im Resultat der Subtraktion ist hier ( x ỹ) (x y) x y = = 0.64, also sehr groß im Vergleich zu δ x, δ y.

31 Zusammenfassend: Zusammenfassend: (x y) (x y) eps x, y M, {+,,, } (x (x y) (x y) eps x, y M, {+,,, } (x y) d.h., die relativen Rundungsfehler bei den elementaren Gleitpunktoperationen Die relativen d.h., die relativen sind Rundungsfehler betragsmäßigbei Rundungsfehler kleiner den elementaren bei als dendie elementaren Maschinengenauigkeit, Gleitpunktoperationen die Eingangsdaten sind sind betragsmäßig betragsmäßig x, y Maschinenzahlen kleiner kleiner als alsdie diemaschinengenauigkeit, sind. Gleitpunktoperationen wenn wenn wenndie die Eingangsdatenx, x, y y Maschinenzahlensind. sind. Sei f(x, y) = x y, x, y R, {+,,, } und κ rel die relative Konditionszahl Sei Seif(x, f(x, y) y) = = x y, von x y, f. x, Es yx, gilt yr, R, {+,, {+,, }, und, } κ und rel dieκrelative Konditionszahl die relative Konditionszahl von f. Es gilt von f. Es gilt {, } : κ rel 1 für alle x, y, {+, {, } } : κ rel 1 für wenn alle x y x, y, max{ x, y }. {+, } : κ rel 1 wenn x y max{ x, y }. Sehr große Fehlerverstärkung bei +, möglich (Auslöschung). Also: möglich sehr große Fehlerverstärkung bei +, (Auslöschung). Also: möglich sehrigpm, große RWTH Fehlerverstärkung Aachen Numerischesbei Rechnen +, (Auslöschung).

32 Beispiele Rundungsfehler und t = 0.1 u = 0.3/0.1 Das Ergebnis ist nicht identisch gleich 3, da Zähler etwas kleiner als 0.3 und Nenner etwas größer als 0.1. a = ; b = a ; b == a Der relative Fehler zwischen a und b is kleiner als eps Es gibt keine "double-precision floating point" Zahl zwischen und eps/ eps/2 Beim Summieren betragsmäßig kleinste Zahlen zuerst aufsummieren.

40 Beispiele Rundungsfehler und Auswerten der Funktion f(x) = 1 x ( x+1 x 1) Exakte Auswertung f(x) = 1 x ( x+1 x 1) Lösung des Gleichungssystems = 1 x x+1 x x = 0 für alle x > 0 17x 1 + 5x 2 = x x 2 = 2.2 ergibt exakte Lösung x = (x 1, x 2 ) T = (1, 1) T.

43 Beispiel: Polynom 7. Grades Matlab Plot x = 0.988:0.0001:1.012; y = x.^7-7*x.^6+21*x.^5-35*x.^4+35*x.^3-21*x.^2+7*x-1; plot(x,y) x

44 Beispiel: Polynom 7. Grades Matlab Plot x = 0.988:0.0001:1.012; y = x.^7-7*x.^6+21*x.^5-35*x.^4+35*x.^3-21*x.^2+7*x-1; plot(x,y) x

45 Beispiel: Polynom 7. Grades Matlab Plot x = 0.988:0.0001:1.012; y = (x-1).^7; plot(x,y) x

46 Rückwärtsstabilität Beispiele Vorbemerkung Definition Ein Algorithmus heißt gutartig oder stabil, wenn die durch ihn im Laufe der Rechnung erzeugten Fehler in der Größenordnung des durch die Kondition des Problems bedingten unvermeidbaren Fehlers bleiben. Kondition ist Eigenschaft des Problems Stabilität ist Eigenschaft des Verfahrens/Algorithmus Wenn Problem schlecht konditioniert, kann man nicht erwarten, dass die Numerische Methode, d.h. ein stabiler Algorithmus, gute Ergebnisse liefert. Ziel: Numerische Methode soll Fehlerverstärkung nicht noch weiter vergrößern Gute Kondition soll erhalten bleiben.

49 Rückwärtsstabilität Beispiele Beispiel 2.39: y 2 2a 1 y + a 2 = 0 Bestimmung von u = f(a 1, a 2 ) = a 1 a 2 1 a 2. Algorithmus I y 1 = a 1 a 1 y 2 = y 1 a 2 y 3 = y 2 u = a 1 y 3 Für a 1 = , a 2 = 0.01 in einem Gleitpunkt-Zahlensystem mit b = 10, m = 5 bekommt man das Ergebnis u = Exakte Lösung: u = Problem für diese Eingangsaten a 1, a 2 gut konditioniert. Durch Algorithmus erzeugte Fehler sehr viel größer als unvermeidbarer Fehler. Algorithmus I ist nicht stabil

50 Rückwärtsstabilität Beispiele Beispiel 2.39: y 2 2a 1 y + a 2 = 0 Alternative: u = a 2 a 1 + a 2 1 a 2 Algorithmus II y 1 = a 1 a 1 y 2 = y 3 = y 1 a 2 y 2 y 4 = a 1 + y 3 u = a 2 y 4 Mit b = 10, m = 5 bekommt man das Ergebnis u = Exakte Lösung: u = Gesamtfehler bleibt im Rahmen der Maschinengenauigkeit. Auslöschung tritt nicht auf. Algorithmus II ist somit stabil

51 Rückwärtsstabilität Beispiele Beispiel: Filtern verrauschter Bilder Ergebnis Total Variation Minimization Zeitabhängige nichtlineare Diffusionsgleichung Matlab demo Instabilität

52 Rückwärtsstabilität Beispiele Exaktheit eines Algorithmus Wunsch: Auswertung von f : X Y Wirklichkeit: Auswertung von f : X Y wobei f f aufgrund von Rundungsfehlern (Maschinengenauigkeit),. Definition Ein Algorithmus heißt exakt, wenn f(x) f(x) f(x) = O(eps) Ziel exakter Algorithmus ist zu ehrgeizig Grund: Wenn Problem f schlecht konditioniert ist, werden Rundungsfehler um Kondition κ des Problems verstärkt.

55 Rückwärtsstabilität Beispiele Rückwärtsstabilität Definition Ein Verfahren heißt rückwärts stabil, wenn für alle x X, f(x) = f( x) für ein x mit x x x = O(eps). Ein rückwärst stabiler Algorithmus gibt die exakte Antwort auf die nahezu richtige Frage (Daten, d.h. x x = x + x). Erinnerung: Gleitpunkarithmetik erfüllt die Forderung fl(x) = x (1 + ε) fl(x y) = (x y) (1 + ε), {+,,, } mit ε esp.

56 Rückwärtsstabilität Beispiele Rückwärtsstabilität Definition Ein Verfahren heißt rückwärts stabil, wenn für alle x X, f(x) = f( x) für ein x mit x x x = O(eps). Ein rückwärst stabiler Algorithmus gibt die exakte Antwort auf die nahezu richtige Frage (Daten, d.h. x x = x + x). Erinnerung: Gleitpunkarithmetik erfüllt die Forderung fl(x) = x (1 + ε) fl(x y) = (x y) (1 + ε), {+,,, } mit ε esp.

57 Rückwärtsstabilität Beispiele Rückwärtsstabilität Satz Wird ein rückwärst stabiler Algorithmus zur Lösung eines Problems f : X Y mit Kondition κ(x) angewendet, so gilt f(x) f(x) f(x) = O(κ(x) eps) Beweis: f(x) f(x) f(x) = f( x) f(x) f(x) = κ(x) x x x. Was haben wir gemacht? Fehler im Algorithmus wurden zurückgespiegelt auf Fehler in den Daten. Vorteil: Auswertung von f( x) ist Frage nach Kondition von f.

58 Rückwärtsstabilität Beispiele Rückwärtsstabilität Satz Wird ein rückwärst stabiler Algorithmus zur Lösung eines Problems f : X Y mit Kondition κ(x) angewendet, so gilt f(x) f(x) f(x) = O(κ(x) eps) Beweis: f(x) f(x) f(x) = f( x) f(x) f(x) = κ(x) x x x. Was haben wir gemacht? Fehler im Algorithmus wurden zurückgespiegelt auf Fehler in den Daten. Vorteil: Auswertung von f( x) ist Frage nach Kondition von f.

59 Rückwärtsstabilität Beispiele Beispiel 2.40 Geg.: Maschinenzahlen x 1, x 2, x 3, Maschinengenauigkeit eps. Ges.: Summe S = (x 1 + x 2 ) + x 3. Man erhält S = ((x 1 + x 2 ) (1 + ε 2 ) + x 3 ) (1 + ε 3 ) mit ε i eps, i = 2, 3. Daraus folgt S = x 1 (1 + ε 2 ) (1 + ε 3 ) + x 2 (1 + ε 2 ) (1 + ε 3 ) + x 3 (1 + ε 3 ). = x 1 (1 + ε 2 + ε 3 ) + x 2 (1 + ε 2 + ε 3 ) + x 3 (1 + ε 3 ) = x 1 (1 + δ 1 ) + x 2 (1 + δ 2 ) + x 3 (1 + δ 3 ) =: ˆx 1 + ˆx 2 + ˆx 3, wobei δ 1 = δ 2 = ε 2 + ε 3 2eps, δ 3 = ε 3 eps Fehlerbehaftetes Resultat S als exaktes Ergebnis zu gestörten Eingabedaten ˆx i = x i (1 + δ i ).

60 Rückwärtsstabilität Beispiele Beispiel 2.40 Der durch Rechnung bedingte Fehler ist höchstens f(ˆx) f(x) f(x) κ rel (x) 3 ˆx j x j j=1 κ rel (x) 3 j=1 x j δ j κ rel (x) 5 eps Der für die Summation f(x) = f(x 1, x 2, x 3 ) = x 1 + x 2 + x 3 unvermeidbare Fehler ist f( x) f(x) f(x) κ rel(x) 3 κ rel (x) 3 eps x j x j x j j=1 wenn Daten höchstens mit Maschinengenauigkeit gestört werden ( x i = x i (1 + ε), ε eps). Größenordnung der Fehler identisch Berechnung von S ist ein stabiler Algorithmus.

63 Rückwärtsstabilität Beispiele Summenbildung Summenbildung tritt in vielen Problem auf (Skalarprodukte, Matrix/Vektor-Multiplikation,... ). Wir betrachten: S n = n x j j=1 Man kann zeigen, dass fl(x 1 + x x n ) (x 1 + x x n ) x 1 (ε 1 + ε ε n ) +x 2 (ε ε n ) x n ε n mit ε i eps, i = 1,..., n. Der erste Summand wird mit größtem Fehler multipliziert. Reihenfolge bei der Summation wichtig der relative Fehler wird am kleinsten, wenn die betragsgrößten Summanden zuletzt aufsummiert werden (vlg. Beispiel 2.36).

64 Rückwärtsstabilität Beispiele Summenbildung Summenbildung tritt in vielen Problem auf (Skalarprodukte, Matrix/Vektor-Multiplikation,... ). Wir betrachten: S n = n x j j=1 Man kann zeigen, dass fl(x 1 + x x n ) (x 1 + x x n ) x 1 (ε 1 + ε ε n ) +x 2 (ε ε n ) x n ε n mit ε i eps, i = 1,..., n. Der erste Summand wird mit größtem Fehler multipliziert. Reihenfolge bei der Summation wichtig der relative Fehler wird am kleinsten, wenn die betragsgrößten Summanden zuletzt aufsummiert werden (vlg. Beispiel 2.36).

65 Rückwärtsstabilität Beispiele Instabiler Algorithmus Bestimmung der Eigenwerte einer Matrix mit Hilfe des charakteristischen Polynoms: [ ] A = 0 1 Eigenwerte (exakt): λ 1 = und λ 2 = 1. Berechnung über charakteristischen Polynom ergibt: λ 1 = 1 + eps λ 1 λ 1 λ 1 = eps λ 2 = 1 eps λ 2 λ 2 λ 2 = eps Relativer Fehler in den Daten (Koeffizienten des charakteristischen Polynoms) ist O(eps) = O(10 16 ), aber Fehler im Ergebnis ist O( eps) = O(10 8 ).

66 Rückwärtsstabilität Beispiele Instabiler Algorithmus Bestimmung der Eigenwerte einer Matrix mit Hilfe des charakteristischen Polynoms: [ ] A = 0 1 Eigenwerte (exakt): λ 1 = und λ 2 = 1. Berechnung über charakteristischen Polynom ergibt: λ 1 = 1 + eps λ 1 λ 1 λ 1 = eps λ 2 = 1 eps λ 2 λ 2 λ 2 = eps Relativer Fehler in den Daten (Koeffizienten des charakteristischen Polynoms) ist O(eps) = O(10 16 ), aber Fehler im Ergebnis ist O( eps) = O(10 8 ).

67 Was Sie heute mitnehmen sollten: Wie werden Zahlen im Computer dargestellt Maschinenzahlen M(b, m, r, R) x MIN, x MAX, eps, ε eps IEEE Standard double precision floating point Maschinengenauigkeit eps Welche Probleme können dabei/deswegen auftreten? Assoziativ- und Ditributivgesetz nicht mehr gültig Gefahr der Auslöschung bei {+, }

68 Stabilität vs. Kondition Bei einem stabilen Lösungsverfahren bleiben die im Laufe der Rechnung erzeugten Rundungsfehler in der Größenordnung der durch die Kondition des Problems bedingten unvermeidbaren Fehler. Kenntnisse über die Kondition eines Problems sind oft für die Interpretation oder Bewertung der Ergebnisse von entscheidender Bedeutung Schlechtes Ergebnis bedeutet nicht unbedingt gleich instabiler Algorithmus, sondern deutet evtl. auf eine schlechte Kondition des Problems hin. In einem Algorithmus sollen (wegen Stabilität) Auslöschungseffekte vermieden werden.