D - 2 Gleitkommadarstellung und -arithmetik

Transkript

1 Numerik im Überblick Was ist, was will Numerik Numerische Grundaufgaben und ihre Lösbarkeit Warnung Alles wird beliebig viel schwieriger wenn einige Variablen ganzzahlig sein müssen und / oder die Lösung gegebenen Ungleichungen genügen muss wie in der Optimierung üblich. 9 D - 2 Ein System von Gleitkommazahlen wird definiert durch: Basis (oder Radix) b (= üblicherweise 2) Mantissenlänge l Minimaler Exponent e min Maximaler Exponent e max Teilmenge der reellen Zahlen R mit Darstellung x = ( ) s.m m 2 m }{{} l b e ( ) s[ mb e +m 2b e 2 +m b e +...+m lb e l] Mantisse m Vorzeichenbit s, Mantisse m, Exponent e s {, } m i {,,..., b } e {e min, e min +,..., e max} Binärdarstellung, d.h. Basis b = 2 ist die am häufigsten verwendete Basis von Gleitkommazahlen Auch b = wird zuweilen in Hardware verwendet. Arten von Gleitkommazahlen normalisierte Gleitpunktzahl: m > = b m x b e < x = ±.m m 2 m m l b e with m > = eindeutige Darstellung unnormalisiert: m = zugelassen = keine Eindeutigkeit denormalisiert: m =, e = e min Vorsicht: Rechnen mit denormalisierten Zahlen führt zu verstärkten Rundungseffekten. Betragsmässig kleinste normalisierte Zahl TINY TINY =. b emin = b emin Betragsmässig größte normalisierte Zahl HUGE HUGE =.(b )(b )(b )... (b )... b emax = b emax ( b l ) Epsilon (relative Maschinengenauigkeit) ε ist die kleinste Zahl ε für die + ε in Gleitkommaarithmetik nicht ergibt, d.h. ε b l Merke: Mantissenlänge l bestimmt die Rechengenauigkeit. Exponentenbereich e max e min bestimmt den Wertebereich. 2

2 Beispiel D. (Gleitpunktzahlsystem mit Basis 2 und Mantissenlänge ) x =.m m2 m 2 e Exponentenbereich e Normalisierte positive Zahlen: m =, m2 {, } m Denormalisierte positive Zahlen: m =, e =, m2 {, } m denormalisiert TINY = 4, HUGE = 7 4, EPSILON = 8 e m m2 m Beispiel D.2 (Einfache genaue Gleitkommazahlen im Salford Fortran 95 Compiler) b = 2, l = 24, e min = 25, e max = 28 HUGE 2 28 = ( 2 ) 2.8 TINY 2 25 = ( 2 ) 2.6 Epsilon 2 24 = ( 2 ) 2.4 ( ) ( ) ( ) Folgerung D. Bei Verwendung der Gleitkommazahlen des Salford Fortran 95 Compilers in Standardgenauigkeit wird mit etwa sieben signifikanten Dezimalstellen gerechnet. 4 Gleitpunktoperationen Gleitpunktoperationen Bemerkenswert (. / 8. ) * 8. =. (. / 5. ) * 5.. Konsequenz Gleitpunktoperationen stören normale algebraische Rechenregeln, insbesondere Distributivität: Im Allgemeinen gilt (a + b) c a c + b c. Man muss sich also über die Reihenfolge der Anwendung von Operationen Gedanken machen. 5 Gleitpunktoperationen Allgemein gültiger Standard: ANSI - IEEE 754 (ANSI American National Standards Institute und IEEE Institute of Electrical and Electronics Egineering.) Grundideen: (i) Alle Zwischenergebnisse werden zur nächsten Gleitpunktzahl gerundet. (ii) The show must go on. Auch bei Fehlern wird weiter gerechnet. 6

3 Auch wenn x und y im Gleitpunktbereich liegen, gilt dies im Allgemeinen nicht für das Ergebnis x y, wobei {, +,, /}. Dann wird x y zunächst mit erhöhter Genauigkeit berechnet und anschließend zur nächstliegenden Gleitpunktzahl gerundet. Rundungsarten (x y) (x y) nach unten gerundet (größte untere Schranke im Gleitpunktbereich) nach oben gerundet (kleinste obere Schranke im Gleitpunktbereich) Verhältnis der Rundung nach oben und unten Falls e gemeinsamer Exponent von (x y) und (x y) ist, dann gilt (x y) (x y) 2 l 2 e 2 l 2 x y, da x y 2 2e.m 2 e. m 2 e 7 Bezeichnet man also mit (x y) { (x y), (x y)} die Gleitpunktzahl, die am nächsten zu x y liegt, so gilt (x y) x y 2 (x y) (x y) 2 l x y eps x y wobei eps = 2 l die relative Maschinengenauigkeit ist. Alternative Schreibweise: fl(x y) = (x y) ( + ε), wobei ε eps. fl(x y) bezeichnet das in Gleitpunktarithmetik erzielte Ergebnis für x y. Konsequenz für relativen Fehler: fl (x y) (x y) x y ε eps 8 Warnung: Rundungsfehler entstehen in (fast) jeder einzelnen Operation und pflanzen sich fort. Algorithmen (z.b. zur Matrixfaktorisierung) müssen deswegen auf ihre Stabilität, d.h. die Verstärkung oder Abdämpfung von Rundungsfehlern, untersucht werden. Beispiel D.4 Gausssche Elimination ohne Pivotierung ist extrem instabil. Gauss mit Pivotierung ist dagegen recht stabil. 9 Frage Was passiert, wenn x y außerhalb des Wertebereichs [-HUGE, HUGE] liegt, d.h. entweder (x y) oder (x y) nicht existiert? Beispiel D.5 (Programm) REAL u,s,t s = TINY(u)**2! ergibt t = HUGE(u)*8! ergibt INF, signalisiert OVERFLOW 2

4 Zu Grundidee (ii) Fortsetzung der Berechnung trotz Fehlers Zu Grundidee (ii) Fortsetzung der Berechnung trotz Fehlers Mit INF und -INF kann (soweit es geht) normal weiter gerechnet werden, ohne dass sich je wieder normale Zahlen ergeben. (Einige) Rechenregeln x + INF == INF für alle x -INF x * INF == sign(x) * INF für x x / == sign(x) * INF für x wobei sign(x) das Vorzeichen von x liefert. Undefinierte Operationen wie /, INF/INF, INF-INF und *INF ergeben den sehr speziellen Wert NaN Not a Number. Da ein NaN nicht mit sich selbst oder etwas anderem verglichen werden kann, gilt x x.equiv..true. genau dann wenn x ein NaN ist. 2 Zu Grundidee (ii) Fortsetzung der Berechnung trotz Fehlers Infektionsprinzip: Wenn immer ein NaN als Argument oder Operator einer Operation auftritt sind die Ergebnisse wiederum NaNs. Auf diese Weise wird der gesamte Berechnungszweig als ungültig ausgewiesen. 22 D - Erinnerung: fl(x y) = x y (+ε) mit eps ε eps wobei {+,,, /} Prinzip Hoffnung für komplexe Berechnungen Da Auf- oder Abrunden mehr oder minder zufällig auftreten hebt sich deren Wirkung (hoffentlich) im Großen und Ganzen auf. 2 Positives Beispiel: Geometrische Reihe: s = n i= x i = x n+ x falls x. Einfach genaues Auswertungsprogramm in Fortran 95 INTEGER i,n REAL(KIND=) x,y,s REAL(KIND=2) check s =! Partialsumme y =!jeweils Potenz von x DO i =, n s = s+y ; y = y*x END DO check = x ; eps = EPSILON(x) check = (-check**(n+))/(-check) WRITE(*,*) s,check,s/check-,n*eps 24

5 Programm ergibt für n = und x = 2./. Beobachtungen s check s/check - n * eps Gleitpunktwert von x ist offenbar größer als 2 (durch Rundung), da beide Summen größer als + 2 ( 2 ( ) ( n ( ) ) n ) = } {{ } Der beobachtete relative Fehler zwischen einfach und doppelt genauer Lösung ist lediglich 2 8, d.h. von der Größenordnung der Maschinengenauigkeit, obwohl wir Operationen durchgeführt haben. Die Rundungen scheinen sich partiell aufgehoben zu haben. Eine exakte Abschätzung für den worst case (d.h. schlimmster Fall) ergibt den Wert ( + eps) eps als relativen Fehler. Das lässt sich wie folgt herleiten. 25 Theoretische Schranke des Fehlers im obigen Programm Für y i+ = fl(y i x) als berechneter Wert von y im i-ten Schritt gilt: y = y = x y 2 = fl(y x) = x 2 ( + ε 2) y = fl(y 2 x) = x ( + ε 2)( + ε ) = x ( + ε ) 2 y 4 = fl(y x) = x 4 ( + ε 2) 2 ( + ε 4) = x 4 ( + ε 4). y i = x i ( + ε i) i. y n = x n ( + ε n) n wobei ε eps 26 Entsprechend erhält man für die Partialsummen s i+ = fl(s i + y i) als berechnete Werte von + x... + x i+ s = fl(y + y ) = fl( + x) = ( + x)( + ε n+) s 2 = fl(s + y 2) = fl(s + y 2)( + ε n+2) = ( ( + x)( + ε n+) + x 2 ( + ε 2) ) ( + ε n+2) = ( + x + x 2 )( + ε n+2) 2 für ε n+2 eps s n = ( + x + x x n )( + ε 2n) n s( + ε) n so dass falls eps n n eps (s n/s ) = ( + ε) n = +n ε+ Ergebnis: Worst case error - Abschätzung: s n/s n eps n (n ) ε 2... n ε n eps 2 27 Negatives Beispiel (d.h. Prinzip Hoffnung versagt) : Harmonische Reihe i= i = (mathematisch, in exakter Arithmetik) 5.4 auf Griewank s Laptop, in einfacher Genauigkeit (für alle hinreichend großen Summations-Schranken = Zahl der Terme) Frage: Was passiert? Antwort: Die Summation bleibt irgendwann liegen, da die zusätzlichen Terme im Vergleich zur berechneten Teilsumme zu klein werden. 28

6 Erklärung: Betrachte kleinen Summanden y und großen Summanden PSfrag replacements x =.m m 2... m l 2 e so dass x = x + 2 l+e die nächst größere Gleitpunktzahl zu x ist und x = x 2 l+e ist die nächst kleinere Gleitpunktzahl zu x. 2 e x x x 2 e 2 l+e 2 l+e Konsequenz: Falls y < 2 2 l+e = 2 l +e gilt immer fl(x + y) = x. Eine hinreichende Bedingung ist: y x eps. 29 Am Beispiel der harmonischen Reihe gilt nach (n ) Termen: n n x = dz = ln(n). i i= z Also bleibt die Summation liegen (d.h. die Partialsummen wachsen nicht mehr weiter) wenn was auf jeden Fall gilt wenn y = ln(n) eps n n eps ln(n) Beispiel D.6 (Programm, das die harmonische Reihe summiert, bis die Partialsummen konstant bleiben:) REAL(KIND=) salt,sneu,one salt = - ; sneu = ; one =. ; n = DO WHILE (sneu salt) salt = sneu sneu = sneu+one/n n = n+ END DO WRITE(*,*) sneu,n Ergebnis auf Griewank s Laptop sneu = n = Laufzeit 6 Sekunde D.h. obiger Schleifenkörper wird in etwa 7 mal pro Sekunden ausgeführt (entspricht ca. Megaflops, d.h. Millionen Operationen/Sekunde.) Vergleich zur theoretischen Herleitung n = ergibt ln(n) n EPSILON(x) =.6 Frage: Was passiert bei Ausführung des obigen Programms, wenn statt mit einfacher Genauigkeit (d.h. KIND=) nun mit doppelt genauen Gleitkommazahlen (d.h. KIND=2) gerechnet wird? Antwort: Das Programm läuft ewig, da eps und damit dann auch n um Faktor 2 5 / gewachsen ist. In Sekunden: s = 8 6 h = 25 4 h = 25. Stunden Tage. 2