Remarks on Floating Points

Transkript

1 Remarks on Floating Points Prof. Dr. Jian-Jia Chen Department of Computer Science, Chair 2 TU Dortmund University, Germany October 3, 208 (based on the slides from Sedgewick and Wayne from University of Princeton) Prof. Dr. Chen (LS 2, TU Dortmund) / 25

2 Floating Point Hinweis: Die meisten reellen Zahlen können nicht exakt dargestellt werden, z.b. π oder 0. Rundungsfehler entstehen aus nicht intuitivem Verhalten. Beispiel aus der Finanzwelt: Die Gebühren eines Telefonanrufes (50 Cent) sollen um 9% erhöht werden. Kaufmännisches Runden Prof. Dr. Chen (LS 2, TU Dortmund) 2 / 25

3 Floating Point Hinweis: Die meisten reellen Zahlen können nicht exakt dargestellt werden, z.b. π oder 0. Rundungsfehler entstehen aus nicht intuitivem Verhalten. Prof. Dr. Chen (LS 2, TU Dortmund) 3 / 25

4 Auslöschung Gegeben: Sei die Funktion f (x) = cos x x 2 Gesucht: Die grafische Darstellung von f (x) für die Werte x Exakte Darstellung Prof. Dr. Chen (LS 2, TU Dortmund) 4 / 25

5 Auslöschung Gegeben: Sei die Funktion f (x) = cos x x 2 Gesucht: Die grafische Darstellung von f (x) für die Werte x Darstellung nach Standard IEEE 754 Prof. Dr. Chen (LS 2, TU Dortmund) 5 / 25

6 Auslöschung Beispiel: Evaluierung von fl(x) für x = Math.cos(x) = Math.cos(x) = Math.cos(x) x x = Unter Auslöschung (engl. cancellation) versteht man in der Numerik den Verlust an Genauigkeit bei der Subtraktion fast gleich großer Gleitkommazahlen. Quelle: [Wolfgang Dahmen, Arnold Reusken: Numerik für Ingenieure und Naturwissenschaftler. 2. Auflage. Springer-Verlag, Berlin 2008, ISBN , S. 4] Prof. Dr. Chen (LS 2, TU Dortmund) 6 / 25

7 Berühmt-berüchtigte Softwarefehler Ariane 5 Rakete, 04. Juni 996 Ein Projekt der europäische Weltraumorganisation ESA (0 Jahre Entwicklung, ca $) explodiert direkt nach dem Start, wegen einer 64-bit float zu 6-bit signed int Konvertierung. Aktien Handel in Vancouver (Kanada), November 983 Im Januar 982 wurde der Index mit einem Wert von 000 initialisiert, und bei jedem Handel (ca mal pro Tag) bis auf drei Stellen hinter dem Komma abgeschnitten. Nach 22 Monaten entstand ein truncation error von mehr als 44%. Prof. Dr. Chen (LS 2, TU Dortmund) 7 / 25

8 Lineare Gleichungssysteme (LGS) a x + b y + c z = d a 2 x + b 2 y + c 2 z = d 2 a 3 x + b 3 y + c 3 z = d 3 a b c d A = a 2 b 2 c 2, b = d 2 a 3 b 3 c 3 d 3 Matrixform: Finde x, sodass Ax = b Grundlegende Probleme der Natur- und Ingenieurswissenschaften: Chemisches Gleichgewicht Lineare und nicht lineare Optimierung Kirchhoffsche Regeln Hookesches Gesetz Numerische Lösungen für Differenzialgleichungen... Prof. Dr. Chen (LS 2, TU Dortmund) 8 / 25

9 Dreiecksmatrix Für eine obere Dreiecksmatrix gilt: a ij = 0 for i > j 2x 0 + 4x 2x 2 = 2 0x 0 + x + x 2 = 4 0x 0 + 0x + 2x 2 = 24 Rückwärtseinsetzen: Gleichung 2: x 2 = 24 2 = 2 Gleichung : x = 4 x 2 = 2 Gleichung 0: x 0 = 2 4x +2x 2 2 = Prof. Dr. Chen (LS 2, TU Dortmund) 9 / 25

10 Gaußsches Eliminationsverfahren 0x 0 + x + x 2 = 4 2x 0 + 4x 2 2x 2 = 2 0x 0 + 3x 2 + 5x 2 = 36 Tausche Reihe0 mit Reihe 2x 0 + 4x 2 2x 2 = 2 0x 0 + x + x 2 = 4 0x 0 + 3x 2 + 5x 2 = 36 Reihe3 (Reihe2 3) 2x 0 + 4x 2 2x 2 = 2 0x 0 + x + x 2 = 4 0x 0 + 0x 2 + 2x 2 = 24 Prof. Dr. Chen (LS 2, TU Dortmund) 0 / 25

11 Gaußsches Eliminationsverfahren: Vorwärtseinsetzen Arithmetischer Operationen nutzen, um eine obere Dreiecksmatrix zu erzeugen. Pivotisierung: Einträge unter dem Pivotelement a pp Nullen. Prof. Dr. Chen (LS 2, TU Dortmund) / 25

12 Gaußsches Eliminationsverfahren: Vorwärtseinsetzen Arithmetischer Operationen nutzen, um eine obere Dreiecksmatrix zu erzeugen. Pivotisierung: Einträge unter dem Pivotelement a pp Nullen. Prof. Dr. Chen (LS 2, TU Dortmund) 2 / 25

13 Gaußsches Eliminationsverfahren: Beispiel Prof. Dr. Chen (LS 2, TU Dortmund) 3 / 25

14 Gaußsches Eliminationsverfahren: Beispiel Prof. Dr. Chen (LS 2, TU Dortmund) 4 / 25

15 Gaußsches Eliminationsverfahren: Beispiel Prof. Dr. Chen (LS 2, TU Dortmund) 5 / 25

16 Gaußsches Eliminationsverfahren: Beispiel Prof. Dr. Chen (LS 2, TU Dortmund) 6 / 25

17 Gaußsches Eliminationsverfahren: Beispiel Prof. Dr. Chen (LS 2, TU Dortmund) 7 / 25

18 Gaußsches Eliminationsverfahren: Teilpivotisierung Hinweis: Der Code schlägt fehl, wenn das Pivotelement a pp = 0. Prof. Dr. Chen (LS 2, TU Dortmund) 8 / 25

19 Gaußsches Eliminationsverfahren: Teilpivotisierung Teilpivotisierung: Tausche Reihe p mit der Reihe, welche den größten Eintrag in Spalte p entlang der Reihen i unter der Diagonalen hat. Frage: Was passiert, wenn Pivotelement a pp = 0 während der Teilpivotisierung? Prof. Dr. Chen (LS 2, TU Dortmund) 9 / 25

20 Gaußsches Eliminationsverfahren: Teilpivotisierung Teilpivotisierung: Tausche Reihe p mit der Reihe, welche den größten Eintrag in Spalte p entlang der Reihen i unter der Diagonalen hat. Frage: Was passiert, wenn Pivotelement a pp = 0 während der Teilpivotisierung? Antwort: Das Gleichungssystem hat keine oder unendliche viele Lösungen. Prof. Dr. Chen (LS 2, TU Dortmund) 9 / 25

21 Stabilität Stabilität: Algorithmus fl(x) um f (x) zu berechnen ist numerisch stabil, wenn fl(x) f (x + ɛ) für einige geringe Störungen ɛ. Beispiel : Numerisch instabiler weg zur Berechnung von f (x) = cos x x 2. fl(. 0 8 ) = (eigentlich 2 ) Hinweis: Numerisch stabile Gleichung von f (x) = 2 sin2 ( x 2 ) x 2 Prof. Dr. Chen (LS 2, TU Dortmund) 20 / 25

22 Stabilität Stabilität: Algorithmus fl(x) um f (x) zu berechnen ist numerisch stabil, wenn fl(x) f (x + ɛ) für einige geringe Störungen ɛ. Beispiel 2: Gaußsches Eliminationsverfahren ohne Teilpivotierung kann fehlschlagen. Theorem: Teilpivotierung verbessert die numerische stabilität. Prof. Dr. Chen (LS 2, TU Dortmund) 2 / 25

23 Schlecht konditionierte Probleme Konditionierung: Ein Problem ist gut konditioniert, wenn f (x) f (x + ɛ) für alle geringen Störeinflüsse ɛ. Beispiel : arccos() and tan() Funktionen. arccos( ) , tan(.57078) arccos( ) , tan(.57079) Folgerung: Die folgende Gleichung, um die Großkreisentfernung zwischen (x, y ) and (x 2, y 2 ), ist ungenau für benachbarte Punkte! d = 60 arccos(sin x sin x 2 + cos x cos x 2 cos(y y 2 )) Prof. Dr. Chen (LS 2, TU Dortmund) 22 / 25

24 Schlecht konditionierte Probleme Konditionierung: Ein Problem ist gut konditioniert, wenn f (x) f (x + ɛ) für alle geringen Störeinflüsse ɛ. Beispiel 2: Hilbert-Matrix. Kleine Störungen in H n machen die Matrix singulär. H 2 x = b kann nicht durch die Benutzung von floating points gelöst werden. 2 H n = n. n+ 3 n 4 n+ 5 n n+2 2n Konditionszahl: Die Konditionszahl stellt ein Maß für die Abhängigkeit zwischen der Lösung eines Problems und der Störung der Eingangsdaten dar; sie beschreibt den Faktor, um den der Eingangsfehler im ungünstigsten Fall verstärkt wird. Prof. Dr. Chen (LS 2, TU Dortmund) 23 / 25

25 Fazit Präzision ist von Stabilität sowie Kondition abhängig! Gefährlich: Anwendung eines instabilen Algorithmus auf ein gut konditioniertes Problem. Gefährlich: Anwendung eines stabilen Algorithmus auf ein schlecht konditioniertes Problem. Sicher: Anwendung eines stabilen Algorithmus auf ein gut konditioniertes Problem. Numerische Analyse ist die Kunst bzw. Wissenschaft einen numerisch stabilen Algorithmus für ein gut konditioniertes Problem zu entwerfen. Prof. Dr. Chen (LS 2, TU Dortmund) 24 / 25

26 Fazit Merke: Manche Algorithmen sind nicht geeignet für floating-point Berechnungen. 2 Floating-point Berechnungen sind ungeeignet für manche Probleme. Prof. Dr. Chen (LS 2, TU Dortmund) 25 / 25