Computergestützte Mathematik zur Linearen Algebra

Transkript

1 Computergestützte Mathematik zur Linearen Algebra Pivotwahl und Gleitkommaarithmetik Achim Schädle 3. und 20. Dezember 208 Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208

2 Instabilitäten bei Gauß-Elimination Aufgabe: Berechne LR-Zerlegung von A = [ ] 0 LR-Zerlegung von A ohne Zeilenvertauschung existiert nicht (Division durch 0) A = [ ] 0 20 Pivotelement , LR-Zerlegung von A existiert: [ ] [ ] L = 0 20, R = Python liefert jedoch bei der Multiplikation L R A Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 2

3 Gleitkommaarithmetik Wie lässt sich dieser Fehler erklären? Wie werden Zahlen im Rechner dargestellt? Welche Fehler können bei Grundrechenarten passieren? Wie kann man Instabilitäten im Gauß-Algorithmus vermeiden? Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 3

4 Gleitkommazahlen Eine Gleitkommazahl (engl. floating point number) zu einer gegebenen Basis b ist eine Zahl der Form wobei s {, } das Signum m [, b) die Mantisse und e Z der Exponent x = s m b e, heißen. Jede reelle Zahl lässt sich auf diese Weise eindeutig darstellen. Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 4

5 Gleitkommadarstellung reeller Zahlen Sei m auf l Ziffern gerundete Mantisse von x = ±m b e fl(x) := ±m b e Beispiel: l = 8, b = 0, x = π = fl(π) = Maschinengenauigkeit: Kleinste positive Zahl eps, so dass fl( + eps) >. Dezimalsystem eps = 5 0 l Binärsystem (Basis 2) eps = 2 l Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 5

6 Beispiele Dezimaldarstellung (b = 0) x = s m 0 e, m [, 0) x = s =, e = 0, m = x = 0 s =, e =, m = x = 0,25 s =, e =, m =,25 Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 6

7 Beispiele Binärdarstellung (b = 2) x = s m 2 e, m [, 2) x = s =, e = 0, m = x = 0 s =, e = 3, m = 5 4 x = 0,25 s =, e = 3, m = Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 7

8 Zahlendarstellung im Rechner Der Rechner hat nur endlich viel Speicher m und e können nur endlich viele Werte annehmen. Computer kann nur Nullen und Einen speichern stelle m und e binär dar (d.h. b = 2). Verwende p + Stellen für die Mantisse, r Stellen für den Exponenten. Erhalte endliche Gleitkommadarstellung p r fl(x) = s m b e, mit s = ( ) S, m = + M p k 2 k, e = E l 2 l 2 k= l=0 wobei S, M i, E l {0, }, i = 0,..., p, l = 0,..., r. Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 8

9 Zahlendarstellung im Rechner, Anordnung p r fl(x) = s m b e, mit s = ( ) S, m = + M p k 2 k, e = E l 2 l 2 k= l=0 Anordnung im Speicher bei einfacher Genauigkeit, d.h. p = 23, r = 8: Bit Bit S E E E E E E E E M M M M M M M M M M M M M M M M M M M M M M M S Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 9

10 Zahlendarstellung im Rechner, spezielle Werte ±0: e = 2 r +, m = (eigentlich nicht darstellbar) Bit S Vorzeichen Exponent Mantisse ± : e = 2 r, m = Bit S Vorzeichen Exponent Mantisse NaN (not-a-number): e = 2 r, m >, Indikation für Fehler Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 0

11 Beispiele Bit x = = 2 0 s =, e = 0, m = s = = ( ) 0 r 2 e = 0 = 2 l +0 2 r 2 r + l=0 }{{} =2 r m = = + p 0 2 k k= Vorzeichen Exponent Mantisse Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208

12 Beispiele Bit x = 0 = s =, e = 3, m = 5 4 s = = ( ) r 2 e = 3 = l + 2 r 2 r + l=0 m = 5 4 = p k k= Vorzeichen Exponent Mantisse Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 2

13 Beispiele x = 0,25 = 8 = 2 3 s =, e = 3, m = s = = ( ) 2 6 e = 3 = = 0 2 l + 2 l r + Bit m = = + l=0 p 0 2 k k= l= Vorzeichen Exponent Mantisse Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 3

14 ist eine Achim Schaedle periodische (HHU) Binärzahl. CompLinA 3. und 20. Dezember Beispiele Rundung! x = 0, = s =, e = 4, m = 8 5 s = = ( ) 0 e = 4 = m = 8 5 = Bit Vorzeichen Exponent fl(0,) 0, ist nicht exakt darstellbar, denn Mantisse 8 5 = 2 4k + 2 4k+ k 0

15 Beispiele Rundung! x = +0 8 =, =, s =, e = 0, m =, s = = ( ) 0 e = 0 = m = = , da ,2 0 7 Bit Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 5

16 Maschinengenauigkeit Maschinengenauigkeit: Kleinste positive Zahl eps, so dass fl( + eps) >. Für einfache Genauigkeit: eps = 2 23, Bemerkung: eps ist der Abstand zwischen je zwei benachbarten Mantissen. Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 6

17 IEEE Standard /2008: Gleitkommazahlen Genauigkeit Bit Byte Vorzeichen s Exponent e Manti einfach = single 32 4 (3) 8(30 23) 23(22 doppelt = double 64 8 (63) (62 52) 52(5 vierfach = quadruple 28 6 (27) 5(26 3) 3( achtfach = octuple (255) 9( ) 237(23 Normalisierte Zahlendarstellung (s.o.): s.m 2 e bias, bias = 27 bzw. 023 bzw bzw Damit ergeben sich die Maschinengenauigkeiten single: eps = 2 23,2 0 7 double: eps = ,2 0 6 quadruple: eps = 2 3 9, octuple: eps = , In Python wird standardmäßig doppelt genau gerechnet. Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 7

18 Relativer Fehler der endlichen Gleitkommadarstellung Satz Für jedes 0 x [ 2 r, 2 r ] \ [ 2 r+, 2 r+ ] ist fl(x) x x eps, das heißt der relative Fehler ist beschränkt durch eps. Beweis: M = { + n 2 p n {0,..., 2 p }} = Menge der Mantissen. Sei fl(x) = m 2 e und x = m 2 e, wobei m, m M. Sei m := m m. Nach Bemerkung ist m eps. Damit fl(x) x x = m m 2e m 2 e da m. Schreibe daher fl(x) = x( + ε) mit ε eps. = m m eps, Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 8

19 Kondition eines Problems Ein Problem sei durch (Auswertung einer) Abbildung F : U V x F (x) beschrieben, wobei U und V normierte Räume sind und F etwa die Problemstellung ein Polynom auszuwerten, die Wurzeln einer quadratischen Gleichung zu bestimmen, die Lösung von Ax = b zu berechnen oder die Lösung eines Eigenwertproblems Ax = λx ist. Frage: Wie wirken sich Störungen in den Daten (Koeffizienten des Polynoms, Einträgen von A und b,...) auf das Resultat F (x) aus? Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 9

20 Kondition eines Problems Sei U = R n und V = R, dann ist: Definition: Die Kondition κ von F ist die kleinste Zahl, so dass ˆx i x i x i eps, i = F (ˆx) F (x) F (x) κ eps. Das Problem heißt gut konditioniert, falls κ nicht zu groß ist (ideal κ = ) und anderenfalls schlecht konditioniert. Die Kondition kann näherungsweise durch Linearisierung mithilfe der Ableitung bestimmt werden. Achim Schaedle (HHU) CompLinA 3. und 20. Dezember

21 Kondition der Grundrechenarten in Gleitkommaarithmetik Multiplikation zweier reeller Zahlen Sei F (x, x 2 ) = x x 2. Für die gestörten Werte ˆx = x ( + ε ), ˆx 2 = x 2 ( + ε 2 ), ε i eps erhalten wir für F (ˆx) F (x) : F (x) ˆx ˆx 2 x x 2 x x 2 = ( + ε )( + ε 2 ) = ε + ε 2 + ε ε 2. Da eps <, ist ε ε 2 eps 2 < eps. ˆx ˆx 2 x x 2 x x 2 3eps. Also κ(f ) = 3, die Multiplikation ist gut konditioniert! Achim Schaedle (HHU) CompLinA 3. und 20. Dezember 208 2

22 Kondition der Grundrechenarten in Gleitkommaarithmetik Subtraktion zweier reeller Zahlen Für F (x, x 2 ) = x x 2 erhalten wir (ˆx ˆx 2 ) (x x 2 ) x x 2 = x ε x 2 ε 2 x x 2 x + x 2 eps =: κeps. x x 2 Mit sign x = sign x 2 (Addition) ist κ(f ) =. Die Addition ist gut konditioniert. Mit sign x = sign x 2 (Subtraktion) und x x 2 ist κ(f ) sehr groß. Die Subtraktion zweier etwa gleich großer Zahlen ist sehr schlecht konditioniert (Auslöschung). Achim Schaedle (HHU) CompLinA 3. und 20. Dezember

23 Gauss-Elimination In double precision mit eps = 0 6 A = [ ] 0 20 Pivotelement , LR-Zerlegung von A existiert: [ ] [ ] L = 0 20, R = Jedoch wird das Ergebnis auf double precision gerundet! [ ] [ ] fl(l) = L = 0 20, fl(r) = R = und damit erhalten wir numerisch (vgl. Python) [ ] [ ] L R = A = 0 Achim Schaedle (HHU) CompLinA 3. und 20. Dezember

24 Lösung eines Gleichungssystemes mit L R-Zerlegung [ ] [ ] fl(l) = L = 0 20, fl(r) = R = [ ] Löst man mit L und R das LGS Ax = b mit b =, so ergibt sich aus 0 Lỹ = b zunächst ỹ = [ ] 0 20 (richtig) und dann aus R x = ỹ die Lösung [ ] 0 x = (statt richtig x = [ ] ) Achim Schaedle (HHU) CompLinA 3. und 20. Dezember

25 Spaltenpivotsuche Problem: L-Faktor enthält großes Element. Erinnerung: k Schritte Gauß-Elimination liefern α A A k = α k α k... α n Spaltenpivotsuche: Wählt man α j = max k i n α i als Pivotelement, gilt l ik Achim Schaedle (HHU) CompLinA 3. und 20. Dezember

26 Beispiel für n = A = A = Achim Schaedle (HHU) CompLinA 3. und 20. Dezember

27 Gauß-Elimination mit Spaltenpivotsuche Nach n Schritten Gauß-Elimination erhält man L n P n L 2 P 2 L P A = R mit Permutationsmatrizen P,..., P n oder mit L n P n L 2 P 2 L P = (L n L 2L )(P n P 2 P ) L k = P n P k+ L k P k+ P n Da P j nur Vertauschungen Zeilen j und m mit m > j vertauscht, bleibt die Struktur von L k unverändert, lediglich die Elemente unterhalb der Diagonalen werden permutiert Achim Schaedle (HHU) CompLinA 3. und 20. Dezember

28 LR-Zerlegung mit Spaltenpivotsuche Satz: Jede nichtsinguläre Matrix A K n n hat eine Zerlerung PA = LR mit P Permutationsmatrix L untere Dreiecksmatrix mit l i,i = und l j,k R obere Dreiecksmatrix mit r j,j 0 Lösung linearer Gleichungssysteme Ax = b in drei Schritten Permutieren der rechten Seite P b 2 Lösen von Ly = Pb 3 Lösen von Rx = y Beachte: Die Permutationsmatrix kann platzsparend mit Hilfe eines Vektors gespeichert werden Achim Schaedle (HHU) CompLinA 3. und 20. Dezember