Computer Vision Group Prof. Daniel Cremers. Fließkomma-Arithmetik und Fehlerfortpflanzung

Transkript

1 Computer Vision Group Prof. Dniel Cremers Fließkomm-Arithmetik und Fehlerfortpflnzung

2 Fließkomm-Arithmetik Definition einer Mschinenopertion: 1. Berechne für Mschinenzhlen ds Ergenis der Opertion mit höherer Genuigkeit (qusi exkt). Runde dieses Resultt wieder uf Mschinenzhl. Ddurch ist der uftretende Fehler usschließlich gegeen durch den Rundungsfehler, der im letzten Schritt uftritt!

3 Beispiel Addition M : Ausgngspunkt: Normierte Gleitpunktdrstellung eider Zhlen! 1. Verschiee ei einer Zhl den Exponenten, so dss eide Zhlen den gleichen Exponenten hen.. Addiere nun die Mntissen. 3. Normlisiere ds Ergenis (verschiee ds Komm). 4. Runde ds Ergenis. 3

4 Beispiel x7/4 und y3/8! xy17/8 Mntisse mit t3 4

5 Beispiel x7/4 und y3/8! xy17/8 Mntisse mit t3 (1.11) 0 M (1.10) (111) (1.10) ( ) ( ) 1 (1.00) 1. 5

6 Beispiel x7/4 und y3/8! xy17/8 Mntisse mit t3 (1.11) 0 M (1.10) (111) (1.10) ( ) ( ) 1 (1.00) 1. Also x y 17 / 8, er x M y. Asoluter Fehler : 17/8 1/8! Reltiver Fehler: 1/8 0, % 17/8! Mschinengenuigkeit: 3 1, 5 6

7 Beispiel x7/4 und y3/8! xy17/8 Mntisse mit t3 (1.11) 0 M (1.10) (111) (1.10) ( ) ( ) 1 (1.00) 1. Also x y 17 / 8, er x M y. Asoluter Fehler : 17/8 1/8! Reltiver Fehler: 1/8 0, % 17/8! Mschinengenuigkeit: 3 1, 5 Der Fehler entsteht durch die schließende Rundung! 7

8 Fließkomm-Opertionen Für llgemeine Fließkomm-Opertionen gilt:! rd(r s) (r s)(1 ) woei pple In der Prxis ersetzt mn die exkte Addition der Mntissen (Schritt ) durch eine Addition mit höherer Genuigkeit, meist mit doppelter Genuigkeit. Dnch Rundung uf Mschinenzhl.! Ähnliches Modell ei Multipliktion / Division und uch ei nderen Funktionsuswertungen. 8

9 Prolem: Rundungsfehlernlyse Rundungsfehler in der Einge und ei jeder durchgeführten Fließkommopertion können sich so uswirken, dss m Ende einer Berechnung ein vollkommen flsches Resultt heruskommt! Beispiel: Mit Tschenrechner strte mit Zhl und wiederhole k-ml die Wurzelopertion. Dnch strte mit diesem Endresultt und wiederhole k-ml ds Qudrieren. Endresultt sollte stets wieder sein. Für k genügend groß erhält mn er 1. 9

10 Addition Addition dreier Mschinenzhlen yc Zerlege Gesmtrechnung in zwei Grundopertionen: 1. em und. fem c 10

11 Addition 11 Addition dreier Mschinenzhlen yc Zerlege Gesmtrechnung in zwei Grundopertionen: 1. em und. fem c ) ( ) ( ) ( ) )(1 ) )(1 (( ) )(1 ) (( ) )(1 ( c c c c c e c e f M M 1, mit Mschinengenuigkeit

12 Addition 1 Addition dreier Mschinenzhlen yc Zerlege Gesmtrechnung in zwei Grundopertionen: 1. em und. fem c Vernchlässigung der Terme höherer Ordnung (, 3,...): ) ( ) ( ) ( ) )(1 ) )(1 (( ) )(1 ) (( ) )(1 ( c c c c c e c e f M M 1, mit Mschinengenuigkeit

13 Addition Ergenis in erster Näherung:! Reltiver Fehler: f c ( ) 1 ( c) f rel y f y 13

14 Addition Ergenis in erster Näherung:! Reltiver Fehler: f c ( ) 1 ( c) f rel y c ( c ( ) 1 ( c) ) c y f c 1 14

15 Addition Ergenis in erster Näherung:! Reltiver Fehler: f c ( ) 1 ( c) f rel y c ( c ( ) 1 ( c) ) c y f c 1 Dmit gilt die Aschätzung f rel (y) pple c 1 pple 1 c! 15

16 Wnn wird der reltive Fehler groß? Wenn >> c, oder c 0 Andere Reihenfolge der Berechnung liefert Fktoren (c)/(c) oder (c)/(c) ; Es wird jeweils der Fehler, der ei der ersten Addition uftritt, verstärkt. 16

17 Beispiel Addition von drei Mschinenzhlen: (1.11) * 1, - (1.10) * 1 und c(1.10) * 3 ei dreistelliger Mntisse. ~ y ( 1 1 (1.11) * ( (1.10) * )) M M (1.10) * 3 (1.00) * 3 M (1.10) * 3 (1.01) * Dei tritt kein Fehler uf! Andere Reihenfolge? 17

18 Andere Reihenfolge yˆ (1.11) (1.11) (1.10) * * * 1 1 M M 1 3 ( (1.10) * ) (1.10) * ) ( (1.00) * 1 ) M mit reltivem Fehler (1.01) * (1.10) * (1.01) * 0% Merke: Reihenfolge der Opertionen ist wichtig! Bisher wren, und c Mschinenzhlen Jetzt etrchten wir Eingngszhlen, die schon selst mit Rundungsfehler ehftet sind:! (1 ) mit <, usw. 18

19 Mit Eingngsfehlern 1. e ( (1 )) ( (1 M )). f e M ( c (1 c )). Reltiver Fehler in erster Näherung: f y y! c c c c c c 1. Erste Terme: Auswirkung der Eingefehler Vierter Term: Auswirkung der ersten Addition Fünfter Term: Fehler ei der zweiten Addition 19

20 Auslöschung Kritischer Fll: Endergenis nhe ei Null!! Beispiel:! Differenz zwischen x3/5 und y4/7 ei fünf-stelliger Mntisse.! Exkte Rechnung: x - y 1/35 ( ) -5 Rundung von x und y liefert für ( ) 1 und ( ) 1 die Näherungen (1.0011) 1 und (1.0010) 1! Dmit ergit sich die Rechnung (1.0011) 1 (1.0010) 1 (0.0001) 1 (1.0000) 5 0

21 Auslöschung Dei sind unterstrichene Stellen noch exkt, während nicht unterstrichene Stellen durch Rundung verfälscht sind. Die kursiven Nullen im Ergenis sind wertlos! Ds erechnete Ergenis lutet lso 1/3. Reltiver Fehler: (1/35-1/3) / (1/35) entspricht c. 9.4% Aweichung. Vgl. Mschinengenuigkeit für t 5 von c. 3.1% Die unterstrichenen, guten Stellen gehen durch die Differenz verloren und es leien die unsicheren Stellen ürig. (1.0011) 1 (1.0010) 1 (0.0001) 1 (1.0000) 5 1

22 Auslöschung Bei t3 zeigt sich dieser Effekt noch stärker: Rechnung: (1.01) 1 (1.01) 1 0 Fehler: 100%, ei Mschinengenuigkeit 0.151/8 oder 1.5% Reltiver Fehler ei Differenz y - : y ( (1 ) (1 )) (1 ) Eingefehler werden extrem verstärkt, wenn - nhe ei Null ist, lso flls sich und fst uslöschen!

23 Auslöschung Aer: Sind und exkt ohne Fehler, dnn ist 0 und 0. Dher ergit sich dnn nur ein reltiver Fehler in der Größenordnung der Mschinengenuigkeit! Also Differenz mit exkten Zhlen ist OK! Nur ei Differenz von fehlerehfteten Zhlen droht Gefhr. 3

24 Beispiel Exponentilfunktion Berechne exp( x) k x / k! mit diesem Progrmm: Y:1.0 ; T1.0; K1; WHILE ( Y Y T*X / K ) T T * X / K ; Y Y T ; K K 1 END ; X Y EXP( X ) * * * * * Erklärung? 4

25 Beispiel Exponentilfunktion Für X -15 ergit sich: *10 7 Auslöschung durch wiederholte Differenz im Schritt T T Y! Der Term T wächst zunächst, um m Ende einen sehr kleinen Wert nzunehmen! Große Zwischenwerte kleine Endwerte! Auslöschung! 5

26 Computer Vision Group Prof. Dniel Cremers Kondition und Stilität

27 Kondition und Stilität Definition 19: Eine Berechnungsmethode ist eine festgelegte, wohldefinierte Folge von mthemtischen Elementrerechnungen (,,,/), die us den Eingngsdten x í, n é ds Ergenis y f (x) í erechnet. Zur Berechnung von y wird es verschiedene Algorithmen geen, die sich z.b. in der Reihenfolge der Opertionen unterscheiden (vgl. Addition c).! Zum Vergleich verschiedener Algorithmen etrchtet mn die entstehenden Rundungsfehler. Dzu knn mn u.. Tylor-Entwicklung oder Epsilontik verwenden. 7

28 Kondition Wir etrchten Eingedten x i, versehen mit soluten Rundungsfehlern, i1,...,n. (Zur Vereinfchung: n1) δ xi f(x) ls lck ox; wir sind nur n der Ein- und Ausge interessiert! Rundungsfehler innerhl der Ausführung von f(x) sollen zunächst nicht uftreten! Für den soluten Fehler im Resultt gilt dnn unter Vernchlässigung der während der Berechnung sonst uftretenden Rundungsfehler: y δ y f ( x δ x ) f ( x) f #( x) δ x Ο( δ x ). 8

29 In erster Näherung gilt!!! Kondition y y f (x x ) f (x) f 0 (x) x O( x) ) Dher ist der reltive Fehler des Resultts y y f rel (y) y y xf0 (x) y y f 0 (x) x x x xf0 (x) y f rel (x) xf0 (x) f (x) x Definition 0: Die Kondition der Funktion y f (x) ergit sich us dem Verstärkungsfktor pple f (x) : x f 0 (x) f (x). 9

30 Kondition Die Konditionszhl misst die Sensiilität des Resultts y in Ahängigkeit von den Fehlern in der Einge x. κ groß, z.b. wenn: - große Einge gegenüer kleinem Endwert - nhezu senkrechte Tngente ( f (x) groß) Ein Prolem heißt gut konditioniert "! kleine reltive Fehler in x ei exkter Arithmetik (lso ohne Rundungsfehler während der weiteren Rechnung) zu kleinen reltiven Fehlern im Resultt y führen: y ungefähr in der Größenordnung von x 30

31 Kondition Andernflls liegt schlechte Kondition zgl. x vor. Die Konditionszhl misst den sog. unvermeidren Fehler, der durch ds Prolem selst n einer Stelle x gegeen ist. Beispiel: κ(exp(x)) x κ(ln(x)) 1/ ln(x) Bild einer Funktion, Punkte schlechter Kondition:?? 31

32 Beispiel: Addition Berechne Konditionszhlen zu yc cond c, cond c, cond c c c, Ds sind gerde die Verstärkungsfktoren der reltiven Fehler der Eingedten in der Formel für den reltiven Fehler: y f y c c 1 c Konditionszhl zgl. der zweiten Addition f(,c)()c Unvermeidrer Fehler! c c c 3

33 Verkettete Berechnungsmethoden Betrchten wir die Gesmtrechnung, so lssen sich Konditionszhlen zu jedem einzelnen Rechenschritt ngeen. Dmit ist es möglich, für den gesmten Algorithmus ds Fehlerverhlten zu estimmen. Dies ist meist zu ufwändig oder gr nicht möglich! Es ermöglicht er eine mehr mthemtische Formulierung der Epsilontik. z.b. ist der vierte, lue Term gleich der Konditionszhl der Addition von () mit c. 33

34 Verkettete Berechnungsmethoden Berechne die Konditionszhl für! Wir hen z g(y) g( f (x)) (g f )(x) pple g y g0 (x) pple f x f 0 (x) z y 34

35 Verkettete Berechnungsmethoden Berechne die Konditionszhl für! Wir hen z g(y) g( f (x)) (g f )(x) pple g y g0 (x) pple f x f 0 (x) z y pple g f x (g z f )0 (x) x g0 ( f (x)) f 0 (x) y z y y g0 (y) z x f 0 (x) y pple g pple f 35

36 Verkettete Berechnungsmethoden f n ( f n 1 ( ( f 3 ( f ( f 1 (x)))) )) g ( h ( x)) 1 f ( x) g ( x) 1 f n ( f n 1 ( ( f 3 ( f ( f 1 (x)))) )) g n ( h ( x) 1 n ) f n ( f n 1 ( ( f 3 ( f ( f 1 (x)))) )) g n ( h ( ) 1 x n ) Alle Funktionen g j müssen gut konditioniert sein, d sie Teilschritte implementieren! 36

37 Stilität Definition 1: Sei y f (x) ein gut konditioniertes Prolem. Wenn es ein Berechnungsverfhren für f git, ds die reltiven Eingefehler nicht vergrößert, dnn ist dieses Berechnungsverfhren numerisch stil. Ein Berechnungsverfhren, ds trotz kleiner Konditionszhl zu vergrößerten reltiven Fehlern im Resultt führen knn, heißt numerisch instil. 37

38 Stilität Erste Frge: Konditionszhl OK? Wenn j, finde numerisch stiles Berechnungsverfhren Prüfe ds Berechnungsverfhren mit Epsilontik: Ersetze dzu jede Eingngsvrile x durch x(1 x ) und jede uszuführende Opertion (x op M y) (x op y)*(1 op ) mit x < und op <. Vernchlässige dei Terme höherer Ordnung in (lso, 3, 4,...). Dmit erhält mn ds gestörte Endergenis. Berechne und diskutiere dnn den reltiven Fehler in erster Ordnung durch Aschätzen der Beträge der Einzelterme Term eps Term eps... f rel 38

39 Stilität Ist ds Prolem schlecht konditioniert, dnn ist nur Schdensegrenzung möglich: Verwende ev. höhere Genuigkeit: Eingefehler 10^(-1) mit Konditionszhl 10^(8) ergit Ausgefehler 10^(-4)! Ist dieser Ausgefehler noch tolerierr? Wenn nein, dnn knn zu einer Veresserung nur der Eingefehler verkleinert werden. 39

40 Beispiel 1 Berechnung von Prolemtisch? f ( x) 1 1 x, x 0 Kondition ist OK, d cond x x für x (1 1 x ) 1 x 0 (L Hospitl) Allerdings ist die Auswertung in dieser Form numerisch instil x x 1 x 1 x 1 1 x 1 1 d Auslöschung im letzten Schritt! 40

41 Beispiel 1 Bessere Formulierung: 1 1 x (1 1 x 1 )(1 1 x 1 x ) 1 1 (1 1 x x ) 1 x 1 x Für x 0 keine Sutrktion mehr! Alle Einzelschritte sind gut konditioniert! Entsprechend lässt sich die Berechnung der Exponentilfunktion für große negtive x retten, indem wir exp(-1000) ersetzen durch 1/exp(1000). 41

42 Beispiel f(x) 1 - cos(x) in der Nähe von x0 f(x) ist wieder gut konditioniert ei 0, d! pple x xf0 (x) f (x) x sin(x) 1 cos(x)! für x! 0 Aer ei 0 ist cos(x) nhe ei 1! wieder Auslöschung! In MATLAB: 1 - cos(10^(-8)) ergit 0; in cos(10^(-3)) verliert mn ei der Differenz 6 signifiknte Stellen 4

43 Anderer Berechnungsweg:! Beispiel 1 - cos(x) sin (x/) oder Reihenentwicklung des Cosinus 1 cos(x) 1 (1 x! x4 4! x 6 6! ) x x 4 4! x6 6! 43

44 Beispiel 3 y ei Anwendung der Epsilontik; seien, Mschinenzhlen: Berechne erst eide Produkte, dnn die Differenz. Reltiver Fehler: Nun seien uch und fehlerhft: (1 ), (1 ) y 1 3 Fehler: Eingefehler Produktfehler Differenzfehler 44

45 Konditionszhlen:! cond Beispiel 3 cond dy d Andere Art der Berechnung: y ( )( ) dy d Prolem ist schlecht konditioniert für, f ((1 ) (1 ))(1 )((1 ) (1 ))(1 )(1 ) ( (1 ) (1 )) (1 ) Reltiver Fehler in erster Näherung: * 45

46 Beispiel 3 Vergleich mit erstem Algorithmus: Ds neue Verfhren ist esser, d i.w. nur der unvermeidre Fehler (durch Eingefehler) uftritt! Grund: Auslöschung in - geringer ls in, d Fehler in und kleiner ls in und. 46

47 Zusmmenfssung Endlichkeit des Computers führt zu endlicher Menge von Mschinenzhlen. In jedem Schritt treten Rundungsfehler uf. Gefährlich sind Opertionen, ei denen mn signifiknte Stellen verliert, wie z.b.: Auslöschung (Differenz fst gleicher Zhlen) Summe zwischen großer Zhl und sehr kleiner Zhl, ei der die signifiknten Stellen in der kleinen Zhl stecken (vgl. wiederholtes Wurzelziehen) Allgemein Opertionsfolgen mit großen Zwischen- werten und kleinen Endwerten (vgl. exp, Teilfunktion schlecht konditioniert). 47

48 Zusmmenfssung Algorithmus ist OK, wenn die Größenordnung der reltiven Fehler im Resultt ungefähr gleich der Größenordnung der Eingefehler leit. Umformen eines numerisch instilen Verfhrens durch ndere Reihenfolge der Berechnung Anfng der Tylorentwicklung trigonometrische Formeln lgerische Umformung (inomische F.)... Ev. doule precision rechnen, dmit trotz schlechter Kondition oder Rundungsfehler noch ruchres Resultt ürigleit. 48

49 Zusmmenfssung Systemtische Fehler und große Zhl der Opertionen können zu schlechten Ergenissen führen! (Siehe Beispiel Börsenindex) Ev. Modellfehler gegen Rundungsfehler wägen: Feineres Modell! Mehr Rechnung! Mehr Rundungsfehler! Mn muss die optimle Blnce finden! 49

50 Zusmmenfssung Beispiel: Veresserte Fehlernlyse für den numerisch instilen Fll großer Zwischenwerte Zerlege Prolem f(x) in zwei Schritte y f(x) f (f 1 (x)) f (z) woei z f 1 (x) großer Zwischenwert und y f (z) kleiner Endwert. Dher ist Teilprolem f (z) für diese Werte schlecht konditioniert, d z / f (z) groß ist! Dher ist Gesmtverfhren nicht numerisch stil für x. 50

51 Zusmmenfssung Verfhren ist numerisch stil, wenn für jede Zerlegung in Teilproleme f (f 1 (x)) f (z), z f 1 (x), f (z) stets gut konditioniert ist!! Konditionszhl "! Gesmtprolem Numerisch stil "! Berechnungsform 51

52 Zusmmenfssung Ziel: Erkenne us Formel (Progrmm), zw. erechneten (Zwischen)werten, - o ds Prolem gut konditioniert ist, und - o ds verwendete Verfhren numerisch stil ist, - zw. wie ds Verfhren ev. veressert werden knn. 5