Numerische Programmierung Konkrete Mathematik

Transkript

1 Numerische Progrmmierung Konkrete Mthemtik Litertur o Numerik für Informtiker (Huckle/Schneider) = Numerische Methoden o Folien voriger Semester o Herzerger: Wissenschftliches Rechnen o Opfer: Numerik für Anfänger o Üerhuer: Computer-Numerik o Khner/Moler/Nsh: Numericl Methods nd Softwre o Dhmen/Reusken: Numerik für Ingenieure und Nturwiss. 1

2 I. Wrum Numerik? 1. Zu Computer Science gehört uch die Numerik, genuso wie Dtennken, Softwre Engineering. Ursprung der Informtik ist die Numerik! Alles ws mit Computer zu tun ht, gehört zu CS! z.b. - Rechner-Arithmetik, Prllelrechner, GPU, usw. - Computergrphik (Flächen, Kurven) - Bildverreitung (Komprimierung, Filtern, Anlyse) : JPEG - Soundverreitung: MP3 - Informtion Retrievl, Dt Mining - Prozessverwltung,

3 . Wissenschftliches Rechnen Verund von Nturwissenschft, Mthemtik, Numerik, Informtik zur Lösung wiss. Proleme: z.b. Wettervorhersge, Rketensteuerung, Strömungs-Simultion (NASA, BMW, Siemens, ) 3. Numerik zur Lösung von Informtik-Prolemen z.b. - Wrteschlngen, Betriesmittelzuteilung, und Stochstische Automten, - Neuronle Netze und Fuzzy-Logik, - Räuer-Beute-Modelle zur Ressourcenverteilung 3

4 Vorussetzungen us der Informtik: - Zhldrstellung - Progrmmiersprche (JAVA) - (Komplexitätstheorie) Zur Mthemtik: Numerik ls Fortführung der Reinen Mthemtik mit nderen Mitteln: t z.b. estimme - e dt, - Gleichungssysteme, Nullstellen - Grenzwerte, Eigenwerte (Resonnzen) - Interpoltion kontinuierlich versus diskret! 4

5 Vorussetzungen us der Mthemtik: Tylor-Entwicklung und Mittelwertstz, Aleitungen, Summen und Reihen, trigonometrische Funktionen, Linere Gleichungssysteme, Vektoren und Mtrizen, Normen, Komplexe Zhlen. Flls Frgen zu mthemtischen Grundlgen uftuchen: Bitte sofort nchlesen oder nchfrgen! 5

6 II. Rechnerrithmetik und Rundungsfehler Motto: Die ntürlichen Zhlen ht der liee Gott gemcht, lles ndere ist Menschenwerk. L. Kronecker Noody is perfect Osgood zu Dphne (Jerry) in Some like it hot Beispiel: Digitlisierung von Audio Audcity, JPEG Len-gro 6

7 Prolem: Endlichkeit! Die Menge IR der reellen Zhlen esteht us unendlich vielen Zhlen mit unendlich vielen Stellen! Jeder Computer ist endlich!.1. Definition: Die endliche Menge M der in einem Rechner drstellren Zhlen heißt Mschinenzhlen Wir unterscheiden gnzzhlige Mschinenzhlen und Mschinenzhlen für reelle Zhlen (=Gleitpunktzhlen). 7

8 1.Prolem: Aildung R M liefert Fehler.Prolem: Arithmetische Opertionen - * / : M x M M gilt nicht! Zum ersten Prolem:. Definition: Eine Aildung rd: R M ezeichnen wir ls Rundung, wenn gilt: x rd( x) = min x m m M Dies ist keine eindeutige Definition von rd! Andere Möglichkeiten sttt rd: ceil, floor, to zero Minimlforderung: rd( m) = m für m M Rundungsfehler (soluter): f rd ( x) : = x rd( x) 8

9 Zum zweiten Prolem (rithmetische Opertionen) : : M M M M x M y : = rd( x y) Genuso definieren wir für -, *, / die Näherungsopertoren Beispiele von Mschinenzhlen: M, * M, / M Quntisierung von Musik- oder Bildwerten: 8 Bit, 16 Bit Geldeträge, Wechsel/Aktienkurse: DAX 3577,7 Alterntiven zu Mschinenzhlen und -rithmetik? - Rechnen mit elieig vielen Stellen (symolisches Rechnen, MATHEMATICA, MAPLE) - Rechnen mit Intervllen (Intervll-Arithmetik) 9

10 Folien-Beispiel: Modell: Jede Zhl repräsentiert durch drei Dezimlstellen und Position des Dezimlpunkts: und Dher = Also Resultt: 0.11 Exktes Ergenis ei voller Stellenzhl: = Volle Stellenzhl führt zu ufwendigen Rechnungen, Zhlen würden zu lng! Speicherpltz! Rechenzeit! 10

11 Intervllrithmetik uf 3 Stellen (Folien-Beispiel): Repräsentiere Zhlen durch Einschließungsintervlle: [ ] [ ] Untere Intervllgrenze der Lösung: = = Oere Grenze: = = Resultt: Lösung von liegt im Intervll [ 0.11, ] Vorteil: Exkte Informtion üer Lge und Qulität der Lösung Nchteil: Rechenzeit! Ev. Ergenisintervll sehr groß! 11

12 .3. Definition: Festkommzhlen ls Mschinenzhlen n 1 n nk, m 1 m j mit n n,, n, m,, m 1, k 1 j { 0,1,,9}, k j IN, Beispiele: - Geldeträge wie Euro.Cent, j= - Wechselkursngen, wie ($ zu ), j=4, k=1 - Börsenindizes: DAX , j=, k=4. - Alte Tschenrechner verwendeten Festpunktzhlen. 1

13 Für prktisches Rechnen ungenügend! Zu wenige gnze, zw. reelle Zhlen drstellr! Sehr große Zhlen? Sehr kleine Zhlen? Zhlen mit vielen Nchkommstellen? Zusätzlich große Rundungsfehler. Börsenindex Vncouver Strt des Indexes mit Wert Bei jedem Verkufereignis (c pro Tg) wurde der Index neu erechnet uf drei Stellen nch dem Komm: Rechne mit vier Stellen nch dem Komm und dnn Aschneiden der vierten Stelle. (Qusi rechnen wie mit gnzen Zhlen in C) Nch Monten wurde ngegeen. Der whre Wert: Systemtischer Fehler, der sehr oft uftritt! 13

14 Lndtgswhl 199 in Schleswig-Holstein: Grüne erhielten 4.97%. Zur Drstellung der Ergenisse Festkomm mit einer Stelle nch dem Komm, ( j=1 ); lso Anzeige des Ergenisses ls 5.0%. Fehler wurde erst entdeckt, nchdem offizielle Ergenisse ereits veröffentlicht wren. Rechnen(?) mit EXCEL!!! Diese Zhlendrstellungen werden wir i.f. nicht verwenden Lnce Armstrong Bug 14

15 .4. Integer(Mschinen)zhlen Endlicher Ausschnitt us den gnzen Zhlen Z symmetrisch um Null ngeordnet. Mn verschiet den Ausschnitt so, dss lle Zhlen positiv werden: Menge der Integer-Mschinenzhlen M z = t 1 i= 0 m i i t 1, m i { 0,1 }, i = 0,, t 1 t IN git die Stellenzhl n, zw. Bits. 15

16 Stufenzhlen: i mit 0 i t-1 Also M = < - t-1, t-1-1 > Bei 3 Bits (=4 Bytes) ergit sich der Zhlenereich der gnzzhligen Mschinenzhlen dher zwischen - 31 = und 31-1= Folien-Beispiel: Drstellung der Dezimlzhl 11 mit t = 5 11 = 7 16 (d 1116=7) = (16 11) 16 = 16 (83) 4 = 16 8 (1) 4 = 1* 4 1* 3 0* 1* 1 1* 0-4 (11011), nicht 11=(01011) oder -5 = (01011) 16

17 Zu Bechten: - Fehler ei Bereichsüerschreitung (Overflow) ev. Wrp-round-Effekt. - Integer-Division in Progrmmiersprchen: 1 / 3 = 0 Division ohne Rest oder Rundung zur Null (Aschneiden). - Division durch 0 (Beispiel: USS Yorktown) Vorteil: Null ht nur eine Drstellung! Sonst treten ei Integerzhlen keine Rundungsfehler uf! 17

18 x IR.5. Gleitpunktzhlen Stelle durch Vorzeichen, Mntisse m und Exponenten e dr, zgl. Bsis >1: x = ( 1) ν m e Wir etrchten nur = (=8,10,16 kommen kum vor) Beispiel: Drstellungen der Zhl 16: = 0.5 = 0.5 = 1 = = 4 = mit v=0, m = -i und e = i4. 18

19 Normierung ist notwendig, dmit Drstellung eindeutig: Der Exponent ist stets so zu wählen, dss die Mntisse m genu eine von Null verschiedene Stelle vor dem Komm ht. Also in unserem Beispiel 16 = Vorsicht: ndere Bücher normieren so, dss erste Stelle hinter dem Komm von Null verschieden! (lso 16 = = (0.1) 5 ) 19

20 .6. Definition: Normierte Gleitpunktzhlen Die Menge M der (reellen) Mschinenzhlen esteht us Zhlen der Form t 1 ν i e x = ( 1) x i i= 0 { 0,1}, Vorzeichen: ν Mntisse: x0 = 1, xi 0,1 sonst Exponent: Integerzhl e. { }, Also ht die Mntisse eigentlich t Stellen; er die erste Stelle muss nicht gespeichert werden, d sie wegen der Normierung 1 ist. Dher werden für die Mntisse nur (t-1)-bits gerucht! 0

21 Bei Zhlen nhe 0 knn die Normierung ufgehoen werden (sog. sunormle Gleitpunktzhlen)! Ausnhmeregeln, flls Exponent miniml oder mximl ist! Exponent wird gespeichert ls gnzzhlige Integer- Mschinenzhl wie vorher eschrieen! 1

22 Folien-Beispiel: 13.6 = = 8 (41.6) = 8 4 (10.6) = (1/ 0.1) = 8411/ ( ) = 8411/1/16 ( ) Also im Zweiersystem 13.6 = ( ) Als normierte Gleitpunktzhl: = ( 1) ( ) 3 mit e=3.

23 Die Zhl 13.6 in verschiedenen Genuigkeiten: ( ) * 3 t Drstellung Rundung Fehler (1.1) (1.11) (1.110) (1.1011) ( ) * ( ) 3 * 3 * 3 * 3 * 3 * 3 uf uf uf (1.6) (0.4) (0.4) (0.1) (0.1) (0.05) 10 3

24 Anzhl der für Mntisse und Exponent enutzten Bit und drus sich ergeende Rechengenuigkeit und Exponentenereich ei IEEE-Dtentyp flot und doule: Typ flot doule Mntisse 3( 5 1 ( 1 ) ) t Exponent 8 11 [ e min, e mx ] [ 16,17] *10 [ 10,103] *10 4

25 IEEE-Stndrd (single precision, 3 Bit): Exponent e mit 8 Bit, gespeichert in der positiven Form p = e 17 (lso Shift t-1-1, nicht t-1 ). p=( ) ist dnn kleinstmöglicher Exponent. Ist uch noch in der Mntisse (is uf Normierung) lles 0, so wird diese Zhl ls Null interpretiert. Entsprechend p=( ) = 55 ls unendlich (NN oder Not numer) -16 <= e <= 17 entspricht 1 <= p <= 54 Für die Mntisse leien 3 Bit (4 unter Berücksichtigung der Normierung). 1 Bit für Vorzeichen Insgesmt 138=3 Bit. 5

26 Beispiel Arine endete die erste Arine 5 durch Selstzerstörung 40 sec nch Strt. Ursche: 36.7 sec nch Strt versuchte der Bordcomputer den Wert der horizontlen Geschwindigkeit von 64 Bit Gleitpunkt in 16 Bit signed Integer umzurechnen. Der sich ergeende Wert wr zu groß 6

27 Overflow Asturz des Computers, Üerge n Bck-up-Rechner, der er us demselen Grund ereits gestürzt wr Kein Lenksystem mehr instiler Flug Selstzerstörung. Benutzte Softwre stmmte von Arine 4. Arine 5 wr schneller! Umwndlung wr nicht gesichert! Bereits Konrd Zuse verwendete in seinen Z1-Z4 Gleitpunktzhlen. 7

28 Rundung.7. Def.: Für ν e x = ( 1) 1. x1x... xt 1xt... definieren wir v e ( 1) 1. x x x für x 0 rd( x) 1 = 1 t t = ( 1) v e t 1 rd( x) = 1. x1x xt 1 für xt = 1 und xt xt 1xt ( 1) v e rd( x) = 1. x x xt 1 für xt = 1 und xt 1xt xt = rd x) ( 1) 1. x 1. Fll: Aschneiden, flls x t = 0;. Fll: Letztes Bit wird um eins erhöht, flls x t =1 und 3. Fll: (x t =1) oder v e t 1 ( = 1 x xt 1 für xt und xt 1xt xt 1 = x t x t 1xt = rd( 1. x1x xt 01) = 1. x1x xt 0 rd(1. x x x 11) = 1. x x 1 t 1 1 t 1 x t Rundung so, dss letztes Bit 0 wird. 8

29 Es knn ev. Overflow uftreten (zu großer Exponent). Dieser Fll wird er im Folgenden ignoriert (Fehlermeldung?) Es knn Underflow uftreten. In der Regel wird dnn einfch die kleine Zhl zu 0 gesetzt. Die Rundungsfehlernlyse in den folgenden Aschnitten wird nur für Normlfll durchgeführt (ohne Over/Underflow) Dei ist nur die Mntisse wichtig! Der Exponent spielt keine Rolle, weil dei keine Fehler uftreten. 9

30 .8. Asoluter Rundungsfehler: f rd ( x) f rd x ( x) = x rd( x) rd( x) t 1 e e t = 1 = Prolem: Ein soluter Fehler von der Größe 0.1 ist - ei der Zhl.1 recht groß, er - ei der Zhl sehr klein. Beispiel: 1 Million 1 Jhr lter Dinosurierknochen Dher sinnvollere Definition durch 30

31 f rel ( x) : =.9. Reltiver Rundungsfehler: rd δ x x : = = = für x 0 Dnn gilt: f ( x) x f rel x ( x) x rd( x) x e t e t = e x d wegen Normierung die Mntisse in [1,] liegt: Mntisse stets (1...) < lso m >= 1, d.h. x >= e t Außerdem gilt durch Umformung von.9:.10.: rd( x) mit = x x = x 1 x x t ( ) Gerundete Zhl=Ausgngszhl, is uf Fktor (1±) x 31

32 Def.: Die oere Schrnke für den reltiven Fehler, der ei der Rundung mit t-stelliger Mntisse uftreten knn, heißt Mschinengenuigkeit, und ergit sich ls t = Andere Möglichkeit, die Mschinengenugkeit zu definieren: Größte positive Zhl y= -k, so dss 1.0 y = 1.0 Beispiel t=, = ¼ = (0.01) ; (1.0 1) (1.0) Mntissenlänge (Bits) Genuigkeit 3

33 Gleitpunktrithmetik.1. Def. (Relisierung einer Mschinenopertion): - Berechne für Mschinenzhlen ds Ergenis der Opertion mit höherer Genuigkeit (qusi exkt) - Runde dieses Resultt wieder uf Mschinenzhl. Ddurch ist der uftretende Fehler usschließlich gegeen durch den Rundungsfehler, der im letzten Schritt uftritt! 33

34 Beispiel Addition M : Ausgngspunkt: Normierte Gleitpunktdrstellung eider Zhlen - Verschiee ei einer Zhl den Exponenten, so dss eide Zhlen den gleichen Exponenten hen. - Addiere nun die Mntissen. - Normlisiere ds Ergenis (verschiee ds Komm). - Runde ds Ergenis. 34

35 Folien-Beispiel: x=7/4 und y=3/8 xy=17/8 Mntisse mit t=3 (1.11) 0 M (1.10) = = (111) (1.10) = ( ) = ( ) 1 = (1.00) 1. Also x y = 17 / 8, er x M y =. Asoluter Fehler : 17/8 = 1/8 Reltiver Fehler: 1/8 17 /8 = % Zum Vergleich: Bei t=3 ist die Mschinengenuigkeit = 3 1.5% Der uftretende Fehler der Gleitpunktddition entsteht lso durch die schließenden Rundung! 35

36 Nch.10 und.11 gilt dher.13. x y = rd x y) = ( x y)(1 ) M ( mit Mschinengenuigkeit In der Prxis ersetzt mn die exkte Addition der Mntissen (Schritt ) durch eine Addition mit höherer Genuigkeit, meist mit doppelter Genuigkeit. Dnch Rundung uf Mschinenzhl. Ähnliches Modell ei Multipliktion / Division und uch ei nderen Funktionsuswertungen. Beispiel: Relisierung der Gleitpunkt-Division in INTEL- Prozessor und INTEL-Pentium-Bug 1994.

37 Fehlerfortpflnzung und Rundungsfehlernlyse Prolem: Rundungsfehler in der Einge und ei jeder durchgeführten Gleitpunktopertion können sich so uswirken, dss m Ende einer Berechnung ein vollkommen flsches Resultt heruskommt. Beispiel: Mit Tschenrechner strte mit Zhl und wiederhole k-ml die Wurzelopertion. Dnch strte mit diesem Endresultt und wiederhole k-ml ds Qudrieren. Endresultt sollte stets wieder sein. Für k genügend groß erhält mn er 1. (MATLAB) AUFGABE: Finde essere Art der Berechnung! 37

38 Einführendes Folien-Beispiel zur Epsilontik: Addition dreier Mschinenzhlen y=c Zerlege Gesmtrechnung in zwei Grundopertionen: 1. e= M und. f=e M c Vernchlässigung der Terme höherer Ordnung (in, 3,...): ) ( ) ( ) ( ) )(1 ) )(1 (( ) )(1 ) (( ) )(1 ( c c c c c e c e f M M = = = = = 1, mit Mschinengenuigkeit

39 Dmit ergit sich für den reltiven Fehler in erster Näherung: 1 ) ( ) ( c c f = 1 1 ) ) ( ) ( ( ) ( = = = c c c c c y f y y f rel 39 = c c y f rel 1 ) ( 1 und die Aschätzung