Numerische Progrmmierung Konkrete Mthemtik Litertur o Numerik für Informtiker (Huckle/Schneider) = Numerische Methoden o Folien voriger Semester o Herzerger: Wissenschftliches Rechnen o Opfer: Numerik für Anfänger o Üerhuer: Computer-Numerik o Khner/Moler/Nsh: Numericl Methods nd Softwre o Dhmen/Reusken: Numerik für Ingenieure und Nturwiss. 1
I. Wrum Numerik? 1. Zu Computer Science gehört uch die Numerik, genuso wie Dtennken, Softwre Engineering. Ursprung der Informtik ist die Numerik! Alles ws mit Computer zu tun ht, gehört zu CS! z.b. - Rechner-Arithmetik, Prllelrechner, usw. - Computergrphik (Flächen, Kurven) - Bildverreitung (Komprimierung, Filtern, Anlyse) : JPEG - Soundverreitung: MP3 - Informtion Retrievl, Prozessverwltung
. Wissenschftliches Rechnen Verund von Nturwissenschft, Mthemtik, Numerik, Informtik zur Lösung wiss. Proleme: z.b. Wettervorhersge, Rketensteuerung, Strömungs-Simultion (NASA, BMW, Siemens, ) 3. Numerik zur Lösung von Informtik-Prolemen z.b. - Wrteschlngen, Betriesmittelzuteilung, und Stochstische Automten, - Neuronle Netze und Fuzzy-Logik, - Räuer-Beute-Modelle zur Ressourcenverteilung 3
Vorussetzungen us der Informtik: - Zhldrstellung - Progrmmiersprche (JAVA) - (Komplexitätstheorie) Zur Mthemtik: Numerik ls Fortführung der Reinen Mthemtik mit nderen Mitteln: t z.b. estimme - e dt, - Gleichungssysteme, Nullstellen - Grenzwerte, Eigenwerte (Resonnzen) - Interpoltion kontinuierlich versus diskret! 4
Vorussetzungen us der Mthemtik: Tylor-Entwicklung und Mittelwertstz, Aleitungen, Summen und Reihen, trigonometrische Funktionen, Linere Gleichungssysteme, Vektoren und Mtrizen, Normen, Komplexe Zhlen. Flls Frgen zu mthemtischen Grundlgen uftuchen: Bitte mich sofort druf ufmerksm mchen und nchfrgen! 5
II. Rechnerrithmetik und Rundungsfehler Motto: Die ntürlichen Zhlen ht der liee Gott gemcht, lles ndere ist Menschenwerk. L. Kronecker Noody is perfect Osgood zu Dphne (Jerry) in Some like it hot Beispiel: Digitlisierung von Audio Audcity, JPEG 6
Prolem: Endlichkeit! Die Menge IR der reellen Zhlen esteht us unendlich vielen Zhlen mit unendlich vielen Stellen! Jeder Computer ist endlich!.1. Definition: Die endliche Menge M der in einem Rechner drstellren Zhlen heißt Mschinenzhlen Wir unterscheiden gnzzhlige Mschinenzhlen und Mschinenzhlen für reelle Zhlen (=Gleitpunktzhlen). 7
1.Prolem: Aildung R M liefert Fehler.Prolem: Arithmetische Opertionen + - * / : M x M M gilt nicht! Zum ersten Prolem:. Definition: Eine Aildung rd: R M ezeichnen wir ls Rundung, wenn gilt: x rd( x) min x m mm Dies ist keine eindeutige Definition von rd! Andere Möglichkeiten sttt rd: ceil, floor, to zero Minimlforderung: rd( m) m für mm Rundungsfehler (soluter): f rd ( x) : x rd( x) 8
Zum zweiten Prolem (rithmetische Opertionen) : M x : M M M M y : rd( x y) Genuso definieren wir für -, *, / die Näherungsopertoren Beispiele von Mschinenzhlen: M, * M, / M Quntisierung von Musik- oder Bildwerten: 8 Bit, 16 Bit Geldeträge, Wechsel/Aktienkurse: DAX 3577,7 Alterntiven zu Mschinenzhlen und -rithmetik? - Rechnen mit elieig vielen Stellen (symolisches Rechnen, MATHEMATICA, MAPLE) - Rechnen mit Intervllen (Intervll-Arithmetik) 9
Folien-Beispiel: 0.1114 + 0.001116 Modell: Jede Zhl repräsentiert durch drei Dezimlstellen und Position des Dezimlpunkts: 0.1114 0.111 und 0.001116 0.0011 Dher 0.111 + 0.0011 = 0.111 0.11 Also Resultt: 0.11 Exktes Ergenis ei voller Stellenzhl: 0.1114 + 0.001116 = 0.11516 Volle Stellenzhl führt zu ufwendigen Rechnungen, Zhlen würden zu lng! Speicherpltz! Rechenzeit! 10
Intervllrithmetik uf 3 Stellen (Folien-Beispiel): Repräsentiere Zhlen durch Einschließungsintervlle: 0.11140.111 0.11 0.0011160.00111 0.0011 Untere Intervllgrenze der Lösung: Oere Grenze: 0.111 0.00111 0.1111 0. 11 0.11 0.0011 0.1131 0. 114 Resultt: Lösung von 0.1114 + 0.001116 liegt im Intervll [ 0.11, 0.114 ] Vorteil: Exkte Informtion üer Lge und Qulität der Lösung Nchteil: Rechenzeit! Ev. Ergenisintervll sehr groß! 11
.3. Definition: Festkommzhlen ls Mschinenzhlen n 1 n nk, m 1 m j mit 0,1,,9, k j IN n1, n,, nk, m1,, mj, Beispiele: - Geldeträge wie Euro.Cent, j= - Wechselkursngen, wie 1.1591 ($ zu ), j=4, k=1 - Börsenindizes: DAX 3577.7, j=, k=4. - Alte Tschenrechner verwendeten Festpunktzhlen. 1
Für prktisches Rechnen ungenügend! Zu wenige gnze, zw. reelle Zhlen drstellr! Sehr große Zhlen? Sehr kleine Zhlen? Zhlen mit vielen Nchkommstellen? Zusätzlich große Rundungsfehler. Börsenindex Vncouver 1983. Strt des Indexes mit Wert 1000. Bei jedem Verkufereignis (c. 3000 pro Tg) wurde der Index neu erechnet uf drei Stellen nch dem Komm: Rechne mit vier Stellen nch dem Komm und dnn Aschneiden der vierten Stelle. (Qusi rechnen wie mit gnzen Zhlen in C) Nch Monten wurde 574.081 ngegeen. Der whre Wert: 1098.89 Systemtischer Fehler, der sehr oft uftritt! 13
Lndtgswhl 199 in Schleswig-Holstein: Grüne erhielten 4.97%. Zur Drstellung der Ergenisse Festkomm mit einer Stelle nch dem Komm, ( j=1 ); lso Anzeige des Ergenisses ls 5.0%. Fehler wurde erst entdeckt, nchdem offizielle Ergenisse ereits veröffentlicht wren. Rechnen(?) mit Exel!!! Diese Zhlendrstellungen werden wir i.f. nicht verwenden 14
.4. Integer(Mschinen)zhlen Endlicher Ausschnitt us den gnzen Zhlen Z symmetrisch um Null ngeordnet. Mn verschiet den Ausschnitt so, dss lle Zhlen positiv werden: Menge der Integer-Mschinenzhlen M z t1 i0 i m i t1, m i 0,1, i 0,, t 1 t IN git die Stellenzhl n, zw. Bits. 15
Stufenzhlen: i mit 0 i t-1 Also M = < - t-1, t-1-1 > Bei 3 Bits (=4 Bytes) ergit sich der Zhlenereich der gnzzhligen Mschinenzhlen dher zwischen - 31 = -147483648 und 31-1=147483647 Folien-Beispiel: Drstellung der Dezimlzhl 11 mit t = 5 11 = 7 16 (d 11+16=7) = (16 + 11) 16 = 16 + (8+3) 4 = 16 + 8 + (+1) 4 = 1* 4 +1* 3 +0* +1* 1 +1* 0-4 (11011), nicht 11=(01011) oder -11 = 5 16 (00101) 16
Zu Bechten: - Fehler ei Bereichsüerschreitung (Overflow) ev. Wrp-round-Effekt. - Integer-Division in Progrmmiersprchen: 1 / 3 = 0 Division ohne Rest oder Rundung zur Null (Aschneiden). - Division durch 0 (Beispiel: USS Yorktown) Vorteil: Null ht nur eine Drstellung! Sonst treten ei Integerzhlen keine Rundungsfehler uf! 17
Stelle x IR.5. Gleitpunktzhlen durch Vorzeichen, Mntisse m und Exponenten e dr, zgl. Bsis >1: x ( 1) m e Wir etrchten nur = (=8,10,16 kommen kum vor) Beispiel: Drstellungen der Zhl 16: 6 5 4 3 0.5 0.5 1 4 mit v=0, m = -i und e = i+4. 18
Normierung ist notwendig, dmit Drstellung eindeutig: Der Exponent ist stets so zu wählen, dss die Mntisse m genu eine von Null verschiedene Stelle vor dem Komm ht. Also in unserem Beispiel 16 = + 1.0 4 Vorsicht: ndere Bücher normieren so, dss erste Stelle hinter dem Komm von Null verschieden! (lso 16 = + 0.5 5 = + (0.1) 5 ) 19
.6. Definition: Normierte Gleitpunktzhlen Die Menge M der (reellen) Mschinenzhlen esteht us Zhlen der Form Vorzeichen: Mntisse: t 1 i e x ( 1) x i i0 0,1, Exponent: Integerzhl e. 0,1, x 0 1, x i sonst Also ht die Mntisse eigentlich t Stellen; er die erste Stelle muss nicht gespeichert werden, d sie wegen der Normierung 1 ist. Dher werden für die Mntisse nur (t-1)-bits gerucht! 0
Bei Zhlen nhe 0 knn die Normierung ufgehoen werden (sog. sunormle Gleitpunktzhlen)! Ausnhmeregeln, flls Exponent miniml oder mximl ist! Exponent wird gespeichert ls gnzzhlige Integer- Mschinenzhl wie vorher eschrieen! 1
Folien-Beispiel: 13.6 = 8 + 5.6 = 8 + (4+1.6) = 8 + 4 + (1+0.6) = 8 + 4 + 1 + (1/ + 0.1) = 8+4+1+1/ + (0.065 + 0.0375) = 8+4+1+1/+1/16 + (0.0315+0.0065) Also im Zweiersystem 13.6 = (1101.10011...) Als normierte Gleitpunktzhl: 0 13.6 ( 1) (1.10110011) 3 mit e=3.
Die Zhl 13.6 in verschiedenen Genuigkeiten: t Drstellung Rundung Fehler 3 4 5 6 7 (1.1) (1.11) (1.110) (1.1011) (1.10110) * (1.101101) 3 * 3 * 3 * 3 * 3 * 3 uf uf uf (1.6) (0.4) (0.4) (0.1) (0.1) 10 10 10 10 10 (0.05) 10 3
Anzhl der für Mntisse und Exponent enutzten Bit und drus sich ergeende Rechengenuigkeit und Exponentenereich ei IEEE-Dtentyp flot und doule: Typ flot doule Mntisse 3( 5 1 ( 1 ) ) t Exponent 8 11 [ e min, e mx ] 16,17 4 8 6 *10 10,103 53 16 1*10 4
IEEE-Stndrd (single precision, 3 Bit): Exponent e mit 8 Bit, gespeichert in der positiven Form p = e + 17 p=(0000 0000) ist dnn kleinstmöglicher Exponent. Ist uch noch in der Mntisse (is uf Normierung) lles 0, so wird diese Zhl ls Null interpretiert. Entsprechend p=(1111 1111) = 55 ls unendlich (NN oder Not numer) -16 <= e <= 17 entspricht 1 <= p <= 54 Für die Mntisse leien 3 Bit (4 unter Berücksichtigung der Normierung). 1 Bit für Vorzeichen Insgesmt 1+3+8=3 Bit. 5
Beispiel Arine 5 1996 endete die erste Arine 5 durch Selstzerstörung 40 sec nch Strt. Ursche: 36.7 sec nch Strt versuchte der Bordcomputer den Wert der horizontlen Geschwindigkeit von 64 Bit Gleitpunkt in 16 Bit signed Integer umzurechnen. Der sich ergeende Wert wr zu groß 6
Overflow Asturz des Computers, Üerge n Bck-up-Rechner, der er us demselen Grund ereits gestürzt wr Kein Lenksystem mehr instiler Flug Selstzerstörung. Benutzte Softwre stmmte von Arine 4. Arine 5 wr schneller! Umwndlung wr nicht gesichert! Bereits Konrd Zuse verwendete in seinen Z1-Z4 Gleitpunktzhlen. 7
Rundung e.7. Def.: Für x ( 1) 1. x1x... xt 1xt... definieren wir v e 1 1. x x x für x 0 rd( x) t 1 1 t v e t1 rd( x) 1 1. x1x xt 1 für xt 1 und xt xt 1xt... 1000.. v e rd( x) 1 1. x1x xt 1 für xt 1 und xt 1xt xt 1... 0100.. v e t1 rd( x) 1 1. x1x xt 1 für xt 1 und xt 1xt xt 1... 1100.. 1. Fll: Aschneiden, flls x t = 0;. Fll: Letztes Bit wird um eins erhöht, flls x t =1 und 3. Fll: (x t =1) oder x t x t1xt 1000 rd( 1. x1x xt 01) 1. x1x xt 0 rd(1. x x x 11) 1. x x 1 t1 1 t 1 x t Rundung so, dss letztes Bit 0 wird. 8
Es knn ev. Overflow uftreten (zu großer Exponent). Dieser Fll wird er im Folgenden ignoriert (Fehlermeldung?) Es knn Underflow uftreten. In der Regel wird dnn einfch die kleine Zhl zu 0 gesetzt. Die Rundungsfehlernlyse in den folgenden Aschnitten wird nur für Normlfll durchgeführt (ohne Over/Underflow) Dei ist nur die Mntisse wichtig! Der Exponent spielt keine Rolle, weil dei keine Fehler uftreten. 9
.8. Asoluter Rundungsfehler: f rd ( x) f rd ( x) x rd( x) t 1 e et x rd( x) Prolem: Ein soluter Fehler von der Größe 0.1 ist - ei der Zhl.1 recht groß, er - ei der Zhl 13456.7 sehr klein. 1 Beispiel: 1 Million + 1 Jhr lter Dinosurierknochen Dher sinnvollere Definition durch 30
f rel ( x) :.9. Reltiver Rundungsfehler: frd( x) x x rd( x) x : für x 0 Dnn gilt: x f rel x ( x) x et et e x d wegen Normierung die Mntisse in [1,] liegt: Mntisse stets (1...) < lso m >= 1, d.h. x >= e t Außerdem gilt durch Umformung von.9:.10.: rd( x) mit x x x 1 x x t Gerundete Zhl=Ausgngszhl, is uf Fktor (1±ε) x 31
Def.: Die oere Schrnke für den reltiven Fehler, der ei der Rundung mit t-stelliger Mntisse uftreten knn, heißt Mschinengenuigkeit, und ergit sich ls t Andere Möglichkeit, die Mschinengenugkeit zu definieren: Größte positive Zhl y= -k, so dss 1.0 y 1.0 Beispiel t=, = ¼ = (0.01) ; (1.0 1) (1.0) Mntissenlänge (Bits) Genuigkeit 3
Gleitpunktrithmetik.1. Def. (Relisierung einer Mschinenopertion): - Berechne für Mschinenzhlen ds Ergenis der Opertion mit höherer Genuigkeit (qusi exkt) - Runde dieses Resultt wieder uf Mschinenzhl. Ddurch ist der uftretende Fehler usschließlich gegeen durch den Rundungsfehler, der im letzten Schritt uftritt! 33
Beispiel Addition + M : Ausgngspunkt: Normierte Gleitpunktdrstellung eider Zhlen - Verschiee ei einer Zhl den Exponenten, so dss eide Zhlen den gleichen Exponenten hen. - Addiere nun die Mntissen. - Normlisiere ds Ergenis (verschiee ds Komm). - Runde ds Ergenis. 34
Folien-Beispiel: x=7/4 und y=3/8 x+y=17/8 Mntisse mit t=3 (1.11) 0 + M (1.10) = = (111) + (1.10) = (1000.10) = (1.00010) 1 = (1.00) 1. Also x + y = 17 / 8, er x+ M y =. Asoluter Fehler : 17/8 = 1/8 Reltiver Fehler: 1/8 17 /8 0.0588 6% Zum Vergleich: Bei t=3 ist die Mschinengenuigkeit 3 1.5% Der uftretende Fehler + der Gleitpunktddition entsteht lso durch die schließenden Rundung! 35
Nch.10 und.11 gilt dher.13. x M y rd( x y) ( x y)(1 ) mit Mschinengenuigkeit In der Prxis ersetzt mn die exkte Addition der Mntissen (Schritt ) durch eine Addition mit höherer Genuigkeit, meist mit doppelter Genuigkeit. Dnch Rundung uf Mschinenzhl. Ähnliches Modell ei Multipliktion / Division und uch ei nderen Funktionsuswertungen. Beispiel: Relisierung der Gleitpunkt-Division in INTEL- Prozessor und INTEL-Pentium-Bug 1994. 36
Fehlerfortpflnzung und Rundungsfehlernlyse Prolem: Rundungsfehler in der Einge und ei jeder durchgeführten Gleitpunktopertion können sich so uswirken, dss m Ende einer Berechnung ein vollkommen flsches Resultt heruskommt. Beispiel: Mit Tschenrechner strte mit Zhl und wiederhole k-ml die Wurzelopertion. Dnch strte mit diesem Endresultt und wiederhole k-ml ds Qudrieren. Endresultt sollte stets wieder sein. Für k genügend groß erhält mn er 1. (MATLAB) AUFGABE: Finde essere Art der Berechnung! 37
1 1 1 ) ( ) ( ) ( ) )(1 ) )(1 (( ) )(1 ) (( ) )(1 ( c c c c c e c e f M M 1, Einführendes Folien-Beispiel zur Epsilontik: Addition dreier Mschinenzhlen y=++c Zerlege Gesmtrechnung in zwei Grundopertionen: 1. e=+ M und. f=e+ M c mit Mschinengenuigkeit Vernchlässigung der Terme höherer Ordnung (in, 3,...): 38
Dmit ergit sich für den reltiven Fehler in erster Näherung: und die Aschätzung 1 ) ( ) ( c c f 1 1 ) ) ( ) ( ( ) ( c c c c c y f y y f rel c c y f rel 1 ) ( 1 39
Wnn wird der reltive Fehler groß? Wenn + >> ++c, oder ++c 0 Andere Reihenfolge der Berechnung liefert Fktoren (+c)/(++c) oder (+c)/(++c) ; Es wird jeweils der Fehler, der ei der ersten Addition uftritt, verstärkt. 40