Beispiel: e x. Fehler

Transkript

1 Beispiel: e x Computerintensive Methoden Friedrich Leisch Institut für Statistik Ludwig-Maximilians-Universität München WS 2010/ Maschinenzahlen & Computerarithmetik Reihendarstellung: Funktioniert folgender R Code? oldsum = 0 newsum = n = term = 1 while(oldsum!= newsum){ oldsum = newsum term = term * x/n n = n+1 newsum = oldsum + term } e x x n = n=0 n! 1 Fehler Gegeben: Näherungswert x für exakten Wert x. Absoluter Fehler (Achtung Vorzeichen!): 2.1 Fehler & Kondition x = x x Relativer Fehler: δ = x x x und δ = x x x Relativer Fehler ist dimensionslos, Vergleichswert im Nenner darf offensichtlich nicht zu Nahe bei Null liegen ( absoluten Fehler verwenden). Oft findet auch nur der Betrag des Fehlers Verwendung. Friedrich Leisch, CiM 2010/2011: 2.1 Fehler & Kondition 3

2 Fehler Fehler Es gelten die Beziehungen: und wegen x = x(1 + δ) x = x(1 δ) 1 (1 δ) 1 = 1 + δ + δ δ ist die Verwendung von δ und δ in erster Näherung äquivalent. Sind in Dezimaldarstellung einer Größe nur die ersten m Stellen bestimmt, ergibt sich ein möglicher relativer Fehler von 10 m (und umgekehrt). Beim gemeinsamen Auftreten mehrerer gleichartiger Größen, kann eine gemeinsame Vergleichsgröße sinnvoll sein (Mittelwert, Maximum,... ). Für Vektor x = (x 1,..., x d ) gleichartiger Größen Norm als Vergleichsgröße: 1 x ( x x) bzw. 1 x x x Für Vektor x = (x 1,..., x d ) verschiedenartiger Größen: ( x1 x δ x = 1,..., x ) d x d bzw. δ x x 1 x d Friedrich Leisch, CiM 2010/2011: 2.1 Fehler & Kondition 4 Friedrich Leisch, CiM 2010/2011: 2.1 Fehler & Kondition 5 Kondition Empfindlichkeit der Lösung auf eine kleine Änderung der Daten. Insbesonders in der Statistik wichtig, da Daten ja meist als fehlerbehaftet angesehen werden. Gut konditioniert: Ergebnis wenig empfindlich 2.2 Zeichensätze & Maschinenzahlen Schlecht konditioniert: Ergebnis sehr empfindlich In Anwendungen werden häufig gut konditionierte verfahren als stabil bezeichnet, schlecht konditionierte als instabil. Beispiel: Vor/Rückwärtsfahrt mit Auto. Friedrich Leisch, CiM 2010/2011: 2.1 Zeichensätze & Maschinenzahlen 6

3 Codes für Zeichensätze Codes für Zeichensätze: 8-bit Auf digitalen Computern werden alle Informationen durch Ketten von 0 und 1 dargestellt. Eine einzelne 0/1 Stelle heißt Bit ( binary + digit, John Tukey). Zur Darstellung von Text werden Bits normalerweise in Achtergruppen zusammengefasst, ein Byte. Häufigster Code ist immer noch ASCII (American Standard Code for Information Interchange), 92 druckbare Zeichen, verwendet nur 7 Bit jedes Byte. Zahlreiche Erweiterungen von ASCII auf 8 Bit für internationale Zeichensätze existieren: ISO 8859: Familie von Standards für unterschiedliche Sprachgruppen: (1) Westeuropa, (2) Osteuropa, (3) Südeuropa, (4) Nordeuropa, (5) Cyrillisch, (6) Arabisch, (7) Griechisch,... Windows Code Page 1252: Ähnlich zu ISO 8859, aber Positionen sind nicht für Steuerzeichen reserviert, sondern werden auch für druckbare Zeichen verwendet. Gemeinsame Probleme: Folge von Bytes alleine nicht eindeutig, man muß wissen, welchen Code sie verwenden. Viele asiatische Schriften sind auch in 8 Bit nicht darstellbar. Friedrich Leisch, CiM 2010/2011: Codes für Zeichensätze 8 Friedrich Leisch, CiM 2010/2011: Codes für Zeichensätze 9 Codes für Zeichensätze: Unicode Codes für Zeichensätze: Unicode Ziel: Ein einheitliches Code-Schema für alle Sprachen, Mathematik, Musik,... Bis zu 2 32 Zeichen, vermutlich werden nur 2 21 je verwendet werden. Menschliche Sprachen verwenden die ersten 2 16 (2 Bytes). Definiert und verwaltet vom Unicode-Konsortium, einer Non-Profit- Gesellschaft, der unter anderem alle großen Hard- & Softwarefirmen angehören. Leider gibt es mehrere Unicode Transformation Formats (UTF), die wichtigsten beiden sind: UTF-8: Bei Unix-Systemen das populärste Schema, empfohlen für im MIME-Standard und vom W3C für HTML: 7-Bit ASCII verwendet ein Byte pro Zeichen Alle anderen Zeichen werden mit 2-6 Byte codiert, erstes Bit ist jeweils 1. Viele mögliche Byte-Sequenzen können in einer UTF-8 Datei nicht vorkommen. Enge Kooperation mit ISO, Entwicklung von Normen für Zeichencodes ist an Unicode delegiert. UTF-16: Älter, wird intern von vielen Early Adopters wie Windows NT (2000, XP, Vista, 7), Java, oder Mac OS X verwendet. Nicht kompatibel mit ASCII, da 16 Bit. Friedrich Leisch, CiM 2010/2011: Codes für Zeichensätze 10 Friedrich Leisch, CiM 2010/2011: Codes für Zeichensätze 11

4 Codes für Zahlen Codes für Zahlen Klarerweise kann jede Zahl mit beliebiger Genauigkeit in ASCII dargestellt werden, allerdings braucht dann jede Zahl eine unterschiedliche Anzahl von Bytes. Man könnte die Anzahl der Bytes fixieren, diese Darstellung ist aber extrem ineffizient. Die Grundrechnungsarten (und viele weitere Rechenoperationen) werden direkt von der CPU durchgeführt, je weniger Bits pro Zahl, desto schneller. Je weniger verschiedene Möglichkeiten es gibt, Zahlen zu codieren, desto einfacher wird die CPU (bzw. kann bei gegebener Komplexität mit den verfügbaren Zahlenformaten kompliziertere Dinge tun). Aus technischen Gründen sollte eine Zahlencodierung also nur eine fixe Anzahl von Bytes und damit N Bits verwenden (mit fixem N). Gesucht sind Abbildungen von Zahlenmengen wie Z oder R auf 2 N Maschinenzahlen. Viele Leute halten die Beschäftigung mit Computerarithmetik für ein eher esoterisches Fach. Motto: Die Informatiker werden dem Computer schon beigebracht haben, richtig zu rechnen! Leider stimmt das nicht, in vielen Fällen beherrschen Computer noch nicht einmal die Grundrechnungsarten. Grundlegende Kenntnisse in Computerarithmetik sind daher für jeden von Vorteil, der viel mit Computern rechnet, also insbesonders auch für Statistiker. Friedrich Leisch, CiM 2010/2011: Codes für Zahlen 12 Friedrich Leisch, CiM 2010/2011: Codes für Zahlen 13 Codes für Zahlen Codes für Zahlen Bug -Report an R: From: focus17@libero.it To: R-bugs@biostat.ku.dk Subject: error in trunc function Date: Fri, 6 Jul :03: (CEST) the command get a wrong result > trunc(2.3*100) 229 Antwort Duncan Murdoch: That is the correct answer. 2.3 is not representable exactly; the actual value used is slightly less. From: wchen@stat.tamu.edu To: R-bugs@biostat.ku.dk Subject: [Rd] match() (PR#13135) Date: Tue, 7 Oct 00:05: The match function does not return value properly. See an example below. > a<-seq(0.6,1,by=0.01) > match(0.88,a) [1] 29 > match(0.89,a) [1] NA... > match(0.94,a) [1] 35 Antwort Brian Ripley: FAQ Q7.31 strikes again! 0.89 is not a member of seq(0.6,1,by=0.01), since 0.01 cannot be represented exactly in a binary computer. Friedrich Leisch, CiM 2010/2011: Codes für Zahlen 14 Friedrich Leisch, CiM 2010/2011: Codes für Zahlen 15

5 Codes für Zahlen Codes für Zahlen From: Friedrich Leisch To: Antonio Li~nan Cc: Subject: Re: Bug in R? Date: Thu, 5 Nov :57: >>>>> On Thu, 5 Nov :35: , >>>>> Antonio Li~nan (AL) wrote: > Hi, I m not sure if it s really a bug: > When you execute: >> (2/3)*(0.6/(1-0.6)) > the result will be: > [1] 1 > but if you execute: >> (2/3)*(0.6/(1-0.6)) == 1 > the result is: > [1] FALSE > Note: I m using version 2.9.2, (and tried it in in too) with Microsoft Windows XP [Version ]. > Thank you. From: Marc Schwartz <marc_schwartz_at_me.com> Date: Fri, 09 Jul :00: On Jul 9, 2010, at 8:46 AM, Trafim Vanishek wrote: > Dear all, > > might seem and easy question but I cannot figure it out. > > floor(100*(.58)) > [1] 57 > > where is the trick here? And how can I end up with the right answer? > > Thanks a lot everybody for your help. > Trafim > sprintf("%.20f", 100 *.58) [1] " " FAQ 7.31 strikes again: R> 1-(2/3)*(0.6/(1-0.6)) [1] e-16 See R FAQ 7.31 HTH, Marc Schwartz Friedrich Leisch, CiM 2010/2011: Codes für Zahlen 16 Friedrich Leisch, CiM 2010/2011: Codes für Zahlen 17 Maschinenzahlen für Z Maschinenzahlen für Z Auf 32-Bit Rechnern werden die ganzen Zahlen äquivalent zu folgender Darstellung codiert: 32 x = u i 2 i i=1 mit Bits u i {0, 1}. Die größte darstellbare Zahl ist damit 31 x = 2 i 1 30 = 2 i = = , i=1 i=0 die kleinste Zahl ist 2 31 = Falls eine arithmetische Operation einen Überlauf produziert, werden oft die ersten 32 Bit korrekt berechnet, und die fehlenden höheren Bits abgeschnitten. Beispiel: = 2 31 = In einer 33-Bit Darstellung wäre u i = 0 für i = 1,..., 32 und u 33 = 1. In 32-Bit sind alle Bit 0, das Resultat ist In R werden Integer-Überläufe abgefangen (bzw. automatisch auf Gleitkommadarstellung umgeschalten). Friedrich Leisch, CiM 2010/2011: Maschinenzahlen für Z 18 Friedrich Leisch, CiM 2010/2011: Maschinenzahlen für Z 19

6 Maschinenzahlen für R Maschinenzahlen für R Eine endliche Teilmenge der reellen Zahlen kann gegenüber den rationalen Operationen (+,-,*,:) nicht abgeschlossen sein. Heute sind Gleitkomma-Codierung am weitesten verbreitet, die durch 4 Parameter charakterisiert sind: Da wir auf den Maschinenzahlen M im Wesentlichen wie auf R rechnen wollen, ergeben sich folgende Forderungen: Operationen möglichst ähnlich zu denen auf R möglicht einfache Gesetzmäßigkeiten einfach und rasch auf Digitalrechner implementierbar Während bei den ganzen Zahlen einfach eine (fast) symmetrische Teilmenge rund um Null als Maschinenzahlen benutzt wird, ist dieses einfache Konzept bei den reellen Zahlen nicht sinnvoll. Basis b > 1, gebräuchlich sind 2, 8, 10 und 16 Mantissenlänge m kleinster und größter Exponent e min < 0 und e max > 0 Eine Zahl x wird damit folgendermaßen dargestellt: x = ( 1) u 0b e m u i b i i=1 wobei e ein Exponent in Integer-Darstellung ist. Friedrich Leisch, CiM 2010/2011: Maschinenzahlen für R 20 Friedrich Leisch, CiM 2010/2011: Maschinenzahlen für R 21 Beispiele Normalisierung 8 Stellen in Dezimaldarstellung, e min = 99, e max = Bit Binärdarstellung, m = 23, Exponent 8 Bit mit e min = 126 und e max = Bit Binärdarstellung, m = 52, Exponent 11 Bit mit e min = 1022 und e max = 1024 Die resultierenden Gleitkommazahlen M sind nicht gleichverteilt im Definitionsbereich, im Intervall [b i 1, b i ] liegen gleich viele Zahlen wie im Intervall [b i, b i+1 ], obwohl letzteres b mal so groß ist (siehe UE). Um eine eindeutige Darstellung jeder Zahl zu garantieren, fordern die meisten Systeme, daß das erste Bit der Mantisse nicht Null ist, diese Darstellung heißt normalisiert. Eine Ausnahme sind Zahlen zwische 0 und b e min, diese müssen nicht normalisiert sein (das heißt auch partial Underflow ). Nicht benutzte Exponenten werden nach IEEE Standard als spezieller Flag benutzt (NaN, Inf). Bei b = 2 und Normalisierung muß das erste Bit der Mantisse nicht gespeichert werden, damit gewinnt man effektiv ein Bit. Friedrich Leisch, CiM 2010/2011: Maschinenzahlen für R 22 Friedrich Leisch, CiM 2010/2011: Maschinenzahlen für R 23

7 Abstand Abstand Offensichtlich ist der Abstand der darstellbaren Zahlen wichtig: Die betragsmäßig kleinsten Zahlen rund um 0 sind (bei partiellem Unterfluß) offensichtlich ±b e min m. Die kleinste Zahl echt größer als 1 ist 1 + b 1 m, die größte Zahl echt kleiner als 1 ist 1 b m. Damit ergeben sich die die wichtigen Konstanten Maschinen- Epsilon, kurz eps: ɛ min = b m ɛ max = b 1 m Die Maschinen-Epsilons können benutzt werden, um den Abstand zwischen Zahlen im gesamten Definitionsbereich abzuschätzen. Generell gilt, daß rund um eine Zahl x 0 der relative Abstand zwischen Maschinenzahlen ungefähr ɛ max ist, der absolute Abstand somit x ɛ max (ungefähr da weder x noch das Produkte mit ɛ max darstellbar sein müssen). Die Abschätzung mit ɛ max ist konservativ und wird daher üblicherweise bevorzugt, im Folgenden schreiben wir dafür kurz ɛ m. Ab b m+1 können auch ganze Zahlen nicht mehr exakt dargestellt werden (Abstand größer als 1). Friedrich Leisch, CiM 2010/2011: Maschinenzahlen für R 24 Friedrich Leisch, CiM 2010/2011: Maschinenzahlen für R 25 Abstand Abstand größer 1 o.b.d.a. sei x 0, b e 1 x < b e, und die Gleitkommadarstellung x = b e m u i b i i=1 Der absolute Abstand zweier Maschinenzahlen im Intervall [b e 1, b e ] ist b e m, daher der absolute Fehler sowie der relative Fehler x x x Allgemein gilt daher be m x x x b e m be m b e 1 = b1 m = ɛ m x x ɛ m x Eine nur mathematisch unendliche Schleife: R> options(digits=20) R> k <- 2^53-10 # 2^53 = 1/eps_m R> while(k<k+1){ + k <- k+1 + cat(k, k+1, "\n") Friedrich Leisch, CiM 2010/2011: Maschinenzahlen für R 26 Friedrich Leisch, CiM 2010/2011: Maschinenzahlen für R 27

8 Typen in C Portabilität Die meisten Programmiersprachen stellen mehrere Fixkomma- und Gleitkomma-Darstellungen zur Verfügung, C hat z.b.: Fix: signed short int, unsigned short int, signed long int,... Gleit: float, double, long double Der Compiler übersetzt diese für die CPU, Standard PCs haben (meistens) Hardware-Unterstützung für Gleitkommaarithmetik in einfacher und doppelter Genauigkeit. CPUs verschiedener Architektur können sich (bei nominell gleicher Taktfrequenz) stark in der Rechenleistung unterscheiden. R rechnet alle Gleitkommaoperationen in doppelter Genauigkeit, einfache Genauigkeit steht nur als Speichertyp für die Schnittstellen zur Verfügung. Leider gibt es keine einheitliche Anordnung der Bits und Bytes auf verschiedenen Architekturen: little Endian: signifikantestes Bit ist rechts im Byte (PC,... ) big Endian: signifikantestes Bit ist links im Byte (Sun SPARC,... ) Es ist zwar sehr effizient, die Bits von Zahlen direkt in/aus eine(r) Datei zu schreiben/lesen. Neben der Kenntnis über die exakte Codierung setzt der Lesevorgang aber auch Kenntnis über die Endianess des schreibenden Systems vorraus. Außerdem gibt es Unterschiede, wie Rechner eingelesene Zahlen nach M konvertieren (Abschneiden, Runden in verschiedenen Varianten). Friedrich Leisch, CiM 2010/2011: Maschinenzahlen für R 28 Friedrich Leisch, CiM 2010/2011: Maschinenzahlen für R 29 Beispiele Beispiele 1. Code für Reihe von e x vom Anfang der VO. 2. Stellen Sie die Dezimalzahl 12.7 auf 8 binäre Nachkommastellen genau und als binäre Maschinenzahl mit Mantissenlänge m = 7 durch (a) Abbrechen (b) Runden dar. Welcher absolute bzw. relative Fehler entsteht jeweils bei der Konvertierung in die Maschinenzahl? 3. Betrachten Sie ein System von Gleitkomma-Maschinenzahlen mit Viertelpräzision : 8 Bit, davon 5 für die Mantisse, 3 für den Exponenten, Basis b = 2, negative und positive Exponenten symmetrisch. (a) Wie lauten e min und e max? (b) Wieviele verschiedene Zahlen können maximal dargestellt werden? Was verändert sich bei normalisierter Darstellung mit bzw. ohne partiellen Unterfluß? (c) Welchen Wert haben die kleinste Zahl größer als Null, die Maschinen-Epsilons, die größte darstellbare Zahl? (d) Vergleichen sie die Werte mit einem System mit derselben Anzahl Stellen zur Basis b = 10. Friedrich Leisch, CiM 2010/2011: Maschinenzahlen für R 30 Friedrich Leisch, CiM 2010/2011: Maschinenzahlen für R 31

9 Beispiele 4. In der Statistik wird wie in vielen anderen computationalen Wissenschaften der Computer häufig dazu benutzt, um Hypothesen schnell zu überprüfen. Diskutieren Sie Konvergenz und Divergenz folgender Reihen in R und M (Standard Single Precision): 2.3 Präzision arithmetischer Operationen (a) i=1 i (b) i=1 2 i (c) i=1 i 1 Friedrich Leisch, CiM 2010/2011: Maschinenzahlen für R 32 Addition R> 1e+16-1e+16 [1] 0 R> (1e ) - 1e+16 [1] 0 R> (1e ) - 1e+16 [1] 2 R> (1e ) - 1e+16 [1] 4 R> (1e ) - 1e+16 [1] 4 R> x = seq(1, 2e+16, length = 1e+05) R> s1 = sum(x) R> s2 = sum(rev(x)) R> s1 - s2 [1] Multiplikation Subtraktion Berechnung von Summen Kondition von Quadratsummen Friedrich Leisch, CiM 2010/2011: Addition 34 Friedrich Leisch, CiM 2010/2011: 2.3 Präzision arithmetischer Operationen 35

10 Bsp: 3 Formeln für s Bsp: 3 Formeln für s 3 Versionen zur Berechnung der mit 1/n normierten Standardabweichung einer Stichprobe: R> st1 <- function(x) { + s2 <- mean((x - mean(x))^2) + sqrt(s2) R> st2 <- function(x) { + s2 <- mean(x^2) - mean(x)^2 + sqrt(s2) R> st3 <- function(x) { + n <- length(x) + s2 <- ((n - 1)/n) * var(x) + sqrt(s2) R> options(digits = 16) R> st1(1:9) [1] R> st2(1:9) [1] R> st3(1:9) [1] R> st <- function(x) { + c(st1 = st1(x), st2 = st2(x), st3 = st3(x)) R> st(1:9) st1 st2 st Friedrich Leisch, CiM 2010/2011: Kondition von Quadratsummen 36 Friedrich Leisch, CiM 2010/2011: Kondition von Quadratsummen 37 Bsp: 3 Formeln für s Bsp: 3 Formeln für s R> x <- rep(0:1, 50) R> st(x) st1 st2 st R> X <- matrix(nrow = length(x), ncol = 10) R> X[, 1] <- x R> for (n in 2:ncol(X)) X[, n] <- x + 10^(2 * (n - 1)) R> colnames(x) <- 2 * (1:ncol(X) - 1) R> head(x) [1,] [2,] [3,] [4,] [5,] [6,] [1,] 1e+16 1e+18 [2,] 1e+16 1e+18 [3,] 1e+16 1e+18 [4,] 1e+16 1e+18 [5,] 1e+16 1e+18 [6,] 1e+16 1e+18 R> options(digits = 3) R> apply(x, 2, mean) e e e e e e e e e e+18 R> apply(x, 2, st) st st NaN NaN 0 0 st Friedrich Leisch, CiM 2010/2011: Kondition von Quadratsummen 38 Friedrich Leisch, CiM 2010/2011: Kondition von Quadratsummen 39

11 Bsp: 3 Formeln für s Bsp: κ-werte R> options(digits = 20) R> x8 <- x + 10^8 R> st2(x8) [1] 0 R> st2(x8) == 0 [1] TRUE R> x12 <- x + 10^12 R> st2(x12) [1] NaN R> mean(x12) [1] R> mean(x12^2) [1] e+24 R> mean(x12)^2 [1] e+24 R> kappa <- function(x) { + N <- length(x) + xm <- mean(x) + Q <- sum((x - xm)^2) + 2 * sqrt(1 + N * xm^2/q) R> options(digits = 3) R> apply(x, 2, kappa) e e e e e e e e Inf Inf R> mean(x12^2) - mean(x12)^2 [1] Friedrich Leisch, CiM 2010/2011: Kondition von Quadratsummen 40 Friedrich Leisch, CiM 2010/2011: Kondition von Quadratsummen 41 Bsp: Fehlerschranken R> fehler <- function(x) { + N <- length(x) + k <- kappa(x) + em <-.Machine$double.eps + a1 <- N * em + N^2 * k^2 * em^2 + a2 <- N * k^2 * em + c(a1 = a1, a2 = a2) R> apply(x, 2, fehler) a1 2.22e e e e e e e e+01 Inf a2 1.78e e e e e e e e+15 Inf 18 a1 Inf a2 Inf Kondition direkter Probleme Kondition indirekter Probleme Friedrich Leisch, CiM 2010/2011: Kondition von Quadratsummen 42 Friedrich Leisch, CiM 2010/2011: 2.3 Präzision arithmetischer Operationen 43