Statistics, Data Analysis, and Simulation SS 2017

Transkript

1 Mainz, 11. Mai 2017 Statistics, Data Analysis, and Simulation SS Statistik, Datenanalyse und Simulation Dr. Michael O. Distler Dr. Michael O. Distler Statistics, Data Analysis, and Simulation SS / 36

2 2. Zufallszahlen 2.1 Warum Zufallszahlen: Simulationen Stichprobenentnahme Numerische Analysen Programmerstellung (Computer) Entscheidungsfindung Kryptographie Ästhetik Freizeitaktivitäten (Computerspiele) Dr. Michael O. Distler Statistics, Data Analysis, and Simulation SS / 36

3 Zahlendarstellung unsigned integer nibble 4 bit byte, char 8 bit short word 16 bit word, int 32 bit long word 64 bit signed integer nibble 4 bit byte, char 8 bit short word 16 bit word, int 32 bit floating-point format float (32-bit) double (64-bit) Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

4 Die Gleitkommadarstellung sign exponent (8 bits) fraction (23 bits) = (bit index) 0 Einfache Genauigkeit Doppelte Genauigkeit single precision double precision width 32 bits 64 bits exponent 8-bit 11-bit fraction 23-bit 52-bit furthest from zero ± ± closest to zero ± ± denormalized ± ± gap ± ± Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

5 2.3 Zufallszahlengeneratoren 1927 L.H.C. Tippett veröffentlicht zufällige Ziffern die zufällig Volkszählungsberichten entnommen wurden 1939 M.G. Kendall und B. Babington-Smith erzeugen eine Tabelle mit zufälligen Ziffern mit Hilfe eines mechanischen Zufallszahlengenerators 1946 John von Neumann schlägt die middle-square Methode vor. Seine Idee ist, eine vorherige Zufallszahl zu quadrieren und die mittleren Ziffern zu extrahieren. Z.B. wenn wir 10-stellige Zahlen erzeugen wollen: r j+1 = (rj 2 div 100, 000) mod 10, 000, 000, 000 r 0 = , r0 2 = }{{} r 1 = Von Neumanns ursprüngliche middle-square Methode hat sich als vergleichsweise schlechte Quelle von Zufallszahlen erwiesen. Die Gefahr ist, das die Zahlenfolge sich in einem kurzen Zyklus sich wiederholender Elemente festfährt. Sobald etwa die Null in der Sequenz auftaucht, würde diese ständig wiederholt werden. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

6 Random Number Generators Ein anderer offensichtlicher Einwand gegen die middle-square Methode ist: Wie kann eine Sequenz überhaupt zufällig sein, wenn jede Zahl durch ihre Vorgängerin determiniert ist? Die Antwort darauf ist, dass die Sequenz nicht zufällig ist, aber so erscheint. Sequenzen, die auf eine deterministische Weise erzeugt werden, werden in der Literatur als Pseudo-Zufallszahlen oder Quasi-Zufallszahlen bezeichnet. Wir wollen hier aber eine feinere Unterscheidung treffen. Pseudo-Zufallszahlen sollten die gleichen statistischen Tests bestehen wie echte Zufallszahlen. Quasi-Zufallszahlen oder Sequenzen können wie echte Zufallszahlen transformiert werden - eignen sich jedoch ausschließlich für die Monte-Carlo Integration. X j+1 = f (X j, X j 1,..., X 1 ) Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

7 2.3.1 Allgemeiner Kongruenzgenerator Ein Kongruenzgenerator wird durch folgende Parameter definiert: Anzahl n N + der Zustandswerte Modul (modulus) m {2, 3, 4,...} Faktoren (multiplier) a 1,..., a n {0,..., m 1} mit a n > 0 Inkrement (increment) b {0,..., m 1} Startwerte y 1,..., y n {0,..., m 1} (nicht alle 0, wenn b = 0 Für i > n setzt man nun (( n ) ) y i = a k y i k + b k=1 mod m. Dabei bezeichnet mod den Divisionsrest. Die so berechneten y i werden als Zufallszahlen verwendet. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

8 2.3.2 Linearer Kongruenzgenerator Linear Congruential Generator (LCG) Die heute mit Abstand am weitesten verbreiteten Zufallszahlengeneratoren sind Spezialfälle eines Schemas, das 1949 von D.H. Lehmer eingeführt wurde. Wir wählen vier magische Zahlen : m, der Modul; 0 < m. a, der Faktor; 0 a < m. c, das Inkrement; 0 c < m. X 0, den Startwert; 0 X 0 < m. Die gewünschte Sequenz von Zufallszahlen ergibt sich aus X n+1 = (a X n + c) mod m, n 0 Für m = 10 and X 0 = a = c = 7 erhält man 7, 6, 9, 0, 7, 6, 9, 0,... Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

9 Linearer Kongruenzgenerator Lineare Kongruenzgeneratoren erreichen nach dem Satz von Knuth genau dann ihre maximal mögliche Periodenlänge m, wenn die folgenden Voraussetzungen erfüllt sind: i) Das Inkrement c ist zum Modul m teilerfremd. ii) Jeder Primfaktor von m teilt auch a 1 iii) Wenn m durch 4 teilbar ist, dann auch a 1 Beweis: siehe Donald E. Knuth, The Art of Computer Programming, Vol. 2 Beispiel: m = 16, a = 5, c = 3, X 0 = 0: X n+1 = (5 X n + 3) mod 16 Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

10 LCG Parameter in Verwendung Source m a c output bits Numerical Recipes Borland C/C bits in rand(), bits in lrand() glibc (used by GCC) bits ANSI C: Watcom, bits Borland Delphi, Virtual Pascal bits of (seed * L) Microsoft Visual/Quick C/C bits (343FD 16 ) (269EC3 16 ) Microsoft Visual Basic ( v6) (43FD43FD 16 ) (C39EC3 16 ) MMIX by Donald Knuth VAX s MTH$RANDOM, old versions of glibc Java s java.util.random bits LC53 in Forth Source: Wikipedia Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

11 2.3.3 Der multiplikative Kongruenzgenerator multiplicative congruential generator Setzt man c = 0, so erhält man den multiplikative Kongruenzgenerator. X n+1 = (a X n ) mod m Vorteil: Schnellerer Algorithmus Nachteil: Keine Null, kürzere Periodenlänge Der Satz von Carmichael besagt: Bei gegebenem m ist seine Periodenlänge genau dann maximal, wenn gilt: y 1 ist zu m teilerfremd, a ist ein primitives Element modulo m. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

12 2.3.4 Fibonacci-Generator Ein Fibonacci-Generator ist ebenfalls ein Kongruenzgenerator (mit n = 2, b = 0, a 1 = a 2 = 1) und besteht aus folgenden Komponenten: Modul m {2, 3, 4,...} Startwerte y 1, y 2 {0,..., m 1} Es sollte ggt(m, y 1, y 2 ) = 1 sein. Mit folgender Bildungsregel werden die Pseudozufallszahlen erzeugt: y i = (y i 1 + y i 2 ) mod m (mit i 3) Nachteil: Eine Eigenschaft ist, dass die Fälle y i 1 < y i+1 < y i bzw. y i < y i+1 < y i 1 nie auftreten. Fibonacci-Generatoren (allein) sind daher als Pseudozufallszahlengeneratoren wenig geeignet. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

13 2.3.5 Verzögerter Fibonacci-Generator Das Prinzip des Fibonacci-Generators kann aber verallgemeinert werden, indem man nicht die beiden letzten, sondern weiter zurückliegende Zustandswerte y i zur Erzeugung der neuen Zufallszahl verwendet. Dies ergibt einen verzögerten (engl. lagged ) Fibonacci-Generator: y i = (y i B + y i A ) mod m mit A, B N +, A > B; i > A mit den Startwerten y 1,..., y A {0,..., m 1} Dann ist also n = A und a A = a B = 1, die übrigen a k sind Null. Dabei wählt man in der Regel m und A und B so, dass das Polynom x A + x B + 1 ein primitives Polynom modulo 2 ist. Dann beträgt die Periodenlänge des Generators mindestens 2 A 1. Die folgende Tabelle gibt einige Wertepaare für A und B an, die diese Bedingung erfüllen: A B Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

14 Marsaglia KISS Zufallszahlengenerator Das KISS-Prinzip: (englisch Keep it simple, stupid!) Der von George Marsaglia entwickelte Zufallszahlengenerator kombiniert drei einfache Zufallszahlengeneratoren, die für sich genommen praktisch keinen Test auf Zufälligkeit bestehen. Die Kombination in Form des KISS-Generators besteht jedoch alle statistischen Tests aus dem BigCrush-Test der TestU01-Bibliothek. Dr. Michael O. Distler Statistics, Data Analysis, and Simulation SS / 36

15 Marsaglia KISS Zufallszahlengenerator #include <stdint.h> // interner Zustand static uint32_t x = ; // <- beliebige seed!= 0 static uint32_t y = ; static uint32_t z = ; static uint32_t c = ; uint32_t KISS() { uint64_t t; x = * x ; y ^= y << 13; y ^= y >> 17; y ^= y << 5; // Linearer Kongruenzgenerator // Xorshift t = ULL * z + c; // Multiply-with-carry c = t >> 32; z = (uint32_t) t; } return x + y + z; Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

16 Deterministisches Chaos Die logistische Gleichung wurde ursprünglich 1837 von Pierre François Verhulst als demographisches mathematisches Modell eingeführt. Die Gleichung ist ein Beispiel dafür, wie komplexes, chaotisches Verhalten aus einfachen nichtlinearen Gleichungen entstehen kann. x t = f x t 1 (1 x t 1 ); x 0 = 0, 5 Das logistische Modell berücksichtigt zwei Einflüsse: Durch Fortpflanzung vermehrt sich die Population geometrisch. Durch Verhungern verringert sich die Population. Die Individuenzahl vermindert sich in Abhängigkeit von der Differenz zwischen ihrer aktuellen Größe und einer theoretischen Maximalgröße. Variation von f führt zum Feigenbaum-Diagramm Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

17 Zufallszahlen für beliebige Verteilungen Die Aufgabe ist, Zufallszahlen x i gemäß einer Wahrscheinlichkeitsdichte f (x) zu erzeugen The inverse transform sampling method Voraussetzung ist: Die Umkehrfunktion F 1 (u) der Verteilungsfunktion existiert als analytische Funktion. 1 Wir generieren ein Zufallszahl u, die wir einer Gleichverteilung auf dem Intervall [0, 1] entnehmen. 2 Wir berechnen x, so dass F(x) = u gilt. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

18 Inverse transform sampling Generator gives: 0 X n < m 0 X n m < 1 Uniform distribution: U(0, 1) Transformation: f (x) dx = U(0, 1) du CDF: x f (t) dt = F(x) = u x = F ( 1) (u) Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

19 Acceptance-Rejection Method Suppose we want to generate samples from a density f defined on some set X. Let g be a density on X from which we know how to generate samples and with the property that for some constant c. f (x) cg(x) 1 generate X from distribution g. 2 generate U from U(0, 1). 3 If (U f (X) cg(x) ) return X otherwise go to Step 1. The acceptance-rejection method for sampling from density f uses candidates from density g. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

20 press any key Dr. Michael O. Distler Statistics, Data Analysis, and Simulation SS / 36

21 2.4. Qualität von Generatoren Spektraltest Bilde Paare aus benachbarten Zahlen (x j, x j+1 ) j = 0, 1,..., n 1 Darstellung als Punkte in einem 2dim kartesischen Koordinatensystem: a = 3, m = 7 : 1, 3, 2, 6, 4, 5, 1,... (1, 3), (3, 2), (2, 6), (6, 4), (4, 5), (5, 1) Punkte eines MLCG bilden regelmäßiges Gitter. Warum? Im Wertebereich 0 x j < m gibt es m 2 Zahlenpaare. MLCG liefert aber nur m 1 Zahlenpaare Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

22 Beispiele: Spektraltest 6 a=3 m=7 5 4 x i x i Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

23 Beispiele: Spektraltest 90 a=29 m= x i x i Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

24 Beispiele: Spektraltest 90 a=23 m= x i x i Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

25 Beispiele: 1 Spektraltest a=29 m= x i x i Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

26 Beispiele: 1 Spektraltest a=23 m= x i x i Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

27 Umrechnung auf Gitter 0 x j m < 1. Voll besetztes Gitter hat Linienabstand d = 1 m Unser Gitter hat bei gleichmäßiger Verteilung bestenfalls: d m 1/2 für 2 Dimensionen Ungleichmäßige Abstände: d m 1/2 Theoretische Überlegungen liefern obere Grenzen für die kleinstmöglichen Gitterabstände in t Dimensionen: d t d t = c t m 1/t c 2 = 4 3/4, c 3 = 6 1/2, c 4 = 4 1/2, c 5 = Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

28 2.4.2 Test auf gleichmäßige Verteilung Das Intervall [0, 1] wird in k gleiche Unterintervalle der Länge 1/k unterteilt. N Zufallszahlen werden erzeugt. N i fallen in das Unterintervall i. k Ni = N, N i = N k, (N i N/k) 2 = χ 2 N/k i=1 sollte einer χ 2 -Verteilung mit (k 1) Freiheitsgraden folgen. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

29 2.4.3 Sequenz-(up-down-)Test Vergleiche x i und x i+1 { 1 für xi < x Erzeuge Bitfolge mit i+1 0 für x i > x i+1 Zähle die Folgen von Nullen und Einser der Länge k: N(k) N k N(k) = N für N + 1 Zufallszahlen k=1 Für unkorrelierte Zufallszahlen erwartet man: N(1) = 5N+1 12 N(2) = 11N N(3) = 19N N(k) = (k 2 +3k+1)N (k 3 +3k 2 k 4) (k+3)!/ N(1) = 5 (6.75) N(2) = 4 (2.75) N(3) = 1 (0.58) Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

30 2.4.4 Random Walk-Test Wähle ein kleine Zahl 0 < α 1. Bilde eine große Zahl von Zufallszahlen und registriere die Zahl r der Fälle, in denen eine Zufallszahl kleiner α erscheint. Man erwartet eine Binomialverteilung für r mit p = α. Diese Test sollte auch gemacht werden für Zufallszahlen, die größer als (1 α) sind. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

31 2.4.5 Lücken-(gap)Test Wähle zwei Zahlen 0 α < β 1. Erzeuge (r + 1) Zufallszahlen im Intervall [0, 1]. Die Wahrscheinlichkeit, dass die ersten r Zahlen ausserhalb des Intervalls (α, β) liegen und die (r + 1)ste innerhalb, sollte sein: P r = p (1 p) r Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

32 2.4.6 Collision-Test Teile das Intervall [0, 1) in d gleiche Segmente. Teile entsprechend [0, 1) t in k = d t Hyperkuben. Erzeuge n zufällige Punkte in [0, 1) t. Wir definieren eine neue Zufallsvariable C, in dem wir zählen, wie oft wir eine Zahl in eine Hyperkubus füllen, der schon besetzt ist. Wir erwarten für C eine Poisson-Verteilung um den Mittelwert: λ C = n2 (k groß) 2k Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

33 2.4.7 Birthday-Spacing-Test Teile den Wertebereich in k gleich Intervalle (Hyperkuben). Definiere eine Ordnungsfunktion für die Zellen, damit für die gefüllten Zellen gilt: I (1) I (2)... I (n) Definiere den Abstand S j = I (j+1) I (j) j = 1,..., n 1. Die neue Zufallsvariable Y zählt die Fälle (Kollisionen), für die gilt: S (j+1) = S (j). Wir erwarten für Y eine Poisson-Verteilung um den Mittelwert: λ Y = n3 (k groß) 4k Der Name stammt von dem Geburtstagsparadoxon (n Personen, das Jahr hat k Tage). papers/wsc01rng.pdf Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

34 Markov chain Monte Carlo Metropolis-Hastings Algorithmus Aufgabe: Bestimmen Sie Mittelwert, Varianz und Schiefe der Wahrscheinlichkeitsdichte ( p(x) = C exp 1 ) (x 3.2)(x 2)(x 1.1)(x + 0.9)(x + 2)(x + 3.3) 50 mit einer MCMC Methode (Metropolis-Hastings Algorithmus) Dazu erzeugen Sie eine Folge von Zahlen x t, t = 1,..., N (Markov chain), die der Dichte p(x) folgen. Nach den Regeln der MC Integration gilt dann für den Erwartungswert 0.1 A 1 N N A(x t ). t=1 Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

35 Metropolis-Hastings Algorithmus 1 Wählen Sie einen Startwert und legen Sie die Kettenlänge fest, z.b. x 1 = 1 und N = Wählen Sie eine Vorschlagsdichte q(x x), z.b. die Normalverteilung N (µ, σ 2 ). Setzen Sie σ 2 = 2. Je ähnlicher die Vorschlagsdichte der Dichte p(x) ist, desto besser funktioniert der Algorithmus. 3 Generieren Sie zufällig einen Vorschlag x für x t+1 aus der Vorschlagsdichte N (x t, σ 2 ). 4 Generieren Sie eine gleichverteilte Zufallszahl u aus U(0, 1). 5 Der Vorschlag x wird akzeptiert, falls: p(x ) p(x t ) q(x t x ) q(x x t ) u Für den Fall einer symmetrischen Vorschlagsdichte (hier Normalverteilung) gilt q(x t x )/q(x x t ) = 1. 6 Wird der Vorschlag nicht akzeptiert, setzen Sie x t+1 = x t. 7 Fahren Sie mit Punkt 3. fort, bis die gewünschte Kettenlänge N erreicht ist. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36

36 Metropolis-Hastings Algorithmus Mögliche Optimierungen: Wenn der Startwert ungünstig gewählt wurde, dann benötigt der Algorithmus einige Zeit um einzuschwingen (sog. burn-in). In der Praxis werden die ersten 100 oder 1000 Werte verworfen und so das " Gedächtnis" (d.h. die Abhängigkeit vom Startwert) gelöscht. Variieren Sie die Varianz der Vorschlagsdichte, z.b. σ 2 = 0.1, 2, 10 und betrachten Sie jeweils den Anteil der akzeptierten Vorschläge und plotten einen Ausschnitt von 1000 Werten der Kette. In der Praxis bewährt sich ein Anteil von 50%. Wählen Sie eine ganz andere Vorschlagsdichte, z.b. U( 2 + x t, 2 + x t ). Funktioniert der Algorithmus damit? (siehe auch Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 36