Einführung (1) In der Praxis finden Sie viele Anwendungsfelder für Zufallszahlen. Beispiele

Transkript

1 11. Zufallszahlen 1

2 Einführung (1) In der Praxis finden Sie viele Anwendungsfelder für Zufallszahlen. Beispiele sind 1. Computersimulationen 2. Optimierungsprobleme und 3. Hochdimensionale Integrale. Problemstellung: Erzeuge gleichverteilte Zufallszahlen im Intervall (0;1) ( uniform deviaters ), meist mit 0 und ohne 1. Aus solchen UD können Zufallszahlen anderer Verteilungen, wie z.b. der Gauß-Verteilung gemacht werden. Praxis: Kaufe z.b. CDs mit Zufallszahlen aus radioaktiven Zerfällen oder anderen zufälligen Naturereignissen (meist überflüssig und speicherintensiv). 2

3 Einführung (2) Benutze ein Rekursionsformel zur Erzeugung der Zufallszahlen, ( deterministische Zufallszahlen ): Pseudo-Zufallszahlen. Pseudo-Zufallszahlen müssen auf ihre Qualität hin untersucht werden! Pseudo-Zufallszahlen sind zu unterscheiden von Quasi-Zufallszahlen: Quasi-Zufallszahlengeneratoren erzeugen nicht eine zufällige Folge von Zahlen, sondern Zahlen, die möglichst gut gleichverteilt sind (wenige Anwendungen und hier nicht behandelt). Zwei Definition von Zufallszahlen 1. Eine Folge von Zahlen ist zufällig, wenn ihre Komplexität nicht kleiner als die Folge selbst ist. 2. Eine Folge von Zahlen ist zufällig, wenn kein Algorithmus das nächste Element in polynomialer Zeit vorhersagen kann (chaotische Systeme). 3

4 Einführung (3) Praxis: Eine Folge von Zahlen ist zufällig, 1. wenn die nächste Zahl nicht vorhersagbar ist für den, der den Algorithmus nicht kennt, 2. wenn die Folge eine bestimmte Anzahl von Tests erfüllt. Wirkliche Zufallszahlen gibt es auf einem Computer nicht, da es sich immer um einen deterministischen Algorithmus handelt und es damit immer eine Anwendung bzw. einen Test gibt, bei dem der Zufallszahlengenerator versagt. 4

5 Einführung (4) Gute Generatoren sollten folgende Kriterien erfüllen: große Periode, geringe Korrelation, gleichmäßige Verteilung, Portierbarkeit, Wiederholbarkeit und lange sich nicht überschneidende Teilfolgen (Parallelrechner). 5

6 Einführung (5) Typischerweise gibt es auf Computern Funktionen wie rand(). Ein Programm wie #include <stdlib.h>... for (i=0;i<100,i++) a[i]= rand(); erzeugt 100 Zufallszahlen zwischen 0 und RAND MAX. Hinzu kommt eine Funktion, um den Startwert einer Folge von Zufallszahlen festzulegen, z.b. void srand(unsigned seed) 6

7 Einführung (6) Warum ist hier nicht die Vorlesung über Zufallszahlen zu Ende? Computer werden immer leistungsfähiger und können damit auch immer präzisere numerische Berechnungen durchgeführt werden. Einfache Zufallszahlen-Generatoren wie in den meisten Bibliotheksfunktionen liefern z.b. bei einigen Computersimulationen FALSCHE Ergebnisse! Zufallszahlen-Generatoren sind deshalb seit Jahrzehnten aktuelles Forschungsgebiet. 7

8 Zufallszahlen-Generatoren (1) Es existieren zwei wesentliche Arten von Generatoren: Multiplikative lineare kongruente Generatoren (Integer Arithmetik) x n = a 1 x n 1 +a 2 x n 2 +a j x n j +a 0 (mod m) Rückkoppel-Schieberegister-Methode (Shift Register) oder Tausworth Generatoren (Bit Arithmetik) a k = c 1 a k 1 +c 2 a k 2 + +c j a k j +c 0 (mod 2) Diese werden abhängig von der Wahl der Integer-Konstanten a i bzw. Bit-Konstanten c i in verschiedene Klassen unterteilt. 8

9 Zufallszahlen-Generatoren (2) 1. Ein einfacher Zufallszahlen-Generator Der einfachste Zufallszahlen-Generator ist ein linear kongruenter Zufallszah Generator x n = (ax n 1 +b) mod(m) Dieses ist der älteste Zufallszahlen-Generator (D.H.Lehmer, 1948) mit der maximalen Periode m. Der Generator in C: iseed = (iseed*a+b)%m; ran = (float)iseed/(float)m; Es sollten alle ganzen Zahlen 0...(m 1) vorkommen, also eine volle Periode. Dies ist durch geeignete Parameter a,b und m zu erreichen. z. B. iseed = (69069 iseed+1) (mod 2 32 ) Die meisten als Bibliothek vorhandenen Zufallszahlen-Generatoren sind einfache linear kongruente Generator. 9

10 Zufallszahlen-Generatoren (3) 2. Fibonacci Zufallszahlen-Generatoren Ein Fibonacci Zufallszahlen-Generator ist eine einfache Abwandlung der multiplikativen linear kongruenten Generatoren, bei der neben der Addition auch andere arithmetische Operationen verwendet werden. x n = x n p x n q (mod m) Maximale Periode: (2 p 1)(2 q 1). Er erfordert nur eine Rechenoperation und wird deshalb häufig für aufwendige Berechnungen verwendet. 3. Rückkoppel-Schieberegister-Methode (Tausworth) Methode: Benutze die Zahlendarstellung im Rechner, um Zufallszahlensequenzen {a i } von Bits zu erzeugen, die anschließend wieder als Zahlen interpretiert werden. 10

11 Zufallszahlen-Generatoren (4) Gegeben sei eine einmal festgelegte Sequenz von p Bits c p,...,c 1 Berechne aus einer vorliegenden Bitfolge a k p,...,a k 1 ein neues Bit a k mit a k = (c p a k p +c p 1 a k p 1 + +c 1 a k 1 +c 0 ) (mod 2). Ein Beispiel mit (c 0 = 1): c 4 c 3 c 2 c a k 4 a k 3 a k 2 a k 1 a k Anfang

12 Zufallszahlen-Generatoren (5) Maximale Periode: 2 p 1. Die Zufallszahlen ergeben sich aus y 1 = a 1...a L (dual) Günstigen Sätze von c i sind: y i = a (i 1)L+1 a (i 1)L+2...a il c i = δ i,35 +δ i,2 c i = δ i,23 +δ i,2 c i = δ i,35 +δ i,3 (Tausworth) (Canavos) (Whitlesey) Die Gleichförmigkeit der Verteilung der Punkte, die aus den konsekutiven n-tupeln des Zufallszahlen-Generators gewonnen werden, ist in R n im allgemeinen nicht gewährleistet. 12

13 Zufallszahlen-Generatoren (6) In der Praxis werden auch häufig nicht-optimale c i in Kombination mit anderen Zufallszahlengeneratoren genutzt. Ein Beispiel ist a k = a k 32 +a k 17 (mod 2) Für diesen Generator lässt sich ein sehr einfacher Algorithmus schreiben: bzw. in C: a = a ishft(a,17); a = a ishft(a, 15) a = a_0 ^ (a_0 << 17); a = a ^ (a_0 >> 15); a a<<17 ^ 0 a^(k<<17) a>>15 ^ a a^(a<<17) a a = a a

14 Zufallszahlen-Generatoren (7) 4. Eine Variation von S.Kirkpatrick und E.P.Stoll Betrachte zwei Integer Zahlen x i als Spalten einer Bit-Matrix. Die nächste Zufallszahl wird durch die Bit-Operation XOR aus 2 vorher berechneten Zufallszahlen erzeugt. x n = x n p x n q (mod m) Das ist äquivalent zu dem Fibonacci Generator. Eine gute Wahl für p und q ist z.b. p = 103 und q = 250. Vorsicht bei der Initialisierung der Generators: Verwendet werden z.b. gute multiplikative linear kongruenten Generatoren. 5. Korrelation und shuffle Aufeinanderfolgende Zufallszahlen sind korreliert. Mische die Sequenz der Zufallszahlen ( shuffle ) zur Unterdrückung von Korrelationen von aufeinander folgende Zufallszahlen. 14

15 Zufallszahlen-Generatoren (8) Beispiel: Bays Durham Shuffle Algorithmus double rano(int idun) {... static double y; // Speichere zuerst 97 Zufallszahlen ab if (idun < 0) { iseed = abs(idun); srand(iseed); for (i=0;i<97;i++) // Abstand zum letzten Set rand(); // bzw. Einschwingen for (i=0;i<97;i++) // v auffüllen v[i] = ranf(); y = rand()*1.0/rand_max; // nutze die rand() fuer shuffle } j = (int) (97.*y); // Zufallsindex y = v(j)*1.0/rand_max; // Zufallszahl sichern v(j) = rand(); // Element neu belegen return y; } 15

16 Zufallszahlen-Generatoren (9) 6. Inverser kongruenter Generator Ende der 80er Jahre wurde eine einfache Variante des linear kongruenten Zufallszahlen-Generator entwickelt, mit besseren Eigenschaften. x n = (a x n 1 +b) mod(m) Dabei ist x definiert über xx = 1 mod m. 7. ACARRY-Zufallszahlengenerator Von Marsaglier wurde in den 90er Jahren eine neue Klasse von Zufallszahlen Generatoren entwickelt: die add-and-carry, ACARRY Generatoren. Der Algorithmus gleicht dem Fibonacci Generator, jedoch mit der Addition eines zusätzlichen Bits, wenn die Fibonacci Summe größer als eine Integer-Basis m ist: x n = (x n r ±x n s ±c) (mod m) mit r > s 1 16

17 Zufallszahlen-Generatoren (10) Eine spezielle Version ist der Generator subtract-and-borrow oder RCAR- RY. n = (x n r x n s c n 1 ) (mod m) und x n = n, c n = 0 für n 0 x n = n +b, c n = 1 für n < 0 Hier wird r und s wie beim Fibonacci Generator aus einem Satz magischer Zahlen gewählt. Eine häufige Wahl ist m = 2 24, und r = 24,s = 10 mit der Periode Zusammengesetzte Zufallszahlengenerator In der Mitte der 70er Jahre entwickelten Marsaglia und Zaman den ersten zusammengesetzten Zufallszahlen-Generator aus einem einfachen linear kongruenten Generator und ein shift-register Generator mit dem Namen Super Duper, der heute noch eingesetzt wird. 17

18 Zufallszahlen-Generatoren (11) Eine Kombination mit dem Namen KISS (Keep It Simple and Stupid) verbindet einem einfachen linear kongruenten Generator mit eine 32-Bit und einem 31-Bit shift-register-generator, die jeder 2 Stifts verwenden. Er hat eine Periode von i = i j = (j ishft(j,17); j = j ishft(j, 15) 3. k = k ishft(k,18); k = iand(k,2 31 1); k = k ishft(k, 13) 4. kiss = i+j +k. Diese Verfahren sind fast beliebig steigerbar. Der Zufallszahlen-Generator ULTRA von Marsaglia und Zaman verbindet RCARRY mit I = I und hat eine Periode von , der Mersenne Twister Generator hat eine Periode von

19 Test von Generatoren (1) Einige Tests auf notwendige Eigenschaften von Zufallszahlen-Generatoren, die einer Verteilung P(x) = const für x (0;1) folgen, müssen experimentell getestet werden, wenn eine Berechnung nicht möglich ist (Normalfall). 1. Test auf Gleichverteilung Es wird auf Gleichverteilung im Intervall (0;m) (mit 0 und ohne m) getestet. Es ist folgendes zu erwarten. Der Mittelwert und die Varianz muss lauten: x = 1 m m 1 i=0 i = m 1 2 ; x2 = 1 m m 1 i=0 i 2 = 2m2 3m+2 6 δx 2 = x 2 x 2 = m Wird die Verteilung auf das Intervall (0; 1) reduziert, so folgt 19

20 Test von Generatoren (2) z = x m = m ; δz2 = m 2 Kommentar: Die Terme 1 m i ergeben sich aus der Diskretheit der Zahlenmenge. 2. Test auf gleichmäßige Verteilung konsekutiver 2-Tupel im 2-Kubus. Der Test wird hier nur am Beispiel illustriert. Der Zufallszahlen-Generator x i+1 = 3x i (mod 64), erzeugt aus dem seed x 0 = 1 die Folge {1;3;9;27;17;51;25;11;33;35;41;59;49;19;57;43;1;3;...} Wenn wir diese Zahlen nun x i gegen x i+1 plotten, so erhalten wir einen Streifenplot und keine Gleichverteilung. Der Grund hierfür ist, dass aufeinanderfolgende Zahlen miteinander korreliert sind. 20

21 Test von Generatoren (3) 3. Serieller Autokorrelationstest zwischen n aufeinanderfolgenden Zufallszahlen Zu festem j und n berechnet man die Korrelation zwischen x i und x i+j Der Ausdruck für die Korrelation lautet c j = 1 n n i=1 x i x i+j Bei perfekten Zufallszahlen, also für gleichverteilte und voneinander unabhängige x i ist zu erwarten (siehe Formeln für Gleichverteilung): c j = 1 4 für j > 0; c 0 = 1 3 ; δc2 j = 1 12(n 1) 21

22 Test von Generatoren (3) Für die Observable z z = (c j 1 4 ) 12(n 1) ist dann bei N-facher Wiederholung des,,experiments eine Normalverteilung der z-werte mit der Varianz 1 zu erwarten: N(z) e z2 /2 4. Gap Test aufeinanderfolgender Ziffern Man betrachtet hier die Größe der Zwischenräume zwischen je zwei gleichen Ziffern in den aneinander geketteten Zufallszahlen, so z. B. den Sechserabstand in der Ziffernfolge }{{} }{{} 1 66 }{{} }{{}

23 Test von Generatoren (4) und vergleicht die Gapverteilung wieder mit den Erwartungen für eine Gleichverteilung: P(0) = 1 (, P(1) = 1 1 ) ( 1, P(2) = 1 1 ) Daneben gibt es noch zahlreiche weitere theoretische Tests, die sorgfältig durchgeführt werden müssen. 5. Der Test in einer konkreten Anwendung Es haben sich 2 Tests für Zufallszahlen in konkreten Anwendungen etabliert. Die Idee beruht auf dem Vergleich von Monte-Carlo Simulationen mit exakten Ergebnissen: Self avoiding random walks in 3 Dimensionen, Ising Modell in 2 Dimensionen. Wie zu erwarten werden Abweichungen in Abhängigkeit der Qualität des RNGs von den exakten Ergebnissen gefunden. 23

24 Nicht-gleichverteilte Zufallszahlen (1) Bis jetzt waren die Pseudo-Zufallszahlen stets gleichverteilt. Frage: Wie aber erzeugen wir Pseudo-Zufallszahlen, die nach irgendeiner anderen Wahrscheinlichkeitsverteilung P(y) verteilt sind? Verwendet werden meist entweder sogenannte Rejektionsverfahren oder Abbildungsverfahren der Pseudo-Zufallszahlen auf andere Funktionen. Hier nur ein Beispiel: Das Rejektionsverfahren nach von Neumann Es dient zur Erzeugung von Pseudo-Zufallszahlen aus dem Intervall (a; b) gemäß der Wahrscheinlichkeitsverteilung P(y) = e f(y) 1 f(y) 0 f(y) < 0 24

25 Nicht-gleichverteilte Zufallszahlen (2) Algorithmus: 1. erzeuge gleichverteilte Pseudo-Zufallszahl z aus (0; 1) 2. abbilde z z = a+z(b a) 3. berechne u = f(z) 4. akzeptiere z, falls u < 0 und fahre bei 1. fort, sonst: 5. berechne v = exp( u) 6. erzeuge gleichverteilte Pseudo-Zufallszahl z aus (0;1) 7. akzeptiere z, falls z < v und fahre bei 1. fort. Viele weitere Tests von Zufallszahlen und Verfahren zur Erzeugung nicht-gleichverteilter Zufallszahlen sind in der Literatur z.b. in Knuth zu finden. 25