Simulation von Zufallszahlen. Grundlage: zufällige Quelle von Zufallszahlen, durch einfachen rekursiven Algorithmus am Computer erzeugt

Transkript

1 Simulation von Zufallszahlen Grundlage: zufällige Quelle von Zufallszahlen, durch einfachen rekursiven Algorithmus am Computer erzeugt Definition: Eine Folge von Pseudo-Zufallszahlen U i ist eine deterministische (!) Folge von Zahlen im Intervall [0, 1] mit den gleichen relevanten Eigenschaften wie eine Folge von (unabhängigen) Zufallsvariablen. In dieser Vorlesung: Ein guter Zufallsgenerator für U(0, 1) Zufallsvariablen wird vorausgesetzt. Computerintensive Methoden 2005 LaMo: 22. Dezember 2005@10:38 1

2 Der Startwert und andere Eigenschaften Der Startwert (engl. seed ) wird voreingestellt. Häufig wird eine modifizierte Uhrzeit verwendet. Bei gleichem Startwert kann man also die exakt gleiche Sequenz von Zufallszahlen erzeugen. Funktion set.seed in R Computerintensive Methoden

3 Simulation von nicht-gleichverteilten Zufallsvariablen Prinzip: Gleichverteilte Zufallsvariablen U i werden entsprechend transformiert und modifiziert, so dass die gewünschte Verteilung resultiert. Einfache Beispiele: Bernoulli-Verteilung X B(π) if (U i π) X = 1 else X = 0 Exponentialverteilung X E(λ) X = log U i /λ Computerintensive Methoden

4 Das Inversionsverfahren Sei X eine stetige ZV mit Verteilungsfunktion F (x). Dann gilt F (X) U(0, 1) Daher hat X = F 1 (U) die gewünschte Verteilung mit Verteilungsfunktion F (x). Dies gilt auch für verallgemeinerte inverse Verteilungsfunktionen F 1 (wichtig bei diskreten ZV): Sei F 1 (u) = min{x F (x) u}. Falls U U(0, 1) so gilt X = F 1 (U) F Computerintensive Methoden

5 Beispiele Bernoulli-Verteilung X B(π): F (x) = I(x 0) (1 π + πi(x 1)) Exp-Verteilung X E(λ): F (x) = 1 exp( λx), x > 0 Logistische Verteilung: X L(a, b) ( ( F (x) = 1 + exp x a b )) 1 Cauchy Verteilung: F (x) = π arctan(x) Computerintensive Methoden

6 Inversion bei gestutzten Verteilungen Sei X F und Y die Verteilung von X, eingeschränkt auf ein Intervall [a, b]. Dann gilt für die Verteilungsfunktion G von Y : 0 y < a G(y) = F (y) F (a) F (b) F (a) a y < b 1 y b Daher ist Y = F 1 (F (a) + U(F (b) F (a))) eine Zufallszahl mit Verteilungsfunktion G(y). Alternativer Ansatz: Einfach alle Zahlen ausserhalb des Intervalls [a, b] verwerfen; kann aber extrem ineffizient sein. Computerintensive Methoden

7 Grenzen des Inversionsverfahrens Häufig ist die inverse Verteilungsfunktion nur schwer oder sogar nur numerisch berechenbar Beispiele: Normalverteilung, Betaverteilung Das Inversionsverfahren wird dann recht langsam sein bzw nur in (typischerweise sehr guter!) Näherung korrekt Computerintensive Methoden

8 Rejection sampling Im Deutschen: Verwerfungsmethode Ziel: Zufallszahlen X aus Verteilung mit Dichte f X (x) Idee: Ziehe stattdessen Y aus Verteilung mit Dichte f Y (y) Akzeptiere Y als Zufallszahl aus f X (x) mit Wahrscheinlichkeit α = α(y ) = 1 M fx(y ) f Y (Y ) wobei M 1 so gewählt sein muss, dass α(y) 1 für alle y Computerintensive Methoden

9 Rejection sampling Algorithmus REPEAT Erzeuge eine Zufallszahl Y aus f Y. Y f Y. Erzeuge eine von Y unabhängige Zufallszahl U aus einer Gleichverteilung auf [0, 1]: U U[0, 1]. Berechne α(y ) = f X(Y ) M f Y (Y ) UNTIL U α(y ) RETURN Y Computerintensive Methoden

10 Beispiel: Normalverteilung Rejection sampling aus N (0, 1)-Verteilung über Cauchy- Verteilung f X (x) = 1 2 π exp( 1 2 x2 ) f Y (x) = 1 π x 2 Man kann relativ leicht zeigen, dass M = sup 1, 52. x f X (x) f Y (x) = 2 π e Computerintensive Methoden

11 Beispiel: Normalverteilung Die Akzeptanzwahrscheinlichkeit α(y ) ergibt sich zu α(y ) = = = f X (Y ) M f Y (Y ) 1 2 π exp ( 1 2 y2) 2 π e 1 π 1 1+y 2 e 2 (1 + y2 ) exp( 1 2 y2 ) Computerintensive Methoden

12 Akzeptanzwahrscheinlichkeit Akteptanzwahrscheinlichkeit Computerintensive Methoden

13 Simulation von diskreten Verteilungen Zunächst nur univariate Verteilungen Das Inversionsverfahren ist universell einsetzbar, falls die Verteilungsfunktion F (x i ) für x i T zugänglich ist, wobei x i < x j für i < j gelten muss. Erzeuge U U(0, 1). Setze i = 1. WHILE F (x i ) U i = i + 1 RETURN X = x i Diverse Modifikationen sind möglich Computerintensive Methoden

14 Simulation aus einer Multinomialverteilung X M p (n, π) Zwei Möglichkeiten: Direkte Simulation über n unabhängige Versuche mit p Ausprägungen und Wahrscheinlichkeitsvektor π Sequentielle Simulation aus Binomialverteilung (bedeutend schneller für n groß!): f(x) = f(x 1 )f(x 2 X 1 )... f(x p 1 X 1, X 2,..., X p 2 ) X p ergibt sich dann automatisch wegen i X i = n Computerintensive Methoden

15 Simulation aus einer Normalverteilung Box-Muller Algorithmus Erzeuge U 1 U(0, 1) und U 2 U(0, 1) Berechne T = 2πU 1 und R = 2 log U 2 und daraus X = R cos T und Y = R sin T Dann sind X und Y unabhängig standardnormalverteilt Beweis über Polarkoordinatendarstellung und Transformationssatz für Dichten Computerintensive Methoden

16 Simulation von stetigen Verteilungen... ist eine Kunst! Implementierte Algorithmen sind kaum zu schlagen. Literatur: Devroye, Luc (1986) Non-Uniform Random Variate Generation, 850 Seiten! In R sind vorhanden: rnorm(), rexp(), rbeta(), rgamma(), rweibull(), rcauchy(), rt(), rlnorm(),... Computerintensive Methoden