Simulation mit der Monte Carlo-Methode

Transkript

1 Vorlesung: Rechnernutzung in der Physik Simulation mit der Monte Carlo-Methode Günter Quast Fakultät für Physik Institut für Experimentelle Teilchenphysik KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft WS 17/18

2 Organisatorisches Bitte melden Sie sich im Studierendenportal zur Veranstaltung Rechnernutzung in der Physik an!

3 Zusammenfassung: Bedeutung der MC-Methode Die Monte-Carlo-Methode (auch MC-Simulation ) - abgeleitet vom Namen der durch ihr Spielkasino berühmten Stadt Monte Carlo - ist eine auf (Pseudo-)Zufallszahlen basierende numerische Methode zur Integration in hochdimensionalen Räumen Bestimmung der Eigenschaften von Verteilungen von Zufallszahlen (z.b. von Messgrößen in Experimenten) Nachbildung von komplexen Prozessen (z.b. in Thermodynamik, Wirtschaft oder von experimentellen Apparaturen, u.v.a.) Grundsätzliche Vorgehensweise: I. II. Erzeuge Folge von Zufallszahlen r1, r2,, rm, gleichverteilt in ]0,1]. Transformiere diese zur Erzeugung einer anderen Sequenz x1, x2,, xn, die einer Verteilungsdichte f(x) folgen (Anm.: xi können auch Vektoren sein!) III. Aus den xi werden dann Eigenschaften von f(x) bestimmt Vorteil: einfache Operationen mit den xi ersetzen sehr viel komplexere Operationen auf den Verteilungsdichten

4 Übersicht Grundsätzliches zur MC-Methode MC als Integrationsverfahren Zufallszahlen aus dem Computer heute: Zufallszahlen mit beliebiger Verteilungsdichte Anwendungsbeispiele

5 Erzeugung von Zufallszahlen mit beliebiger Verteilungsdichte

6 Funktionen von Zufallszahlen Computerexperiment: Häufigkeitsverteilung von... r = np.random.rand(10000) t = -np.log(1-r) plt.hist(t, 30, normed=1) plt.show() Wir erhalten exponentiell verteilte Zufallszahlen t! Erklärung: Erhalt der Wahrscheinlichkeit Regel für die Transformation von Verteilungsdichten Anm.: t=log(r) statt t=log(1-r) ergibt identisches Ergebnis (warum?)

7 Funktionen von Zufallszahlen allgemein Wahrscheinlichkeitsdichte von x multipliziert mit dem Betrag der Ableitung der Inversen Funktion a-1(u) Für mehrdimensionale Wahrscheinlichkeitsdichten wird zur Jacobi-Determinante: Ganz analog zur Transformation von Volumenelementen bei mehrdimensionalen Integralen

8 Transformationsmethode zur Erzeugung von Zufallszahlen Den Zusammenhang zwischen der ursprünglichen Verteilungsdichte f(r) und derjenigen einer Transformation t(r) können wir ausnutzen, um beliebig verteilte Zufallszahlen zu erzeugen: Welche Transformation t(r) liefert g(t)? Die gesuchte Transformation ist die Inverse der Verteilungsfunktion G von g Anm: Das Verfahren ist nur dann (effizient) praktikabel, wenn die gesuchte Verteilungsdichte integrierbar und das Integral invertierbar ist!

9 Beispiele Transformationsmethode Dreieck-Verteilung Exponentialverteilung Breit-Wigner-Verteilung Log-Weibull -Verteilung Paar von Gauß-verteilten Zahlen Anm.: 1-r kann durch r ersetzt werden

10 Erzeugung diskreter Verteilungen Das gezeigte Verfahren funktioniert auch für diskrete Verteilungen Beispiel Poisson-Verteilung Durch Summation aller Bins der diskreten Verteilung erhält man die Verteilungsfunktion, repräsentiert als eindimensionales Feld S(j) Eine Zufallszahl ri wird demjenigen Bin j zugeordnet, das dem kleinsten der S(j) mit ri >S(j) entspricht

11 Verteilungen aus Histogrammen Allgemein kann die Transformationsmethode auch zur Erzeugung von Zufallszahlenverteilungen aus vorgegebenen Histogrammen verwendet werden: gleichverteilte Zufallszahl ri bestimmt das Bin k Der Rest ri - S(k-1) kann zur Interpolation innerhalb des Bins verwendet werden Auch für mehr-dimensionale Verteilungen: bilde für jedes i: Randverteilung gi = hij (also Projektion von hij in j) berechne Summenverteilungen über j generiere i und dann für gegebenes i eine Bin-Nummer j Quelle: Wikipedia

12 von Neumann'sches Rückweisungsverfahren Ein allgemein anwendbares, aber nicht immer effizientes Verfahren geht so: Beispiel: Kreisbogen als Verteilungsdichte f(x) y=f(x) xmax x xmin - Verteilungsdichte wird in Rechteck ( Box ) eingeschlossen - erzeuge gleichförmig in der Box verteilte Paare von Zufallszahlen (xi, yi) - x-werte aus Paaren mit y < f(x) werden akzeptiert ( mit einer Wahrscheinlichkeit f(x) / fmax ) Die Häufigkeitsverteilung der akzeptierten x-werte folgt der gewünschten Verteilung Anm: Im gezeigten Beispiel funktioniert das Verfahren effizient; Wenn die Verteilung steil abfällt und Werte für x benötigt werden, kann die Zahl der verworfenen Zufallszahlen unakzeptabel groß werden.

13 Anwendungsbeispiel: 2d-Verteilung aus Bild Auch aus Histogrammen lassen sich Stichproben erzeugen, die gemäß der vorgegebenen Häufigkeit verteilt sind. Hier ein Beispiel, bei dem die Wahrscheinlichkeit der Helligkeit eines Pixels in einem Bild entspricht:... #open an image img=image.open('image.jpeg') # img.show() print "image size:", img.size[0], img.size[1] pix=img.load() def rand_fromimage(): # return pixel coordinate with a probability # proportional to brightness of the pixel r0=np.random.uniform() r1=np.random.uniform() i=int(img.size[0] * r0-0.5) j=img.size[1] -1 int(img.size[1] * r1-0.5) r,g,b = pix[i,j] # brightness of pixel if(3*255*np.random.uniform() > r+b+g): return r0, r1... Rückweisungs-Schritt Script Distribution-fromImage.py

14 Majoranten-Verfahren (engl. Importance Sampling) Verbesserte Wegwerfmethode: Wenn eine Funktion m(x) mit m(x) > f(x) für alle x existiert und x=m-1(r) hinreichend leicht bestimmbar ist (d.h.stammfunktion von m ist invertierbar) -1 generiere xi=m (r2i) und eine weitere Zufallszahl r2i+1 [0,1] akzeptiere xi, wenn r2i+1 m(x) < f(x) ist (für jeden Wert von x wird ein Bruchteil (m(x) -f(x) ) / f(x) an x-werten verworfen) Die akzeptierten Werte von x sind gemäß f(x) verteilt. Beispiel: mit Hilfe von zwei Majoranten kann ein Planck'sches Strahlungsspektrum effizient erzeugt werden.

15 Verfahren zur Varianzreduktion Subtraktion eines analytisch lösbaren Funktionsanteils f(x) Stratified Sampling ( geschichtete Stichprobe) Hohe (niedrige) Ereignisrate in Bereichen von hohem (niedrigem) Interesse (z.b. in der Nähe von Singularitäten und in Ausläufern) Integration für eine leicht modifizierte Funktion gm ( x i) Verwende Gewichte zur Berechnung Wird in der Teilchenphysik extrem häufig verwendet, z.b. Abschätzung der Auswirkung systematischer Unsicherheiten auf das Endergebnis Funktioniert auch mit negativen Gewichten

16 Beispiel gaußverteilte Zufallszahlen Problem: exp(-x2) dx nur numerisch bestimmbar ( in C, C++ über die Funktion verfügbar) Gauß-Funktion in 2 Dimensionen in Polarkoordinaten analytisch integrierbar: Gleichverteiung in Φ, Radialverteilung integrierbar mit r dr = ½ dr2 Verteilungsfunktion des Radialteils lässt sich nach r auflösen d.h. können Transformationsmethode anwenden! => Erzeuge zwei gleichverteilte Zufallszahlen u1, u2 ]0,1], setze x1= (-2ln u1) cos(2π u2) x2= (-2ln u1) sin(2π u2), x1 und x2 sind standardnormalverteilt

17 Effizienteres Verfahren (s. V. Blobel) (Beispiel für die Kombination aus Transformations- und Rückweisungsverfahren) Trigonometrische Funktionen sind numerisch aufwändig, ein etwas effizienteres Verfahren geht so: 1. erzeuge zwei gleichverteilte Zufallszahlen u1, u2 [0,1[ setze v1:= 2u1-1, v2 := 2u v2=v12 + v22 3. falls v2 1 gehe zu 1 (Rückweisungsschritt) (akzeptierte Werte von v1, v2 gleichverteilt innerhalb des Einheitskreises) 4. z1= v1 (-2 ln(v2) /v2 ) z2= v2 (-2 ln(v2) / v2 ) z1 und z2 sind dann unabhängig voneinander standard-normalverteilt Normalverteilte Zufallszahlen mit Erwartungwert μ und Standardabweichung σ erhält man durch die Transformation x = σ z + μ

18 Erzeugung korrelierter, gaußverteilter Zufallszahlen Gaußverteilung in n Dimensionen: x0: V: n Erwartungswerte Kovarianz-Matrix mit (n2+n)/2 unabhängigen Parametern V =det V ist die Determinante von V Sei B = V-1, schreibe B als Produkt aus Dreiecksmatrizen: B = DT D ( Cholesky-Zerlegung ) Setzte dann => Das ist die Verteilung von n unkorrelierten, Gauß-verteilten Zufallszahlen u Damit ist die Vorgehensweise klar: 1. würfle n unabhängige Gauß-verteilte Zufallszahlen u 2. transformiere Vektor u:

19 Korrelierte gaußverteilte Zufallszahlen in 2 Dimensionen Daraus ergibt sich für die Erzeugung von zwei korrelierten Zufallszahlen x1, x2 mit - Erwartungswerten μ1, μ2 - Standardabweichungen σ1, σ2 und - Korrelation ρ Details s. z.b. Blobel / Lohrmann Darstellung eines 2d-Histogramms, gefüllt mit 75% korrelierten, standard-normalverteilten Zufallszahlen ( s. Beispiel rangauss2d.c bzw. rangauss2d-pyroot.py )

20 besondere MC-Methode: Bootstrapping Gesucht: Funktionen T( {xi } ) einer Stichprobe {xi } Für T = Mittelwert oder T = Varianz gibt es allg. Formeln. Für Median, Quantile, Ergebnis einer Parameteranpassung etc. gibt gibt es allerdings keine allg. analytischen Formeln. Ausweg Toy-MC : Ziehen vieler vergleichbarer Stichproben k aus angenommener Verteilung der Grundgesamtheit jeweils Tk bestimmen, Varianz von T aus Varianz der Tk.??? Bestimmung der statistischen Unsicherheit von T bei unbekannter Verteilungsdichte??? Sich an den Schuhriemen (oder, wie Münchhausen) an den eigenen Haaren aus dem Sumpf ziehen Bootstrapping (B. Efron, 1979)

21 Bootstrapping Idee: Verwende neu gemischte Versionen der beobachteten Stichprobe statt einer angenommenen Verteilungsdichte der Grundgesamtheit! Bootstrapping ist eine Resampling-Methode Ziehen vieler Stichproben aus der beobachteten Stichprobe mit Zurücklegen manche Werte der ursprünglichen Stichprobe kommen gar nicht vor, andere mehrmals das ist genau so gewollt! Die Methode besteht also darin, weitere Stichproben zu gewinnen, die so aussehen, wie die Daten auch hätten aussehen können! Damit können statistische Unsicherheiten ohne Zusatzannahmen aus den beobachten Daten bestimmt werden. Beispiele solcher zweifelhaften Zusatzannahmen: - Punkteverteilung bei Prüfungen ist gaußverteilt - Klausurnoten sind gaußverteilt - Zahl der Beobachtungen eines seltenen Phänomens ist so groß, dass von einer Gaußverteilung ausgegangen werden kann. - Gauß ist immer gut, wenn man sonst nichts weiß Hauptanwendung: Parameterfreie Hypothesentests in Wirtschafts- und Sozialwissenschaften

22 Beispiel Bootstrapping 1 6 Origialdaten Beispiel einer neu erzeugten Bootstrap-Probe ein weiteres Beispiel auch möglich, aber extrem selten Bei geringem Stichprobenumfang könnte man alle möglichen Kombinationen untersuchen, Bei großen Stichproben wählt man eine sehr große Anzahl zufällig ausgewählter neuer Proben durch Ziehen mit Zurücklegen aus den Originaldaten

23 Beispiel Bootstrapping in python Bootstrapping ist sehr einfach zu realisieren: Original-Stichprobe {xi }, i =1,, l der Länge l : ziehe zufällig l Indizes k ϵ { 1,, l } { xk } ist weitere Stichprobe typischerweise werden einige Tausend solcher Resamplings erzeugt und statistisch ausgewertet. python: t_bs = numpy.random.choice(t, size=n) erzeugt aus der beobachteten Strichprobe t durch Ziehen mit Zurücklegen ( resampling with replacement ) eine neue Stichprobenvariante

24 Bootstrapping am Beispiel bootstrapillu.py Beispiel von eben: fünf aus der vorderen Stichprobe durch Resampling gewonnene Varianten der Stichprobe Problem: Ausläufer der Verteilung sind meist unterrepräsentiert!

25 Beispiel: Konfidenzintervalle für Mittelwert Beispiel: 30 gaußverteilte Zahlen Bootstrap-Samples Vergleich: Bootstrap-Verteilung mit Gauß-Verteilung um den Mittelwert der Orignaldaten bootstrap.py Fazit: Bootstrapping reproduziert das mit der klassischen Methode bestimmte Konfidenzintervall μ ± 1 σ (68%).

26 Zufallszahlen per Software

27 Zufallszahlen in python Das Paket numpy.random stellt zahlreiche Verteilungsdichten zur Verfügung, hier eine Auswahl: binomial(n, p[, size]) chisquare(df[, size]) exponential([scale, size]) lognormal([mean, sigma, size]) multinomial(n, pvals[, size]) multivariate_normal(mean, cov[, size]) normal([loc, scale, size]) poisson([lam, size]) power(a[, size]) standard_cauchy([size]) standard_exponential([size]) standard_normal([size]) standard_t(df[, size]) triangular(left, mode, right[, size]) uniform([low, high, size])

28 Zufallszahlen in Root Root-Klasse TRandom zur Erzeugung von Zufallszahlen einfacher, linear kongruenter Generator mit Periodenlänge 109 schnell niedrigste Bits nicht unkorreliert! Daher nicht in statistischen Studien verwenden! Statt dessen TRandom1 ( RANLUX-Algorithmus, Periodenlänge ~10171, langsam) TRandom2 ( Periodenlänge ~1025, schnell) TRandom3 ( Mersenne-Twister Alg., Periodenlänge ~10600, akzeptabel schnell) verwenden! Methoden liefern Zufallszahlen gemäß Exp(tau) Integer(imax) Gaus(mean,sigma) Rndm() Uniform(x1) Landau(mpv,sigma) Poisson(mean) Binomial(ntot,prob) und viele mehr

29 Zufallszahlen in Root (2) Methode SetSeed(UInt_t seed=0) zur Initialisierung seed=0: Systemuhr zur Initialisierung (jede Zahlenfolge anders) seed!=0: feste Zahlenfolge, abhängig vom Wert von seed Globaler Zeiger TRandom *grandom in Root initialisiert Sehr nützlich, um immer die gleiche Folge von Zufallszahlen innherhalb eines Root-Programms zu verwenden. // TRandom durch TRandom3 ersetzen delete grandom; grandom = new TRandom3(seed); Man kann auch auch einen eigenen (lokalen) Generator initialisieren: TRandom3 *myrandom=new TRandom3(seed);

30 Zufallszahlen in Root (3) Root-Klassen enthalten bequeme Möglichkeit, Zufallszahlen zu erzeugen, die gemäß einer FunktionTF1, TF2 oder einem Histogramm TH1, TH2 verteilt sind: Methoden GetRandom() für TH1, TF1 GetRandom2() für TH2, TF2 GetRandom3() für TH3, TF2 Achtung: für Funktionen TFi werden die Zufallszahlen ebenfalls über Histogramme mit einer Anzahl von Punkten fnpx erzeugt.

31