Monte Carlo Simulationen Erkenntnisse durch die Erschaffung einer virtuellen Welt

Transkript

1 Monte Carlo Simulationen Erkenntnisse durch die Erschaffung einer virtuellen Welt Stefan Wunsch 31. Mai 014

2 Inhaltsverzeichnis Inhaltsverzeichnis 1 Was sind Monte Carlo Simulationen? 3 Zufallszahlen 3 3 Monte Carlo Integration Verfahren Fehler und Laufzeitverhalten Erzeugung gleichverteilter Zufallszahlen Linear Congruential Generator Mersenne-Twister Algorithmus Beispiel: Pi Erzeugung beliebig verteilter Zufallszahlen Neumann sches Rückweisungsverfahren Transformationsmethode Majorantenverfahren Box-Müller Verfahren Anwendungsgebiete in und außerhalb der Physik Beispiel: Energiezustände Beispiel: Aktienmarkt

3 3 Inhaltsverzeichnis 1 Was sind Monte Carlo Simulationen? Monte Carlo Methoden bzw. Simulationen sind Berechnungen, die auf Zufallszahlen beruhen. Der Name ist vom Monte Carlo Casino abgeleitet und mit dem Spielen und Erfassen der Ergebnisse von Glücksspielen assoziieren. Die Hauptanwendungsgebiete sind Optimierungsprobleme, numerische Integration und die Erzeugung von Wahrscheinlichkeitsverteilungen. Die ersten Monte Carlo Methoden wurden in den 1940er Jahren von Stanislaw Ulam im Los Alamos National Laboratory entwickelt. Er arbeitete mit am Manhatten Project, welches Nuklearwaffen erforschte und wandte die Monte Carlo Methoden an, um Probleme mit Neutronen Diffusion zu lösen. Nach einer Anekdote kam Ulam die Idee bei der Frage, mit welcher Wahrscheinlichkeit man ein Solitaire Spiel gewinnt. Nachdem mit reiner Kombinatorik keine Lösung zu finden war, kam ihm die Idee einfach auszuprobieren und die Ergebnisse zu betrachten. Es muss in diesem Kontext die Entwicklung der ersten vollprogrammierbaren Computer berücksichtigt werden. Mit dem Zuze Z und dem ENIAC (Electronical Numerical Integrator And Computer) 1946 ist die Möglichkeit zur effizienten Berechnung solcher Verfahren erst gegeben worden. Während heutzutage die Vorgehensweise der Monte Carlo Methoden intuitiv erscheint, ist damals die massenhafte Berechnung von Vorgängen ein wesentlich komplexeres Vorhaben gewesen. Zufallszahlen Monte Carlo Methoden beruhen auf Zufallszahlen. Daher bestimmt die Wahl der Quelle dieser das Ergebnis der Simulation signifikant. Jedoch ist echter Zufall mit einem Computer nur schwer zu erzeugen. Eine Möglichkeit ist /dev/random in Unix Umgebungen. Dies ist ein Entropiepool, welches durch Umgebungsrauschen in der Elektronik erzeugt wird. Das Problem ist mit solchen echten Zufallsgeneratoren, dass sie nur eine bestimmte Menge an Zufallszahlen pro Zeitschritt erstellen können. Z. B. /dev/random blockiert den Zugriff, wenn der Entropiepool leer ist. Damit sind solche Generatoren auf Computersystemen nicht brauchbar, da die Rechenzeit der Simulation direkt von der Geschwindigkeit der Zufallszahlgeneratoren abhängt. Daher werden Algorithmen verwendet, die Zahlenreihen mit einer sehr langen Periode erzeugen. Diese Zufallszahlen sind natürlich nicht mehr wirklich zufällig, da sie deterministisch berechnet wurden. Jedoch ist es praktikabel den Startwert ( Seed ) des Generators aus einem Entropiepool zu nehmen und im Folgenden die Werte aus einem Pseudozufallsgenerator zu beziehen. Aber auch reproduzierbare Zufallsreihen sind oft erwünscht. Z. B. auf Grund der Reproduzierbarkeit in der Wissenschaft. 3 Monte Carlo Integration 3.1 Verfahren Die Monte Carlo Integration ist eine numerische Integrationsmethode, die sich im Besonderen für hochdimensionale Integrale eignet.

4 3. Fehler und Laufzeitverhalten 4 Ausgehend von der Definition des Erwartungswertes mit x = xϕ(x)dx (1) erkennen wir, dass der Erwartungswert einer beliebigen Funktion f (x) entsprechend dieser Form mit f = f (x)ϕ(x)dx () berechnet werden kann. Der zentrale Grenzwertsatz der Wahrscheinlichkeitsrechnung besagt nun, dass der Erwartungswert einer Funktion f (x) für eine hinreichend große Anzahl von Punkte auch über die diskrete Form f = 1 N N f (x i ) (3) i berechnet werden kann. Dies entspricht gerade dem arithmetischen Mittel mit dem Fehler des Mittelwerts gegeben durch σ N = f (x) f (x) N. (4) Setzt man nun die Verteilung der Eingabewerte auf eine Gleichverteilung mit ϕ(x) = const., ergibt sich die Lösung des Integrals von f (x) mit einer hinreichend großen Anzahl von N Werten für x mit b a f (x)ϕ(x)dx = 1 b f (x)dx 1 b a a N N f (x i ) ± i f (x) f (x). (5) N 3. Fehler und Laufzeitverhalten Der Fehler des Trapezverfahren für die numerische Berechnung von Integralen (s. Abbildung 1) kann durch ɛ 1 N d abgeschätzt werden. Dabei ist N die Anzahl der Stützpunkte und d die Dimension des Integrals. Wie oben gezeigt, kann der Fehler der Monte-Carlo Integration über den Fehler des Mittelwerts mit ungefähr ɛ 1 N 1 angegeben werden. Daraus erkennen wir, dass die Monte-Carlo Methode einen geringeren Fehler für Dimensionen d > 4 besitzt. Setzt man den Fehler ɛ auf einen festen Wert, kann über die Anzahl der Punkte N das Laufzeitverhalten abgeschätzt werden. Für die Monte- Carlo Methode ist sofort ersichtlich, dass die Laufzeit von der Dimension unabhängig ist. Die Trapezmethode benötigt für den gleichen Fehler auf verschieden Dimensionen jedoch exponentiell mehr Rechenzeit (s. Abbildung ). (6) (7)

5 5 Inhaltsverzeichnis f(x) Abbildung 1: Trapezverfahren für numerischen Integration x Die Monte-Carlo Integration ist im Tradeoff von Rechenzeit zu Genauigkeit bei hochdimensionalen Integralen meist die einzig brauchbare Lösung. Des weiteren ist es ein Vorteil, dass der Fehler mit der Rechenzeit ohne Beschränkung kontinuierlich kleiner wird. Im Gegensatz zu numerischen Verfahren mit festen Schrittweiten, z. B. die Trapezmethode, ist der Fehler der Berechnung zum Beginn der Rechnung nicht fest. D. h. Ergebnisse können durch das Erweitern der Rechenzeit beliebig verbessert werden und es muss nicht neu mit kleineren Schrittweiten berechnet werden. 4 Erzeugung gleichverteilter Zufallszahlen Die Erzeugung gleichverteilter Zufallsvariablen ist in Monte Carlo Simulationen essenziell, da Algorithmen für beliebig verteilte Zufallszahlen auf gleichverteilten basieren. 4.1 Linear Congruential Generator Ein LCG ein rekursiver Algorithmus zur Erstellung von Zahlenreihen mit langer Periode in der Größenordnung Der Generator ist definiert in seiner einfachsten Form nach Gleichung (8). X n+1 = (ax n + c) mod (m) (8) Dabei gelten die Einschränkungen m > 0 für den Modulus m, 0 < a < m für den Multiplier a und 0 c < m für den Increment. Für den Seed muss natürlich 0 X 0 < m gelten, da dies für die folgenen Glieder durch den Modulo gegeben ist. Eine Gleichverteilung auf dem Intervall [0, 1) wird dann über die Transformation U = X m erreicht. Die Granulierung wird damit über den Modulo m bestimmt. Probleme ergeben sich jedoch, wenn man z. B. aufeinanderfolgende Zahlen als Tupel zusammenfasst und aufträgt. Bei ungünstigen Wahlen der Eingangsparameter können sich nun die Zahlen auf Hyperebenen anordnen. Siehe als Beispiel dazu Abbildung 3. Daher sind LCG nie als Grundlage für stochastische Simulationen zu benutzen.

6 4. Mersenne-Twister Algorithmus 6 N Abbildung : Laufzeitverhalten der Monte-Carlo Integration Die Monte-Carlo Integration ist in der Laufzeit bei festem Fehler konstant, während die Trapezmethode in der Laufzeit über der Dimension exponentiell mit exp ( d ) ansteigt. d 4. Mersenne-Twister Algorithmus Der Mersenne-Twister Algorithmus ist durch die Rekursionsvorschrift in Gleichung (9) gegeben. Dazu werden zuerst 64 Startwerte mit einem LCG oder beliebig anderen Zufallsgenerator erzeugt und als Seed in die Rekursionsform gegeben. Der Algorithmus operiert auf Bit-Basis. Deshalb werden 3 Bit Integer Werte als Eingabeparameter angenommen. ist eine bitwise XOR Verknüpfung und floor() entspricht einem Integer cast. h = Y i N Y i N mod ( 31) + Y i N+1 mod ( 31) ( ) h Y i = Y i 7 floor [(hmod ()) 0x9908b0df)] (9) Dieser Algorithmus hat nun eine Periode von und erzeugt eine Gleichverteilung auf bis zu 63 Dimensionen. Damit ist dieser Algorithmus momentan einer der zuverlässigsten Pseudozufallsgeneratoren. Z. B. in Root ist dieser Algorithmus in TRandom3 implementiert. 4.3 Beispiel: Pi Als Beispiel aus der Geometrie kann die Kreiszahl Pi mit Hilfe von Zufallszahlen berechnet werden. Dazu werden aus gleichverteilten Zufallszahlen Koordinatentuple erstellt und mit der Bedingung x + y < 1 verglichen. Die Zahl aus angenommenen Tupeln und der Gesamtanzahl entspricht gerade π, da die obige Bedingung mit x, y [0, 1) ein Viertelkreis 4 darstellt.

7 7 Inhaltsverzeichnis Abbildung 3: Ausbildung von Hyperebenen bei LCG Quelle: [1] 5 Erzeugung beliebig verteilter Zufallszahlen 5.1 Neumann sches Rückweisungsverfahren Beim Neumann schen Rückweisungsverfahren wird die gewünschte Verteilung in ein Rechteck eingeschlossen und in diesem zufällige Tupel erstellt. Nun wird ein Wert akzeptiert, sobald das Tupel innerhalb der Verteilung liegt. Der Algorithmus ist in Gleichung (10) und Abbildung 5 dargestellt. x i = x min + r i x y i = r i+1 ϕ max Akzeptiere Wert, wenn y i < ϕ(x i ) (10) Das Problem dieser Methode ist, dass bei einer steilen Verteilung, z. B. auch schon bei einer Gaußverteilung, die Iterationen für eine fixe Anzahl von Zufallszahlen sehr hoch werden kann, da ein Großteil der Werte verworfen werden müssen. Dies ist besonders gravierend, da bei Simulationen die Rechenzeit einer der größten limitierenden Faktoren ist. 5. Transformationsmethode Die Transformationsmethode basiert auf einer Variablentransformation. Hierzu wird die zu erzeugende Verteilungsdichte ϕ(x) mit x = f (y) transformiert. Nun wird benutzt, dass beide Wahrscheinlichkeiten normiert sind und betrachtet einen beliebigen Punkt x in ϕ(x) und den korrespondierenden Punkt y. Es kann vorausgesetzt werden, dass ϕ(y) eine Gleichverteilung ist und über die Verteilungsfunktion Φ(x) nach x auflösen. Die Rechnung ist in (11) gegeben.

8 5.3 Majorantenverfahren 8 Abbildung 4: Berechnung von Pi aus gleichverteilten Zufallszahlen Bildlich kann sich das Verfahren mit einer Gewichtung der gleichverteilten y-werte vorgestellt werden und einem mappen der ungleich großen Bins auf die gleich großen Bins der Funktion ϕ(x) (s. Abbildung 6). Ein Problem bei dieser Methode ist, dass die Verteilung ϕ(x) integrierbar und invertierbar sein muss. ϕ(x) ϕ(y) mit x = f (y) x ϕ(x )dx = y ϕ(y )dy Φ(x ) x = Φ(y ) y mit Φ(y) = y x = Φ 1 (y) (11) 5.3 Majorantenverfahren Das Majorantenverfahren kann als Kombination aus dem Rückweisungsverfahren und der Transformationsmethode angesehen werden. Wie in Abbildung 7 dargestellt, wird als Grenze keine Gleichverteilung angenommen, sondern eine beliebige Verteilung m(x). Für diese muss gelten, dass ϕ(x) m(x) in jedem Punkt x gilt. Nun wird eine Zufallszahl in m(x) erzeugt und über das bekannte Rückweisungsverfahren verworfen oder ausgewählt. Eine mathematische Beschreibung des Verfahrens ist in 1 gegeben. m(x) f (x) Der Vorteil dieser Methode ist nun, dass nur noch der Anteil von Zufallswerten in f (x) einem Punkt x verworfen wird und damit die Effizienz des Rückweisungsverfahrens erheblich steigert. Dieses Verfahren bietet sich im Besonderen an, wenn die Funktion ϕ(x) nicht analytisch beschreibbar ist und eine einfach anzupassende analytische Grenzfunktion m(x) existiert.

9 9 Inhaltsverzeichnis φ(x) x Abbildung 5: Neumann sches Rückweisungsverfahren φ(x) φ(y) x y Abbildung 6: Transformationsmethode x i = M 1 (r i ) y i = r i+1 m(x i ) Akzeptiere Wert, wenn y i < ϕ(x i ) (1) 5.4 Box-Müller Verfahren Das Box-Müller Verfahren wird angewendet, um eine Standardnormalverteilung von Zufallszahlen zu erhalten. Dies ist nach den obigen Methoden nicht direkt analytisch durchführbar, da das Integral exp( x )dx nicht analytisch lösbar ist. Daher wird die zweidimensionale Gaußverteilung verwendet und in Polarkoordinaten transformiert.

10 5.4 Box-Müller Verfahren 10 φ(x) Abbildung 7: Majorantenverfahren x x 1 ( x π exp 1 + ) x dx 1dx = x 1 mit x 1 = r cos(θ) und x = r sin(θ) r θ ) 1 ( π exp r rdrdθ (13) Auf diese neue Verteilung wird die Transformationsmethode zweifach angewandt. θ 0 1 r π dθ exp 0 ( r ) r dr = y 1 y (14) Der Winkelanteil ist schon gleichverteilt in der Periode [0, π]. Die Integration des Radialteils ergibt folgende Transformationen. Beachte, dass y 1, y [0, 1] und gleichverteilt sind. y 1 = θ π θ = πy 1 ( ) r y = 1 exp r = log (1 y ) = log (y ) (15) Setzt man diese nun in die Rücktransformation nach kartesischen Koordinaten ein, erhält man für zwei gleichverteilte Werte eine Transformation nach zwei standardnormalverteilten Werten. x 1 = log (y ) cos(πy 1 ) x = log (y ) sin(πy 1 ) (16)

11 11 Inhaltsverzeichnis Abbildung 8: Simulation der Besetzung von Energieniveaus mit dem Metropolisalgorithmus 6 Anwendungsgebiete in und außerhalb der Physik 6.1 Beispiel: Energiezustände Wir betrachten ein System von mehreren Teilchen mit fest definierten Energieniveaus. Die Wahrscheinlichkeit, dass ein Teilchen in einem Zustand X ist, folgt der Boltzmann Verteilung p(x) = ( 1 ( ) exp E ) X. (17) expi E i k B T k B T Der Algorithmus zur Simulation eines solchen Systems nennt sich Metropolis Algorithmus. Dabei wird ausgehend von einem Systemzustand X ein beliebiger neuer Zustand Y vorgeschlagen. Dieser wird angenommen mit der Akzeptanzwahrscheinlichkeit ( A(X Y) = min 1, p(y) ). (18) p(x) Ausgehend von der Boltzmannverteilung der Zustände kann diese Wahrscheinlichkeit in ( ( A(X Y) = min 1, exp E )) k B T umgeschrieben werden. Eine Zufallszahl r [0, 1) entscheidet nun über die Akzeptanz des neuen Zustands, falls gilt. ( ( r < min 1, exp E )) k B T (19) (0)

12 6. Beispiel: Aktienmarkt 1 Abbildung 9: Aktienmarkt Simulation mit Random Walk Mehrere mögliche Verläufe des Werts. Aufgetragen ist der Wert über der Zeit. Einheiten des Systems sind beliebig. 6. Beispiel: Aktienmarkt Eine gute Näherung für das Verhalten von Aktienmärkten ist ein sogenannter Random Walk hierbei ändert sich der Wert einer Aktie rekursiv zum vorhergehenden Schritt. Eine Beschreibung ist möglich über eine Diffusionsgleichung der Art ds = µs dt + σɛ dt (1) mit konstanten Faktoren µ und σ sowie einer normalverteilten Variable ɛ. Hierbei kann µ als konstanter Drift und σ als die Variation in einem Zeitschritt aufgefasst werden. Das Histogrammieren der Ergebnisse vieler Durchläufe nach einem Zeitintervall ist eine Repräsentation der Wahrscheinlichkeit für den Wert der Aktie zu diesem Zeitpunkt.

13 13 Literatur Literatur [1]