Numerische Methoden und Algorithmen in der Physik Hartmut Stadie, Christian Autermann 08.01.2009 Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 1/ 32
Einführung Wahrscheinlichkeit Verteilungen Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 2/ 32
Übersicht Einführung Informationen Wahrscheinlichkeit Verteilungen Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 3/ 32
Informationen Ablauf: Vorlesung: donnerstags 8:30 Hörsaal, Geb. 61, DESY Übung: im Anschluss an die Vorlesung Material: Stroustrup: The C++ Programming Language, 3rd edition http://www.mathematik.uni-marburg.de/ cpp/ Press et al: Numerical Recipes, 3rd edition Blobel, Lohrmann: Statistische und numerische Methoden der Datenanalyse http://wwwiexp.desy.de/studium/lehre/numalg/ (Wikipedia) Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 4/ 32
Übersicht Einführung Wahrscheinlichkeit Wahrscheinlichkeitsauffassungen Wahrscheinlichkeitstheorie Verteilungen Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 5/ 32
Wahrscheinlichkeitsauffassungen Symmetrieprinzip (Laplacesche Auffassung) Wahrscheinlichkeit ist das Verhältnis der k günstigen Ereignisse zur Anzahl n aller möglichen Ereignisse. Häufigkeitsprinzip p = k n Ein Zufallsexperiment wird so oft wie möglich wiederholt, dann werden die relativen Häufigkeiten der jeweiligen Elementarereignisse berechnet. Die Wahrscheinlichkeit eines Ereignisses ist nun der Grenzwert seiner relativen Häufigkeit bei (theoretisch) unendlich vielen Wiederholungen. k p = lim n n Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 6/ 32
Wahrscheinlichkeitsauffassungen Subjektivistische Wahrscheinlichkeitsauffassung Bei einmaligen Zufallsereignissen kann man deren Eintretenswahrscheinlichkeit nur schätzen, nicht berechnen. Zentrale Gesichtspunkte sind hier Expertenwissen, Erfahrung und Intuition. Bayesscher Wahrscheinlichkeitsbegriff: Sicherheit in der persönlichen Einschätzung eines Sachverhaltes Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 7/ 32
Wahrscheinlichkeitstheorie Axiome von Kolmogorow: Alle möglichen Ergebnisse des Zufallsvorgangs seien in der Ergebnismenge Ω zusammengefasst. Σ sei eine Teilmenge von Ω. 1 Für jedes Ereignis A aus Σ ist die Wahrscheinlichkeit eine reelle Zahl zwischen 0 und 1: 0 P(A) 1. 2 Das sichere Ereignis hat die Wahrscheinlichkeit 1: P(Ω) = 1. 3 Die Wahrscheinlichkeit einer Vereinigung abzählbar vieler inkompatibler Ereignisse entspricht der Summe der Wahrscheinlichkeiten der einzelnen Ereignisse. Inkompatible Ereignisse sind disjunkte Mengen A1, A2,...; es muss also gelten: P(A 1 A 2 ) = P(A i ). Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 8/ 32
Definition Bedingte Wahrscheinlichkeit Wahrscheinlichkeit für das Eintreten eines Ereignisses A unter der Voraussetzung, dass das Eintreten eines anderen Ereignisses B bereits bekannt ist: P(A B) = P(A B) P(B) Die Definition erfüllt die Axiome: 1 0 P(A B) = P(A B) P(B) 1 2 P(B B) = P(B B) P(B) = P(B) P(B) = 1 3 P(A 1 A k B) = P((A 1 A k ) B) P(A 1 B)+ +P(A k B) P(B) P(B) = P(A 1 B) + + P(A k B) = P((A 1 B) (A k B)) P(B) = Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 9/ 32
Beispiel Junge oder Mädchen Eine Mutter hat zwei Kinder und wird nach dem Geschlecht der Kinder gefragt. Fall 1: Wenn das erste Kind ein Mädchen ist, wie groß ist die Wahrscheinlichkeit, dass auch das zweite Kind ein Mädchen ist? Fall 2: Wenn wenigstens eines der Kinder ein Mädchen ist, wie groß ist die Wahrscheinlichkeit, dass auch das andere Kind ein Mädchen ist? Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 10/ 32
Regeln: Beispiel: Ziegenproblem 1 Ein Auto und zwei Ziegen werden zufällig auf drei Tore verteilt. 2 Zu Beginn des Spiels sind alle Tore verschlossen. 3 Der Kandidat wählt ein Tor aus, das aber vorerst verschlossen bleibt. 4 Hat der Kandidat das Tor mit dem Auto gewählt, dann wählt der Moderator von den anderen beiden Toren eines zufällig aus und öffnet es. 5 Hat der Kandidat ein Tor mit einer Ziege gewählt, dann öffnet der Moderator dasjenige der beiden anderen Tore, hinter dem die zweite Ziege steht. 6 Der Moderator bietet dem Kandidaten an, seine Entscheidung zu überdenken und das andere ungeöffnete Tor zu wählen. 7 Das vom Kandidaten letztendlich gewählte Tor wird geöffnet und er erhält das Auto, falls es sich hinter diesem Tor befindet. Wie soll er sich im vorletzten Schritt entscheiden? Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 11/ 32
Marginalisierung Gesetz der totalen Wahrscheinlichkeit N N P(B) = P(A j B) = P(B A j ) P(A j ) j=1 j=1 Für kontinuierliche Zufallsvariable f X (x) = f X,Y (x, y) dy = f Y (y)f X Y (x, y) dy. wobei z.b. P(a x b) = b a f X (x) dx ist. Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 12/ 32
Bayestheorem: P(A) P(B A) P(B) Beweis: Bayestheorem P(A B) = P(B A) P(A) P(B) die A-priori-Wahrscheinlichkeit für ein Ereignis A die Wahrscheinlichkeit für ein Ereignis B unter der Bedingung, dass A eingetreten ist die A-Priori-Wahrscheinlichkeit für ein Ereignis B P(A B) = = P(A B) P(A B) P(A) = P(B) P(B) P(A) P(B A) P(A) P(B) = P(B A) P(A) P(A) P(B) Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 13/ 32
Problem: Beispiel Urne A 8 rote Kugeln 2 schwarze Kugeln Urne B 1 rote Kugel 4 schwarze Kugeln Es wird nun eine beliebige Kugel aus einer willkürlich gewählten Urne gezogen. Die Kugel ist rot. Wie groß ist die Wahrscheinlichkeit, dass die Kugel aus Urne A stammt? Lösung: A-priori-Wahrscheinlichkeiten für die Urnen: P(A) = 1 2, P(B) = 1 2 bedingte Wahrscheinlichkeiten: P(R A) = 8 10, P(R B) = 1 5 A-Priori-Wahrscheinlichkeit für eine rote Kugel: P(R) = P(R A) P(A) + P(R B) P(B) = 8 1 + 1 1 = 2 + 1 = 1 10 2 5 2 5 10 2 Wahrscheinlichkeit, dass die Kugel aus Urne A stammt: P(A R) = P(R A) P(A) 10 = 8 12 P(R) 1 2 = 4 5 Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 14/ 32
Übersicht Einführung Wahrscheinlichkeit Verteilungen Grundbegriffe Erwartungswerte und Momente Diskrete Verteilungen Spezielle Wahrscheinlichkeitsdichten Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 15/ 32
Grundbegriffe Diskrete Zufallsvariable Mittelwert: < r >= r = N r i P(r i ) i=1 Kontinuierliche Zufallsvariable Wahrscheinlichkeitsdichte f (x) mit P(a x b) = b a f (x) 0 f (x) dx = 1 Mittelwert: f (x) dx < x >= x = x f (x) dx Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 16/ 32
Erwartungswert Definition Erwartungswert der Funktion h(x) für die Wahrscheinlichkeitsdichte f (x): E[h] = Spezialfall h(x) = x E[x] = h(x) f (x) dx x f (x) dx =< x > Erwartungswert ist ein linearer Operator E[a g(x) + b h(x)] = a E[g(x)] + b E[h(x)] Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 17/ 32
Momente n-tes algebraisches Moment µ n Erwartungswert von x n : µ n = E[x n ] Für n = 1: µ 1 = E[x] = µ =< x > n-tes zentrales Moment µ n Erwartungswert von (x < x >) n : Für n = 1: µ 1 = 0 µ n = E[(x < x >) n ] Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 18/ 32
Varianz und Standardabweichung Varianz V [x] ein Maß für die Breite einer Wahrscheinlichkeitsdichte zweites zentrales Moment Definition V [x] = E[(x < x >) 2 ] = nützliche Formeln: V [x] = E[x 2 ] < x > 2 und V [ax] = a 2 V [x] (x < x >) 2 f (x) dx Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 19/ 32
Varianz und Standardabweichung Standardabweichung σ ein Maß für die Größe der statistischen Schwankungen der Zufallsvariablen um den Mittelwert in der Physik oft der Fehler Definition σ = V [x] Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 20/ 32
Weitere Charakterisierungen Median x 0.5 x0.5 f (x) dx = 0.5 Quadratischer Mittelwert x rms (RMS, root mean square) x rms = E[x 2 ] = V [x]+ < x > 2 Bei verschwindenem Mittelwert ist x rms = σ Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 21/ 32
Binomialverteilung Binomialverteilung Ist p die Wahrscheinlichkeit für das Auftreten eines Ereignisses, so ist die Wahrscheinlichkeit, dass es bei n Versuchen k-mal auftritt, gegeben durch die Binomialverteilung: ( ) n P(k) = p k (1 p) n k, k = 0, 1, 2...n k Erwartungswert und Varianz < k >= E[k] = n kp(k) = np k=0 V [k] = σ 2 = np(1 p) Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 22/ 32
Beispiel Werfen von fünf Münzen n = 5, p = 0.5 k 0 1 2 3 4 5 P(k) 1/32 5/32 10/32 10/32 5/32 1/32 0.3 0.25 0.2 0.15 0.1 0.05 0 0 1 2 3 4 5 Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 23/ 32
Beispiel II Fehler in der Effizienzbestimmung eines Selektionsschittes Es soll die Effizienz eines Selektionschnittes und ihr Fehler bestimmt werden, wenn in einer Stichprobe von n Datenpunkten k Punkte diesen Schnitt überleben. Die Zufallsvariable ist die gefundene Effizienz h k = k n. Wie groß ist der Fehler? Die Zahlen k folgen einer Binomialverteilung mit der Wahrscheinlichkeit p k = E[h k ] = E[ k n ]: σ(h k ) = V [ k n ] = 1 n 2 V [k] = 1 n 2 np k(1 p k ) = pk (1 p k ) n Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 24/ 32
Poisson-Verteilung Poisson-Verteilung Die Possionverteilung gibt die Wahrscheinlichkeit an, genau k Ereignisse zu erhalten, wenn die Zahl der Versuche n sehr groß und die Wahrscheinlichkeit p sehr klein ist. Mit µ = np Erwartungswert und Varianz P(k) = µk e µ k! E[k] = n k=1 k e µ µ k k! = µ n k=1 k e µ µ k 1 (k 1)!k = µ n V [k] = σ 2 = µ s=0 e µ µ s s! = µ Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 25/ 32
Poisson- und Binomialverteilung Binomialverteilung mit n = 1000 und p = 0.01 Poisson-Verteilung mit µ = 10(schraffiert) Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 26/ 32
Beispiel aus vielen alten Statistikbüchern Tod durch Pferdetritte in der preußischen Armee In der preußischen Armee wurde für jedes Jahr die Anzahl der Todesfälle durch Huftritte registriert. Für 20 Jahre und 10 Armeekorps ergibt sich: Anzahl des Todesfälle k 0 1 2 3 4 5 6 Zahl der Korps-Jahre mit k Todesfällen 109 65 22 3 1 0 0 100 Poisson-Verteilung für µ = 122 200 = 0.61 80 60 40 20 0 0 1 2 3 4 5 6 Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 27/ 32
Gleichverteilung Gleichverteilung Die Wahrscheinlichkeitsdichte f(x) ist konstant 1 b a für a x b und null außerhalb. Erwartungswert und Varianz < x >= E[x] = a + b 2 V [x] = σ 2 = E[(x < x >) 2 ] = E[x 2 ] < x > 2 = b a x 2 b a dx < x > 2 = b3 a 3 (a + b)2 3(b a) 4 = b2 + ab + a 2 3 a2 + 2ab + b 2 4 = (b a)2 12 Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 28/ 32
Normalverteilung Normal- oder Gauß-Verteilung f (x) = 1 e (x µ)2 2σ 2 2πσ Erwartungswert und Varianz < x >= E[x] = µ V [x] = σ 2 Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 29/ 32
Standardisierte Gauß-Verteilung(µ = 0 und σ = 1) Wahrscheinlichkeit einiger Intervalle x µ σ (x außerhalb ±σ) ist: 31.74 % x µ 2σ (x außerhalb ±2σ) ist: 4.55 % x µ 3σ (x außerhalb ±3σ) ist: 0.27 % Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 30/ 32
Poisson- Binomial- und Gauß-Verteilung Binomialverteilung mit n = 1000 und p = 0.01 Poisson-Verteilung mit µ = 10(schraffiert) Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 31/ 32
Zentraler Grenzwertsatz Zentraler Grenzwertsatz: Die Wahrscheinlichkeitsdichte der Summe n i=0 x i einer Stichprobe aus n unabhängigen Zufallsvariablen x i mit einer beliebigen Wahrscheinlichkeitsdichte mit Mittelwert < x > und Varianz σ 2 geht in der Grenze n gegen eine Gauß-Wahrscheinlichkeitsdichte mit Mittelwert µ = n < x > und Varianz V [w] = n σ 2. Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 32/ 32