Rechnernutzung in der Physik

Transkript

1 Rechnernutzung in der Physik Teil 3 Statistische Methoden in der Datenanalyse Roger Wolf 15. Dezember 215 INSTITUTE OF EXPERIMENTAL PARTICLE PHYSICS (IEKP) PHYSICS FACULTY KIT University of the State of Baden-Wuerttemberg and National Research Center of the Helmholtz Association Grundlagen der Wahrscheinlichkeitstheorie, Werkzeuge zur statistischen Datenanalyse Gängige Wahrscheinlichkeitsverteilungen Monte-Carlo Methoden Parameterschätzung Hypothesentests

2 Zusammenfassung Kapiel 3.1: Grundlagen der Wahrscheinlichkeitstheorie Rolle der Statistik in der modernen Physik. Ergebnisraum, Ereignisraum, Wahrscheinlichkeitsverteilung. 2 Bedingte Wahrscheinlichkeit, Satz von der totalen Wahrscheinlichkeit, Unabhägigkeit zweier Ereignisse. Interpretation von (Zufalls-)Experimenten und stochastische Modelle.

3 Zusammenfassung Kapiel 3.2: Werkzeuge zur statistischen Datenanalyse 3 ROOT: C++-Framework zur Datenanalyse: Erste Schritte/Dokumentation. (Software-)Modell zur Datenspeicherung (ROOT-Tree). Darstellung von Daten: Graphen, Histogramme. Funktionen und Anpassung von Funktionen. ROOT-basierte weiterführende Analysepakete. Python Bibliotheken als Alternative zu ROOT.

4 Kapiel 3.3: Charakterisierung von Wahrscheinlichkeitsverteilungen 4

5 Wahrscheinlichkeitsverteilung Eine auf dem Ereignisraum definierte Funktion (1) heißt Wahrscheinlichkeitsverteilung über dem Ergebnisraum die folgenden Eigenschaften erfüllt: 5 Für jedes Ereignis gilt ( Nichtnegativität). Für die Wahrscheinlichkeit zweier disjunkter Ereignisse gilt: ( Linearität). Die Wahrscheinlichkeit (1) Beachte: Interpretation der Wahrscheinlichkeitsverteilung!, wenn sie und ( ) (Normierungsbedingung).

6 Zufallsvariable & Wahrscheinlichkeitsdichte 6 Für unsere weiteren Betrachtungen stellen Sie sich die Erfassung der Körpergröße von 5 männlichen Einwohnern über 18 Jahre in Karlsruhe vor. ist eine (kontinuierlich verteilte) Zufallsvariable, deren Wert jeweils der Ergebnis eines Zufallsexperiments ist. Mit Hilfe der Methoden, die Sie in der letzten Vorlesung kennengelernt haben können sie die Meßreihe in Form von Histogrammen erfassen: (2) Normiert auf 1 und geteilt durch die bin-breite 5 Erfassungen(2) cm in 15 bins

7 Zufallsvariable & Wahrscheinlichkeitsdichte 7 Für unsere weiteren Betrachtungen stellen Sie sich die Erfassung der Körpergröße von 5 männlichen Einwohnern über 18 Jahre in Karlsruhe vor. ist eine (kontinuierlich verteilte) Zufallsvariable, deren Wert jeweils der Ergebnis eines Zufallsexperiments ist. Mit Hilfe der Methoden, die Sie in der letzten Vorlesung kennengelernt haben können sie die Meßreihe in Form von Histogrammen erfassen: (2) Normiert auf 1 und geteilt durch die bin-breite 5 Erfassungen(2) 5 Erfassungen cm in 45 bins cm in 15 bins

8 Zufallsvariable & Wahrscheinlichkeitsdichte 8 Für unsere weiteren Betrachtungen stellen Sie sich die Erfassung der Körpergröße von 5 männlichen Einwohnern über 18 Jahre in Karlsruhe vor. ist eine (kontinuierlich verteilte) Zufallsvariable, deren Wert jeweils der Ergebnis eines Zufallsexperiments ist. Mit Hilfe der Methoden, die Sie in der letzten Vorlesung kennengelernt haben können sie die Meßreihe in Form von Histogrammen erfassen: (2) Normiert auf 1 und geteilt durch die bin-breite 5 Erfassungen(2) 5 Erfassungen cm in 9 bins 5 Erfassungen cm in 45 bins cm in 15 bins

9 Zufallsvariable & Wahrscheinlichkeitsdichte 9 Für unsere weiteren Betrachtungen stellen Sie sich die Erfassung der Körpergröße von 5 männlichen Einwohnern über 18 Jahre in Karlsruhe vor. ist eine (kontinuierlich verteilte) Zufallsvariable, deren Wert jeweils der Ergebnis eines Zufallsexperiments ist. Mit Hilfe der Methoden, die Sie in der letzten Vorlesung kennengelernt haben können sie die Meßreihe in Form von Histogrammen erfassen: 5 Erfassungen(2) 5 Erfassungen cm in 9 bins 5 Erfassungen cm in 45 bins cm in 15 bins Wahrscheinlichkeitsdichte: (2) Normiert auf 1 und geteilt durch die bin-breite Wahrscheinlichkeitsdichte

10 Wahrscheinlichkeitsdichte Ist eine kontinuierliche verteilte Zufallsvariable und die Wahrscheinlichkeitsverteilung über der Ergebnisraum stetig in differenzierbar dann bezeichnen wir: Als Wahrscheinlichkeitsdichtefunktion von. Wahrscheinlichkeitsdichte 1 kumulative Wahrscheinlichkeitsdichte

11 NB: Beachten Sie: die Wahrscheinlichkeit für das Ereignis erhalten Sie nicht als sondern aus den Integral: Wahrscheinlichkeitsdichte 11 kumulative Wahrscheinlichkeitsdichte

12 NB: Beachten Sie: die Wahrscheinlichkeit für das Ereignis erhalten Sie nicht als sondern aus den Integral: NNB: Wahrscheinlichkeitsdichten können kontinuierlich oder diskret verteilt sein. Im diskreten Fall ersetze jedes Integral durch eine Summe über den endlichen Ergebnisraum. Wahrscheinlichkeitsdichte 12 kumulative Wahrscheinlichkeitsdichte

13 Quantilen Zur Charakterisierung der kumulativen Wahrscheinlichkeitsdichte: Quantile(α) 21 Quantil der Ordnung ( -Punkt): (Umkehrfunktion von 2 19 Beispiele: Median ( Rankings von Klausurergebnissen. 18 ). Hypothesen-Tests (z.b. auch in Qualitätskontrollen) α )

14 Lagemaß Charakterisierung der Wahrscheinlichkeitsdichte: p(x) 1 (3) Modus.9 Maximum der Verteilung (= wahrscheinlichster Wert) einfach. Median.8 Modus: Erwartungswert.7 Median ( ): Gleich viele Werte,, größer als auch kleiner als robust ): Abgeschätzt durch das arithmetische Mittel..3 Erwartungswert ( (3) Beispiel: Log-Normalverteilung (siehe Folie XY) Das Beispiel auf der rechten Seite zeigt: diese drei Maße müssen nicht gleich sein. 5 x

15 Erwartungswert Bekannteste Größe zur Charakterisierung der Wahrscheinlichkeitsdichte: (kontinuierlich) Bemerkungen: 15 (diskret) für eine vorgegebene Wahrscheinlichkeitsdichte (-verteilung) ist eine Zahl und keine Funktion von (andere gänige Bezeichnungen auch:, ). Verallgemeinerung: Erwartungswert einer Funktion Erwartungswert ist linear in x:

16 Algebraische Momente - Varianz Verallgemeinerung des Erwartungswertes: n-tes (algebraisches) Moment um Spezialfall: -tes Moment: 1-tes Moment: 2-tes Moment: (Varianz) 16 heißt Standardabweichung.

17 Mehrdimensionale Verteilungen Der Ausgang einer Messung kann durch mehrere Zufallsgrößen charakterisiert sein (z.b. Körpergröße und Alter). In diesem Fall ist auch die Wahrscheinlichkeitsdichte mehrdimensional. : : (4) (Normierung) (kumulativ ) 17 (4) Für diskrete Verteilung ersetze Integrale durch Summen. A B

18 Randverteilungen Ausintegrieren einer der Zufallsvariablen: px (x) (Randverteilung).7.6 (kumulativ ) Ausintegrieren von (manchmal unbekannten) Zufallsgrößen: Marginalisierung. Dimension der Wahrscheinlichkeitsdichte in typischen Problemen (z.b. der Teilchenphysik):..1 py (y).2 Im Englischen: maringal distribution A x Projektion auf x-achse B y Projektion auf y-achse 18

19 Bedingte Wahrscheinlichkeit (2d) Integration in einem Interval : (Bedingte W'dichte) 19 Das Bsp rechts zeigt, daß sich für und verschiedene Wahrscheinlichkeitsdichten ergeben können. Als Verallgemeinerung zum 1-dim Fall gilt für die Randverteilung: Sind die zwei Zufallsvariablen und unabhängig, dann gilt für die Wahrscheinlichkeitsdichte:

20 Kovarianz Zur Beschreibung der Beziehung zweier Variablen zueinander führen wir die Kovarianz analog zur Varianz ein: (Varianz ) (Kovarianz) Bemerkungen: heißt Kovarianzmatrix. 2 is symmetrisch (d.h. es gibt immer eine Hauptachsentransformation ). heißt Korrelationskoeffizient. nimmt Werte in also. (5) Siehe letzte Anmerkung der voherigen Folie. an. Für unabhängige Zufallsvariablen gilt: (5)

21 Korrelation (anschaulich) Positive Korrelation: Negative Korrelation: Welche Korrelation? 21

22 Korrelation (anschaulich) Positive Korrelation: Negative Korrelation: Keine Korrelation!(6) 22 (6) Analog zum Erwartungwert (siehe Tafelbild...).

23 Korrelation (anschaulich) Positive Korrelation: Negative Korrelation: Unkorreliert Korreliert Keine Korrelation! kausal verknüpft! Korrelation kann zufällig sein. möglich. möglich. 23 unabhängig! möglich.

24 Funktionen von Zufallsvariablen Nehmen Sie an die Wahrscheinlichkeitsdichte für die Zufallsvariable bekannt. Wie sieht die Wahrscheinlichkeitsdichte für eine Funktion Beispiel: Sie haben den Durchmesser,, eines Kreises gemessen. Für Wie sieht für die Kreisfläche aus? 24 sei aus? Erhaltung der Wahrscheinlichkeit: haben Sie ein Modell. Absolutbetrag stellt sicher, daß positiv semi-definit ist.

25 Funktionen von Zufallsvariablen Nehmen Sie an die Wahrscheinlichkeitsdichte für die Zufallsvariable bekannt. Wie sieht die Wahrscheinlichkeitsdichte für eine Funktion Beispiel: Sie haben den Durchmesser,, eines Kreises gemessen. Für Wie sieht für die Kreisfläche aus? sei aus? Erhaltung der Wahrscheinlichkeit: haben Sie ein Modell. Absolutbetrag stellt sicher, daß positiv semi-definit ist. Für mehrdimensionale Wahrscheinlichkeitsdichten wird zur Jacobi Matrix: 25

26 Funktionen von Zufallsvariablen Nehmen Sie an die Wahrscheinlichkeitsdichte für die Zufallsvariable bekannt. Wie sieht die Wahrscheinlichkeitsdichte für eine Funktion Beispiel: Sie haben den Durchmesser,, eines Kreises gemessen. Für Wie sieht für die Kreisfläche aus? sei aus? Erhaltung der Wahrscheinlichkeit: haben Sie ein Modell. Absolutbetrag, um sicher zu stellen, daß positiv semi-definit ist. Für mehrdimensional wahrscheinlichkeitsdichten wird zur Jacobi Matrix: 26

27 Gaußsche Fehlerfortpflanzung Nehmen Sie an Sie hätten einen Vektor,, von Zufallsvariablen, deren Wahrscheinlichkeitsdichten Ihnen nicht bekannt sind. Sie kennen jedoch den Vektor der Erwartungwerte,, und die Kovarianzmatrix,. Wie erhalten Sie eine Abschätzung für? Nach Taylor-Entwicklung: (Erwartungswert) (Varianz) Und für einen Vektor von Funktionen erhalten Sie die Korrelationsmatrix entsprechend: (Kovarianz) 27

28 Gaußsche Fehlerfortpflanzung Wichtige Spezialfälle: : (einfacher Fehler von Summen) : (einfacher Fehler von Produkten) Für diese Beispiele haben wir die Annahme gemacht, dass bereits in führender Ordnung durch eine Taylor-Entwicklung beschrieben werden kann. Wenn linear ist ist diese Näherung exakt. Sie wird jedoch immer schlechter, je nicht-linearer das Verhalten von wird (Bsp.: ). Im Zweifel Monte Carlo Methoden besser geignet zur Abschätzung von Unsicherheiten und (v.a.) Korrelationen (oft Methode der Wahl in der Praxis)., : (binomische Fehlerfortpflanzung) Wenn Sie die Fehlerrechnung selbst machen wollen, vergewissern sie sich, daß und unkorreliert sind (was ist ihre jeweilige Bedeutung?). Wenden Sie dann die Fehlerrechnung stur an. Berechnen Sie auch den Korrelationskoeffizienten zwischen und. 28

29 Zusammenfassung Kapiel 3.3: Charakterisierung von Wahrscheinlichkeitsverteilungen 29 Zufallsvariablen und Wahrscheinlichkeitsdichten. Charakterisierung durch Quantilen, Lagemaß. Erwartungswert, algebraische Momente, Varianz. Mehrdimensionale Wahrscheinlickeitsdichten, Kovarianz, Korrelationen. Funktionen von Zufallsvariablen, Gaußsche Fehlerfortpflanzung.

30 Kapiel 3.4: Beispiele gängiger Wahrscheinlichdichteverteilungen 3

31 Uniforme Verteilung Gleichverteilte Zufallszahlen (jeder Wert unabhängig & gleichwertig): U(x).8 [4., 6.] [3., 7.] [2., 8.] [1., 9.].7 (Erwartungswert).6.5 (Varianz).4.3 NB: jede beliebig verteilte Zufallsvariable läßt sich auf eine uniform verteilte Zufallsvariable transformieren (für ) x Jeder Beginn einer Mote Carlo Integration. Allgemeinster prior einer Bayesianischen likelihood Abschätzung.

32 Exponentialverteilung Differenz von Zufallszahlen gleichverteilt (jede Differenz(!) unabhängig & gleichwertig): exp(x, λ) 1 λ=.5.9 λ=1. λ=2..8 (Erwartungswert).7 (Varianz).6 λ=5..5 NB: Klassisches Beispiel: radioaktiver Zerfall. In diesem Bild entspricht der Lebensdauer des Präparats x

33 Exponentialverteilung Differenz von Zufallszahlen gleichverteilt (jede Differenz(!) unabhängig & gleichwertig): exp(x, λ) 1 λ=.5.9 λ=1. λ=2..8 (Erwartungswert).7 (Varianz).6 λ= NB: Klassisches Beispiel: radioaktiver Zerfall. In diesem Bild entspricht der Lebensdauer des Präparats. Alle Differenzen gleich und klein x Alle Differenzen gleich und groß. 33

34 Binomialverteilung Günstige/mögliche Ereignisse (jeder Wert unabhängig aber nicht mehr gleichwertig): B(p, n, k) (Erwartungswert) (Varianz).5 p=.5, n=5 p=.5, n=1 p=.5, n=2 p=.5, n= NB: Verteilung von nicht mehr gleich sondern folgt Wahrscheinlichkeit k

35 Poissonverteilung Günstige/mögliche Ereignisse (jeder Wert unabhängig aber nicht mehr gleichwertig): P(μ, k).3 μ=2. μ=5. μ=1. μ= (Erwartungswert).2 (Varianz).15 NB: entspricht Binomialverteilung im Grenzwert, (Beweis, siehe nächste Folie) k

36 Binomial- Poissonverteilung 36

37 Zentraler Grenzwertsatz Betrachte einen Ereignisraum mit unbabhängigen Zufallsvariablen (=Experimentausgängen) der Länge. Die mögen dabei einer beliebigen(!) identischen Wahrscheinlicheitsverteilung mit endlichem Erwartungswert und endlicher Varianz folgen. Dann folgt die Zufallsvariable für den Grenzübergang und Varianz. 37 einer Normalverteilung mit Erwartungwert

38 .2 Binomialverteilung: P(μ, k) B(p, n, k) Zentraler Grenzwertsatz (in action) B(p, n, k) φ(x=k, μ=1, σ 2=9) P(μ, k) φ(x=k, μ=1, σ 2=1) Poissonverteilung: k k Normalverteilung (universell!) 38

39 Normalverteilung Summe vieler, unabhängiger, identisch verteilter Messungen: φ(x, μ, σ ) 1 μ=., σ =.5 μ=., σ =1. μ=., σ =2. μ=1., σ = (Erwartungswert).7 (Varianz) x

40 Log-Normalverteilung Produkt vieler, unabhängiger, identisch verteilter Messungen: f(x, σ, μ) 1 μ=., σ =.5 μ=., σ =1. μ=., σ =1.5 μ=1., σ = (Erwartungswert).7 (Varianz).6.5 NB: Variablensubstitution: führt Log-Normalverteilung in Normalverteilung über: x

41 -Verteilung Der Logarithmus der Normalverteilung ist (bis auf eine Konstante) χ2 (x, n) (Gammafunktion) (Erwartungswert) (Varianz) verteilt:.5 n=1.45 n=2 n=5.4 n= NB: Die Summe der Quadrate von verteilten Zufallsgrößen.15 normal-.1.5 ist -verteilt. Die Zahl heißt Freiheitsgrad. Sie entspricht der Anzahl unabhängiger Normalverteilungen x

42 Kapiel 3.4: Beispiele gängiger Wahrscheinlichdichteverteilungen 42 Uniforme Verteilung, Exponentialverteilung ( jeder Experimentausgang gleichwertig). Binomialverteilung, Poissonverteilung ( unterscheide günstige/mögliche Experimentausgänge). Normalverteilung, Log-Normalverteilung, -Verteilung ( viele unabhängige Messungen mit einem bestimmten Ausgang, in einem bestimmten Intervall ).