diskrete und kontinuierliche Verteilungen

Transkript

1 Vorlesung: Computergestützte Datenauswertung Wahrscheinlichkeit, Günter Quast Fakultät für Physik Institut für Experimentelle Kernphysik diskrete und kontinuierliche Verteilungen SS '16 KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft

2 Datenauswertung und Statistik Das Aufgebenspektrum: Auswertung von Messreihen: Schätzung von Parametern aus endlicher Stichprobe (z.b. Mittelwert) Verteilung der Messwerte um den Mittelwert Anpassung von Funktionen (z.b. Ausgleichsgerade ) Kombination von Messungen Bestimmung der Unsicherheit von Messgrößen: Einfluss zufälliger Effekte (oft: Messfehler, besser: Messunsicherheit ) werden mit Methoden der Statistik behandelt (z. B. Ablesegenauigkeit, Rauschen, Eichfehler...) Angabe von Ergebnissen ohne Unsicherheit ist sinnlos! dabei statistische und systematische Unsicherheiten trennen: z.b. Masse des Higgs-Bosons: m H = 125,5 ± 0.2 (stat.) ± 0.6 (syst.) GeV/c 2 (ATLAS Exp.) m H = 125,7 ± 0.3 (stat.) ± 0.3 (syst.) GeV/c 2 (CMS Exp.) Summer '13

3 Statistische Methoden anderswo Sammlung und Analyse von Daten Forschung in Naturwissenschaften, Medizin z.b. Evidenz für Klimawandel, Wirksamkeit von Therapien und Medikamenten,... Finanzwelt und Handel: Börsendaten, Wechselkurse, Risikoberwertungen, Angebotsplanung,... Data-Mining in der Wirtschaft: Google, Payback-Karten, Umfragen... Test von Hypothesen, Klassifizierung von Daten, Bewertung von Risiken Ist diese Spam? Gibt es eine globale Erwärmung? Ist dieser Online-Kunde ein potenzieller Betrüger? Ist dieser Versicherungskunde ein Raser? Als Naturwissenschaftler sollten Sie die angewandten Methoden verstehen und die Vorgänge bewerten können!

4 Beschreibung des Zufalls Der Zufall folgt genauen Regeln, deren Verständnis die Grundlage zur Behandlung der statistischen Komponente in empirischen Daten unerlässlich ist. Teilgebiet der Mathematik, das sich mit der Beschreibung des Zufalls beschäftigt: Die Stochastik (von altgriechisch στοχαστικὴὴ τέχνὴ stochastikē technē, lateinisch ars conjectandi, also Kunst des Vermutens, Ratekunst ) ist ein Teilgebiet der Mathematik und fasst als Oberbegriff die Gebiete Wahrscheinlichkeitstheorie und Statistik zusammen. (aus Wikipedia) Zentral dabei ist das Konzept der Wahrscheinlichkeit Mathematische Grundlage: die Kolmogorov-Axiome An dieser Stelle ausreichend ist die Häufigkeitsdefinition Literaturempfehlung: Erdmann, Hebbeker, Moderne Methoden der Datenanalyse

5 Zufallsereignis (Zufalls-)Ereignis im Sinne der Statistik: durch spezifische Eigenschaften definiertes Ergebnis eines Prozesses Beispiele: - eine 3 würfeln - ein Tor fällt in den ersten fünf Minuten eines Fußballspiels - beim Angeln einen Hecht fangen - eine 2 und dann eine 5 würfeln - eine Zahl größer als 3 würfeln - Messung eines Werts für e zwischen C und C Kompatible Ereignisse: - eine gewürfelte Zahl ist >3 und 5 ( >3 5 ) - eine Karte aus einem Kartenspiel ist rot und ein As ( rot As ) - eine Karte ist ein As oder eine Dame ( As U Dame ) - Karte ist As oder kein As (gilt für beliebige, d.h. alle Karten!) Exklusive Ereignisse: - 3 und gleichzeitig 5 würfeln - eine Karte ist ein As und eine Dame (gilt für keine Karte)

6 Häufigkeitsdefinition der Wahrscheinlichkeit Eine Beobachtung wird unter identischen Bedingungen unabhängig voneinander n mal wiederholt. Wenn die Eigenschaft A dabei k mal beobachtet wird, ist das Verhältnis k/n die (empirische) Wahrscheinlichkeit für das Auftreten von A: Bsp.: Wahrscheinlichkeit, eine Zahl 1,, 6 zu Würfeln: 1/6 Wahrscheinlichkeit für Kopf oder Zahl 0.5 Wahrscheinlichkeit, ein As beim Skat zu ziehen: 4 / 32 = 1 / 8 Wahrscheinlichkeit, eine Karo-Karte zu ziehen (Spiel ohne Joker): 1/4 Beim Festlegen der Wahrscheinlichkeit helfen bei diesen Beispielen Symmetrien oder Kombinatorik, d.h. Abzählen der günstigen Ausgänge bezogen auf alle möglichen Ergebnisse.

7 Wahrscheinlichkeit: Kopf oder Zahl? Beispiel Münzwurf: Wahrscheinlichkeit für Kopf: p K =0.5 Wahrscheinlichkeit für Zahl: p Z =1-p K =0.5 i Führe N=1,.., N Computer-Experimnte durch, berechne jeweils die Häufigkeit h n = N K (n) / n h n throwcoin.py # throw a coin N times import numpy as np N=500 f=[ ] Nh=0 for n in range(n): if np.random.rand()>0.5: Nh+=1 f.append(float(nh)/(n+1.)) Häufigkeit nähert sich der Wahrscheinlichkeit an: h n p K (n) n Anm.: Berechnung des Unsicherheitsbands wird später behandelt.

8 [** Die Kolmogorov-Axiome ] Für mathematisch Interessierte: Formale Definition von Wahrscheinlichkeit: Kolmogorov-Axiome (1931) Betrachte Elementarereignisse e i e i e j positiv additiv normiert

9 Kombination von Wahrscheinlichkeiten A = nicht A (A, A schließen sich aus) A oder B falls sich A und B ausschließen A u B falls A und B unabhängig fall sich A und B ausschließen Bedingte Wahrscheinlichkeit für A wenn B wahr ist. Veranschaulichung Bedingte Wahrscheinlichkeit P(A und B) =

10 Denkschulen (klassische) frequentistische Statistik,,,objektive Definition Wahrer Wert einer Größe existiert (ist aber unbekannt), wird im Limes unendliche vieler Messungen erreicht: P(A) = lim Typisches Resultat: Fehlerintervall 68% aller aus Daten gebildeten Intervalle [a,b] erhalten den wahren Wert μ Bayes sche Statistik: subjektive Wahrscheinlichkeit Angabe einer Bayes-Wahrscheinlichkeit für wahren Wert einer Größe, P(A) = Grad der Sicherheit ( degree of belief ), dass Ereignis A eintritt Typisches Resultat: Fehlerintervall Mittelwert liegt mit 68% Wahrscheinlichkeit in Intervall [a,b] Benutzung von Vorwissen ( Prior ) erlaubt: P(Theorie Daten) ~ P(Daten Theorie) x P(Theorie) In der unmittelbaren Praxis werden wir uns zunächst nicht darum kümmern müssen, bei der professionellen Interpretation von Ergebnissen wird der Unterschied aber bedeutsam.

11 Häufigkeitsverteilung, Wahrscheinlichkeitsverteilung und Wahrscheinlichkeitsdichte

12 Häufigkeitsverteilung: diskret Beispiel Würfeln: Häufigkeit der Augenzahlen 1, 2,, 6 bei 30 Würfen Erwartete Verteilung throwdice.py # example to produce random numbers # as obtained by throwing dice import numpy as np ndice=1 nthrow=30 # number of dice # how often to throw numbers=[ ] for i in range(nthrow): r=0 for j in range(ndice): r += int(6*np.random.rand())+1 numbers.append(r)

13 Häufigkeitsverteilung: kontinuierlich in Bins Beispiel Messen: Häufigkeit von N Messergebnissen in bestimmten Intervallen ( Bins ) Erwartete Verteilung h i bin i Für eine große Anzahl von Messungen nähert sich die Häufigkeitsverteilung der erwarteten Verteilung immer mehr an Intervallgrenzen ( bin edges ) Erwartungswert der Verteilung Häufigkeitsdefinition der Wahrscheinlichkeit:

14 Beispiel: Münzwurf N=1000 Münzspiele (= Experimente ) mit je 10 Würfen; Bestimmung der der Anzahl k i der Ergebnisse Kopf Häufigkeitsverteilung (nun ja, die Münze im Beispiel fällt etwas zu oft zu einer Seite ) Häufigkeitsverteilung konvergiert gegen die Binomial-Verteilung s. python-script animated_binomialdistribution.py

15 Histogramm Verteilungsdichte Wahrscheinlichkeitsdichte f(x): angenähert durch Histogramm mit - unendlicher Statistik, - Bin-Breite 0, - normiert auf Fläche 1 script animated_gauss.py Achtung: aus der Wahrscheinlichkeitsdichte erhält man eine Wahrscheinlichkeit erst durch Integration: Histogramm veranschaulicht Verteilungsdichte, nähert sich ihr für sehr kleine Bin-Breite an.

16 Charakterisierung von Verteilungen Lage- oder Lokalisations- Parameter Mittelwert μ, Modus = Maximum der Verteilung Median m: 50% der Wahrscheinlichkeit < m Gaußverteilung mit Erwartungswert =0 und Varianz =1 68% Streuung ( Skalierungsparameter ) Varianz V=σ² Standardabweichung σ ( Breite ) V ist invariant bei Verschiebung der Verteilung, bei Variation von V dehnt bzw. staucht sich die Verteilung um den Mittelwert. Form: Schiefe und Kurtosis (=Wölbung) drei Verteilungen mit Erwartungswert =0 und Varianz =1 Parameter γ 1 und γ 2 (beide =0 für Gaußverteilung) γ 1 und γ 2 sind invariant bei Verschiebung und Dehnung / Stauchung der Verteilung Quelle: Bohm-Zech

17 Nachtrag: Lokalisationsparameter p(x) Modus Median Erwartungswert Modus: Maximum der Verteilung (= wahrscheinlich-ster Wert) einfach. Median ( ): Gleich viele Werte größer als auch kleiner als robust ( z.b. Maß für die Verteilung der Studiendauer) x Erwartungswert ( ): Abgeschätzt durch das arithmetische Mittel Standard in der Datenanalyse Diese drei Maße müssen nicht gleich sein!

18 Charakterisierung v. Verteilungen: Formeln Stichprobe diskrete Verteilung kontinuierliche Vert. Erwartungswert Varianz * Schiefe * Bessel-Korrektur : N N-1 vermeidet Verzerrung Plausibilitätsargument: für N=1 ist V nicht definiert! Kurtosis γ 2 = 0 für Gauß-Vert. + höhere... nennt man das n-te Moment der Verteilung Eine Verteilung ist über ihre Momente vollständig charakterisiert

19 Einschub: Rechenregeln für Erwartungswerte Die Berechnung von Erwartungswerten ist eine lineare Prozedur: seien a,b Konstanten und x, x 1, x 2 Zufallszahlen; es gilt (mit E[x] = <x>): <a>=a d.h. auch <<x>>=<x> <ax> = a <x> <x 1 +x 2 >= <x 1 > + <x 2 > und damit <ax 1 + bx 2 > = a <x 1 > +b <x 2 > insb. gilt i. A.: <x 1 x 2 > <x 1 ><x 2 > ( = nur, wenn x 1, x 2 unabhängige Zufallszahlen sind) diese Regeln ersparen u. U. viel Rechnerei!

20 [** Kleine Nebenrechnung: Varianz ] Umformung der Formel für die Varianz (als Beispiel für das Rechnen mit Erwartungswerten) : Die umgeformte, äquivalente Formulierung ist numerisch effizienter, weil nur ein Durchlauf durch die Zufallszahlen (=Daten) notwendig ist, wenn man dabei sowohl E[x] als auch E[x 2 ] bestimmt.

21 Verteilungsfunktion und Quantile Verteilungsdichte p(x) Verteilungsfunktion (oder kumulative Verteilung) erlaubt einfache Berechnung von Wahrscheinlichkeiten α=p(x>x α ), sog. Quantile Quantil der Ordnung α : Umkehrfunktion von P(x) P -1 (α) Verteilungsfunktion P(x) Beispiele: Median = x α=½ Ranking von Abschlussnoten Hypothesentests (s. später) Qualitätskontrolle

22 lineare Funktionen von Zufallszahlen Linearkombination von Zufallszahlen, mit den Regeln von eben: nennt man die Kovarianz von x 1 und x 2 (analog zur Definition der Varianz für eine Variable) Für unabhängige Variable verschwindet sie.

23 nicht lineare Funktionen von Zufallszahlen im Falle von nicht-linearen Funkionen linearisieren wir durch Taylor-Entwicklung um den Erwartungswert: wir erhalten:

24 lineares Fehlerfortpflanzungsgesetz zusammenfassend kann man die Ergebnisse für unabhängige Variablen x i kompakt so schreiben: Fehlerfortpflanzungsgesetz Quadrierter absoluter Fehler auf Summe die oder Differenz zweier Messungen ist die quadratische Summe ihrer absoluten Fehler Quadrierter relativer Fehler auf das Produkt oder Verhältnis zweier Messungen ist die quadratische Summe ihrer relativen Fehler

25 Anwendung: Fehler auf den Mittelwert Der Mittelwert einer Anzahl von N Messungen der gleichen Größe, selbst eine Zufallsgröße., ist eine lineare Funktion der Messwerte und damit Mit dem Fehlerfortpflanzungsgesetz können wir die Unsicherheit berechnen: weil alle Messungen aus der gleichen Verteilung stammen, sind alle Unsicherheiten gleich Wir erhalten das sehr wichtige Ergebnis Der Unsicherheit auf den Mittelwert aus N (identischen, unabhängigen) Messungen ist um den Faktor N kleiner als die Unsicherheit auf eine Einzelmessung

26 Illustration: Fehler des Mittelwerts sigma=1.002 normalverteilte Zufallszahlen sigma=0.336 Summe von je 9 normalverteilten Zufallszahlen Die Breite der Verteilung der Mittelwerte ist exakt um n=3 kleiner.

27 Beispiel: Messung der Tischhöhen aus VL02 # Messung der Tischhöhen # im Gerthsen-HS # 28.Apr # # N=13 Messungen Mittelwert: cm Standardabweichung: 0.47 cm Unsicherheit d. Mittlelwerts: 0.13 cm H=75.75 ± 0.13 cm H / cm

28 [** Beispiel: Unsicherheit einer Effizienzbestimmung] Bei der Untersuchung eines Sensors oder eines medizinischen Tests wird bestimmt, wie häufig er auf ein Signal anspricht: N Versuche, davon p positiv und n=n-p mit negativem Ausgang; (Schätzung der) Effizienz über die Häufigkeit: Die statistischen Unsicherheiten auf die beobachteten Häufigkeiten p und n sind p und n (Poisson-Verteilung, s. später) Was ist die Unsicherheit auf die so bestimmte Effizienz? Lösung: Anm.: 1.) diese Lösung gilt für große Zahlen n, p anschaulich: wenn man nur eine Messung macht, ist die Unsicherheit natürlich nicht Null! 2.) Die Wahrscheinlichkeit, in N Versuchen p Ergebnisse eines Typs zu sehen, folgt einer Binomialverteilung P b (p ; N, ε) (s. später). Unser Ergebnis stimmt mit den aus deren Eigenschaften abgeleiteten überein.