Einführung in die wissenschaftliche Datenanalyse

Transkript

1 Einführung in die wissenschaftliche Datenanalyse Dr. Michael O. Distler Mainz, 22. October 2010 Literatur Grundbegriffe Wahrscheinlichkeitsverteilungen Parameterschätzung (Fit)

2 Literatur Volker Blobel und Erich Lohrmann: Statistische und numerische Methoden der Datenanalyse, Teubner Verlag (1998) Siegmund Brandt: Datenanalyse, BI Wissenschaftsverlag (1999) Philip R. Bevington: Data Reduction and Error Analysis for the Physical Sciences, McGraw-Hill (1969) Roger J. Barlow: Statistics, John Wiley & Sons (1993) Glen Cowan: Statistical Data Analysis, Oxford University Press (1998) Frederick James: Statistical Methods in Experimental Physics, 2nd Edition, World Scientific, 2006 Wes Metzger s lecture notes: Glen Cowan s lecture notes: Particle Physics Booklet:

3 Vorbemerkungen Wissenschaftstheorie Der Kritische Rationalismus ist eine von Karl R. Popper (* 28. Juli 1902 in Wien; 17. September 1994 in London) begründete philosophische Denkrichtung, die in enger Verbindung mit seinem Modell für den wissenschaftliche Erkenntnisgewinn, dem sog. Falsifikationismus, steht. Logik der Forschung, Existenz eines wahren Wertes von Messgrößen und abgeleiteten Größen

4 Wahrscheinlichkeitstheorie Mathematische Statistik, Stochastik: Axiome von Kolmogorow Klassische Statistik, frequentist probability: Pragmatische Wahrscheinlichkeitsdefinition: n p(e) = lim N N p steht für probability n(e) = Zahl des Eintretens des Ereignisses E N = Zahl der Herbeiführung der gegebenen Bedingungen (Durchführung des Experiments) Experimente müssen (prinzipiell) wiederholbar sein. Nachteil: Strenggenommen sind keine Wahrscheinlichkeitsaussagen über die wahren Werte möglich, lediglich die Angabe von oberen und unteren Grenzen mit einer gewissen Irrtumswahrscheinlichkeit.

5 Wahrscheinlichkeitstheorie Mathematische Statistik, Stochastik Klassische Statistik, frequentist probability Bayes sche Statistik, subjective probability: Subjektive Annahmen über die Grundgesamtheit gehen in die Wahrscheinlichkeitsberechnung ein. Bildhafte Definition: Wahrscheinlichkeiten werden aus dem Verhältnis von (maximalen) Wetteinsatz und zu erwartendem Gewinn gebildet.

6 Wahrscheinlichkeitstheorie Mathematische Statistik, Stochastik Klassische Statistik, frequentist probability Bayes sche Statistik, subjective probability: In einer Stadt gibt es zwei Taxiunternehmen, das eine hat grüne, das andere gelbe Taxis. Bei einem Autounfall kommt ein Mensch zu Schaden. Ein Zeuge hat ein grünes Taxi gesehen. Es kommt zur Gerichtsverhandlung. Der Anwalt des Unternehmens zweifelt die Aussage des Zeugen an, da die Lichtverhältnisse schlecht waren. Ein Test ergibt, dass in etwa 10% der Fälle bei gleichen Bedingungen die Farbe des Taxis verwechselt wird. Würden Sie dem Zeugen glauben?

7 Wahrscheinlichkeitstheorie Mathematische Statistik, Stochastik Klassische Statistik, frequentist probability Bayes sche Statistik, subjective probability: In einer Stadt gibt es zwei Taxiunternehmen, das eine hat grüne, das andere gelbe Taxis. Bei einem Autounfall kommt ein Mensch zu Schaden. Ein Zeuge hat ein grünes Taxi gesehen. Es kommt zur Gerichtsverhandlung. Der Anwalt des Unternehmens zweifelt die Aussage des Zeugen an, da die Lichtverhältnisse schlecht waren. Ein Test ergibt, dass in etwa 10% der Fälle bei gleichen Bedingungen die Farbe des Taxis verwechselt wird. Würden Sie dem Zeugen glauben? Wenn es 20 mal mehr gelbe als grüne Taxis gäbe: Würden Sie dem Zeugen immer noch glauben?

8 Wahrscheinlichkeitstheorie Mathematische Statistik, Stochastik Klassische Statistik, frequentist probability Bayes sche Statistik, subjective probability: Taxis Zeuge sieht... Aussage ist gelbe 180 mal gelb 20 mal grün 20/29 = 69% falsch 10 grüne 9 mal grün 9/29 = 31% richtig 1 mal gelb

9 Wahrscheinlichkeitstheorie Mathematische Statistik, Stochastik Klassische Statistik, frequentist probability Bayes sche Statistik, subjective probability: Subjektive Annahmen über die Grundgesamtheit gehen in die Wahrscheinlichkeitsberechnung ein. Nachteil: Hypothesen beeinflussen die Wahrscheinlichkeit. Vorteile bei seltenen und einmaligen Ereignissen, wie verrauschten Signalen oder Katastrophenwahrscheinlichkeiten.

10 Wahrscheinlichkeitstheorie Mathematische Statistik, Stochastik Klassische Statistik, frequentist probability Bayes sche Statistik, subjective probability: Subjektive Annahmen über die Grundgesamtheit gehen in die Wahrscheinlichkeitsberechnung ein. Nachteil: Hypothesen beeinflussen die Wahrscheinlichkeit. Vorteile bei seltenen und einmaligen Ereignissen, wie verrauschten Signalen oder Katastrophenwahrscheinlichkeiten. Im F-Praktikum kommt die klassische Statistik zur Anwendung. Deshalb sollten alle Fehlerangaben als Konfidenzbereiche verstanden werden.

11 Kombination von Wahrscheinlichkeiten Gegeben sind zwei Arten von Ereignissen, A und B. Die Wahrscheinlichkeit für das Autreten von A ist p(a) (B: p(b)). Dann ist die Wahrscheinlichkeit, dass A oder B eintritt: p(a oder B) = p(a) + p(b) p(a und B) Falls sich die Ereignisse A und B gegenseitig ausschließen, gilt p(a und B) = 0 Beispiel: Zufälliges Ziehen aus einem Deck von Skatkarten. p(as oder Pik) = = Spezialfall: B = Ā (Nicht-Eintreten von A). p(a und Ā) = p(a) + p(ā) = 1

12 Kombination von Wahrscheinlichkeiten Die Wahrscheinlichkeit, dass A und B zusammen eintreten, ist: p(a und B) = p(a) p(b A), p(b A) ist die bedingte Wahrscheinlichkeit, dass das Ereignis B eintritt, vorausgesetzt, das Ereignis A ist eingetreten. Falls die Ereignisse A und B unabhängig sind - aber auch nur dann - gilt p(b A) = p(b), bzw. p(a und B) = p(a) p(b)

13 Tod in den Bergen In einem Buch über die bergsteigerischen Leistungen von Reinhold Messner ist folgendes zu lesen: Wenn man bedenkt, dass die Wahrscheinlichkeit, bei einer Expedition auf einen Achttausender umzukommen, 3,4% beträgt, dann hatte Messner eine Wahrscheinlichkeit von 3,4% 29 = 99%, bei seinen 29 Expeditionen getötet zu werden.

14 Tod in den Bergen In einem Buch über die bergsteigerischen Leistungen von Reinhold Messner ist folgendes zu lesen: Wenn man bedenkt, dass die Wahrscheinlichkeit, bei einer Expedition auf einen Achttausender umzukommen, 3,4% beträgt, dann hatte Messner eine Wahrscheinlichkeit von 3,4% 29 = 99%, bei seinen 29 Expeditionen getötet zu werden. Das kann doch nicht wahr sein, was ist, wenn Messner zu einer 30. Expedition aufbricht?

15 Tod in den Bergen In einem Buch über die bergsteigerischen Leistungen von Reinhold Messner ist folgendes zu lesen: Wenn man bedenkt, dass die Wahrscheinlichkeit, bei einer Expedition auf einen Achttausender umzukommen, 3,4% beträgt, dann hatte Messner eine Wahrscheinlichkeit von 3,4% 29 = 99%, bei seinen 29 Expeditionen getötet zu werden. Das kann doch nicht wahr sein, was ist, wenn Messner zu einer 30. Expedition aufbricht? Die Wahrscheinlichkeit, eine Expedition zu überleben ist offensichtlich 1 0,034 = 0,966. Wenn man annimmt, dass die einzelnen Expeditionen unabhängige Ereignisse darstellen, ist die Wahrscheinlichkeit, alle 29 Expeditionen zu überleben: P = 0, = 0,367.

16 Definitionen Wahrscheinlichkeitsverteilung Wahrscheinlichkeitsdichte eines Messwertes (=Zufallsvariable) f(n) n f(x) f (n) diskret f (x) kontinuierlich Normierung: f (n) 0 f (n) = 1 f (x) 0 f (x) dx = 1 Wahrscheinlichkeit: n p(n 1 n n 2 ) = n 2 x n 1 f (n) p(x 1 x x 2 ) = x2 x 1 f (x) dx

17 Definitionen Integrierte Verteilungsfunktion oder kumulative Wahrscheinlichkeitsverteilung: F(x) = x f (x )dx, F( ) = 0, F( ) = 1 Beispiel: Zerfallszeit t eines radioaktiven Kerns der mittleren Lebensdauer τ: f (t) = 1 τ e t/τ 1 F(t) = 1 e t/τ 0.8 f(t)*12s F(t) t/s

18 Erwartungswerte und Momente Mittelwert: Kann eine Zufallsgröße E die Werte E 1, E 2,..., E n annehmen und geschieht dies mit der Wahrscheinlichkeit p(e i ), dann bezeichnet man als Mittelwert der Größe E ( Erwartungswert ) Ē = E = n E i p(e i ) Der Erwartungswert der Funktion h(x) für kontinuierliche Zufallsgrößen: E[h(x)] = i=1 h(x) f (x)dx Mittelwert: ist der Erwartungswert von x (wichtiger Spezialfall): E[x] = x = x f (x)dx

19 Erwartungswerte und Momente Streuung = {Mittelwert der (Abweichung von x) 2 } 1/2 σ 2 = (x x) 2 = = (x x) 2 f (x)dx (x 2 2x x + x 2 ) f (x)dx = x 2 2 x x + x 2 = x 2 x 2 σ 2 = Varianz, σ = Standardabweichung Für diskrete Verteilungen: ( x 2 ( x) 2 ) σ 2 = 1 N N Vorsicht: Hier wird die Varianz definiert! Für eine erwartungstreue Schätzung der Varianz wird 1 N durch 1 N 1 ersetzt. Siehe: Schätzverfahren

20 Erwartungswerte und Momente Momente: Die Erwartungswerte von x n und von (x x ) n werden n-te algebraische Momente µ n und n-te zentrale Momente µ n genannt. Die Schiefe v(x) einer Zufallsvariablen x ist das auf die dritte Potenz der Standardabweichung bezogene zentrale Moment 3. Ordnung µ 3 (x): v = µ 3 σ 3 = E[(x E[x])3 ] σ 3 Das 4te zentrale Moment bezogen auf die vierte Potenz der Standardabweichung bezeichnet man als Wölbung (Kurtosis).

21 Binomialverteilung Häufige Fragestellung: Sei p die Wahrscheinlichkeit für das Eintreten des Ereignisses bei einem Versuch - wie groß ist die Wahrscheinlichkeit, dass das Ereignis bei n Versuchen r-mal eintritt? ( ) n P(r) = p r (1 p) n r r P(r) ist korrekt auf 1 normiert. Binomialtheorem mit q = 1 p. Der Mittelwert von r ist: Die Varianz σ 2 ist r = E[r] = V [r] = E[(r r ) 2 ] = n rp(r)= np r=0 n (r r ) 2 P(r)= np(1 p) r=0

22 Poisson-Verteilung Die Poisson-Verteilung ist gegeben durch: P(r) = µr e µ r! Der Mittelwert ist: r = µ Die Varianz ergibt sich aus V [r] = np(1 p) für die Binomialverteilung: V [r] = σ 2 = np = µ µ = µ = µ = µ =

23 Das Gesetz der großen Zahl Angenommen, dass in n statistisch unabhängigen Experimenten das Ereignis j insgesamt n j mal aufgetreten ist. Die Zahlen n j folgen einer Binomialverteilung, und das Verhältnis h j = n j /n ist die entsprechende Zufallsvariable. Der Erwartungswert E[h j ] ist die Wahrscheinlichkeit p j für das Ereignis j: p j = E[h j ] = E[n j /n] Für die Varianz gilt dann (Binomialverteilung!): V [h j ] = σ 2 (h j ) = σ 2 (n j /n) = 1 n 2 σ2 (n j ) = 1 n 2 np j(1 p j ) Da das Produkt p j (1 p j ) immer 1 4 ist, gilt die Ungleichung σ 2 (h j ) < 1/n bekannt als das Gesetz der großen Zahl.

24 Der Zentrale Grenzwertsatz Der zentrale Grenzwertsatz (ZGS) ist der wichtigste Satz in der Statistik. Unter anderem erklärt er die zentrale Bedeutung der Gauß-Verteilung. Die Wahrscheinlichkeitsdichte der Summe w = n i=1 x i einer Stichprobe aus n unabhängigen Zufallsvariablen x i mit einer beliebigen Wahrscheinlichkeitsdichte mit Mittelwert x und Varianz σ 2 geht in der Grenze n gegen eine Gauß-Wahrscheinlichkeitsdichte mit Mittelwert w = n x und Varianz V [w] = nσ 2.

25 Illustration: Zentraler Grenzwertsatz N=1 0.4 Gauss 0.4 N= N= N= Dargestellt ist die Summe uniform verteilter Zufallszahlen im Vergleich zur Standardnormalverteilung.

26 Spezielle Wahrscheinlichkeitsdichten Gleichverteilung: Diese Wahrscheinlichkeitsdichte ist konstant zwischen den Grenzen x = a und x = b: f (x) = Mittelwert und Varianz sind: x = E[x] = a + b 2 { 1 b a a x < b 0 außerhalb V [x] = σ 2 = (b a)2 12 Die Gleichverteilung wird oft U(a, b) ( uniform ) geschrieben. Besonders wichtig ist die Verteilung U(0, 1) mit den Grenzen 0 und 1, die eine Varianz 1/12 hat.

27 Die Normalverteilung (Gauß-Verteilung) Die wichtigste Wahrscheinlichkeitsdichte wegen ihrer großen Bedeutung in der Praxis. f (x) = 1 e (x µ)2 2σ 2 2πσ Die Normalverteilung wird von zwei Parametern bestimmt, dem Mittelwert µ und der Standardabweichung σ. Die Wahrscheinlichkeitsdichte mit dem Mittelwert µ = 0 und der Varianz σ 2 = 1 heißt standardisierte Gauß-Verteilung, abgekürzt N(0, 1). Die Gauß-Verteilung kann hergeleitet werden als Grenzfall der Binomialverteilung für große Werte von n und r, und auf ähnliche Weise auch als Grenzfall der Poisson-Verteilung für große Werte von µ.

28 Die Normalverteilung (Gauß-Verteilung) dx N(0, 1) = 0,6827 = (1 0,3173) dx N(0, 1) = 0,9545 = (1 0,0455) dx N(0, 1) = 0,9973 = (1 0,0027) FWHM: Dieser Begriff ist oft nützlich, um auf einfache Weise die Standardabweichung einer Gaußkurve zu schätzen. FWHM = 2σ 2ln2 = 2,355σ

29 Die Normalverteilung (Gauß-Verteilung) im Vergleich Links: Binomialverteilung mit n = 10 und p = 0,6 im Vergleich mit der Gauß-Verteilung mit µ = np = 6 und σ = np(1 p) = 2,4. Rechts: Poisson-Verteilung mit µ = 6 und σ = 6 im Vergleich mit der Gauß-Verteilung.

30 Integrierte Gaußfunktion Die Wahrscheinlichkeitsverteilung wird mit Φ(x) bezeichnet, Φ(x) = 1 2πσ x e (t µ) 2 2σ 2 dt. In vielen Formelsammlungen finden sich Tabellen der integrierten standardisierten Gauß-Verteilung, F(x) = 1 2π z e x2 2. Die integrierte Verteilungsfunktion kann durch die Gauß sche Fehlerfunktion erf(x) ausgedrückt werden, erf(x) = 2 π x Φ(x) = e t2 dt. ( ( )) x µ 1 + erf. 2σ

31 Integrierte Gaußfunktion *(1+erf(x/sqrt(2))) 0.4*exp(-0.5*x*x)

32 χ 2 -Verteilung Falls x 1, x 2,..., x n unabhängige Zufallsvariable sind, die alle einer Gauß-Wahrscheinlichkeitsdichte folgen mit Mittelwert 0 und Varianz 1, so folgt die Summe u = χ 2 = n i=1 x 2 i einer χ 2 -Verteilung f n (u) = f n (χ 2 ) mit n Freiheitsgraden. Die Wahrscheinlichkeitsdichte ist: ( 1 u ) n/ e u/2 f n (u) = Γ(n/2) Die Wahrscheinlichkeitsdichte f n (u) hat ein Maximum bei (n 2). Der Mittelwert ist n und die Varianz 2n.

33 χ 2 -Wahrscheinlichkeitsdichte pdf(2,x) pdf(3,x) pdf(4,x) pdf(5,x) pdf(6,x) pdf(7,x) pdf(8,x) pdf(9,x)

34 χ 2 -Verteilungsfunktion Sie beschreibt die Wahrscheinlichkeit, dass χ 2 n im Intervall [0, x] liegt cdf(2,x) cdf(3,x) cdf(4,x) cdf(5,x) cdf(6,x) cdf(7,x) cdf(8,x) cdf(9,x)

35 χ 2 -Verteilung mit 5 Freiheitsgraden % c.l. [ ]

36 Zufallsvariable in zwei Dimensionen Die mehrdimensionale Wahrscheinlichkeitsdichte f (x, y) der zwei Zufallszahlen x und ỹ ist definiert durch die Wahrscheinlichkeit, das Variablenpaar ( x, ỹ) in den Intervallen a x < b und c ỹ < d zu finden Normierung: Gilt: P(a x < b, c ỹ < d) = d b c a f (x, y) dx dy = 1 f (x, y) = h(x) g(y) dann sind die zwei Zufallsvariablen unabhängig. f (x, y) dx dy

37 Zufallsvariable in zwei Dimensionen Mittelwerte und Varianzen sind naheliegend (siehe 1. Dim): < x >= E[x] = x f (x, y) dx dy < y >= E[y] = y f (x, y) dx dy V [x] = (x < x >) 2 f (x, y) dx dy = σx 2 V [y] = (y < y >) 2 f (x, y) dx dy = σy 2 Sei z eine Funktion von x, y: z = z(x, y) Damit ist z ebenfalls eine Zufallsvariable. < z > = z(x, y) f (x, y) dx dy σ 2 z = (z < z >) 2

38 Zufallsvariable in zwei Dimensionen Einfaches Beispiel: z(x, y) = a x + b y Erwartungswert von z: < z > = a x f (x, y) dx dy + b y f (x, y) dx dy = a < x > + b < y > unproblematisch

39 Zufallsvariable in zwei Dimensionen Varianz: σ 2 z = = z(x, y) = a x + b y ((a x + b y) (a < x > + b < y >)) 2 ((a x a < x >) + (b y b < y >)) 2 = a 2 (x < x >) 2 +b 2 (y < y >) 2 } {{ } } {{ } σx 2 σy 2 +2ab (x < x >)(y < y >) }{{}?? < (x < x >)(y < y >) >= cov(x, y) Kovarianz = σ xy = (x < x >)(y < y >) f (x, y) dx dy

40 Zufallsvariable in zwei Dimensionen Normierte Kovarianz: cov(x, y) σ x σ y = ρ xy Korrelationskoeffizient gibt ein grobes Maß der Abhängigkeit zweier Variablen an. 1 ρ xy 1

41 Zufallsvariable in zwei Dimensionen Für die Determinante der Kovarianzmatrix gilt: σ xy = σ2 xσy 2 σxy 2 = σxσ 2 y(1 2 ρ 2 ) 0 σ2 x σ xy σ 2 y

42 2-dim Gauß-Verteilung Parameter a Parameter a 1 Wahrscheinlichkeitsinhalt der Kovarianzellipse: 39,3%

43 Kovarianzmatrix in n-dimensionen Als Verallgemeinerung der Varianz definiert man die Kovarianzmatrix durch: V ij = ( x < x >)( x < x >) T Damit ergeben sich als Diagonalelemente der Matrix V ij die Varianzen und als Nicht-Diagonalelemente die Kovarianzen: V ii = var(x i ) = (x i < x i >) 2 f ( x) dx 1 dx 2... dx n V ij = cov(x i, x j ) = (x i < x i >)(x j < x j >) f ( x) dx 1 dx 2... dx n.

44 Kovarianzmatrix in n-dimensionen Die Kovarianzmatrix V ij = var(x 1 ) cov(x 1, x 2 )... cov(x 1, x n ) cov(x 2, x 1 ) var(x 2 )... cov(x 2, x n ) cov(x n, x 1 ) cov(x n, x 2 )... var(x n ) ist eine symmetrische n n-matrix. Man schreibt auch: V ij = σ 2 1 σ σ 1n σ 21 σ σ 2n σ n1 σ n2... σ 2 n

45 Faltung Zwei Zufallsvariablen x und y seien durch ihre Wahrscheinlichkeiten f x (x) und f y (y) gegeben. Offensichtlich ist ihre Summe w = x + y ebenfalls eine Zufallsvariable. Die Wahrscheinlichkeitsdichte der Summe w sei f w (w). Sie wird durch erhalten durch eine Faltung von x mit y. f w (w) = f x (x)f y (y)δ(w x y) dx dy = f x (x)f y (w x) dx = f y (y)f x (w y) dy Charakteristische Funktion

46 Transformation von Wahrscheinlichkeitsdichten Die Wahrscheinlichkeitsdichte f x (x) der Variablen x soll vermöge y = y(x) in eine andere Variable y transformiert werden: f x (x) y = y(x) f y(y) Betrachte: Intervall (x, x + dx) (y, y + dx) Bedenke: die Flächen unter den Wahrscheinlichkeitsdichten in den jeweiligen Intervallen müssen gleich sein. f x (x)dx = f y (y)dy f y (y) = f x (x(y)) dx dy

47 Transformation von Mittelwert und Varianz, Fehlerfortplanzung Entwicklung um Mittelwert: y(x) = y( x ) + (x x ) dy dx + 1 x= x 2 (x d 2 y x )2 dx x= x Bis 2. Ordnung: E[y] y( x ) + E[x x ] dy dx + 1 x= x 2 E[(x x )2 ] d 2 y dx 2 }{{} =0 1 d 2 y y y( x ) + 2 σ2 x dx 2 x= x }{{} wird oft weggelassen x= x

48 Transformation von Mittelwert und Varianz, Fehlerfortplanzung Für die Varianz nehmen wir an y y( x ) und entwickeln y(x) um den Mittelwert x bis zur 1. Ordnung: ( [ V [y] = E (y y ) 2] = E (x x ) dy ) 2 dx = ( 2 dy dx E x= x ) ( [ (x x ) 2] = x= x dy dx x= x Gesetz der Fehlerfortpflanzung für eine Zufallsvariable. ) 2 σ 2 x

49 Schätzung von Parametern Problemstellung: Aus fehlerbehafteten Messungen möglichst genaue Ergebnisse erarbeiten zusammen mit Aussagen über Zuverlässigkeit und Grenzen. Vorsicht: Messungen unterliegen einer Reihe von unkontrollierbaren Einflüssen, welche zufällig genannt werden - sie sind also mit statistischen Fehlern versehen. Daneben gibt es aber noch systematische Fehler, die durch eine fehlerhafte Methode hervorgerufen werden, etwa durch falsche Messinstrumente oder falsche Formeln bei der Auswertung. Systematische Fehler müssen anders behandelt werden als statistische Fehler. So können sie auch durch Mittelung über mehrere Messungen nicht reduziert werden.

50 Schätzung von Parametern Formal: Messung von n unabhängigen Werten x 1, x 2,..., x n der Zufallsvariablen x bzw. x. (Stichprobe) Aufgabe: Beste Schätzung eines (mehrerer) Parameter. Diese Schätzung ist selbst auch eine Zufallsvariable. Deshalb sollen auch Aussagen über Fehler und Korrelationskoeffizienten gemacht werden. Allgemeine Kriterien für eine Methode zur Bestimmung von Parametern mit Schätzwert â und wahrem Wert a 0 : 1 Konsistenz: lim n â = a 0. 2 Erwartungstreue: E[â] = a 0. 3 Effizienz: Varianz von â klein. 4 Robustheit gegenüber falschen Daten und Voraussetzungen. Wobei die letzten beiden Kriterien häufig im Widerspruch sind.

51 Robuste Schätzung von Mittelwerten n x = 1 n i=1 x i Konsistenz? ok (Zentraler Grenzwertsatz) Erwartungstreue? ok E[ˆx] = 1 n n i=1 E[x i] =< x >. Effizienz? Robustheit?

52 Mittelwert einer symmetrischen Verteilung Für symmetrische Verteilungen (die keine Gauß-Verteilungen sind) ist das Stichprobenmittel weder effizient noch robust. Wahrscheinlichkeitsdichte p(x) Zufallsvariable x f(x) g(x) h(x) 1 x 2 +1 Breit-Wigner-Verteilung: f (x) = 1 π Gauß-Verteilung: g(x) = 1 e x 2 /2 2π Doppelt-Exponentiell: h(x) = 1 2 e x

53 Mittelwert einer symmetrischen Verteilung Besser: Getrimmter Mittelwert (Mittelwert mit Abschneiden) Weglassen der (1 2r)n/2 größten und kleinsten Messwerte einer Stichprobe. Grenzfälle: r = 0,5: Mittelwert r 0: Median. Für eine unbekannte sym. Verteilung liefert r = 0,23 das robustete Verfahren mit einer Effizienz von 82%.

54 Mittelwert einer Gleichverteilung Die genaueste Schätzung ist gegeben durch: x = ˇx + ˆx 2 mit ˇx (ˆx) kleinster (größter) Wert der Stichprobe Häufigkeit absoluter Fehler 1e 05 1e 06 1e e e Mittelwert der Stichprobe 1e e+06 1e+07 1e+08 Größe der Stichprobe Die beste Schätzung liefert die bessere Varianz, die wie (1/n) 2 (statt (1/ n) 2 ) gegen Null geht.

55 Beispiel für eine Stichprobe Stichprobe von 100 Längenmessungen: l i /cm n i n i l i /cm n i li 2 /cm 2 18,9 1 18,9 357,21 19,1 1 19,1 364,81 19,2 2 38,4 737,28 19,3 1 19,3 372,49 19,4 4 77,6 1505,44 19,5 3 58,5 1140,75 19, ,4 3457,44 19, ,6 3104,72 19, ,8 4312,44 19, ,1 3564,09 20, ,0 2000,00 20, ,7 2828,07 20, ,6 3264,32 20, ,7 3708,81 20, ,4 2496,96 20,5 3 61,5 1260,75 20,6 2 41,2 848,72 20,7 2 41,4 856,98 20,8 2 41,6 865,28 20,9 2 41,8 873,62 21,0 4 84,0 1764,00 21,2 1 21,2 449, , ,62 N = n i = 100 Mittelwert? Varianz?

56 Beispiel für eine Stichprobe Stichprobe von 100 Längenmessungen: l i /cm n i n i l i /cm n i li 2 /cm 2 18,9 1 18,9 357,21 19,1 1 19,1 364,81 19,2 2 38,4 737,28 19,3 1 19,3 372,49 19,4 4 77,6 1505,44 19,5 3 58,5 1140,75 19, ,4 3457,44 19, ,6 3104,72 19, ,8 4312,44 19, ,1 3564,09 20, ,0 2000,00 20, ,7 2828,07 20, ,6 3264,32 20, ,7 3708,81 20, ,4 2496,96 20,5 3 61,5 1260,75 20,6 2 41,2 848,72 20,7 2 41,4 856,98 20,8 2 41,6 865,28 20,9 2 41,8 873,62 21,0 4 84,0 1764,00 21,2 1 21,2 449, , ,62 N = n i = 100 l = 1 ni l i = 20,028 cm N ( s 2 1 = ni li 2 1 ( ) ) 2 ni l i N 1 N = 0,2176 cm 2

57 Beispiel für eine Stichprobe Stichprobe von 100 Längenmessungen: l i /cm n i n i l i /cm n i li 2 /cm 2 18,9 1 18,9 357,21 19,1 1 19,1 364,81 19,2 2 38,4 737,28 19,3 1 19,3 372,49 19,4 4 77,6 1505,44 19,5 3 58,5 1140,75 19, ,4 3457,44 19, ,6 3104,72 19, ,8 4312,44 19, ,1 3564,09 20, ,0 2000,00 20, ,7 2828,07 20, ,6 3264,32 20, ,7 3708,81 20, ,4 2496,96 20,5 3 61,5 1260,75 20,6 2 41,2 848,72 20,7 2 41,4 856,98 20,8 2 41,6 865,28 20,9 2 41,8 873,62 21,0 4 84,0 1764,00 21,2 1 21,2 449, , ,62 N = n i = 100 l = 1 ni l i = 20,028 cm N ( s 2 1 = ni li 2 1 ( ) ) 2 ni l i N 1 N = 0,2176 cm 2 s l = l ± N = (20,028 ± 0,047) cm s = s s ± 2(N 1) = (0,466 ± 0,033) cm

58 Beispiel für eine Stichprobe "length.dat" Gauß(µ=20.028,σ=0.466) Gauß(µ=20.0,σ=0.5) 8 Häufigkeit Länge / cm

59 Die Maximum-Likelihood-Methode Stichprobe von n Werten x i. Zugrunde liegende Wahrscheinlichkeitsdichte f (x a) sei bekannt und normiert f (x a) dx = 1. Likelihood-Funktion: L(a) = f (x 1 a) f (x 2 a)... f (x n a) = n f (x i a) Die beste Schätzung für â entspricht dem Maximum der Likelihood-Funktion. Maximum wie üblich durch Ableiten und Nullsetzen: i=1 dl(a) da oder L(a k ) a k für alle k

60 Die Maximum-Likelihood-Methode In der Praxis meist Logarithmus der Likelihood-Funktion l(a) = ln L(a) bzw. negativer Logarithmus: F(a) = l(a) = n ln f (x i a) i=1 Natürlich muss F(a) minimiert werden. negative Log-Likelihood-Funktion

61 Die Maximum-Likelihood-Methode

62 Methode der kleinsten Quadrate Geschichte: Von Legendre, Gauß und Laplace zu Beginn des 19. Jahrhunderts eingeführt. Die Methode der kleinsten Quadrate ist damit älter als die allgemeinere Maximum Likelihood-Methode. In diesem Kapitel werden direkte Messwerte mit der Eigenschaft von Zufallsvariablen (Daten) durchweg mit y i bezeichnet. n-malige Messung einer Größe x liefert also y 1, y 2,..., y n : y i = x + ɛ i ɛ i ist die Abweichung y i x (Messfehler).

63 Methode der kleinsten Quadrate Die gemessenen Werte weichen von dem wahren Wert um einen Betrag ab, der durch die Standardabweichung σ beschrieben wird. Im Sinne der Statistik sind die y i eine Stichprobe, welcher eine Wahrscheinlichkeitsdichte zugrunde liegt. Es soll eine funktionelle Beziehung (Modell) für die wahren Werte vorliegen. Dieses Modell kann von zusätzlichen Variablen a j (Parametern) abhängen. Für diese Parameter gibt es keine direkte Messung. Das Modell wird durch eine oder mehrere Gleichungen der Form f (a 1, a 2,..., a p, y 1, y 2,..., y n ) = 0 beschrieben. Diese Gleichungen heißen Bedingungen.

64 Methode der kleinsten Quadrate Das Modell kann benutzt werden, um Korrekturen y i für die Messwerte y i zu finden, so dass die korrigierten Werte die Bedingungen exakt erfüllen. Das Prinzip der kleinsten Quadrate verlangt, dass die Summe der Quadrate der Residuen y i den kleinstmöglichen Wert annimmt. Im einfachsten Fall unkorrelierter Daten, die alle die gleiche Standardabweichung haben, entspricht das der Forderung: S = n i=1 y 2 i = Minimum Man kann so Werte für die nicht gemessenen Parameter unter allgemeinen Bedingungen ermitteln indirekte Messung

65 Methode der kleinsten Quadrate Die Methode der kleinsten Quadrate hat einige optimale statistische Eigenschaften und führt oft zu einfachen Lösungen. Andere Vorschriften sind denkbar, führen aber im allgemeinen zu komplizierten Lösungen. n y i = Minimum oder max y i = Minimum i=1

66 Methode der kleinsten Quadrate Allgemeiner Fall: Daten werden beschrieben durch n-vektor y. Verschiedene Standardabweichungen und mit Korrelationen, beschrieben durch die Kovarianzmatrix V. Bedingung der kleinsten Quadrate in Matrixform: S = y T V 1 y Hierbei ist y der Residuenvektor.

67 Lineare kleinste Quadrate Beispiel: Im Weinanbau werden die jeweils im Herbst geernteten Erträge in Tonnen je 100 m 2 (t/ar) gemessen. Es ist bekannt, dass der Jahresertrag bereits im Juli ziemlich gut prognostiziert werden kann, und zwar durch die Bestimmung der mittleren Anzahl von Beeren, die je Traube gebildet worden sind. Jahr Ertrag (y i ) Cluster (x i ) ,6 116, ,2 82, ,5 110, ,2 97, ,2 115, ,7 80, ,8 125, ,9 116, ,7 117, ,1 93, ,4 107, ,4 122,30 Ertrag/(t/ar) y Clusterzahl x

68 Lineare kleinste Quadrate Anpassung einer Geraden f (x) = a + b x mit Hilfe von gnuplot: degrees of freedom (FIT_NDF) : 10 rms of residuals (FIT_STDFIT) = sqrt(wssr/ndf) : variance of residuals (reduced chisquare) = WSSR/ndf : Final set of parameters Asymptotic Standard Error ======================= ========================== a = / (76.23%) b = / (14.11%) correlation matrix of the fit parameters: a b a b

69 Bestimmung von Parameterwerten Bestimmung von Parameterwerten a aus Messungen anhand eines linearen Modells. Der Vektor a der Parameter hat p Elemente a 1, a 2,..., a p. Die Messwerte bilden den Vektor y von n Zufallsvariablen mit Elementen y 1, y 2,..., y n. Der Erwartungswert von y ist gegeben als Funktion der Variablen x der Form: y(x) = f (x, a) = a 1 f 1 (x) + a 2 f 2 (x) a p f p (x). Damit ist der Erwartungswert jeder Einzelmessung y i gegeben durch E[y i ] = f (x i, ā) = ȳ i wobei die Elemente von ā die wahren Werte des Parameters a sind.

70 Bestimmung von Parameterwerten Die Residuen r i = y i f (x i, a) haben für a = ā die Eigenschaften E[r i ] = 0 E[r 2 i ] = V [r i ] = σ 2 i. Die einzigen Annahmen hier sind Unverzerrtheit und eine endliche Varianz der Wahrscheinlichkeitsdichte der Residuen. Insbesondere ist es nicht zwingend nötig, dass sie gauß-verteilt ist.

71 Normalgleichungen im Fall gleicher Fehler Alle Daten sollen die gleiche Varianz haben und unkorreliert sein. Nach dem Prinzip der kleinsten Quadrate muss die Summe der Quadrate der Residuen in Bezug auf die Parameter a 1, a 2,..., a p minimiert werden: S = n i=1 r 2 i = n (y i a 1 f 1 (x i ) a 2 f 2 (x i )... a p f p (x i )) 2 i=1 Bedingungen für das Minimum: S n = 2 f 1 (x i ) (a 1 f 1 (x i ) + a 2 f 2 (x i ) a p f p (x i ) y i ) = 0 a 1 i= S n = 2 f p (x i ) (a 1 f 1 (x i ) + a 2 f 2 (x i ) a p f p (x i ) y i ) = 0 a p i=1

72 Normalgleichungen im Fall gleicher Fehler Die Bedingung kann in Form der sogenannten Normalgleichungen geschrieben werden a 1 f1 (x i ) a p f1 (x i )f p (x i ) = a 1 f2 (x i )f 1 (x i ) a p f2 (x i )f p (x i ) = y i f 1 (x i ) y i f 2 (x i )... a 1 fp (x i )f 1 (x i ) a p fp (x i ) 2 = y i f p (x i ) Die Schätzwerte von a 1, a 2,..., a p nach kleinsten Quadraten folgen als die Lösung dieser Normalgleichung.

73 Matrixschreibweise Matrixschreibweise und Matrixalgebra vereinfachen die Formulierung wesentlich. Die n p Werte f j (x i ) werden als Elemente einer n p Matrix aufgefasst. Die p Parameter a j und die n Messwerte y i bilden Spaltenvektoren. A = f 1 (x 1 ) f 2 (x 1 )... f p (x 1 ) f 1 (x 2 ) f 2 (x 2 )... f p (x 2 ) f 1 (x n ) f 2 (x n )... f p (x n ) a = a 1 a 2... a p y = y 1 y y n

74 Matrixschreibweise Der n-vektor der Resudien ist damit Die Summe S ist r = y Aa. S = r T r = (y Aa) T (y Aa) Bedingung für das Minimum = y T y 2a T A T y + a T A T Aa 2A T y + 2A T Aâ = 0 oder in der Matrixform der Normalgleichungen (A T A)â = A T y Die Lösung kann mit Standardverfahren der Matrixalgebra berechnet werden: â = (A T A) 1 A T y

75 Kovarianzmatrix der Parameter Die Kovarianzmatrix ist die quadratische n n-matrix var(y 1 ) cov(y 1, y 2 )... cov(y 1, y n ) V[y] = cov(y 2, y 1 ) var(y 2 )... cov(y 2, y n ) cov(y n, y 1 ) cov(y n, y 2 )... var(y n ) Hier ist die Kovarianzmatrix eine Diagonalmatrix: V[y] = σ σ σ 2

76 Kovarianzmatrix der Parameter Für eine lineare Beziehung â = By gilt die Standardformel der Fehlerfortpflanzung: V[â] = BV[y]B T mit B = (A T A) 1 A T wird daraus V[â] = (A T A) 1 A T V[y]A(A T A) 1 oder für den vorliegenden Fall gleicher Fehler einfach V[â] = σ 2 (A T A) 1

77 Quadratsumme der Residuen Die Summe Ŝ der Quadrate der Residuen im Minimum ist Ŝ = y T y 2â T A T y + â T A T A(A T A) 1 A T y = y T y â T A T y. Der Erwartungswert E[Ŝ] ist E[Ŝ] = σ2 (n p). Ist die Varianz der Messdaten nicht bekannt, so erhält man aus Ŝ den Schätzwert ˆσ 2 = Ŝ/(n p). Dies ist für große Werte von (n p) eine gute Schätzung.

78 Korrektur der Datenwerte Nach Berechnung der Parameter mit linearen kleinsten Quadraten können Werte der Funktion f (x) für beliebige x bestimmt werden durch ŷ(x) = f (x, â) = p â j f j (x). j=1 Speziell für die Werte x i, die zu den Messwerten y i gehören, ergeben sich die korrigierten Datenpunkte zu ŷ = Aâ. Fehlerfortplanzung liefert die Kovarianzmatrix V[ŷ] = AV[a]A T = σ 2 A(A T A) 1 A T

79 Der Fall unterschiedlicher Fehler Wenn die einzelnen Datenpunkte statistisch unabhängig sind, dann ist die Kovarianzmatrix σ V[y] = 0 σ σn 2 Der Ausdruck für die Summe der Residuenquadrate lautet nun: S = i r 2 i σ 2 i = Minimum Man führt die Gewichtsmatrix W(y) ein als inverse Matrix der Kovarianzmatrix 1/σ W(y) = V[y] 1 = 0 1/σ /σn 2

80 Der Fall unterschiedlicher Fehler Die Summe der Quadrate der gewichteten Residuen S = r T W(y)r = (y Aa) T W(y)(y Aa) muss nun bezüglich der Parameter minimiert werden. Es ergibt sich: â = (A T WA) 1 A T Wy V[â] = (A T WA) 1 Die Summe der Residuenquadrate für a = â hat die Form Ŝ = y T Wy â T A T Wy und den Erwartungswert E[Ŝ] = n p. Die Kovarianzmatrix der korrigierten Datenpunkte ist V[ŷ] = A(A T WA) 1 A T

81 Kleinste Quadrate in der Praxis: Geradenanpassung Geradenanpassung mit der Funktion y = f (x, a) = a 1 + a 2 x. Messwerte y i liegen an den genau bekannten Punkten x i vor. A = a = ( a1 a 2 1 x 1 1 x 2 1 x x n ) y = V = y 1 y 2 y 3... y n σ σ σ σ 2 n W = V 1 w ii = 1 σ 2 i

82 Kleinste Quadrate in der Praxis: Geradenanpassung Lösung: ( ) ( A T wi wi x WA = i S1 S wi x i wi xi 2 = x S x S xx ( ) ( ) A T wi y Wy = i Sy = wi x i y i ( S1 S x S x S xx ) ( a1 a 2 ) = S xy ( Sy S xy ) ) ( S1 S x S x S xx â = (A T WA) 1 A T Wy V[â] = (A T WA) 1 ) 1 = 1 ( Sxx S x D S x S 1 ) mit D = S 1 S xx S 2 x

83 Kleinste Quadrate in der Praxis: Geradenanpassung Die Lösung ist â 1 = (S xx S y S x S xy )/D â 2 = ( S x S y S 1 S xy )/D und die Kovarianzmatrix ist V[â] = 1 ( Sxx S x D S x S 1 ). Weiterhin ist die Summe der Residuenquadrate Ŝ = S yy â 1 S y â 2 S xy Für einen Wert ŷ = â 1 + â 2 x, berechnet an der Stelle x, ist die Standardabweichung die Wurzel aus der Varianz: V [ŷ] = V [â 1 ] + x 2 V [â 2 ] + 2xV [â 1, â 2 ] = (S xx 2xS x + x 2 S 1 )/D

84 Zusammenfassung In der klassischen Statistik werden Fehlerangaben in Form von Konfidenzbereiche gemacht. Vorsicht bei Zählexperimenten mit kleinen Raten: Poisson- statt Gauß-Verteilung (Schiefe, Erwartungstreue) Vorsicht bei Nicht-Gauß-Verteilung - insbesondere bei verzerrten (schiefen) Verteilungen. Statt dem kleinste Quadrate Verfahren sollte dann etwa das Maximum-Likelihood Verfahren Anwendung finden. Der Matrixformulismus für das kleinste Quadrate Verfahren ist ein sehr mächtiges Werkzeug. Effizenteste Parameterschätzung für lineare Modelle, beinhaltet Fehlerfortpflanzung, geeignet als Optimierungsverfahren auch für nicht-lineare Probleme.

85 Charakteristische Funktion Ist x eine reelle Zufallsvariable mit der Verteilungsfunktion F(x) und der Wahrscheinlichkeitsdichte f (x), so bezeichnet man als ihre charakteristische Funktion den Erwartungswert der Größe exp(ıtx): ϕ(t) = E[exp(ıtx)] also im Fall einer kontinuierlichen Variablen ein Fourier-Integral mit seinen bekannten Transformationseigenschaften: ϕ(t) = exp(ıtx) f (x)dx Insbesondere gilt für die zentralen Momente: λ n = E[x n ] = ϕ (n) (t) = d n ϕ(t) dt n = ϕ (n) (0) = ı n λ n x n f (x)dx x n exp(ıtx) f (x)dx

86 χ 2 -Verteilung Falls x 1, x 2,..., x n unabhängige Zufallsvariable sind, die alle einer Gauß-Wahrscheinlichkeitsdichte folgen mit Mittelwert 0 und Varianz 1, so folgt die Summe u = χ 2 = n i=1 x 2 i einer χ 2 -Verteilung f n (u) = f n (χ 2 ) mit n Freiheitsgraden. Die Wahrscheinlichkeitsdichte ist: ( 1 u ) n/ e u/2 f n (u) = Γ(n/2) Die Wahrscheinlichkeitsdichte f n (u) hat ein Maximum bei (n 2). Der Mittelwert ist n und die Varianz 2n.

87 χ 2 -Verteilung Γ(n) = (n 1)! Γ( 1 2 ) = π Γ(x + 1) = x Γ(x)

88 χ 2 -Verteilung

89 χ 2 -Verteilung Die Größe Q(χ 2 n) = 1 P(χ 2 n) = 1 F(χ 2 ) = 1 χ 2 0 f n (ν)dν gegen χ 2 für n Freiheitsgrade

90 χ 2 -Verteilung Die Größe Q(χ 2 n) = 1 P(χ 2 n) = 1 F(χ 2 ) = 1 χ 2 0 f n (ν)dν gegen χ 2 für n Freiheitsgrade

91 t-verteilung Die t-verteilung tritt auf bei Tests der statistischen Verträglichkeit eines Stichproben-Mittelwertes x mit einem vorgegebenen Mittelwert µ, oder der statistischen Verträglichkeit zweier Stichproben-Mittelwerte. Die Wahrscheinlichkeitsdichte der t-verteilung ist gegeben durch f n (t) = 1 ( ) (n+1)/2 Γ((n + 1)/2) 1 + t2 nπ Γ(n/2) n

92 t-verteilung Die Studentschen t-verteilungen f (t) (links) im Vergleich zur standardisierten Gauß-Verteilung (gestrichelt) sowie die integrierten Studentschen t-verteilungen t f (x)dx (rechts).

93 t-verteilung Quantile der t-verteilung, P = t f n(x)dx.

94 F -Verteilung Gegeben sind n 1 Stichprobenwerte einer Zufallsvariablen x und n 2 Stichprobenwerte derselben Zufallsvariablen. Die beste Schätzung der Varianzen aus beiden Datenkollektionen seien s1 2 und s2 2. Die Zufallszahl F = s2 1 s 2 2 folgt dann einer F-Verteilung mit (n 1, n 2 ) Freiheitsgraden. Es ist Konvention, dass F immer größer als eins ist. Die Wahrscheinlichkeitsdichte von F ist gegeben durch f (F) = ( n1 n 2 ) n1 /2 ( Γ((n 1 + n 2 )/2) Γ(n 1 /2)Γ(n 2 /2) F (n 1 2)/2 1 + n ) (n1 +n 2 )/2 1 F n 2

95 Quantile der F-Verteilung, Konfidenz = 0,68

96 Quantile der F-Verteilung, Konfidenz = 0,90

97 Quantile der F-Verteilung, Konfidenz = 0,95

98 Quantile der F-Verteilung, Konfidenz = 0,99