Statistische Methoden

Transkript

1 Modeling of Data / Maximum Likelyhood methods Institut für Experimentelle und Angewandte Physik Christian-Albrechts-Universität zu Kiel

2 Datenmodellierung Messung vs Modell Optimierungsproblem: Modell(Parameter) Suche: best-fit parameter dazu: geeignete merit Funktion minimieren, d.h. die merit Funktion soll klein werden, wenn Modell und Messung kleine Abweichung haben d.h. Messung der merit Funktion ist nötig Problem: Merit-Funktion muss nicht unimodal sein, kann mehr als ein Minimum haben Suche: Globales Minimum, nicht lokales

3 Datenmodellierung Messung vs Modell Optimierungsproblem: Modell(Parameter) Suche: best-fit parameter dazu: geeignete merit Funktion minimieren, d.h. die merit Funktion soll klein werden, wenn Modell und Messung kleine Abweichung haben d.h. Messung der merit Funktion ist nötig Problem: Merit-Funktion muss nicht unimodal sein, kann mehr als ein Minimum haben Suche: Globales Minimum, nicht lokales

4 Datenmodellierung Messung vs Modell Optimierungsproblem: Modell(Parameter) Suche: best-fit parameter dazu: geeignete merit Funktion minimieren, d.h. die merit Funktion soll klein werden, wenn Modell und Messung kleine Abweichung haben d.h. Messung der merit Funktion ist nötig Problem: Merit-Funktion muss nicht unimodal sein, kann mehr als ein Minimum haben Suche: Globales Minimum, nicht lokales

5 Datenmodellierung Messung vs Modell Optimierungsproblem: Modell(Parameter) Suche: best-fit parameter dazu: geeignete merit Funktion minimieren, d.h. die merit Funktion soll klein werden, wenn Modell und Messung kleine Abweichung haben d.h. Messung der merit Funktion ist nötig Problem: Merit-Funktion muss nicht unimodal sein, kann mehr als ein Minimum haben Suche: Globales Minimum, nicht lokales

6 Datenmodellierung Messung vs Modell Optimierungsproblem: Modell(Parameter) Suche: best-fit parameter dazu: geeignete merit Funktion minimieren, d.h. die merit Funktion soll klein werden, wenn Modell und Messung kleine Abweichung haben d.h. Messung der merit Funktion ist nötig Problem: Merit-Funktion muss nicht unimodal sein, kann mehr als ein Minimum haben Suche: Globales Minimum, nicht lokales

7 Datenmodellierung Messung vs Modell Optimierungsproblem: Modell(Parameter) Suche: best-fit parameter dazu: geeignete merit Funktion minimieren, d.h. die merit Funktion soll klein werden, wenn Modell und Messung kleine Abweichung haben d.h. Messung der merit Funktion ist nötig Problem: Merit-Funktion muss nicht unimodal sein, kann mehr als ein Minimum haben Suche: Globales Minimum, nicht lokales

8 Anforderungen an Fit Prozeduren Liefert wahrscheinlichste Parameter Liefert Schätzwert für Fehler der Parameter Liefert Maß für die statistische Qualität des Fits Daten sehen gut aus (chi-by-eye) reicht nicht.

9 Anforderungen an Fit Prozeduren Liefert wahrscheinlichste Parameter Liefert Schätzwert für Fehler der Parameter Liefert Maß für die statistische Qualität des Fits Daten sehen gut aus (chi-by-eye) reicht nicht.

10 Anforderungen an Fit Prozeduren Liefert wahrscheinlichste Parameter Liefert Schätzwert für Fehler der Parameter Liefert Maß für die statistische Qualität des Fits Daten sehen gut aus (chi-by-eye) reicht nicht.

11 Anforderungen an Fit Prozeduren Liefert wahrscheinlichste Parameter Liefert Schätzwert für Fehler der Parameter Liefert Maß für die statistische Qualität des Fits Daten sehen gut aus (chi-by-eye) reicht nicht.

12 Least Squares Problem: N Messungen (x i, y i ) Modell: M Parameter (a i ) i = 1,..., N i = 1,..., M Zusammenhang zwischen Modell und Parametern: y(x) = y(x; a 1... a M ) Methode der kleinsten Quadrate: minimiere a 1,..., a M : [y i y (x i ; a 1... a M )] 2 Warum?

13 Least Squares Problem: N Messungen (x i, y i ) Modell: M Parameter (a i ) i = 1,..., N i = 1,..., M Zusammenhang zwischen Modell und Parametern: y(x) = y(x; a 1... a M ) Methode der kleinsten Quadrate: minimiere a 1,..., a M : [y i y (x i ; a 1... a M )] 2 Warum?

14 Least Squares Problem: N Messungen (x i, y i ) Modell: M Parameter (a i ) i = 1,..., N i = 1,..., M Zusammenhang zwischen Modell und Parametern: y(x) = y(x; a 1... a M ) Methode der kleinsten Quadrate: minimiere a 1,..., a M : [y i y (x i ; a 1... a M )] 2 Warum?

15 Least Squares Problem: N Messungen (x i, y i ) Modell: M Parameter (a i ) i = 1,..., N i = 1,..., M Zusammenhang zwischen Modell und Parametern: y(x) = y(x; a 1... a M ) Methode der kleinsten Quadrate: minimiere a 1,..., a M : [y i y (x i ; a 1... a M )] 2 Warum?

16 Least Squares Problem: N Messungen (x i, y i ) Modell: M Parameter (a i ) i = 1,..., N i = 1,..., M Zusammenhang zwischen Modell und Parametern: y(x) = y(x; a 1... a M ) Methode der kleinsten Quadrate: minimiere a 1,..., a M : [y i y (x i ; a 1... a M )] 2 Warum?

17 Maximum likelyhood Schätzung Bestimmte Parameter passen besser, wieviel besser? Wahrscheinlichkeit dass Parameter korrekt? Meßfehler! Wahrscheinlichkeit, daß bei Parametern Meßwerte auftreten können Meßfehler berücksichtigen! P = ( [ N exp 1 ( ) ] ) yi y (x i ) 2 y 2 σ Wahrscheinlichkeit maximieren Logarithmus maximieren oder: Logarithmus minimieren

18 Maximum likelyhood Schätzung Bestimmte Parameter passen besser, wieviel besser? Wahrscheinlichkeit dass Parameter korrekt? Meßfehler! Wahrscheinlichkeit, daß bei Parametern Meßwerte auftreten können Meßfehler berücksichtigen! P = ( [ N exp 1 ( ) ] ) yi y (x i ) 2 y 2 σ Wahrscheinlichkeit maximieren Logarithmus maximieren oder: Logarithmus minimieren

19 Maximum likelyhood Schätzung Bestimmte Parameter passen besser, wieviel besser? Wahrscheinlichkeit dass Parameter korrekt? Meßfehler! Wahrscheinlichkeit, daß bei Parametern Meßwerte auftreten können Meßfehler berücksichtigen! P = ( [ N exp 1 ( ) ] ) yi y (x i ) 2 y 2 σ Wahrscheinlichkeit maximieren Logarithmus maximieren oder: Logarithmus minimieren

20 Maximum likelyhood Schätzung Bestimmte Parameter passen besser, wieviel besser? Wahrscheinlichkeit dass Parameter korrekt? Meßfehler! Wahrscheinlichkeit, daß bei Parametern Meßwerte auftreten können Meßfehler berücksichtigen! P = ( [ N exp 1 ( ) ] ) yi y (x i ) 2 y 2 σ Wahrscheinlichkeit maximieren Logarithmus maximieren oder: Logarithmus minimieren

21 Minimiere: [ N ] [y i y (x i )] 2 2σ 2 N log y N, σ, und y sind konstant, also: minimiere a 1,..., a M : [y i y (x i ; a 1... a M )] 2 Least squares ist eine maximum likelyhood Methode, wenn Fehler unabhängig und gleichverteilt sind

22 Minimiere: [ N ] [y i y (x i )] 2 2σ 2 N log y N, σ, und y sind konstant, also: minimiere a 1,..., a M : [y i y (x i ; a 1... a M )] 2 Least squares ist eine maximum likelyhood Methode, wenn Fehler unabhängig und gleichverteilt sind

23 Minimiere: [ N ] [y i y (x i )] 2 2σ 2 N log y N, σ, und y sind konstant, also: minimiere a 1,..., a M : [y i y (x i ; a 1... a M )] 2 Least squares ist eine maximum likelyhood Methode, wenn Fehler unabhängig und gleichverteilt sind

24 chi-square fit / weighted least-squares fitting Gaußverteilte Daten: 68% der Messungen innerhalb 1σ vom wahren Wert 95% der Messungen innerhalb 2σ vom wahren Wert 99.7% der Messungen innerhalb 3σ vom wahren Wert 20σ: ein Meßwertvon Zählen von Ergeignissen: Poissonstatistik konvergiert für viele Ereignissen gegen Gauß Aussreisser nach Gauß viel unwahrscheinlicher als nach Poisson χ 2 = ( yi y (x i ; a 1... a M ) σ i ) 2

25 chi-square fit / weighted least-squares fitting Gaußverteilte Daten: 68% der Messungen innerhalb 1σ vom wahren Wert 95% der Messungen innerhalb 2σ vom wahren Wert 99.7% der Messungen innerhalb 3σ vom wahren Wert 20σ: ein Meßwertvon Zählen von Ergeignissen: Poissonstatistik konvergiert für viele Ereignissen gegen Gauß Aussreisser nach Gauß viel unwahrscheinlicher als nach Poisson χ 2 = ( yi y (x i ; a 1... a M ) σ i ) 2

26 Lineare Regression Anpassen von N Messwerten (x i, y i ) an eine Gerade: Chi-square als merit Funktion y(x) = y(x; a, b) = a + bx χ 2 (a, b) = ( yi a bx i σ i ) 2 Bei normalverteilten Messfehlern liefert diese merit Funktion die maximum likelyhood Parameter Schätzer für a und b.

27 Lineare Regression Chi-square minimieren: Abkürzungen: 0 = χ2 a = 2 N 0 = χ2 b = 2 N y i a bx i σ 2 i x i (y i a bx i ) σ 2 i S = 1 σ 2 i S x = x i σ 2 i S y = y i σ 2 i S xx = x 2 i σ 2 i S xy = x i y i σ 2 i

28 Lineare Regression Chi-square minimieren: Abkürzungen: 0 = χ2 a = 2 N 0 = χ2 b = 2 N y i a bx i σ 2 i x i (y i a bx i ) σ 2 i S = 1 σ 2 i S x = x i σ 2 i S y = y i σ 2 i S xx = x 2 i σ 2 i S xy = x i y i σ 2 i

29 Lineare Regression as + bs x = S y as x + bs xx = S xy Best fit Paramter: = SS xx (S x ) 2 a = S xxs y S x S xy b = SS xy S x S y

30 Güte des Fits / Fehlerfortpflanzung hier: σ 2 f = σ 2 i ( f y i ) 2 a y i = S xx S x x i σ 2 i a y i = S x i S x σ 2 i Summe über Datenpunkte (Fehler der Schätzwerte): σ 2 a = S xx / σ 2 b = S/

31 Fehler in a und b Fehler in a und b sind nicht mehr unabhängig: Cov(a, b) = S x / Pearsscher Korrelations Koeffizient: r ab = S x SSxx r ab > 0: Fehler von a und b haben das gleiche Vorzeichen r ab < 0: Fehler von a und b sind anti-korreliert

32 Rundungsfehler vermeiden t i = 1 ( x i S ) x, i = 1, 2,..., N σ i S S tt = t 2 i b = 1 S tt N t i y i σ i a = S y SXb S

33 Rundungsfehler vermeiden σ 2 a = 1 S ( ) 1 + S2 x SS tt σ 2 b = 1 S tt Cov(a, b) = S x r ab = SS tt Cov(a, b) σ a σ b

34 R β = (xi x)(y i ȳ) (xi x) 2 α = ȳ β x (xi x)(y i ȳ) r = (xi x) 2 (y i ȳ) 2