Anpassungsrechnungen mit kleinsten Quadraten und Maximum Likelihood

Transkript

1 Anpassungsrechnungen mit kleinsten Quadraten und Maximum Likelihood KARLSRUHER INSTITUT FÜR TECHNOLOGIE (KIT) 0 KIT Universität des Fabian Landes Hoffmann Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft

2 Gliederung Einleitung Grundlagen Wahrscheinlichkeit Eigenschaften von Schätzern Maximum-Likelihood-Methode Prinzip Beispiel Fehlerberechnung Eigenschaften Methode der kleinsten Quadrate Prinzip Zusammenhang mit Maximum-Likelihood Lineare Kleinste Quadrate und Fehlerfortpflanzung X 2 -Test Eigenschaften Zusammenfassung Fabian Hoffmann

3 Das Problem Fabian Hoffmann Man hat viele Daten Die Theorie hat wenige Parameter Parameter müssen so angepasst werden, dass sie gut zu den Daten passen

4 Die Lösung Anpassungsrechnung (auch Parameterschätzung, Parameteranpassung, Ausgleichungsrechnung, Fitting) mit Maximum-Likelihood-Methode Methode der kleinsten Quadrate Fabian Hoffmann

5 Wahrscheinlichkeitsverteilung Eine Wahrscheinlichkeitsverteilung kann diskret (Bsp. Würfel, Spin) oder kontinuierlich sein Fabian Hoffmann

6 Wahrscheinlichkeitsverteilung kontinuierliche Wahrscheinlichkeit Definition Wahrscheilichkeitsdichtefunktion (probability density function, pdf) P (a < x < b) = mit b a f (x) dx = 1 f (x) dx Fabian Hoffmann

7 Erwartungswert und Varianz Definition Erwartungswert einer Funktion h(x): E[h (x)] = h (x) f (x) dx Fabian Hoffmann

8 Erwartungswert und Varianz Definition Erwartungswert einer Funktion h(x): E[h (x)] = h (x) f (x) dx Definition Mittelwert=Erwartungswert von x x = E[x] = xf (x) dx Fabian Hoffmann

9 Erwartungswert und Varianz Definition Varianz von x: V [x] = E[(x x ) 2 ] = E[x 2 ] E[x] Fabian Hoffmann

10 Erwartungswert und Varianz Definition Varianz von x: V [x] = E[(x x ) 2 ] = E[x 2 ] E[x] 2 Definition Kovarianz von x und y: cov[x, y] = E[(x x )(y y )] = E[x y] E[x]E[y] Fabian Hoffmann

11 Erwartungswert und Varianz Definition Kovarianzmatrix: V[x] = E[(x x )(x x ) T ] cov(x 1, x 1 ) cov(x 1, x 2 )... cov(x 1, x n ) cov(x 2, x 1 ) cov(x 2, x 2 )... cov(x 2, x n ) V =... cov(x n, x 1 ) cov(x n, x 2 )... cov(x n, x n ) Fabian Hoffmann

12 Zentraler Grenzwertsatz S sei die Summe aus N unabhängigen Zufallsvariablen mit Mittelwert a i und Varianz V i. Dann gilt: E[S] = N i=1 a i V [S] = N i=1 V i Für N ist die pdf von S eine Normalverteilung Fabian Hoffmann

13 Eigenschaften von Schätzern Ein Schätzer sollte folgende Eigenschaften haben: Konsistenz Erwartungstreue Effizienz Robustheit Effizienz und Robustheit stehen oft in Widerspruch zueinander. Benötigte Rechenleistung sollte gering sein Fabian Hoffmann

14 Eigenschaften von Schätzern Ein Schätzer sollte folgende Eigenschaften haben: Konsistenz: lim â = a 0 N Erwartungstreue Effizienz Robustheit Effizienz und Robustheit stehen oft in Widerspruch zueinander. Benötigte Rechenleistung sollte gering sein Fabian Hoffmann

15 Eigenschaften von Schätzern Ein Schätzer sollte folgende Eigenschaften haben: Konsistenz: lim â = a 0 N Erwartungstreue: E[â] = a 0 Effizienz Robustheit Effizienz und Robustheit stehen oft in Widerspruch zueinander. Benötigte Rechenleistung sollte gering sein Fabian Hoffmann

16 Eigenschaften von Schätzern Ein Schätzer sollte folgende Eigenschaften haben: Konsistenz: lim â = a 0 N Erwartungstreue: E[â] = a 0 Effizienz: V [â] sollte minimal sein Robustheit Effizienz und Robustheit stehen oft in Widerspruch zueinander. Benötigte Rechenleistung sollte gering sein Fabian Hoffmann

17 Eigenschaften von Schätzern Ein Schätzer sollte folgende Eigenschaften haben: Konsistenz: lim â = a 0 N Erwartungstreue: E[â] = a 0 Effizienz: V [â] sollte minimal sein Robustheit: Kein Einfluss von falschen Daten/Voraussetzungen Effizienz und Robustheit stehen oft in Widerspruch zueinander. Benötigte Rechenleistung sollte gering sein Fabian Hoffmann

18 Maximum-Likelihood-Methode Definition Likelihood-Funktion L (a) = f (x i, a) i beschreibt die Wahrscheinlichkeit die Messwerte {x i } zu erhalten. Maximum-Likelihood-Methode: Maximierung der Likelihood-Funktion Praktisch meist Minimierung der negative Log-Likelihood-Funktion: F (a) = ln L (a) = ln f (x i, a) i Fabian Hoffmann

19 Maximum-Likelihood-Methode Fabian Hoffmann

20 Maximum-Likelihood-Methode Fabian Hoffmann

21 Einfaches Beispiel Lebensdauer f (t, γ) = γe γt mit γ = 1 τ F (γ) = N ln (γ) + N i=1 γt i d dγ F (γ) = N N γ +! t i = 0 i=1 ˆτ = 1ˆγ N = t i N i= Fabian Hoffmann

22 Einfaches Beispiel Lebensdauer Angenommen es kann nur im Zeitintervall 0 < t < t max gemessen werden. F (γ) = N ˆτ = γe γt f (t, γ) = 1 e γt max [ ( ) ] ln 1 e γt max ln (γ). N t i N + t max exp( t max / ˆτ) 1 exp( t i=1 max / ˆτ) Dies ist nur numerisch auswertbar. + N i=1 γt i Fabian Hoffmann

23 Fehlerberechnung Parabolischer Fall Bei großen Proben ist die Fehlerzuordnung einfach: Nach dem Zentralen Grenzwertsatz geht die Likelihood-Funktion gegen eine Gauß-Funktion, bei großen Stichproben. Entwicklung: F (a) = F (â) d2 F (â a) 2 + O(a 3 ) da 2 Vergleich mit Gauß: ln(gauß) = const F (â ± r σ) = F (â) + r 2 2 (â a) 2 σ Fabian Hoffmann

24 Fehlerberechnung Allgemeiner Fall Es können asymmetrische Konfidenzgrenzen definiert werden: F (â + r σ + ) = F (â) + r 2 2 F (â r σ ) = F (â) + r Fabian Hoffmann

25 Eigenschaften der Maximum-Likelihood-Methode Schätzer ist invariant unter Parameter-Transformation: ĝ(a) = g(â) Normalerweise konsistent Nicht immer erwartungstreu Erwartungstreu für N Effizienteste Methode Nicht robust, da Wahrscheinlichkeitsdichte exakt bekannt sein muss Kann hohe Rechenleistung erfordern Fabian Hoffmann

26 Methode der kleinsten Quadrate Definition S = N (y i a i ) 2 i=1 σi 2 = N yi 2 i=1 σi 2 N Messwerte y i mit Varianz σi 2 a i aus Theorie y i heißen Residuen Methode der kleinsten Quadrate: Minimiere S y 1 y 2 Allgemeiner Fall mit Kovarianzmatrix V und y =. y N S = y T V 1 y Fabian Hoffmann

27 Methode der kleinsten Quadrate Fabian Hoffmann

28 Methode der kleinsten Quadrate Fabian Hoffmann

29 Zusammenhang von Maximum-Likelihood und Kleinste Quadrate negative log-likelihood für gaußsche Wahrscheinlichkeitsdichte. ( ) 1 F (a) = ln i σ 2π e 1 (x i a) 2 2 σ 2 = const i (x i a) 2 σ 2 = const S(a) Fabian Hoffmann

30 Lineare Kleinste Quadrate Lineare Theorie t(x a) = a i t i (x) i Zur Vereinfachung gleiche Varianzen S = 1 σ 2 (y i t(x i )) 2 i S a j = 2 σ 2 t j (x i )(y i t(x i )) =! 0 i Normalengleichung: i t j (x i ) k â k t k (x i ) = y i t j (x i ) i Fabian Hoffmann

31 Lineare Kleinste Quadrate Matrixschreibweise t 1 (x 1 ) t 2 (x 1 )... t p (x 1 ) t 1 (x 2 ) t 2 (x 2 )... t p (x 2 ) A =.. t 1 (x n ) t 2 (x n )... t p (x n ) a 1 a 2 a =. a p y 1 y 2 y =. Normalengleichung: (A T A)â = A T y â = (A T A) 1 A T y y n Fabian Hoffmann

32 Allgemeine Lösung mit Gewichtsmatrix W = V 1 : Fehlerfortpflanzung: â = (A T WA) 1 A T Wy = By V a = ByB T V a = (A T WA) 1 A T WV ( ) T (A T WA) 1 A T W V a = (A T WA) 1 A T WA(A T WA) 1 V a = (A T WA) Fabian Hoffmann

33 X 2 -Test Xk 2 -Verteilung gibt die Wahrscheinlichkeitsdichte für die Summe der Quadrate von k standard-normalverteilten Zufallsvariablen (k Freiheitsgrade) an. Für gaußsche Fehler folgt S einer X 2 Verteilung mit n p Freiheitsgraden. Wahrscheinlichkeit den Wert S oder größeren zu bekommen: S = f (X 2 )dx 2 Wenn diese Wahrscheinlichkeit zu klein ist (z.b 1%), dann wird die Theorie verworfen Fabian Hoffmann

34 Eigenschaften von linearen Kleinsten Quadraten Es gibt analytische Lösung Konsistent und erwartungstreu, wenn Daten unverzerrt sind Effizienteste lineare erwartungsteue Methode Nicht Robust, wegen Außreißern in den Daten Benötigte Rechenleistung eher gering Bei gaußschen Fehlern Fit-Qualität mit X Fabian Hoffmann

35 Eigenschaften von linearen Kleinsten Quadraten Es gibt analytische Lösung Konsistent und erwartungstreu, wenn Daten unverzerrt sind Effizienteste lineare erwartungsteue Methode Nicht Robust, wegen Außreißern in den Daten Benötigte Rechenleistung eher gering Bei gaußschen Fehlern Fit-Qualität mit X Fabian Hoffmann

36 Zusammenfassung Maximum-Likelihood Kleinste Quadrate Voraussetzung pdf exakt bekannt Mittelwerte und Varianzen Konsistent Ja Ja Erwartungstreu Nur asymptotisch Im linearen Fall Effizient maximal maximal Robust Nein (pdf muss exakt bekannt sein) Nein (Ausreißer) Rechenaufwand kann sehr hoch werden im linearen Fall gering Fit-Qualität nein bei gaußschen Fehlern Gleich bei gaußschen Fehlern Fabian Hoffmann

37 Literatur Volker Blobel, Erich Lohrmann: Statistische und numerische Methoden der Datenanalyse Gerhard Bohm, Günter Zech: Einführung in Statistik und Messwertanalyse für Physiker Roger Barlow: Statistics: A Guide to the Use of Statistical Methods in the Physical Sciences Fabian Hoffmann