Numerische Methoden und Algorithmen in der Physik

Numerische Methoden und Algorithmen in der Physik Hartmut Stadie, Christian Autermann 15.01.2009 Numerische Methoden und Algorithmen in der Physik Christian Autermann 1/ 47

Methode der kleinsten Quadrate Likelihood Methode χ 2 -Wahrscheinlichkeitsverteilung χ 2 -Test Numerische Methoden und Algorithmen in der Physik Christian Autermann 2/ 47

Übersicht Methode der kleinsten Quadrate Literaturliste Methode der kleinsten Quadrate Beispiel Varianz Likelihood Methode χ 2 -Wahrscheinlichkeitsverteilung χ 2 -Test Numerische Methoden und Algorithmen in der Physik Christian Autermann 3/ 47

Informationen Material: Stroustrup: The C++ Programming Language, 3rd edition http://www.mathematik.uni-marburg.de/ cpp/ B. Stroustrup: C++ In-depth Series A. Koenig, B. E. Moo: Accelerated C++ Press et al: Numerical Recipes, 3rd edition T. H. Cormen et al: Introductions to Algorithms, 2nd edition V. Blobel, E. Lohrmann: Statistische und numerische Methoden der Datenanalyse http://wwwiexp.desy.de/studium/lehre/numalg/ Numerische Methoden und Algorithmen in der Physik Christian Autermann 4/ 47

Parameteranpassung Übersicht In der Physik muss oft eine Theorie die durch einen Satz von Parametern beschrieben werden kann, an eine Menge von Messwerten angepasst werden. Im Physikerjargon nennt man dies Fit. In dieser Vorlesung sollen Fit-Methoden und ihre Eigenschaften eingeführt werden. Danke an C. Sander für Vorlesungsmaterial! Numerische Methoden und Algorithmen in der Physik Christian Autermann 5/ 47

Problemstellung Methode der kleinsten Quadrate Gegeben seien N + 1 Messpunkte (x 0, y 0 )... (x N, y N ) Diese Messpunkte sollen einer Funktion y = f (x) gehorchen, wobei die Funktion (also das Modell ) durch m + 1 Parameter a 0... a M beschrieben ist. Beispiel: y = a 0 x Numerische Methoden und Algorithmen in der Physik Christian Autermann 6/ 47

Parameteranpassung Das Problem kann mit unterschiedlichen Voraussetzungen auftreten: Die gesuchte Funktion hängt linear oder nicht-linear von den freien Parametern des Modells ab Die gesuchte Funktion lässt sich als Polynom m-ter Ordnung schreiben Die y-werte (und x-werte) der Messpunkte sind mit unterschiedlich großen Fehlern behaftet oder besitzen ein unterschiedlich großes Gewicht. Numerische Methoden und Algorithmen in der Physik Christian Autermann 7/ 47

Parameteranpassung Lineare Abhängigkeit von Parametern: f (x) = a 0 f 0 (x) + a 1 f 1 (x) +... + a m f m (x) (1) Spezialfall: f (x) lässt sich durch Polynomzerlegung darstellen f 0 (x) = 1 f 1 (x) = x f 2 (x) = x 2. f m (x) = x m Parameteranpassung Bestimmung der Koeffizienten a i durch die Methode der kleinsten Quadrate Numerische Methoden und Algorithmen in der Physik Christian Autermann 8/ 47

Methode der kleinsten Quadrate (χ 2 -Fit) Ansatz: Die optimalen Parameter a i sind solche, für welche die Summe der quadratischen Abweichung zu den Messwerten y i minimal ist: Q = NX (f (x i ) y i ) 2 = i=0 NX i=0 r 2 i (2) Bei linearer Abhängigkeit gilt mit Gleichung (1): Q = NX i=0! 2 mx a k f k (x i ) y i (3) k=0 Im Minimum von Q verschwinden die partiellen Ableitungen nach den freien Parametern: Q = 0 (4) a i â Minimierungsproblem! Numerische Methoden und Algorithmen in der Physik Christian Autermann 9/ 47

Methode der kleinsten Quadrate (χ 2 -Fit) Q a i = 2 N j=0 (f (x j ) y j ) f (x j) a i = 0 (5) In der expliziten Darstellung von f (x) nach Gl. (1): f (x j ) f i (x j ) (6) a i ( Q N m ) = 2 a k f k (x j ) y j f i (x j ) = 0 (7) a i j=0 k=0 wobei j = 0..m. Diese insgesamt m + 1 Gleichungen können als Matrixgleichung geschrieben werden. Numerische Methoden und Algorithmen in der Physik Christian Autermann 10/ 47

Methode der kleinsten Quadrate (χ 2 -Fit) Normalengleichung 0 B @ Pi f 0(x i ) 2 P i f 0(x i ) f 1 (x i )... P i f P 1(x i ) f 0 (x i ) i f 1(x i ) 2..... P i fm(x i ) f 0 (x i ) P i fm(x i ) f 1 (x i )... P i f 0(x i ) f m(x i ) P i f 1(x i ) f m(x i )...... Pi fm(x i ) 2 1 0 a 0 a 1 C B A @. a m 1 0 C A = B @ P i f 0(x i ) y i P i f 1(x i ) y i P. i fm(x i ) y i 1 C A Diese Normalengleichung der Form C a = b kann durch Invertierung der Matrix C gelöst werden: a = C 1 b (8) Numerische Methoden und Algorithmen in der Physik Christian Autermann 11/ 47

Methode der kleinsten Quadrate (χ 2 -Fit) Spezialfall: Fit mit Polynomdarstellung Es sei f (x) = P m (x) = a 0 + a 1 x 1 + a 2 x 2 +... + a m x m also f k (x) = x k für k = 0... m. Damit nimmt die Matrixgleichung folgende Form an: 0 B @ Pi (x0 i )2 Pi (x0 i xi 1 )... P i (x0 i xi m ) Pi (x1 i xi 0 ) P P i (x1 i )2... i (x1 i xi m )........ Pi (xm i xi 0 ) Pi (xm i xi 1 )... Pi (xm i ) 2 1 0 a 0 a 1 C B A @. a m 1 0 C A = B @ P P i x0 i y i i x1 i y i. P i xm i y i 1 C A Durch Kürzen lässt sich diese Gleichung noch weiter vereinfachen. Numerische Methoden und Algorithmen in der Physik Christian Autermann 12/ 47

Fehlerbehaftete Messpunkte Seien jetzt die einzelnen y i statistisch unabhängige Daten mit dem jeweiligen Fehler σ i : Die Beiträge in der Summe der kleinsten Quadrate müssen jetzt entsprechend der Fehler gewichtet werden, also Q = N (f (x i ) y i ) 2 Q = i=0 N (f (x i ) y i ) 2 σ 2 (9) i=0 Numerische Methoden und Algorithmen in der Physik Christian Autermann 13/ 47

Beispiel für eine Messung mit 11 Messpunkten Alle Datenpunkte haben individuelle Fehler Numerische Methoden und Algorithmen in der Physik Christian Autermann 14/ 47

Beispiel für eine Messung mit 11 Messpunkten Fit für m = 0 Numerische Methoden und Algorithmen in der Physik Christian Autermann 15/ 47

Beispiel für eine Messung mit 11 Messpunkten Fit für m = 10 (identisch mit Interpolationspolynom) Numerische Methoden und Algorithmen in der Physik Christian Autermann 25/ 47

Varianz der Parameter Bestimmung der Varianzen σ k der Parameter a k durch Fehlerfortpflanzung σ 2 k = NX ak i=0 y i «2 σ 2 i (10) Aus der Bestimmungsgleichung des Lösungsvektors a = C 1 b und der Definition von C und b lässt sich zeigen, dass Die Matrix C 1 wird auch Kovarianzmatrix genannt. Allgemein gilt: σ 2 k = C 1 kk (11) Korrelation(x i x j ) = Kovarianz(x i x j ) p Varianz(xi ) pvarianz(x j ) (12) Numerische Methoden und Algorithmen in der Physik Christian Autermann 26/ 47

Übersicht Methode der kleinsten Quadrate Likelihood Methode Definition Beispiel Gaußischer Spezialfall χ 2 -Wahrscheinlichkeitsverteilung χ 2 -Test Numerische Methoden und Algorithmen in der Physik Christian Autermann 27/ 47

Maximum Likelihood Methode Die den Messwerten x 1... x n zugrunde liegende und a-priori bekannte Wahrscheinlichkeitsdichte sei f (x a), wobei a für einen oder mehrere unbekannte Parameter steht, von dem die Wahrscheinlichkeitsdichte abhängt. Aus dieser ein- oder mehrdimensionalen Wahrscheinlichkeitsdichte wird die Likelihood-Funktion L(a) definiert: L(a) = f (x 1 a) f (x 2 a)... f (x n a) = Der beste Wert für die Parameter a ist definiert durch ny f (x i a) (13) i=1 L(â) = Maximum (14) In der Praxis arbeitet man oft mit dem negativen Logarithmus der Likelihood-Funktion l(a), man sagt Log-Likelihood-Funktion. l(a) = 2 ln L(a) (15) l(â) = Minimum (16) Numerische Methoden und Algorithmen in der Physik Christian Autermann 28/ 47

Beispiel: Zerfallswinkelverteilung eines Elementarteilchens Die Zerfallswinkelverteilung eines bestimmten Teilchens sei durch folgende Wahrscheinlichkeitsdichtefunktion gegeben: f (x a) = 1 (1 + a cos θ) (17) 2 Die Funktion ist für alle mögliche Werte für a auf 1 normiert, so dass sich für die negative Log-Likelihood-Funktion ergibt: F (a) = 2 nx ln 1 2 (1 + a cos θ i) (18) i=1 Numerische Methoden und Algorithmen in der Physik Christian Autermann 29/ 47

Beispiel: Gaußische Wahrscheinlichkeitsdichtefunktion Für eine Gauß-Wahrscheinlichkeitsdichte geht die Likelihood-Methode in die Methode der kleinsten Quadrate über. f (x i a) = 1 2 e (x i a) 2 2σ i 2 (19) 2πσ i Die negative Log-Likelihood-Funktion wird damit zu (Vergleich mit Gl. (9)): F (a) = konst + 2 nx i=1 (x i a) 2 2σ 2 i Für den Fehler der besten Schätzung des Mittelwertes â gilt: σ(â) = d 2 F da 2 (20) 12 â«(21) In diesem Beispiel ist σ(â) = ( P 1/σ 2 i ) 1 2. Sind alle Gewichte gleich σi = σ gilt: σ(â) = σ n (22) Numerische Methoden und Algorithmen in der Physik Christian Autermann 30/ 47

Übersicht Methode der kleinsten Quadrate Likelihood Methode χ 2 -Wahrscheinlichkeitsverteilung Übersicht Exponentialverteilung χ 2 -Verteilung χ 2 -Test Numerische Methoden und Algorithmen in der Physik Christian Autermann 31/ 47

Wahrscheinlichkeitsverteilungen Diskrete Wahrscheinlichkeitsverteilungen (Abzählbar) Binomialverteilung ( letzte Vorlesung) Poisson-Verteilung ( letzte Vorlesung) Kontinuierliche Wahrscheinlichkeitsverteilungen Gleichverteilung ( letzte Vorlesung) Gauß- oder Normalverteilung ( letzte Vorlesung) Exponentialverteilung χ 2 -Verteilung Numerische Methoden und Algorithmen in der Physik Christian Autermann 32/ 47

Exponentialverteilung Beispiel: Zeitabstände zwischen zwei Kernzerfällen j λ e λ x für 0 x inf f (x, λ) = 0 sonst (23) Mittelwert: µ = 1 λ Varianz: σ 2 = 1 λ 2 Numerische Methoden und Algorithmen in der Physik Christian Autermann 33/ 47

χ 2 -Verteilung Seien x 1... x n unabhängige Zufallsvariablen, die der standardisierten Gauß-Verteilung (µ = 0 und σ = 1) genügen, so folgt die Summe der Quadrate u = χ 2 = i (x i ) 2 (24) einer χ 2 -Verteilung mit k Freiheitsgraden: f k (u) = mit Γ(x) = 1 2 ( u 2 ) n 2 1 e u 2 Γ( k 2 ) (25) inf 0 e t t x 1 dt für x > 0 (26) Die x i können mehrere gleiche Messungen sein, oder z.b. Messpunkte auf einer Kurve Numerische Methoden und Algorithmen in der Physik Christian Autermann 34/ 47

Mittelwert u = χ 2 = k Varianz σ 2 = 2n χ 2 -Verteilung Die Wahrscheinlichkeit, in einer Stichprobe x 1... x n ein χ 2 zu finden das kleiner ist als x: F k (x) = x 0 f k (t)dt (27) Numerische Methoden und Algorithmen in der Physik Christian Autermann 35/ 47

Übersicht Methode der kleinsten Quadrate Likelihood Methode χ 2 -Wahrscheinlichkeitsverteilung χ 2 -Test Prüfung von Hypothesen mit dem χ 2 Test 1. Beispiel für χ 2 -Test 2. Beispiel für χ 2 -Test Interpretation des χ 2 -Test Numerische Methoden und Algorithmen in der Physik Christian Autermann 36/ 47

Prüfung von Hypothesen Interpretation von Daten Häufige Aufgabenstellung (nicht nur) in der Physik: Interpretation von Messdaten im Rahmen eines Modells Dazu gehöhren: Aufstellung einer Hypothese (Das Modell) Bestimmung der Parameter des Modells Überprüfung der Hypothese anhand der Messdaten Ziel: Die Übereinstimmung von Messdaten und Modell zu quantifizieren Methoden: χ 2 -Test, Studentscher t-test, Kolmogorov-Smirnov-Test,... Numerische Methoden und Algorithmen in der Physik Christian Autermann 37/ 47

χ 2 -Test Seien x 1... x n Messpunkte unabhängiger gaußverteilter Variablen, mit den Varianzen σ i und den Erwartungswerten E i, so folgt die Summe der Quadrate einer χ 2 -Verteilung mit n Freiheitsgraden: n u = χ 2 (x i E i ) 2 i=1 σ 2 i (28) Im Falle korrelierter Zufallsvariablen muss das χ 2 über die Kovarianzmatrix V definiert werden: u = χ 2 = n n i=1 j=1 (x i E 1 ) V 1 ĳ (x j E j ) (29) Sind die Erwartungswerte E i durch ein zugrunde liegendes Modell vorgegeben und nicht durch die Daten selbst bestimmt, so ist die Zahl der Freiheitsgrade gleich der Zahl der Messpunkte n. Numerische Methoden und Algorithmen in der Physik Christian Autermann 38/ 47

χ 2 -Test Für den Mittelwert der χ 2 -Verteilung gilt: χ 2 = n (30) Für den Mittelwert pro Freiheitsgrade n (oder degrees of freedom d.o.f. ) gilt demnach: χ 2 Daraus folgt: n = 1 (31) Falls die Hypothese (das Modell) zutrift, so sollte man im Mittel (etwa nach häufigen Wiederholen der Messreihe) χ 2 /d.o.f. = 1 finden. Die Güte der Hypothese lässt sich durch die integrierte χ 2 -Verteilung quantifizieren Numerische Methoden und Algorithmen in der Physik Christian Autermann 39/ 47

Zahl der Freiheitsgrade Bei einem vorgegebenen bestimmten Modell ist die Zahl der Freiheitsgrade d.o.f. gleich der Zahl der Messpunkte. Sollen ein einem χ 2 -Fit m freie Parameter a m des Modells bestimmt werden, so gilt: χ 2 a i 0 (32) Jede dieser m Bedingungen reduziert den statistischen Variationsspielraum der Messwerte gegenüber der Vorhersage des Modells und verringert die Zahl der Freiheitsgrade: d.o.f. = n m (33) Zur Überprüfung der Analyse benutzt man χ 2 min /d.o.f.. Numerische Methoden und Algorithmen in der Physik Christian Autermann 40/ 47

Beispiel für χ 2 Test Polynom 1. Ordnung, (11 Datenpunkte): d.o.f. = 9 χ 2 = 75.4/9 = 8.37 d.o.f. Wahrscheinlichkeit dieses χ 2 (oder ein noch größeres) zu finden: P = 1 F 9 (75.4) = 1.3 10 12 Numerische Methoden und Algorithmen in der Physik Christian Autermann 41/ 47

Beispiel für χ 2 Test Polynom 3. Ordnung, (11 Datenpunkte): d.o.f. = 7 χ 2 = 19.4/7 = 2.78 d.o.f. Wahrscheinlichkeit dieses χ 2 (oder ein noch größeres) zu finden: P = 1 F 7 (19.4) = 0.0069 Numerische Methoden und Algorithmen in der Physik Christian Autermann 42/ 47

Beispiel für χ 2 Test Polynom 4. Ordnung, (11 Datenpunkte): d.o.f. = 6 χ 2 = 5.22/6 = 0.87 d.o.f. Wahrscheinlichkeit dieses χ 2 (oder ein noch größeres) zu finden: P = 1 F 6 (5.22) = 0.52 Numerische Methoden und Algorithmen in der Physik Christian Autermann 43/ 47

Gleiche Daten, größere Fehler Polynom 4. Ordnung, (11 Datenpunkte): d.o.f. = 6 χ 2 = 0.60/6 = 0.10 d.o.f. Wahrscheinlichkeit dieses χ 2 (oder ein noch größeres) zu finden: P = 1 F 6 (0.6) = 0.996 Numerische Methoden und Algorithmen in der Physik Christian Autermann 44/ 47

Interpretation des χ 2 Wertes χ 2 /d.o.f. 1 Dies ist ein Zeichen dafür, dass die Hypothese (das Modell) falsch ist, oder die Fehler der Messung unterschätzt wurden, oder der Datensatz inkonsistent ist. χ 2 /d.o.f. 1 Dies unterstützt die Hypothese χ 2 /d.o.f. 1 Ist meist ein Zeichen dafür, dass die Fehler überschätzt wurden Numerische Methoden und Algorithmen in der Physik Christian Autermann 45/ 47

Interpretation des χ 2 Wertes χ 2 /d.o.f. 1 Kritische Betrachtung der Messwerte und des Modells ist trotzdem wichtig! Polynom 0. Ordnung, (11 Datenpunkte): d.o.f. = 10 χ 2 = 11.4/10 = 1.14 d.o.f. Wahrscheinlichkeit dieses χ 2 (oder ein noch größeres) zu finden: P = 1 F 10(11.4) = 0.32 Bei falscher Hypothese und überschätzten Fehlern kann man trotzdem ein gutes χ 2 /d.o.f. erhalten. Numerische Methoden und Algorithmen in der Physik Christian Autermann 46/ 47

Parameteranpassung Was vernachlässigt wurde Systematische, also unter den Messwerten korrelierte, Fehler Nicht-normalverteilte Zufallsvariablen Viele andere moderne statistische Analysemethoden Limitberechnung... Numerische Methoden und Algorithmen in der Physik Christian Autermann 47/ 47