Dr. Michael O. Distler distler@uni-mainz.de Mainz, 8. Januar 2014
Methode der kleinsten Quadrate Geschichte: Von Legendre, Gauß und Laplace zu Beginn des 19. Jahrhunderts eingeführt. Die Methode der kleinsten Quadrate ist damit älter als die allgemeinere Maximum Likelihood-Methode. In diesem Kapitel werden direkte Messwerte mit der Eigenschaft von Zufallsvariablen (Daten) durchweg mit y i bezeichnet. n-malige Messung einer Größe x liefert also y 1, y 2,..., y n : y i = x + ɛ i ɛ i ist die Abweichung y i x (Messfehler).
Methode der kleinsten Quadrate Die gemessenen Werte weichen von dem wahren Wert um einen Betrag ab, der durch die Standardabweichung σ beschrieben wird. Im Sinne der Statistik sind die y i eine Stichprobe, welcher eine Wahrscheinlichkeitsdichte zugrunde liegt. Es soll eine funktionelle Beziehung (Modell) für die wahren Werte vorliegen. Dieses Modell kann von zusätzlichen Variablen a j (Parametern) abhängen. Für diese Parameter gibt es keine direkte Messung. Das Modell wird durch eine oder mehrere Gleichungen der Form f (a 1, a 2,..., a p, y 1, y 2,..., y n ) = 0 beschrieben. Diese Gleichungen heißen Bedingungen.
Methode der kleinsten Quadrate Das Modell kann benutzt werden, um Korrekturen y i für die Messwerte y i zu finden, so dass die korrigierten Werte die Bedingungen exakt erfüllen. Das Prinzip der kleinsten Quadrate verlangt, dass die Summe der Quadrate der Residuen y i den kleinstmöglichen Wert annimmt. Im einfachsten Fall unkorrelierter Daten, die alle die gleiche Standardabweichung haben, entspricht das der Forderung: S = n i=1 y 2 i = Minimum Man kann so Werte für die nicht gemessenen Parameter unter allgemeinen Bedingungen ermitteln indirekte Messung
Methode der kleinsten Quadrate Die Methode der kleinsten Quadrate hat einige optimale statistische Eigenschaften und führt oft zu einfachen Lösungen. Andere Vorschriften sind denkbar, führen aber im allgemeinen zu komplizierten Lösungen. n y i = Minimum oder max y i = Minimum i=1
Methode der kleinsten Quadrate Allgemeiner Fall: Daten werden beschrieben durch n-vektor y. Verschiedene Standardabweichungen und mit Korrelationen, beschrieben durch die Kovarianzmatrix V. Bedingung der kleinsten Quadrate in Matrixform: S = y T V 1 y Hierbei ist y der Residuenvektor.
Lineare kleinste Quadrate Beispiel: Im Weinanbau werden die jeweils im Herbst geernteten Erträge in Tonnen je 100 m 2 (t/ar) gemessen. Es ist bekannt, dass der Jahresertrag bereits im Juli ziemlich gut prognostiziert werden kann, und zwar durch die Bestimmung der mittleren Anzahl von Beeren, die je Traube gebildet worden sind. Jahr Ertrag (y i ) Cluster (x i ) 1971 5,6 116,37 1973 3,2 82,77 1974 4,5 110,68 1975 4,2 97,50 1976 5,2 115,88 1977 2,7 80,19 1978 4,8 125,24 1979 4,9 116,15 1980 4,7 117,36 1981 4,1 93,31 1982 4,4 107,46 1983 5,4 122,30 Ertrag/(t/ar) y 6 5.5 5 4.5 4 3.5 3 2.5 80 90 100 110 120 Clusterzahl x
Lineare kleinste Quadrate Anpassung einer Geraden f (x) = a + b x mit Hilfe von gnuplot: degrees of freedom (FIT_NDF) : 10 rms of residuals (FIT_STDFIT) = sqrt(wssr/ndf) : 0.364062 variance of residuals (reduced chisquare) = WSSR/ndf : 0.132541 Final set of parameters Asymptotic Standard Error ======================= ========================== a = -1.0279 +/- 0.7836 (76.23%) b = 0.0513806 +/- 0.00725 (14.11%) correlation matrix of the fit parameters: a b a 1.000 b -0.991 1.000
Bestimmung von Parameterwerten Bestimmung von Parameterwerten a aus Messungen anhand eines linearen Modells. Der Vektor a der Parameter hat p Elemente a 1, a 2,..., a p. Die Messwerte bilden den Vektor y von n Zufallsvariablen mit Elementen y 1, y 2,..., y n. Der Erwartungswert von y ist gegeben als Funktion der Variablen x der Form: y(x) = f (x, a) = a 1 f 1 (x) + a 2 f 2 (x) +... + a p f p (x). Damit ist der Erwartungswert jeder Einzelmessung y i gegeben durch E[y i ] = f (x i, ā) = ȳ i wobei die Elemente von ā die wahren Werte des Parameters a sind.
Bestimmung von Parameterwerten Die Residuen r i = y i f (x i, a) haben für a = ā die Eigenschaften E[r i ] = 0 E[r 2 i ] = V [r i ] = σ 2 i. Die einzigen Annahmen hier sind Unverzerrtheit und eine endliche Varianz der Wahrscheinlichkeitsdichte der Residuen. Insbesondere ist es nicht zwingend nötig, dass sie gauß-verteilt ist.
Normalgleichungen im Fall gleicher Fehler Alle Daten sollen die gleiche Varianz haben und unkorreliert sein. Nach dem Prinzip der kleinsten Quadrate muss die Summe der Quadrate der Residuen in Bezug auf die Parameter a 1, a 2,..., a p minimiert werden: S = n i=1 r 2 i = n (y i a 1 f 1 (x i ) a 2 f 2 (x i )... a p f p (x i )) 2 i=1 Bedingungen für das Minimum: S n = 2 f 1 (x i ) (a 1 f 1 (x i ) + a 2 f 2 (x i ) +... + a p f p (x i ) y i ) = 0 a 1 i=1...... S n = 2 f p (x i ) (a 1 f 1 (x i ) + a 2 f 2 (x i ) +... + a p f p (x i ) y i ) = 0 a p i=1
Normalgleichungen im Fall gleicher Fehler Die Bedingung kann in Form der sogenannten Normalgleichungen geschrieben werden a 1 f1 (x i ) 2 +... + a p f1 (x i )f p (x i ) = a 1 f2 (x i )f 1 (x i ) +... + a p f2 (x i )f p (x i ) = y i f 1 (x i ) y i f 2 (x i )... a 1 fp (x i )f 1 (x i ) +... + a p fp (x i ) 2 = y i f p (x i ) Die Schätzwerte von a 1, a 2,..., a p nach kleinsten Quadraten folgen als die Lösung dieser Normalgleichung.
Matrixschreibweise Matrixschreibweise und Matrixalgebra vereinfachen die Formulierung wesentlich. Die n p Werte f j (x i ) werden als Elemente einer n p Matrix aufgefasst. Die p Parameter a j und die n Messwerte y i bilden Spaltenvektoren. A = f 1 (x 1 ) f 2 (x 1 )... f p (x 1 ) f 1 (x 2 ) f 2 (x 2 )... f p (x 2 )...... f 1 (x n ) f 2 (x n )... f p (x n ) a = a 1 a 2... a p y = y 1 y 2...... y n
Matrixschreibweise Der n-vektor der Resudien ist damit Die Summe S ist r = y Aa. S = r T r = (y Aa) T (y Aa) Bedingung für das Minimum = y T y 2a T A T y + a T A T Aa 2A T y + 2A T Aâ = 0 oder in der Matrixform der Normalgleichungen (A T A)â = A T y Die Lösung kann mit Standardverfahren der Matrixalgebra berechnet werden: â = (A T A) 1 A T y
Kovarianzmatrix der Parameter Die Kovarianzmatrix ist die quadratische n n-matrix var(y 1 ) cov(y 1, y 2 )... cov(y 1, y n ) V[y] = cov(y 2, y 1 ) var(y 2 )... cov(y 2, y n )......... cov(y n, y 1 ) cov(y n, y 2 )... var(y n ) Hier ist die Kovarianzmatrix eine Diagonalmatrix: V[y] = σ 2 0... 0 0 σ 2... 0......... 0 0... σ 2
Kovarianzmatrix der Parameter Für eine lineare Beziehung â = By gilt die Standardformel der Fehlerfortpflanzung: V[â] = BV[y]B T mit B = (A T A) 1 A T wird daraus V[â] = (A T A) 1 A T V[y]A(A T A) 1 oder für den vorliegenden Fall gleicher Fehler einfach V[â] = σ 2 (A T A) 1
Quadratsumme der Residuen Die Summe Ŝ der Quadrate der Residuen im Minimum ist Ŝ = y T y 2â T A T y + â T A T A(A T A) 1 A T y = y T y â T A T y. Der Erwartungswert E[Ŝ] ist E[Ŝ] = σ2 (n p). Ist die Varianz der Messdaten nicht bekannt, so erhält man aus Ŝ den Schätzwert ˆσ 2 = Ŝ/(n p). Dies ist für große Werte von (n p) eine gute Schätzung.
Korrektur der Datenwerte Nach Berechnung der Parameter mit linearen kleinsten Quadraten können Werte der Funktion f (x) für beliebige x bestimmt werden durch ŷ(x) = f (x, â) = p â j f j (x). j=1 Speziell für die Werte x i, die zu den Messwerten y i gehören, ergeben sich die korrigierten Datenpunkte zu ŷ = Aâ. Fehlerfortplanzung liefert die Kovarianzmatrix V[ŷ] = AV[a]A T = σ 2 A(A T A) 1 A T
Der Fall unterschiedlicher Fehler Wenn die einzelnen Datenpunkte statistisch unabhängig sind, dann ist die Kovarianzmatrix σ 2 1 0... 0 V[y] = 0 σ2 2... 0......... 0 0... σn 2 Der Ausdruck für die Summe der Residuenquadrate lautet nun: S = i r 2 i σ 2 i = Minimum Man führt die Gewichtsmatrix W(y) ein als inverse Matrix der Kovarianzmatrix 1/σ 2 1 0... 0 W(y) = V[y] 1 = 0 1/σ2 2... 0......... 0 0... 1/σn 2
Der Fall unterschiedlicher Fehler Die Summe der Quadrate der gewichteten Residuen S = r T W(y)r = (y Aa) T W(y)(y Aa) muss nun bezüglich der Parameter minimiert werden. Es ergibt sich: â = (A T WA) 1 A T Wy V[â] = (A T WA) 1 Die Summe der Residuenquadrate für a = â hat die Form Ŝ = y T Wy â T A T Wy und den Erwartungswert E[Ŝ] = n p. Die Kovarianzmatrix der korrigierten Datenpunkte ist V[ŷ] = A(A T WA) 1 A T
Kleinste Quadrate in der Praxis: Geradenanpassung Geradenanpassung mit der Funktion y = f (x, a) = a 1 + a 2 x. Messwerte y i liegen an den genau bekannten Punkten x i vor. A = a = ( a1 a 2 1 x 1 1 x 2 1 x 3... 1 x n ) y = V = y 1 y 2 y 3... y n σ 2 1 0 0... 0 0 σ 2 2 0 0 0 0 σ 2 3 0...... 0 0 0... σ 2 n W = V 1 w ii = 1 σ 2 i
Kleinste Quadrate in der Praxis: Geradenanpassung Lösung: ( ) ( A T wi wi x WA = i S1 S wi x i wi xi 2 = x S x S xx ( ) ( ) A T wi y Wy = i Sy = wi x i y i ( S1 S x S x S xx ) ( a1 a 2 ) = S xy ( Sy S xy ) ) ( S1 S x S x S xx â = (A T WA) 1 A T Wy V[â] = (A T WA) 1 ) 1 = 1 ( Sxx S x D S x S 1 ) mit D = S 1 S xx S 2 x
Kleinste Quadrate in der Praxis: Geradenanpassung Die Lösung ist â 1 = (S xx S y S x S xy )/D â 2 = ( S x S y S 1 S xy )/D und die Kovarianzmatrix ist V[â] = 1 ( Sxx S x D S x S 1 ). Weiterhin ist die Summe der Residuenquadrate Ŝ = S yy â 1 S y â 2 S xy Für einen Wert ŷ = â 1 + â 2 x, berechnet an der Stelle x, ist die Standardabweichung die Wurzel aus der Varianz: V [ŷ] = V [â 1 ] + x 2 V [â 2 ] + 2xV [â 1, â 2 ] = (S xx 2xS x + x 2 S 1 )/D
Poisson-Verteilung Die Poisson-Verteilung ist gegeben durch: P(r) = µr e µ r! Der Mittelwert ist: r = µ Die Varianz ergibt sich aus V [r] = np(1 p) für die Binomialverteilung: V [r] = σ 2 = np = µ 0.6 0.5 0.4 µ = 0.5 0.3 0.2 0.1 0 0 2 4 6 8 10 0.35 0.3 0.25 0.2 µ = 2 0.15 0.1 0.05 0 0 2 4 6 8 10 0.6 0.5 0.4 µ = 1 0.3 0.2 0.1 0 0 2 4 6 8 10 0.35 0.3 0.25 0.2 µ = 4 0.15 0.1 0.05 0 0 2 4 6 8 10
Das Gesetz der großen Zahl Angenommen, dass in n statistisch unabhängigen Experimenten das Ereignis j insgesamt n j mal aufgetreten ist. Die Zahlen n j folgen einer Binomialverteilung, und das Verhältnis h j = n j /n ist die entsprechende Zufallsvariable. Der Erwartungswert E[h j ] ist die Wahrscheinlichkeit p j für das Ereignis j: p j = E[h j ] = E[n j /n] Für die Varianz gilt dann (Binomialverteilung!): V [h j ] = σ 2 (h j ) = σ 2 (n j /n) = 1 n 2 σ2 (n j ) = 1 n 2 np j(1 p j ) Da das Produkt p j (1 p j ) immer 1 4 ist, gilt die Ungleichung σ 2 (h j ) < 1/n bekannt als das Gesetz der großen Zahl.
Der Zentrale Grenzwertsatz Der zentrale Grenzwertsatz (ZGS) ist der wichtigste Satz in der Statistik. Unter anderem erklärt er die zentrale Bedeutung der Gauß-Verteilung. Die Wahrscheinlichkeitsdichte der Summe w = n i=1 x i einer Stichprobe aus n unabhängigen Zufallsvariablen x i mit einer beliebigen Wahrscheinlichkeitsdichte mit Mittelwert x und Varianz σ 2 geht in der Grenze n gegen eine Gauß-Wahrscheinlichkeitsdichte mit Mittelwert w = n x und Varianz V [w] = nσ 2.
Illustration: Zentraler Grenzwertsatz 0.5 0.5 N=1 0.4 Gauss 0.4 N=2 0.3 0.2 0.1 0-3 -2-1 0 1 2 3 0.3 0.2 0.1 0-3 -2-1 0 1 2 3 0.5 0.4 N=3 0.5 0.4 N=10 0.3 0.3 0.2 0.2 0.1 0.1 0-3 -2-1 0 1 2 3 0-3 -2-1 0 1 2 3 Dargestellt ist die Summe uniform verteilter Zufallszahlen im Vergleich zur Standardnormalverteilung.
Spezielle Wahrscheinlichkeitsdichten Gleichverteilung: Diese Wahrscheinlichkeitsdichte ist konstant zwischen den Grenzen x = a und x = b: f (x) = Mittelwert und Varianz sind: x = E[x] = a + b 2 { 1 b a a x < b 0 außerhalb V [x] = σ 2 = (b a)2 12 Die Gleichverteilung wird oft U(a, b) ( uniform ) geschrieben. Besonders wichtig ist die Verteilung U(0, 1) mit den Grenzen 0 und 1, die eine Varianz 1/12 hat.
Die Normalverteilung (Gauß-Verteilung) Die wichtigste Wahrscheinlichkeitsdichte wegen ihrer großen Bedeutung in der Praxis. f (x) = 1 e (x µ)2 2σ 2 2πσ Die Normalverteilung wird von zwei Parametern bestimmt, dem Mittelwert µ und der Standardabweichung σ. Die Wahrscheinlichkeitsdichte mit dem Mittelwert µ = 0 und der Varianz σ 2 = 1 heißt standardisierte Gauß-Verteilung, abgekürzt N(0, 1). Die Gauß-Verteilung kann hergeleitet werden als Grenzfall der Binomialverteilung für große Werte von n und r, und auf ähnliche Weise auch als Grenzfall der Poisson-Verteilung für große Werte von µ.
Die Normalverteilung (Gauß-Verteilung) 1 1 2 2 3 3 dx N(0, 1) = 0,6827 = (1 0,3173) dx N(0, 1) = 0,9545 = (1 0,0455) dx N(0, 1) = 0,9973 = (1 0,0027) FWHM: Dieser Begriff ist oft nützlich, um auf einfache Weise die Standardabweichung einer Gaußkurve zu schätzen. FWHM = 2σ 2ln2 = 2,355σ
Integrierte Gaußfunktion Die Wahrscheinlichkeitsverteilung wird mit Φ(x) bezeichnet, Φ(x) = 1 2πσ x e (t µ) 2 2σ 2 dt. In vielen Formelsammlungen finden sich Tabellen der integrierten standardisierten Gauß-Verteilung, F(x) = 1 2π z e x2 2. Die integrierte Verteilungsfunktion kann durch die Gauß sche Fehlerfunktion erf(x) ausgedrückt werden, erf(x) = 2 π x Φ(x) = 1 2 0 e t2 dt. ( ( )) x µ 1 + erf. 2σ
Integrierte Gaußfunktion 1.2 1 0.5*(1+erf(x/sqrt(2))) 0.4*exp(-0.5*x*x) 0.8 0.6 0.4 0.2 0-3 -2-1 0 1 2 3
χ 2 -Verteilung Falls x 1, x 2,..., x n unabhängige Zufallsvariable sind, die alle einer Gauß-Wahrscheinlichkeitsdichte folgen mit Mittelwert 0 und Varianz 1, so folgt die Summe u = χ 2 = n i=1 x 2 i einer χ 2 -Verteilung f n (u) = f n (χ 2 ) mit n Freiheitsgraden. Die Wahrscheinlichkeitsdichte ist: ( 1 u ) n/2 1 2 2 e u/2 f n (u) = Γ(n/2) Die Wahrscheinlichkeitsdichte f n (u) hat ein Maximum bei (n 2). Der Mittelwert ist n und die Varianz 2n.
χ 2 -Wahrscheinlichkeitsdichte 0.3 0.25 0.2 pdf(2,x) pdf(3,x) pdf(4,x) pdf(5,x) pdf(6,x) pdf(7,x) pdf(8,x) pdf(9,x) 0.15 0.1 0.05 0 0 2 4 6 8 10
χ 2 -Verteilungsfunktion Sie beschreibt die Wahrscheinlichkeit, dass χ 2 n im Intervall [0, x] liegt. 1 0.8 cdf(2,x) cdf(3,x) cdf(4,x) cdf(5,x) cdf(6,x) cdf(7,x) cdf(8,x) cdf(9,x) 0.6 0.4 0.2 0 0 2 4 6 8 10
χ 2 -Verteilung mit 5 Freiheitsgraden 0.16 0.14 0.12 0.1 0.08 0.06 0.04 0.02 95% c.l. [0.831... 12.83] 0 0 2 4 6 8 10 12 14