Dr. Michael O. Distler distler@kph.uni-mainz.de Mainz, 31. Mai 2011
4. Methode der kleinsten Quadrate Geschichte: Von Legendre, Gauß und Laplace zu Beginn des 19. Jahrhunderts eingeführt. Die Methode der kleinsten Quadrate ist damit älter als die allgemeinere Maximum Likelihood-Methode. In diesem Kapitel werden direkte Messwerte mit der Eigenschaft von Zufallsvariablen (Daten) durchweg mit y i bezeichnet. n-malige Messung einer Größe x liefert also y 1, y 2,..., y n : y i = x + ɛ i ɛ i ist die Abweichung y i x (Messfehler).
Methode der kleinsten Quadrate Die gemessenen Werte weichen von dem wahren Wert um einen Betrag ab, der durch die Standardabweichung σ beschrieben wird. Im Sinne der Statistik sind die y i eine Stichprobe, welcher eine Wahrscheinlichkeitsdichte zugrunde liegt. Es soll eine funktionelle Beziehung (Modell) für die wahren Werte vorliegen. Dieses Modell kann von zusätzlichen Variablen a j (Parametern) abhängen. Für diese Parameter gibt es keine direkte Messung. Das Modell wird durch eine oder mehrere Gleichungen der Form f (a 1, a 2,..., a p, y 1, y 2,..., y n ) = 0 beschrieben. Diese Gleichungen heißen Bedingungen.
Methode der kleinsten Quadrate Das Modell kann benutzt werden, um Korrekturen y i für die Messwerte y i zu finden, so dass die korrigierten Werte die Bedingungen exakt erfüllen. Das Prinzip der kleinsten Quadrate verlangt, dass die Summe der Quadrate der Residuen y i den kleinstmöglichen Wert annimmt. Im einfachsten Fall unkorrelierter Daten, die alle die gleiche Standardabweichung haben, entspricht das der Forderung: S = n i=1 y 2 i = Minimum Man kann so Werte für die nicht gemessenen Parameter unter allgemeinen Bedingungen ermitteln indirekte Messung
Methode der kleinsten Quadrate Die Methode der kleinsten Quadrate hat einige optimale statistische Eigenschaften und führt oft zu einfachen Lösungen. Andere Vorschriften sind denkbar, führen aber im allgemeinen zu komplizierten Lösungen. n y i = Minimum oder max y i = Minimum i=1
Methode der kleinsten Quadrate Allgemeiner Fall: Daten werden beschrieben durch n-vektor y. Verschiedene Standardabweichungen und mit Korrelationen, beschrieben durch die Kovarianzmatrix V. Bedingung der kleinsten Quadrate in Matrixform: S = y T V 1 y Hierbei ist y der Residuenvektor.
4.1 Lineare kleinste Quadrate Beispiel: Im Weinanbau werden die jeweils im Herbst geernteten Erträge in Tonnen je 100 m 2 (t/ar) gemessen. Es ist bekannt, dass der Jahresertrag bereits im Juli ziemlich gut prognostiziert werden kann, und zwar durch die Bestimmung der mittleren Anzahl von Beeren, die je Traube gebildet worden sind. Jahr Ertrag (y i ) Cluster (x i ) 1971 5,6 116,37 1973 3,2 82,77 1974 4,5 110,68 1975 4,2 97,50 1976 5,2 115,88 1977 2,7 80,19 1978 4,8 125,24 1979 4,9 116,15 1980 4,7 117,36 1981 4,1 93,31 1982 4,4 107,46 1983 5,4 122,30 Ertrag/(t/ar) y 6 5.5 5 4.5 4 3.5 3 2.5 80 90 100 110 120 Clusterzahl x
Lineare kleinste Quadrate Anpassung einer Geraden f (x) = a + b x mit Hilfe von gnuplot: degrees of freedom (FIT_NDF) : 10 rms of residuals (FIT_STDFIT) = sqrt(wssr/ndf) : 0.364062 variance of residuals (reduced chisquare) = WSSR/ndf : 0.132541 Final set of parameters Asymptotic Standard Error ======================= ========================== a = -1.0279 +/- 0.7836 (76.23%) b = 0.0513806 +/- 0.00725 (14.11%) correlation matrix of the fit parameters: a b a 1.000 b -0.991 1.000
Bestimmung von Parameterwerten Bestimmung von Parameterwerten a aus Messungen anhand eines linearen Modells. Der Vektor a der Parameter hat p Elemente a 1, a 2,..., a p. Die Messwerte bilden den Vektor y von n Zufallsvariablen mit Elementen y 1, y 2,..., y n. Der Erwartungswert von y ist gegeben als Funktion der Variablen x der Form: y(x) = f (x, a) = a 1 f 1 (x) + a 2 f 2 (x) +... + a p f p (x). Damit ist der Erwartungswert jeder Einzelmessung y i gegeben durch E[y i ] = f (x i, ā) = ȳ i wobei die Elemente von ā die wahren Werte des Parameters a sind.
Bestimmung von Parameterwerten Die Residuen r i = y i f (x i, a) haben für a = ā die Eigenschaften E[r i ] = 0 E[r 2 i ] = V [r i ] = σ 2 i. Die einzigen Annahmen hier sind Unverzerrtheit und eine endliche Varianz der Wahrscheinlichkeitsdichte der Residuen. Insbesondere ist es nicht zwingend nötig, dass sie gauß-verteilt ist.
Normalgleichungen im Fall gleicher Fehler Alle Daten sollen die gleiche Varianz haben und unkorreliert sein. Nach dem Prinzip der kleinsten Quadrate muss die Summe der Quadrate der Residuen in Bezug auf die Parameter a 1, a 2,..., a p minimiert werden: S = n i=1 r 2 i = n (y i a 1 f 1 (x i ) a 2 f 2 (x i )... a p f p (x i )) 2 i=1 Bedingungen für das Minimum: S n = 2 f 1 (x i ) (a 1 f 1 (x i ) + a 2 f 2 (x i ) +... + a p f p (x i ) y i ) = 0 a 1 i=1...... S n = 2 f p (x i ) (a 1 f 1 (x i ) + a 2 f 2 (x i ) +... + a p f p (x i ) y i ) = 0 a p i=1
Normalgleichungen im Fall gleicher Fehler Die Bedingung kann in Form der sogenannten Normalgleichungen geschrieben werden a 1 f1 (x i ) 2 +... + a p f1 (x i )f p (x i ) = a 1 f2 (x i )f 1 (x i ) +... + a p f2 (x i )f p (x i ) = y i f 1 (x i ) y i f 2 (x i )... a 1 fp (x i )f 1 (x i ) +... + a p fp (x i ) 2 = y i f p (x i ) Die Schätzwerte von a 1, a 2,..., a p nach kleinsten Quadraten folgen als die Lösung dieser Normalgleichung.
Matrixschreibweise Matrixschreibweise und Matrixalgebra vereinfachen die Formulierung wesentlich. Die n p Werte f j (x i ) werden als Elemente einer n p Matrix aufgefasst. Die p Parameter a j und die n Messwerte y i bilden Spaltenvektoren. A = f 1 (x 1 ) f 2 (x 1 )... f p (x 1 ) f 1 (x 2 ) f 2 (x 2 )... f p (x 2 )...... f 1 (x n ) f 2 (x n )... f p (x n ) a = a 1 a 2... a p y = y 1 y 2...... y n
Matrixschreibweise Der n-vektor der Resudien ist damit Die Summe S ist r = y Aa. S = r T r = (y Aa) T (y Aa) Bedingung für das Minimum = y T y 2a T A T y + a T A T Aa 2A T y + 2A T Aâ = 0 oder in der Matrixform der Normalgleichungen (A T A)â = A T y Die Lösung kann mit Standardverfahren der Matrixalgebra berechnet werden: â = (A T A) 1 A T y
Kovarianzmatrix der Parameter Die Kovarianzmatrix ist die quadratische n n-matrix var(y 1 ) cov(y 1, y 2 )... cov(y 1, y n ) V[y] = cov(y 2, y 1 ) var(y 2 )... cov(y 2, y n )......... cov(y n, y 1 ) cov(y n, y 2 )... var(y n ) Hier ist die Kovarianzmatrix eine Diagonalmatrix: V[y] = σ 2 0... 0 0 σ 2... 0......... 0 0... σ 2
Kovarianzmatrix der Parameter Für eine lineare Beziehung â = By gilt die Standardformel der Fehlerfortpflanzung: V[â] = BV[y]B T mit B = (A T A) 1 A T wird daraus V[â] = (A T A) 1 A T V[y]A(A T A) 1 oder für den vorliegenden Fall gleicher Fehler einfach V[â] = σ 2 (A T A) 1
Quadratsumme der Residuen Die Summe Ŝ der Quadrate der Residuen im Minimum ist Ŝ = y T y 2â T A T y + â T A T A(A T A) 1 A T y = y T y â T A T y. Der Erwartungswert E[Ŝ] ist E[Ŝ] = σ2 (n p). Ist die Varianz der Messdaten nicht bekannt, so erhält man aus Ŝ den Schätzwert ˆσ 2 = Ŝ/(n p). Dies ist für große Werte von (n p) eine gute Schätzung.
Korrektur der Datenwerte Nach Berechnung der Parameter mit linearen kleinsten Quadraten können Werte der Funktion f (x) für beliebige x bestimmt werden durch ŷ(x) = f (x, â) = p â j f j (x). j=1 Speziell für die Werte x i, die zu den Messwerten y i gehören, ergeben sich die korrigierten Datenpunkte zu ŷ = Aâ. Fehlerfortplanzung liefert die Kovarianzmatrix V[ŷ] = AV[a]A T = σ 2 A(A T A) 1 A T
Der Fall unterschiedlicher Fehler Wenn die einzelnen Datenpunkte statistisch unabhängig sind, dann ist die Kovarianzmatrix σ 2 1 0... 0 V[y] = 0 σ2 2... 0......... 0 0... σn 2 Der Ausdruck für die Summe der Residuenquadrate lautet nun: S = i r 2 i σ 2 i = Minimum Man führt die Gewichtsmatrix W(y) ein als inverse Matrix der Kovarianzmatrix 1/σ 2 1 0... 0 W(y) = V[y] 1 = 0 1/σ2 2... 0......... 0 0... 1/σn 2
Der Fall unterschiedlicher Fehler Die Summe der Quadrate der gewichteten Residuen S = r T W(y)r = (y Aa) T W(y)(y Aa) muss nun bezüglich der Parameter minimiert werden. Es ergibt sich: â = (A T WA) 1 A T Wy V[â] = (A T WA) 1 Die Summe der Residuenquadrate für a = â hat die Form Ŝ = y T Wy â T A T Wy und den Erwartungswert E[Ŝ] = n p. Die Kovarianzmatrix der korrigierten Datenpunkte ist V[ŷ] = A(A T WA) 1 A T
Kleinste Quadrate in der Praxis: Geradenanpassung Geradenanpassung mit der Funktion y = f (x, a) = a 1 + a 2 x. Messwerte y i liegen an den genau bekannten Punkten x i vor. A = a = ( a1 a 2 1 x 1 1 x 2 1 x 3... 1 x n ) y = V = y 1 y 2 y 3... y n σ 2 1 0 0... 0 0 σ 2 2 0 0 0 0 σ 2 3 0...... 0 0 0... σ 2 n W = V 1 w ii = 1 σ 2 i
Kleinste Quadrate in der Praxis: Geradenanpassung Lösung: ( ) ( A T wi wi x WA = i S1 S wi x i wi xi 2 = x S x S xx ( ) ( ) A T wi y Wy = i Sy = wi x i y i ( S1 S x S x S xx ) ( a1 a 2 ) = S xy ( Sy S xy ) ) ( S1 S x S x S xx â = (A T WA) 1 A T Wy V[â] = (A T WA) 1 ) 1 = 1 ( Sxx S x D S x S 1 ) mit D = S 1 S xx S 2 x
Kleinste Quadrate in der Praxis: Geradenanpassung Die Lösung ist â 1 = (S xx S y S x S xy )/D â 2 = ( S x S y S 1 S xy )/D und die Kovarianzmatrix ist V[â] = 1 ( Sxx S x D S x S 1 ). Weiterhin ist die Summe der Residuenquadrate Ŝ = S yy â 1 S y â 2 S xy Für einen Wert ŷ = â 1 + â 2 x, berechnet an der Stelle x, ist die Standardabweichung die Wurzel aus der Varianz: V [ŷ] = V [â 1 ] + x 2 V [â 2 ] + 2xV [â 1, â 2 ] = (S xx 2xS x + x 2 S 1 )/D