Kovarianz, Korrelation und lineare Regression

Transkript

1 Kovarianz, Korrelation und lineare Regression Dr habil Dorothee Hüser, PTB 2 Nov 217 Fünfte Vorlesung zu Messdatenauswertung und Messunsicherheit MDA Modulverantwortlicher: Prof Dr-Ing R Tutsch iprom, TU Braunschweig 1 Korrelation und Kovarianz Für eine Bewertung von Wechselwirkungen zwischen Effekten werden in der Statistik Maße definiert, die die Stärke und eventuell auch Richtung eines Zusammenhangs zwischen dem Auftreten zufälliger Ereignisse quantifizieren sollen Ein solches Maß für die Charakterisierung linearer Zusammenhänge ist der Korrelationskoeffizient ρ, der so definiert ist, dass er Werte zwischen 1 und 1 annehmen kann Gibt es einen direkten linearen Zusammenhang zwischen zwei Zufallsgrößen X 1 und X 2, so wird man zu einer Beobachtung der einen Größe mit kleinem Wert auch einen kleinen Wert bei der anderen Größe beobachten und wenn die eine Größe einen großen Wert annimmt, so wird die andere auch einen großen Wert annehmen, und ρ wird in der Nähe von 1 liegen Haben zwei Zufallsgrößen einen ebenso direkten Zusammenhang, aber in umgekehrter Weise, dass zu kleinen Werten von der ersten Größe große Werte zur zweiten Größe auftreten und umgekehrt, so liegt ρ in der Nähe von 1 In beiden Fällen sagt man, dass die Größen korreliert seien Gibt es überhaupt gar keinen Zusammenhang zwischen dem, was an Werten zu der einen 1

2 35 X X 2 = = X X 1 Abbildung 1: Wenn es einen linearen Zusammenhang zwischen zwei Zufallsgrößen X 1 und X 2 gibt, so sagt man, dass sie korreliert sind und der Korrelationskoeffizient ρ liegt bei Eins links oder bei minus Eins Wenn es keinen Zusammenhang zwischen zwei Zufallsgrößen X 1 und X 2 gibt, so sagt man, dass sie unkorreliert sind und der Korrelationskoeffizient ρ liegt bei Null rechts Größe beobachtet wird mit dem, was an Werten zu der anderen Größe beobachtet wird, so ist ρ = und man sagt die beiden Größen seien unkorreliert DieErwartungswertezujederderGrößenX 1 undx 2 sindjeweilsex 1 undex 2 Siewerden aus den Mittelwerten der jeweiligen Stichproben geschätzt x 1 = 1 J X 1,j x 2 = 1 J X 2,j 1 Dann ist X = x 1 2 x 2 der Schwerpunkt der Beobachtungen der Größen Sind die Entfernungen der Beobachtungspärchen X 1,j,X 2,j vom Schwerpunkt so, dass die Richtungskomponente der Größe X 1 in die gleiche Richtung weist und auch in proportionale Entfernung wie die Richtungskomponente der Größe X 2, so liefern die Produkte X 1,j x 1 X 2,j x 2 gleiche Vorzeichen Streuen diese aber unzusammenhängend, so mitteln sich die unterschiedlichen Terme X 1,j x 1 X 2,j x 2 bei Summation weg Wir definieren die Größe s 1,2 := 1 J 1 X 1,j x 1 X 2,j x 2 3 MDA, 5V, iprom 2 dhueser@tu-bsde

3 und nennen sie die empirische Kovarianz Allgemein ist die Kovarianz für Zufallsgrößen, deren gemeinsame Verteilung ihre Wahrscheinlichkeitsdichte px 1,X 2 sei, wie folgt definiert CovX 1,X 2 := X 1 EX 1 X 2 EX 2 px 1,X 2 dx 1dX 2 4 Wir sehen hier, dass die Kovarianz einer Zufallsgröße mit sich selbst die Varianz ist VarX 1 := CovX 1,X 1 = X 1 EX 1 2 px 1 dx 1 5 und für die empirsche Varianz und Kovarianz gilt entsprechend s 2 1 := s 1,1 = 1 J 1 X 1,j x Wir haben bereits in der 2 Vorlesung gesehen, dass bei der Steigung der Regressionsgraden Aufgabe 1 genau so ein Term J X 1,j x 1 X 2,j x 2 im Zähler steht Für das Verständnis der Gesamtzusammenhänge ist der Sprachgebrauch für Zufallsgrößen sowie der Sprachgebrauch des Erwartungswertes von Zufallgrößen von Bedeutung Verknüpfungen von Zufallsgrößen sind ihrerseits wieder Zufallsgrößen Betrachten wir eine Größe X, die ganz abstrakt und allgemein eine Zufallsgröße ist, und px die Wahrscheinlichkeitsdichteverteilung dazu, so heißt EX := X px dx 7 Erwartungswert der Zufallsgröße X Ist diese Zufallsgröße eine Verknüpfung von anderen Zufallsgrößen und setzen wir die Verknüpfung ein, so wird der Erwartungwert mit derselben Verknüpfung gebildet Betrachten wir zum Beispiel die Verknüpfung Addition X = X 1 +X 2 EX 1 +X 2 := X 1 +X 2pX 1,X 2 dx 1 dx 2 8 MDA, 5V, iprom 3 dhueser@tu-bsde

4 dh EX 1 +X 2 = + X 1pX 1,X 2 dx 1 dx 2 und mit der Randverteilung engl marginal distribution X 2pX 1,X 2 dx 1 dx 2 9 px 2 = px 1,X 2 dx 1 1 erhalten wir EX 1 +X 2 = X 1pX 1 dx 1 + X 2pX 2 dx 2 11 also EX 1 +X 2 = EX 1 + EX 2 12 In Worten heißt dies: Der Erwartungswert einer Summe von Zufallsgrößen ist die Summe der Erwartungswerte der Zufallsgrößen Als nächstes betrachten wir das Produkt zweier Zufallsgrößen X = X 1 X 2 EX 1 X 2 := X 1X 2 px 1,X 2 dx 2 dx 1 13 Die Kovarianz ist der Erwartungswert folgenden Produktes X 1 EX 1 X 2 EX 2 EX 1 EX 1 X 2 EX 2 = X 1 EX 1 X 2 EX 2 px 1,X 2 dx 1 dx 2 14 also CovX 1,X 2 = EX 1 EX 1 X 2 EX 2 15 Ferner ist zu bemerken, dass sich aus diesen Beziehungen für die Kovarianz ergibt CovX 1,X 2 = EX 1 X 2 X 2 EX 1 X 1 EX 2 +EX 1 EX 2 = EX 1 X 2 EX 2 EX 1 EX 1 EX 2 +EX 1 EX 2 = EX 1 X 2 EX 1 EX 2 16 Per Definitionem gilt VarX := CovX, X 17 MDA, 5V, iprom 4 dhueser@tu-bsde

5 Daraus folgt, dass für die Varianz einer Zufallsgröße, die das Produkt einer Zufallsgröße X mit einem konstanten, festen reellen Faktor b ist, gilt VarbX := b 2 VarX 18 Eine weitere wichtige Beziehung ist folgende zur Varianz einer Summe von Zufallsgrößen: N N Var X i = CovX i,x j 19 i, Die Varianz ist nach Definition N Var X i = [ N X i 2 N E X i ] px 1,,X 2 dx 1 dx N 2 Da der Erwartungswert einer Summe von Zufallsgrößen gleich der Summe der Erwartungswerte jeder einzelnen dieser Zufallsgrößen ist, siehe Gl 12, gilt N N N N X i E X i = X i EX i so dass gilt N Var X i = [ N 2 X i EX i ] px 1,,X 2 dx 1 dx N 21 Mit Anwendung des Assoziativgesetzes gilt N Var X i [ N 2 [ N ] [ N ] X i EX i ] = X i EX i X k EX k k=1 = N N X i EX i X k EX k = N k=1 N X i EX i X k EX k px 1,,X 2 dx 1 dx N k=1 Durch Berechnung der Marginalverteilungen und weil px j dx j = 1 für alle j, die weder i 22 MDA, 5V, iprom 5 dhueser@tu-bsde

6 noch k sind erhalten wir N N N Var X i = k=1 X i EX i X k EX k px i,x k dx i dx k 23 Der Term auf der rechten Seite ist genau die Kovarianz der beiden Größen X i und X k Die Beziehung Gl 19, dass die Varianz der Summe von Zufallsgrößen gleich der Summe der paarweisen Kovarianzen ist, werden wir im Laufe dieser Vorlesungsreihe häufig benötigen: N Var X i = = = N N CovX i,x k k=1 N VarX i + N N i,k=1,i k N 1 VarX i +2 k=i+1 CovX i,x k N CovX i,x k, 24 die sich erweitern lässt, wenn die summierten Zufallsgrößen mit jeweils einem reellen, konstanten Faktor multipliziert sind: N Var c i X i = = = N N Covc i X i,c k X k k=1 N c 2 i VarX i + N N i,k=1,i k N 1 c 2 i VarX i +2 k=i+1 c i c k CovX i,x k N c i c k CovX i,x k 25 Auf Gleichung 25 werden wir in den nächsten Vorlesungen zurück kommen, denn diese ist die Grundlage für das Gesetz zur Fortpflanzung von Messunsicherheiten Für standardnormalverteilte Zufallsgrößen Z i mit Z N,1 und i = 1,2 in die sich die Größen X i wie folgt umrechnen lassen Z i = X i EX i VarXi 26 ist die Kovarianz gleich dem Korrelationskoeffizienten ρ i,k = CovZ i,z k 27 MDA, 5V, iprom 6 dhueser@tu-bsde

7 was äquivalent ist zu ρ i,k = CovX i,x k VarXi VarX k 28 Mit diesem Rüstzeug an Rechenregeln und Definitionen sind wir jetzt ausgestattet, Varianzen fortzupflanzen engl propagate Zentrales Thema dieser Vorlesungsreihe neben dem Schätzen von Modellparametern ist das Schätzen der Kovarianzen der Modellparameter Die Kovarianzen der Modellparameter repräsentieren ihre Messunsicherheit 2 Lineare Regression Bei der Regressionsrechnung gibt es folgende Typen von Größen Regressoren: Sie haben genau bekannte Werte engl exactly known values und sind somit keine Zufallsgrößen Sie sind unabhängig Regressanden: Zu ihnen gibt es beobachtete Werte, die jeweils einem Regressorwert zugeordnet sind engl observed data corresponding to the known values Sie sind Zufallsgrößen Sie sind abhängig vom Regressor dependent or response variable Modellparameter, die unbekannt sind; unknown parameters Zufallsgößen, regression parameters Ferner gibt es zusätzliche unbekannte Parameter, und zwar die Varianzen der beteiligten Zufallsgrößen, unknown additional parameters Für die im folgenden durchgeführten Berechnungen setzen wir voraus, dass die Residuen der Regressanden bezüglich des Modells normalverteilt mit derselben Varianz, dh identisch verteilt sind für jedes Residuum dieselbe Wahrscheinlichkeitsdichte, siehe Abb 2, dass die Beobachtungswerte der Residuen für die unterschiedlichen Werte der Regressoren unabhängig voneinander sind, dh unkorreliert Das heißt, die Residuen sind unabhängig und identisch verteilt, kurz uiv ε uiv N,σ ε 29 Abb 2 soll diesen Sachverhalt veranschaulichen Die unterschiedlichen Farben und Symbole sollen unterschiedliche Durchläufe gleicher Messvorgänge darstellen MDA, 5V, iprom 7 dhueser@tu-bsde

8 1 8 pdf der Residuen Y X Abbildung 2: Lineare Regression für unabhängig und identisch verteilte Residuen Wir erinnern uns nun daran, dass wir in einer der vorigen Vorlesungen darüber gesprochen hatten, dass die einzelnen Beobachtungen zu einer Zufallsgröße wiederum als Zufallsgrößen angesehen werden können, so auch die einzelnen Werte der Residuen ε j Das u für unabhängig in der Aussage 29 bedeutet, dass bei der Kovarianz Covε,ε = 1 ν ε j ε l 3 l=1 die Summanden ε j ε l für j l sich gegenseitig wegmitteln, also Covε,ε = 1 ν ε j ε j = σε 2 31 wobei ν = J M die Anzahl der Freiheitsgrade ist mit M für die Anzahl der Regressionsparameter Regressionsrechnung mit einem Regressanden, wird univariate Regression, oder oft einfach nur lineare Regression genannt Wenn es mehrere abhängige Zufallsgrößen, also mehrere Regressanden gibt, spricht man von multivariater Regression Die Regressoren müssen voneinander linear unabhängig sein Sie können aber eine Potenzbeziehung zueinander haben, also quadratisch, kubisch etc Wir erinnern uns wieder an das Übungsbeispiel Aufgabe 1, das wir in der zweiten Vorlesung behandelt hatten: MDA, 5V, iprom 8 dhueser@tu-bsde

9 Zu Bestimmen ist ein Ohmscher Widerstand R sowie eine Offsetspannung U zwei Zufallsgrößen, beides Modellparameter bei gegebenen Werten einer Präzisionsstromquelle Regressor, genau bekannt, dh keine Zufallsgröße und beobachteten Werten eines Voltmeters Regressand, Zufallsgröße: I in ma U in mv Es wird angenommen, dass die Stromstärken ohne Streuung vorliegen als Regressoren und die Spannungen normalverteilt streuen als Regressanden, so dass min R,U U j RI j U 2 32 a Lösen Sie das Gleichungssystem R U U j RI j U 2 = 33 b Berechnen Sie die aus der Lösung des Gleichungssystems aus a gewonnen Schätzwerte für R und U Wir hatten die partiellen Ableitungen gebildet R U j RI j U = I j U U j RI j U = 1 34 und daraus ein lineares Gleichungsystem gewonnen, das in Matrixschreibweise wie folgt aussah Ij 2 I j I j J R U = U j I j U j 35 MDA, 5V, iprom 9 dhueser@tu-bsde

10 und uns folgendes Ergebnis lieferte R U = Ij 2 I j I j J 1 U j I j U j 36 dh R U = 1 2 J J Ij 2 I j J J I j I j J Ij 2 U j I j U j 37 also R = J J U j I j J J U j I j I 2 j I j 2 38 Ferner schreiben wir alles auf Mittelwerte bezogen um, so dass die Steigung, welche den elektrischen Widerstand repräsentiert, im Zähler die Produktterme der Kovarianz-Beziehung bekommt: und Gl 38 wird umgeformt R = I m := 1 J 1 J I j U j I j 1 J 1 J I 2 j U m := 1 J U j dass wir die Gleichung mit den Mittelwerten aufschreiben können R = 1 J 1 J U j I j Ij 2 1 J 1 J U j 39 U m I m I 2 m I j I j MDA, 5V, iprom 1 dhueser@tu-bsde

11 Eine in der Literatur häufig zu findende Schreibweise für Regressionsgeraden ist R = U j U m I j I m I j I m 2 42 Dies gilt, weil U j U m I j I m = U j I j U j I m I j U m + U m I m 43 = U j I j J U m I m J I m U m + U m I m 44 = U j I j J U m I m J I m U m + J U m I m = U j I j J U m I m 45 gilt Dass erinnert uns an die Umformung in Gl 16 Jetzt schreiben wir alles mit unserer Notation für direkte und indirekte Messgrößen: Die direkten Messgrößen sind der Strom X 1 und die Spannung X 2, die indirekten Messgrößen sind der Widerstand Y 1 und der Spannungsoffset Y 2 Damit sieht die Modellgleichung der linearen Regression wie folgt aus: X 2 = Y 1 X 1 + Y 2 46 wobei X 1 der Regressor ist und X 2 der Regressand und die Residuen dann wie folgt aussehen ε j = X 2,j Y 1 X 1,j + Y 2 47 und das zu lösende Gleichungssystem X1,j 2 X 1,j X 1,j J Y 1 Y 2 = X 2,j X 1,j X 1,j 48 MDA, 5V, iprom 11 dhueser@tu-bsde

12 und schließlich Das ist Y 1 = und das J 1 kürzt sich raus, also X 2,j x 2 X 1,j x 1 X 1,j x Y 1 = J 1CovX 1,X 2 J 1VarX 1 5 Y 1 = CovX 1,X 2 51 VarX 1 Um lineare Regression ganz allgemein notieren zu können, ohne die vielen Summationen explizit hinschreiben zu müssen, wenn es nicht nur eine Gerade innerhalb einer Ebene ist, werden die Vorteile des Matrixformalismus der Mathematik genutzt Wir schreiben die Residuen jetzt so auf, dass der Faktor Eins vor dem Achsenabschnitt Y 2 zu lesen ist ε j = X 2,j Y 1 X 1,j + 1Y 2 52 dann schreiben wir den ganzen Vektor aller Residuen auf und schreiben die Summe als Produkt aus Matrix und Vektor ε 1 X 2,1 Y 1 X 1,1 + 1Y 2 = ε J X 2,J Y 1 X 1,J + 1Y 2 = X 2,1 X 2,J X 1,1 1 X 1,J 1 weil bei dem Produkt einer Matrix, an die von rechts ein Spaltenvektor multipliziert wird, wieder ein Vektor entsteht Die Rechenvorschrift dazu lautet: Zeile mal Spalte Wir nennen die Regressor-Matrix X Für den Vektor, den Regressanden X 2,1 X 2,J suchen wir auch einen Bezeichner, der sich gut von der Matrix unterscheiden lässt In der Literatur wird der Regressand und nicht die Regressionparameter meistens Y genannt Die Regressionparameter heißen dort θ Das passt zu der Denkweise, die Regressoren als Eingangsgrößen anzusehen und die Regressanden als Ausgangsgrößen, wie wir es in der ersten Vorlesung kurz angesprochen hatten Y 1 Y 2 53 MDA, 5V, iprom 12 dhueser@tu-bsde

13 ACHTUNG!!!!! AB HIER WIRD Y FÜR DEN REGRESSANDEN VERWENDET, NICHT FÜR DIE MODELLPARAMETER! Wir haben jetzt also als Y 1,,Y J die beobachteten Werte bezeichnet, die wir zuvor mit X 2,1,,X 2,J notiert hatten! Die beiden Modellparameter heißen ab jetzt θ 1 für das ehemalige Y 2, den Achsenabschnitt und θ 2 für das ehemalige Y 1, die Geradensteigung Als Regressormatrix verwenden wir jetzt X = 1 X 1,1 1 X 1,J 54 und bringen Gl 53 in folgende Gestalt ε 1 ε J = Y 1 1θ 1 + X 1,1 θ 2 Y J 1θ 1 + X 1,J θ 2 = Y 1 Y J 1 X 1,1 1 X 1,J θ 1 θ 2 55 Die Summe der Quadrate der Residuen J ε2 j lässt sich ebenso mit der Rechenregel Zeile mal Spalte schreiben, als Zeilenvektor mal Spaltenvektor ε 2 j = ε 1 ε J ε 1 ε J 56 Dabei heißt der Zeilenvektor der transponierte Vektor, also ε T = ε 1 ε J und ε = ε 1 ε J 57 und ferner führen wir ein θ = θ 1 θ 2 und Y = Y 1 Y J 58 MDA, 5V, iprom 13 dhueser@tu-bsde

14 und Gl 55 sieht in transponierter Schreibweise wie folgt aus 1 X 1,1 ε T = Y T θ T 1 X 1,J T 59 dh ε T = Y T θ 1 θ X 1,1 X 1,J 6 Die Summe der Quadrate der Residuen J ε2 j sieht damit wie folgt aus ε T ε = Y T θ T X T Y Xθ 61 dh ε T ε = Y T Y θ T X T Y Y T Xθ + θ T X T Xθ 62 Für die Ableitungen nach den θ 1,θ 2 gilt θ l ε 2 j = 2 ε j θ l ε j = 2 ε j 1 θ l 1θ 1 + X 1,j θ 2 = 63 wobei l = 1,2 ist also ε j θ 1 1θ 1 + X 1,j θ 2 = und ε j θ 2 1θ 1 + X 1,j θ 2 = 64 also ε j 1 = und ε j X 1,j = 65 Dies sieht in Matrixschreibweise als 2 2-Gleichungssystem wie folgt aus ε T X = 66 dh Y T θ T X T X = 67 dh θ T X T X = Y T X 68 MDA, 5V, iprom 14 dhueser@tu-bsde

15 das ist äquivalent zu X T Xθ = X T Y 69 Die numerische Lösung des Gleichungssystems liefert dann die Schätzwerte zu den Regressionparametern θ Formal notieren wir die Schätzer als solche kenntlich durch das Dach wie folgt ˆθ = X T X 1 X T Y 7 wobei hoch minus Eins soviel bedeutet wie die Inverse der Matrix Als nächstes ermitteln wir, um das vollständige Messergebnis zu erhalten, auch die Schätzwerte der Kovarianzen Die Hauptdiagonale der Kovarianzmatrix sind die Varianzen X Covθ,θ = Cov T X 1 X T Y, X T X 1 X T Y 71 das ist Covθ,θ = X T X 1 X T CovY,Y X T X 1 T X T 72 und mit Einsetzen der aus den Schätzern ˆθ erhaltenen empirischen Varianz der Residuen CovY,Y = Varε = ˆσ 2 ε bekommen wir die empirische Kovarianzmatrix ˆΣ θ = ˆσ 2 ε X T X 1 X T X T X 1 T X T 73 mit Varε = ˆσ 2 ε = 1 J M ˆεTˆε wobei M die Anzahl der Regressionsparameter ist, also M = 2 im Fall der Geraden, für die beiden Parameter Achsenabschnitt und Steigung und ˆε = Y Xˆθ Ferner gilt mit X T X 1 T X T = X X T X 1 ˆΣ θ = ˆσ 2 ε X T X 1 X T X X T X 1 74 und mit X T X 1 X T X = 1I Einheitsmatrix ˆΣ θ = ˆσ 2 ε X T X 1 75 Gleichung 75 liefert die Unsicherheit für die Regressionsparameter θ Setzen wir dies nun MDA, 5V, iprom 15 dhueser@tu-bsde

16 für die Regressionsgerade ein, also setzen wir X = 1 X 1,1 1 X 1,J ein, so erhalten wir für X T X 1 = 1 1 X 1,1 X 1,J 1 X 1,1 1 X 1,J 1 76 dh dh X T X 1 = J X 1,j X T X 1 1 = 2 J J X1,j 2 X 1,j X 1,j X1,j 2 1 X1,j 2 X 1,j J X 1,j J J so dass wir für den Achsenabschnitt θ 1 und die Steigung θ 2 folgende empirische Varianzen und Kovarianzen erhalten ˆσ 2 θ 1 ˆσ θ1,θ 2 ˆσ θ1,θ 2 ˆσ 2 θ 2 ˆσ 2 ε = 2 J J X1,j 2 X 1,j oder einzeln aufgeschrieben, die Varianz des Achsenabschnitts X1,j 2 X 1,j J X 1,j J J 79 ˆσ 2 θ 1 = ˆσ 2 ε X1,j J J X1,j 2 X 1,j MDA, 5V, iprom 16 dhueser@tu-bsde

17 15 1 Y X Abbildung 3: Unsicherheit der Schätzer der linearen Regression einer Geradengleichung für ein Vertrauensniveau von 98% Mit ν = J 2 = 26 2 = 24 Freiheitsgraden ist das Quantil der Student-t-Verteilung t 1 α/2,ν = 2492 die Kovarianz für Achsenabschnitt und Steigung ˆσ θ1,θ 2 = ˆσ 2 ε J J X2 1,j X 1,j 2 81 X 1,j und die Varianz der Steigung ˆσ 2 θ 2 = ˆσ 2 ε 2 82 X1,j 2 1 X J 1,j Die Standardabweichungen zu jedem Regressionsparameter θ l mit l = 1,,M sind die Wurzel aus den Varianzen, die auf der Hauptdiagonalen der Kovarianzmatrix X T X 1 ˆσ 2 ε stehen In der üblichen englischsprachigen Literatur zur Regressionrechnung wird die Standardabweichung der Regressionsparameter Standard Error genannt MDA, 5V, iprom 17 dhueser@tu-bsde

18 Wir definieren folgende M-dimensionale Einheitsvektoren e l = 1 83 bei dem die ersten l 1 Vektorkomponenten Nullen sind, an der l-ten Stelle eine Eins steht und die l+1-te Komponente bis zur M-ten wieder Nullen sind Dann lässt sich durch folgende Multiplikation die l-te Varianz, dh das l-te Element der Hautpdiagonalen aus der Kovarianzmatrix herausholen ˆσ 2 l = e T l X T X 1 el ˆσ 2 ε 84 Die Standardabweichung Standard Error wird daraus durch Ziehen der Wurzel gewonnen ˆσ l = ˆσ 2 l 85 Das vollständige Messergebnis für jeden der Regressionparameter ist damit θ l = e T l X T X 1 X T Y ± t 1 α/2,ν ˆσ l 86 mit ν = J M und die Korrelationskoeffizienten für die Korrelation der Regressionsparameter untereinander sind ρ l,m = ˆσ2 ε ˆσ l ˆσ m e T l X T X 1 em 87 3 Regression mit Vorkenntnis Prior Wir hatten klassisch die Regressionsrechnung nach der Methode der kleinsten QuadrateLeast Squares berechnet, also min θ { Y T θ T X T Y Xθ } was äquivalent dem Maximieren der Likelihood ist { } max e 1 2σε 2YT θ T X T Y Xθ 88 θ MDA, 5V, iprom 18 dhueser@tu-bsde

19 Wir stellen uns vor, dass von einer vorherigen Messkampagne κ 1 zu der gleichen Messaufgabe für alle Regressionparameter ˆθ κ 1 l mit l = 1,,M schon ein vollständiges Messergebnis mit ˆθ κ 1 l = e T l ˆθ κ 1 = e T l X κ 1 T X κ 1 1 X κ 1 Y κ 1 ± t 1 α/2,ν κ 1 e T l X κ 1 T X κ 1 1el 89 2 ˆσ ε κ 1 und ρ l,m = 2 ˆσ ε κ 1 ˆσ κ 1 l ˆσ κ 1 m e T l X κ 1 T 1 X κ 1 em 9 vorliegt, das wir mit neuen Informationen aus unserer neuen Messkampagne κ updaten wollen Die Likelihood mit den Beobachtungen unserer aktuellen Kampagne ist lθ,σ ε Y κ e 1 2σ 2 ε Yκ X κ θ T Y κ X κ θ 91 wobei die Regressanden Y κ mit σ ε streuen, nicht aber die Regressoren X κ und wobei die Modellparameter θ und σ ε die zu schätzenden Größen sind Die Wahrscheinlichkeitsdichteverteilung der vorherigen Messkampagne κ 1 ist p κ 1 θ ˆθ κ 1, ˆΣ κ 1 θ e 1 2 θ ˆθ κ 1 TˆΣ κ 1 θ 1 θ ˆθ κ 1 92 mit ˆΣ κ 1 θ = X κ 1 T X κ 1 1 κ 1 2 ˆσ ε Die Likelihood wird im folgenden formal so aufgeschrieben, dass zu lesen ist, dass es die Wahrscheinlichkeitsdichteverteilung des Regressanden ist, gegeben die Parameter θ und σ ε p L,κ Y κ θ,σ ε e 1 2σ 2 ε Yκ X κ θ T Y κ X κ θ 93 Wir sehen, dass dies an der Verteilung selber hier nichts verändert, sondern nur der Interpretation dient, ob man auf die Verteilung des Regressanden der direkten Messgröße guckt oder auf die Verteilung der Modellparameter der indirekten Messgrößen Zur Schätzung der Modellparameter θ und σ ε berechnen wir die Wahrscheinlichkeitsdichteverteilung als Funktion von θ und σ ε Bei der Methode der kleinsten Quadrate fiel das σ ε zunächst raus, so dass der Schätzvorgang nur für das θ durchzuführen war und nach Erhalt der Schätzer ˆθ für die Modellparameter θ MDA, 5V, iprom 19 dhueser@tu-bsde

20 die entsprechende empirische Standardabweichung ˆσ ε ausgerechnet wurde Dass für die Likelihood und für die Verteilungsdichte der Parameter der vorherigen Messkampagne κ 1 Normalverteilungen angesetzt wurden, bedeutet folgendes: Als à priori-information wurde in das Modell die Voraussetzung hineingesteckt, dass Y j Nθ T 1 X 1,j X M 1,j,σ ε ε j N,σ ε 94 und θ κ 1 Nˆθ κ 1, ˆΣ κ 1 θ 95 Für das σ ε setzen wir voraus, dass es χ 2 -verteilt sei wobeiwirfür ˆσ κ,r ε ν σε ˆσ κ,r ε 2 χ 2 ν 96 beispielsweise das Ergebnis für die lineare Regression ohne Berücksichtigung der vorherigen Messkampagne, also gemäß der im vorigen Kapitel beschriebenen Methode, verwenden Als Prior-Verteilungen haben wir nun zum einen die Verteilung aus der Erfahrung der vorherigen Messkampagnen κ 1, Gl 92 und zum anderen die Verteilung für σ ε p χ 2σ ε ˆσ κ,r ε,ν 97 Die Posterior-Verteilung ist damit p κ θ,σ θ Y κ,ˆσ ε κ,r, ˆθ κ 1, ˆΣ κ 1 θ p L,κ Y κ θ,σ ε p χ 2σ ε ˆσ ε κ,r,νp κ 1 θ ˆθ κ 1, ˆΣ κ 1 θ 98 Da in den Y κ nur die Regressoren und die σ ε stecken Σ θ = X κ T X κ 1σ 2 ε brauchen wir nicht das gesamte Σ θ als Funktionsvariable, sondern lediglich σ ε, so dass die MDA, 5V, iprom 2 dhueser@tu-bsde

21 Posterior nur noch Funktion von θ und σ ε ist p κ θ,σ ε Y κ,ˆσ ε κ,r, ˆθ κ 1, ˆΣ κ 1 θ p L,κ Y κ θ,σ ε p χ 2σ ε ˆσ ε κ,r,νp κ 1 θ ˆθ κ 1, ˆΣ κ 1 θ 99 Für das vollständige Messergebnis berechnen wir die Marginalverteilung als Funktion von θ, indem wir über σ ε integrieren p κ θ Y κ,ˆσ ε κ,r, ˆθ κ 1, ˆΣ κ 1 θ = p κ θ,σ ε Y κ,ˆσ ε κ,r, ˆθ κ 1, ˆΣ κ 1 θ dσ ε 1 Dies ist eine Funktion von M Variablen θ 1,,θ M Für die Wahrscheinlichkeitsdichten als Marginalverteilung je eines der Regressionsparameter wird über die anderen numerisch integriert p κ θ m Y κ,ˆσ ε κ,r, ˆθ κ 1, ˆΣ κ 1 θ = p κ θ Y κ,ˆσ ε κ,r, ˆθ κ 1, ˆΣ κ 1 θ dθ 1 dθ m 1 dθ m+1 dθ M 11 Zur Berechnung der Erwartungswertes wird numerisch integriert Eθ m = θ m p κ θ m Y κ,ˆσ ε κ,r, ˆθ κ 1, ˆΣ κ 1 θ dθ m 12 Das Credible Interval wird ebenso mittels numerischer Verfahren berechnet und α/2 = 1 α/2 = θ m,min θ m,max p κ θ m Y κ,ˆσ ε κ,r, ˆθ κ 1, ˆΣ κ 1 θ dθ m 13 p κ θ m Y κ,ˆσ ε κ,r, ˆθ κ 1, ˆΣ κ 1 θ dθ m 14 Für die Regressionsanalyse kann auch eine Möglichkeit gefunden werden, eine analytische Lösung zu erhalten, wenn anstelle der χ 2 -Verteilung für die σ ε eine Verteilung gewählt wird, so dass sich das Produkt aus Likelihood und einer alternativen Verteilung p a σ ε vereinfachen MDA, 5V, iprom 21 dhueser@tu-bsde

22 lässt, wie es in Klauenberg et al dargelegt wird [1] Da p κ 1 nicht von σ ε abhängt, gilt p κ θ Y κ,ˆσ ε κ,r, ˆθ κ 1, ˆΣ κ 1 θ p κ 1 θ ˆθ κ 1, ˆΣ κ 1 θ und mit einer vereinfachten Verteilung p a σ ε p L,κ Y κ θ,σ ε p a σ ε ˆσ ε κ,r,ν dσ ε 15 p L,κ Y κ θ,σ ε p a σ ε ˆσ κ,r ε,ν dσ ε e 1 2 fν ˆσ κ,r ε 2Y κ X κ θ T Y κ X κ θ 16 mit fν eine sich aus p a ergebende Funktion der Anzahl der Freiheitsgrade Mit Gl 92 bekommen wir p κ θ Y κ,ˆσ κ,r ε e 1 2 θ ˆθ κ 1 TˆΣ κ 1 θ, ˆθ κ 1, ˆΣ κ 1 θ 1 θ ˆθ κ 1 e 1 2 fν ˆσ κ,r ε 2Y κ X κ θ T Y κ X κ θ 17 so dass die Schätzer für θ und Σ θ wie folgt aussehen ˆθ κ = ˆσ κ,r ε fν und 2 ˆΣ κ 1 θ 1 + X κ T X κ 1 ˆσ κ,r ε fν ˆΣ κ θ = 2 ˆΣ κ 1 1 θ κ 1 + X κ T Y κ θ 18 ˆΣ κ X κ T X κ fν 19 θ ˆσ κ,r ε siehe auch folgendes von K Klauenberg verfasste Tutorial, das ausführlicher in der Beschreibung ist als ihre Publikation [1]: MDA, 5V, iprom 22 dhueser@tu-bsde

23 4 Übung Lösung zu Aufgabe 5 Es sollen Abstände auf einem Werkstück mit Hilfe eines induktiven Wegaufnehmers gemessen werden Das Messprinzip eines induktiven Wegaufnehmers beruht darauf, dass eine Wechselspannung ein Spulensystem im Sensor anregt Ein bewegliches ferro-magnetisches Teil am Sensor beeinflusst die Induktivität in den Spulen Diese - in den Spulenteilen unterschiedliche - Induktivitätsveränderung wird vom Messverstärker ausgewertet und in ein positionsproportionales Gleichspannungssignal umgewandelt Um die Abstände in der physikalischen Einheit Mikrometer zu erhalten, muss mit Hilfe eines Bezugsnormals aus dem Spannungssignal ein Weg mit der Dimension einer Länge berechnet werden Es ist bekannt, dass in dem für die Messung relevanten Messbereich Hub des Sensors die Abhängigkeit zwischen Spannungssignal und Auslenkung des ferro-magnetischen Kerns linear ist Das Bezugsnormal ist eine Stufenhöhe Zu dem Bezugsnormal gibt es einen Kalibrierschein, der folgenden Höhenwert für das Normal angibt: d = 4997±11 µm mit k = 21,ν d = Mit dem induktiven Wegaufnehmer wurden auf dem Bezugsnormal folgende Stufenhöhen in der Dimension der elektrischen Spannung mit der Einheit Millivolt gemessen Tabelle A51: U B /mv Tabelle A52: U W /mv Der Zusammenhang zwischen dem Abstand auf dem Werkstück in Mikrometern d W, der Stufenhöhe des Bezugsnormals gemäß Kalibrierschein d, dem gemessenen Spannungssignal an der Stufenhöhe U B und dem gemessenen Spannungssignal U W am Werkstück ist folgender d W = d U B U W 111 Die Änderungen aufgrund der statistischen Streuung der Spannungswerte U B sind so klein, dass für die Sensitivität c B von d W bezüglich Änderungen von U B mit dem hyperbolischen Zusammenhang d W 1 U B die Steigung der Tangenten an die Hyperbel verwendet wird Es MDA, 5V, iprom 23 dhueser@tu-bsde

24 wird die Tangente verwendet, die an dem Punkt, der sich aus den Mittelwerten ergibt, anliegt c B = d W U B ŪB, d,ūw 112 Die Sensitivitäten c d und c W von d W bezüglich Änderungen von d und U W sind aufgrund des linearen Zusammenhangs genau c d = U W U B ŪB,ŪW c W = d U B ŪB, d 113 definiert Die kombinierte Varianz unter der Voraussetzung, dass die gemessenen Größen und die Angabe aus dem Kalbrierschein unkorreliert sind, ist s 2 dw = c d s d 2 + c B s B 2 + c W s W mit s B für die Standardabweichung der in Tabelle A51 aufgelisteten Werte, s W für die Standardabweichung der in Tabelle A52 aufgelisteten Werte und s d für die Standardabweichung der Angabe aus dem Kalibrierschein a Ermitteln Sie aus den Angaben des Kalibrierscheins hier Gl 11 die Standardabweichung s d, indem Sie den dort genannten Erweiterungsfaktor verwenden s d = 524 µm b Ermitteln Sie die beiden Mittelwerte ŪB und ŪW, sowie die beiden empirischen Standardabweichungen s B und s W aus den beiden Tabellen A51 und A52 Ū B = mv,s B = 945 mv,ūw = mv,s W = mv c Bestimmen Sie die Formel für die Sensitivität c B durch Ausführen der partiellen Ableitung c d = d W d = U W U B = 936 c W = d W U W = d U B = 257 µm mv c B = d W = du W U W U B 2 = 239 µm MDA, 5V, iprom 24 dhueser@tu-bsde

25 d Berechnen Sie die kombinierte empirische Standardabweichung s d,w s d,w = c d s d 2 + c W s W 2 + c B s B 2 = 3674 µm e Berechnen Sie die effektive Anzahl der Freiheitsgrade ν eff = s 4 d,w c d s d 4 /ν d + c W s W 4 /J W 1 + c B s B 4 /J B 1 = 124 f Berechnen Sie den Erweiterungsfaktor k, der hier das t-quantil für ein zweiseitiges Vertrauensniveau von 1 α = 95% ist k = t 975,124 = 2178 g Bestimmen Sie das vollständige Messergebnis d W = dūb Ū W ± ks d,w = 4651 ± 82 µm Aufgabe 6 Es wurde eine Stufe vermessen, die nominal eine Höhe von 1 µm haben soll Die laterale Achse x wird eingestellt mit Präzisionstisch positioniert und als Regressor betrachtet, also nicht als Zufallszahl Die vertikale Achse z wird gemessen, als Regressand und damit als Zufallszahl betrachtet x/mm z/µm x/mm z/µm Die Modellgleichung, mit der die Stufe beschrieben wird, ist z j = ax j + c + hδ j C + ε j mit C Menge der Indizes von 1 bis J C Hier sei J C = 1: C = {j j = 1,2,,J C } MDA, 5V, iprom 25 dhueser@tu-bsde

26 und { 1 falls j C dh j = 1 oder j = 2 oder j = J C δ j C = sonst Dabei ist h noch nicht die Stufenhöhe, sondern deren Projektion auf die vertikale Achse Die Stufenhöhe d ist der senkrechte Abstand zwischen den beiden parallelen Geraden, die jeweils durch die Punkte auf dem oberen und dem unteren Niveau gehen z /,um -2 d h x / mm a Stellen Sie das lineare Gleichungssystem auf, das sich durch partielles Ableiten für das Optimierungsproblem ergibt, mit J T = 21 min a,c,h { JT b Schreiben Sie die Formel für die Kovarianzmatrix der Modellparameter a, c, h auf Dazu brauchen Sie die inverse Matrix nicht analytisch zu berechnen, sondern lediglich 1 zu notieren c Schreiben Sie die Gleichung für die Stufenhöhe d als Funktion von h und a auf d Verwenden Sie eine Programmierumgebung Ihrer Wahl, Matlab, Octave, Python, R, die Ihnen einen Solver für lineare Gleichungssysteme zur Verfügung stellt, sowie eine Routine zur Matrixinversion und berechen Sie die Zahlenwerte für die Modellparameter sowie deren Kovarianzmatrix e Schreiben Sie das vollständige Messergebnis zu einem Vertrauensniveau von 95% auf Geben Sie die Anzahl der Freiheitsgrade und den Erweiterungsfaktor zusätzlich einzeln ε 2 j } MDA, 5V, iprom 26 dhueser@tu-bsde

27 an Berechnen Sie die Sensitivität von d bezüglich sehr kleiner Veränderungen von a Schreiben Sie die Formel auf, sowie den numerischen Wert um die Schätzwerte der Parameter Berechnen Sie die Sensitivität von d bezüglich Veränderungen von h f Berechnen Sie die kombinierte Standardabweichung von d Schreiben Sie Formel und numerischen Wert auf Für die Unermüdlichen, die lieber in C programmieren, hier die Routine zum Lösen des linearen Gleichungssystems, näheres siehe Numerical Recipes [2] Wichtig, diese Routine überschreibt den Vektor mit der Inhomogenität des Gleichungssystems mit der Lösung, also den gewünschten Modellparametern und die Matrix a mit den Summen ausdenregressorenmitdereninversea 1,dieSiedannfürdieKovarianzderModellparameter brauchen void gaussjordandouble **a, int n, double **b, int m /* * Linear equation solution by Gauss-Jordan elimination, equation 211 in * Numerical Recipes * a[n-1][n-1] is the input matrix b[m-1][n-1] is input * containing the m right-hand side vectors * For most applications we have m = 1 * On output, a is replaced by its matrix inverse, * and b is replaced by the corresponding set of solution vectors */ int *indxc,*indxr,*ipiv; int i,icol,irow,j,k,l,ll; double big,tmp,pivinv; // The integer arrays ipiv, indxr, and indxc are // used for bookkeeping on the pivoting indxc = int*calloc n, sizeofint; indxr = int*calloc n, sizeofint; ipiv = int*calloc n, sizeofint; /* for ;j<=n;j++ ipiv[j]=;*/ MDA, 5V, iprom 27 dhueser@tu-bsde

28 /* for ;j<=n;j++ ipiv[j]=;*/ /* calloc initializes to zero: Allocates a block of memory for an array of num elements, each of them size bytes long, and initializes all its bits to zero */ /* * This is the main loop over the columns to be reduced */ for i=; i<n; i++ { big=; // This is the outer loop of the search for a pivot element for j=; j<n; j++ if ipiv[j]!= 1 for k=; k<n; k++ { if ipiv[k] == { if fabsa[k][j] >= big { big=fabsa[k][j]; irow=j; icol=k; } } } ++ipiv[icol]; /* * We now have the pivot element, so we interchange rows, if needed, * to put the pivot element on the diagonal The columns are not * physically interchanged, only relabeled: * indxc[i], the column of the ith pivot element, * is the ith column that is reduced, while * indxr[i] is the row in which that pivot element was originally located * If indxr[i]!= * indxc[i] there is an implied column interchange * With this form of bookkeeping, the solution b-s will end up in the * correct order, and the inverse matrix will be scrambled by columns */ MDA, 5V, iprom 28 dhueser@tu-bsde

29 if irow!= icol { for l=; l<n; l++ SWAPa[l][irow],a[l][icol] for l=; l<m; l++ SWAPb[l][irow],b[l][icol] } /* * We are now ready to divide the pivot row by the * pivot element, located at irow and icol */ indxr[i]=irow; indxc[i]=icol; if a[icol][icol] == printf"gaussj: Singular Matrix\n"; pivinv=1/a[icol][icol]; a[icol][icol]=1; for l=; l<n; l++ a[l][icol] *= pivinv; for l=; l<m; l++ b[l][icol] *= pivinv; /* * Next, we reduce the rows * except, if ll!= icol, for the pivot one, of course */ for ll=; ll<n; ll++ if ll!= icol { tmp=a[icol][ll]; a[icol][ll]=; for l=; l<n; l++ a[l][ll] -= a[l][icol]*tmp; for l=; l<m; l++ b[l][ll] -= b[l][icol]*tmp; } } /* * This is the end of the main loop over columns of the reduction */ /* * It only remains to unscramble the solution in view of the column interchanges * We do this by interchanging pairs ofcolumns in the reverse order MDA, 5V, iprom 29 dhueser@tu-bsde

30 * that the permutation was built up */ for l=n-1; l>=;l-- { if indxr[l]!= indxc[l] for k=; k<n; k++ SWAPa[indxr[l]][k],a[indxc[l]][k]; } // And we are done freeipiv; freeindxr; freeindxc; } Literatur [1] K Klauenberg et al A tutorial on bayesian normal linear regression Metrologia, 52, 217 [2] B P Flannery, W H Press, S A Teukolsky, and W T Vetterling Numerical Recipes in C Cambridge University Press, 2 edition, MDA, 5V, iprom 3 dhueser@tu-bsde