Schweizer Statistiktage, Aarau, 18. Nov. 2004

Transkript

1 Schweizer Statistiktage, Aarau, 18. Nov Qualitative Überprüfung der Modellannahmen in der linearen Regressionsrechnung am Beispiel der Untersuchung der Alterssterblichkeit bei Hitzeperioden in der Stadt Zürich Thomas Glauser Datenspezialist

2 Ausgangslage Hohe Anzahl von Sterbefällen unter der älteren Bevölkerung im Hitzesommer 2003 in Frankreich. Der Zusammenhang zwischen Hitzeperioden und der Alterssterblichkeit soll für die Stadt Zürich untersucht werden. (Anfrage Stadtärztlicher Dienst Zürich) Daten Anzahl Sommertage (> 25 ) Anzahl Hitzetage (> 30 ) Sterberate der über 64-Jährigen

3 Resultat der Untersuchung Sterbeziffer = Durchschnittliche Sterbeziffer der über 64-Jährigen in den Monaten Juni bis August Logarithmierte Sommertage = Logarithmierte Anzahl Sommertage in den Monaten Juni bis August Sterbeziffer = Pro Jahr eine Beobachtung logarithmierte Sommertage Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) * ln_sommertage * Residual standard error: on 9 degrees of freedom Multiple R-Squared: , Adjusted R-squared: Modellzusammenfassung

4 Ausgangslage Die lineare Regression ist ein weit verbreitetes Modell. Oft wird jedoch nicht geprüft, ob die Modellannahmen auch tatsächlich zutreffen. Dadurch wird die Chance verpasst, aus allfälligen Abweichungen ein besseres Modell zu entwickeln. Überprüfung der Modellannahmen mit der Residuen-Analyse.

5 Modellgleichung Im Modell der multiplen linearen Regression wird eine Zielvariable Y i erklärt durch eine lineare Funktion h(x i (1), x i (2),..., x i (m) ) von erklärenden Variablen. Die zufälligen Fehler werden durch den Term E i beschrieben. Dies führt zur Modellgleichung: Y i = β 0 + β 1 x i (1) + β 2 x i (2) β m x i (m) + E i Die Parameter sind die so genannten Koeffizienten β 0,β 1,β 2,...,β m der erklärenden Variablen und die Varianz σ 2 ist die Varianz der zufälligen Abweichungen E i. Die Koeffizienten werden mit der Methode der kleinsten Quadrate (least squares) geschätzt. Regressionsgerade β 0 x y β 1 = y / x

6 Modellannahmen Die Schätz- und Testverfahren, die in der linearen Regressionsrechnung verwendet werden, setzen voraus, dass die Fehler E i i.i.d. N(0,σ 2 ) verteilt sind. Dies lässt sich aufspalten in die Annahmen: Ihr Erwartungswert ε(e i )=0 Sie haben alle die gleiche Varianz var(e i )= σ 2 Sie sind normalverteilt Die Fehler E i sind unabhängig Um die Qualität des Modells zu prüfen, müssen diese Modellannahmen überprüft werden. Es geht darum, allfällige Abweichungen zu entdecken und daraus ein Modell zu entwickeln, das besser zu den Daten passt. Dabei spricht man von explorativer Datenanalyse. Bei der Überprüfung der Annahmen werden grafische Darstellungen der Residuen verwendet, weshalb die Methode Residuen-Analyse genannt wird.

7 Residuenanalyse Der Erwartungswert ist null ε(e i )=0. Die Varianz ist konstant var(e i )= σ 2 Tukey-Anscombe Plot E i sind normalverteilt Die Fehler E i sind unabhängig Abhängigkeits Plot Einflussreiche Beobachtungen Leverage Plot

8 Residuen Da man die Fehler E i nicht kennt, werden die Residuen R i zur Prüfung der Modellannahmen verwendet. Die Residuen werden mit der folgenden Formel berechnet: R i = Y i yˆ i Sterbeziffer R i Residuen: Vertikaler Abstand zwischen Beobachtungen und Regressionsgerade logarithmierte Sommertage

9 Residuen Tukey-Anscombe Plot Sterbeziffer Residuen logarithmierte Sommertage angepasste Werte

10 Residuenanalyse Der Erwartungswert ist null ε(e i )=0. Die Varianz ist konstant var(e i )= σ 2 Tukey-Anscombe Plot E i sind normalverteilt Die Fehler E i sind unabhängig Abhängigkeits Plot Einflussreiche Beobachtungen Leverage Plot

11 angepasste Werte Überprüfung der Modellannahmen: ε(r i )=0, var(r i )=konst. Tukey-Anscombe Plot Residuen

12 Residuenanalyse Der Erwartungswert ist null ε(e i )=0. Die Varianz ist konstant var(e i )= σ 2 Tukey-Anscombe Plot E i sind normalverteilt Die Fehler E i sind unabhängig Abhängigkeits Plot Einflussreiche Beobachtungen Leverage Plot

13 Überprüfung der Modellannahme: R i ~ N(0,σ 2 ) Sample Quantiles Sample Quantiles Theoretical Quantiles Theoretical Quantiles Theoretical Quantiles Sample Quantiles Sample Quantiles Sample Quantiles Sample Quantiles

14 Residuenanalyse Der Erwartungswert ist null ε(e i )=0. Die Varianz ist konstant var(e i )= σ 2 Tukey-Anscombe Plot E i sind normalverteilt Die Fehler E i sind unabhängig Abhängigkeits Plot Einflussreiche Beobachtungen Leverage Plot

15 Überprüfung der Modellannahme: R i sind unabhängig Residuen Residuen Rangfolge der Residuen Rangfolge der Residuen

16 Einflussreiche Beobachtungen Wir wollten die Verteilung der Zufallsfehler E i überprüfen, haben aber die Residuen R i benützt. Das ist jedoch nicht dasselbe. Falls die Fehler normalverteilt sind, so sind es die Residuen einer Kleinste-Quadrate-Schätzung auch. Aber sie haben nicht die gleiche theoretische Varianz, auch wenn die Fehler dies erfüllen; var(r i ) hängt von [x (1) i, x (2) i,...] ab! Es ist var(r i ) = (1 - H ii ) σ 2 Die Grössen H ii heissen englisch leverage, was Hebelarm bedeutet.

17 Residuenanalyse Der Erwartungswert ist null ε(e i )=0. Die Varianz ist konstant var(e i )= σ 2 Tukey-Anscombe Plot E i sind normalverteilt Die Fehler E i sind unabhängig Abhängigkeits Plot Einflussreiche Beobachtungen Leverage Plot

18 Überprüfung auf: Einflussreiche Beobachtungen Erklärende Variable vs. Residuen Residuen

19 Schlussfolgerung aus der Residuenanalyse Aufgrund des Tukey-Anscombe Plot kann davon ausgegangen werden, dass ε(e i )=0 ist, und dass var(e i )= konst ist. Die zeigen, dass man von normalverteilten E i ausgehen kann. In der Darstellung der Residuen nach ihrer Rangfolge ist keine Abhängigkeit zwischen den Residuen erkennbar. Die Darstellung der Diagonalelemente der Hut-Matrix zeigt, dass eine einflussreiche Beobachtung vorhanden ist. => Man sollte ein robustes Regressionsmodell verwenden, damit der Einfluss der einflussreichen Beobachtung eingeschränkt wird.

20 Robuste Regression Lineare Regression Sterbeziffer Robuste Regression logarithmierte Sommertage