Statistik II. Regressionsanalyse. Statistik II

Transkript

1 Statistik II Regressionsanalyse Statistik II

2 Einfachregression Annahmen an die Störterme : 1. sind unabhängige Realisationen der Zufallsvariable, d.h. i.i.d. (unabh.-identisch verteilt) 2. Es gilt und. Daraus folgt, dass Außerdem wird hier zur Vereinfachung angenommen: Dies wird aber eigentlich nicht benötigt. Statistik II

3 Schätzung von a und b Wir möchten eine Schätzgerade finden, die der wahren aber unbekannten Modellgerade möglichst nahe kommt. Dabei haben wir: Statistik II

4 Die Beobachtungswerte unterscheiden sich von den theoretischen Werten gerade um die Größe der Störvariable: Die Schätzwerte dagegen liegen auf der Schätzgerade und ihre Abweichung von den Beobachtungen heißen Residuen: Im Skript: Statistik II

5 Quelle: Schira, S.541 Statistik II

6 Die Schätzung funktioniert analog zur Regressionsgeraden durch die Minimierung der Quadrierten Residuen: Die Lösungen lauten analog: Man benötigt hier die zusätzliche Bedingung, dass Man kann zeigen, dass erwartungstreue Schätzer von a und b sind. Statistik II

7 Die Residuen können auch als ein Schätzer der Störterme angesehen werden. Die Varianz der Störterme,, kann nicht über geschätzt werden, da die Störterme unbekannt sind. Deshalb bietet es sich an, die Schätzung auf den geschätzten Störtermen zu basieren: wobei man dabei berücksichtigt, dass gerade 2 Freiheitsgrade durch die Schätzung von a und b verloren gegangen sind. Dieser Schätzer ist auch erwartungstreu. Statistik II

8 Man kann ferner zeigen, dass Die Varianzen von werden mit geschätzt. Und falls n groß wird, kann mithilfe eines ZGW gezeigt werden: Ferner kann man zeigen, dass Warum n-2 Freiheitsgrade? Statistik II

9 Dadurch kann man den t-test anwenden, um Hypothesen über den wahren Wert eines Parameters zu überprüfen: z.b. im zweiseitigen Testproblem für a (b analog): Lehne ab, falls Im einseitigen Testproblem z.b.: Lehne ab, falls Statistik II

10 Algebraische Eigenschaften Durch die Minimierung der Zielfunktion nach erhalten wir analog zur Regressionsrechnung zwei Ableitungen erster Ordnung Diese heißen ach Normalengleichungen. (s. Regressionsgerade) Statistik II

11 Diese lassen sich wie folgt umschreiben: Daraus lassen sich mehrere Eigenschaften folgern, die per Definition der Kleinsten-Quadrate Schätzer gelten: 1. Zentraleigenschaft: Die Summe der Residuen ist null. 2. Orthogonalität: Die Vektoren der Residuen und der exogenen Variablen stehen senkrecht aufeinander, d.h. ihr Skalarprodukt ist null. Die bedeutet, dass die exogene Variable und die Residuen per Definition unkorreliert sind Statistik II

12 3. Beobachtungswerte und Schätzwerte der endogenen Variablen Y haben dasselbe arithmetische Mittel: Die Regressionsgerade geht also durch den Schwerpunkt. 4. Die Stichprobenvarianz der endogenen Variable Y lässt sich in einen unerklärten Teil und in einen erklärten Teil zerlegen: (s. Beweis, Satz von Pytagoras) Varianzzerlegung Statistik II

13 Analog zur Regressionsgerade wird auch wieder das Bestimmtheitsmaß berechnet: Es ist der Anteil der durch die exogene Variable x erklärte Varianz an der Gesamtvarianz der endogenen Variable Y. Je höher, umso besser erklärt das Modell die Daten. Dieses Maß ist sehr verbreitet in Anwendungen. Statistik II

14 Für die Teststatistik kann man unter der Hypothese zeigen: Der Test auf b=0, d.h. kein linearer Zusammenhang zwischen x und y entspricht gerade dem Test auf Unkorreliertheit (s.o.) Falls n groß ist, kann man auch im linearen Modell eine Approximation der Teststatistik mithilfe der Standardnormalverteilung durchführen. Statistik II

15 Alternative Darstellungsform der Regressionsgerade: Die Normalverteilung des Störterms impliziert, dass Y x normalverteilt ist: a+bx Statistik II