1 Wahrscheinlichkeitsrechnung. 2 Zufallsvariablen und ihre Verteilung. 3 Statistische Inferenz. 4 Intervallschätzung. 5 Hypothesentests.

Transkript

1 0 Einführung 1 Wahrscheinlichkeitsrechnung 2 Zufallsvariablen und ihre Verteilung 3 Statistische Inferenz 4 Intervallschätzung 5 Hypothesentests 6 Regression

2 Lineare Regressionsmodelle Deskriptive Statistik: Gegeben Datenpunkte (Y i, X i ) schätze die beste Gerade Y i = β 0 + β 1 X i, i = 1,..., n. ( mit der Methode der kleinsten Quadrate ) Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 458 / 485

3 Statistisches Modell linearer Zusammenhang. Im Folgenden: Probabilistische Modelle in Analogie zu den deskriptiven Modellen aus Statistik I Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 459 / 485

4 Lineare Einfachregression Zunächst Modelle mit nur einer unabhängigen Variable. Statistische Sichtweise: Modell y i = β 0 + β 1 x i + ɛ i β 1 Elastizität : Wirkung der Änderung von X i um eine Einheit gestört durch zufällige Fehler ɛ i Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 460 / 485

5 Modellannahmen Man beobachtet Datenpaare, (X i, Y i ), i = 1,..., n mit Y i = β 0 + β 1 X i + ɛ i wobei sich die Annahmne auf den zufälligen Störterm beziehen: E(ɛ i ) = 0 Var(ɛ i ) = σ 2 für alle i gleich ɛ i1, ɛ i2 stochastisch unabhängig für i 1 i 2 ɛ i ND(0, σ 2 ) (zusätzlich, bei großen Stichproben nicht erforderlich) Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 461 / 485

6 Einfache lineare Regression β 0 + β 1 x 2 β 0 + β 1 x 1 x 1 x 2 Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 462 / 485

7 Schätzung der Parameter Die Schätzwerte werden üblicherweise mit ˆβ 0, ˆβ 1 und ˆσ 2 bezeichnet. In der eben beschriebenen Situation gilt: Die (Maximum Likelihood) Schätzer lauten: ˆβ 1 = (Xi X )(Y i Ȳ ) n i=1 (X i X ) 2, ˆβ 0 = Ȳ ˆβ 1 X, ˆσ 2 = 1 n n 2 mit den geschätzten Residuen i=1 ˆε 2 i ˆε i = Y i ˆβ 0 ˆβ 1 X i. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 463 / 485

8 Konstruktion von Testgröße n Mit gilt und analog mit gilt ˆσ ˆβ0 := n ˆσ i=1 X i 2 n n i=1 (X i X ) 2 ˆβ 0 β 0 t (n 2) ˆσ ˆβ0 ˆσ ˆσ ˆβ1 := n i=1 (X i X ) 2 ˆβ 1 β 1 ˆσ ˆβ1 t (n 2). Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 464 / 485

9 Konfidenzintervalle ˆβ 0 und ˆβ 1 sind die KQ-Schätzer aus Statistik I. Unter Normalverteilung fällt hier das ML- mit dem KQ-Prinzip zusammen. Man kann unmittelbar Tests und Konfidenzintervalle ermitteln (völlig analog zum Vorgehen in Kapitel 2.3 und 2.4). Konfidenzintervalle zum Sicherheitsgrad γ: für β 0 : für β 1 : [ ˆβ 0 ± ˆσ ˆβ 0 t (n 2) ] 1+ γ 2 [ ˆβ 1 ± ˆσ ˆβ1 t (n 2) 1+γ ] 2 Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 465 / 485

10 Tests für die parameter des Modells Mit der Teststatistik ergibt sich T β 1 = ˆβ 1 β 1 ˆσ ˆβ 1 Hypothesen kritische Region I. H 0 : β 1 β1 gegen β 1 > β1 T t (n 2) 1 α II. H 0 : β 1 β1 gegen β 1 < β1 T t (n 2) 1 α III. H 0 : β 1 = β1 gegen β 1 β1 T t (n 2) 1 α 2 (analog für ˆβ 0 ). Von besonderem Interesse ist der Fall β1 = 0: (Steigung gleich 0) Hiermit kann man überprüfen, ob die X 1,..., X n einen signifikanten Einfluss hat oder nicht. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 466 / 485

11 Typischer Output Koeffizienten a Standardisierte Koeffizienten β Standardfehler Beta T Signifikanz Konstante ˆβ0 ˆσ ˆβ 0 5) 1) 3) Unabhängige Variable ˆβ 1 ˆσ ˆβ1 6) 2) 4) Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 467 / 485

12 Output Erklärung 1) Wert der Teststatistik T β 0 = ˆβ 0 ˆσ ˆβ0. zum Testen von H 0 : β 0 = 0 gegen H 1 : β ) Analog: Wert von T β 1 = ˆβ 1 ˆσ ˆβ1 zum Testen von H 0 : β 1 = 0 gegen H 1 : β ) p-wert zu 1) 4) p-wert zu 2) 5), 6) hier nicht von Interesse. Die Testentscheidung ˆβ 1 signifikant von 0 verschieden entspricht dem statistischen Nachweis eines Einflusses von X. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 468 / 485

13 Das multiple Regressionsmodell Beispiel: Arbeitszeit und Einkommen y i = β 0 + β 1 x 1i + β 2 x 2i + ε i mit X 1 = { 1 männlich 0 weiblich X 2 = (vertragliche) Arbeitszeit Y = Einkommen Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 469 / 485

14 Interpretation: Die geschätzte Gerade für die Männer lautet für die Frauen hingegen erhält man ŷ i = ˆβ 0 + ˆβ ˆβ 2 x 2i ŷ i = ˆβ 0 + ˆβ ˆβ 2 x 2i = ˆβ 0 + ˆβ 2 x 2i Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 470 / 485

15 Grundidee (ANCOVA) y } ˆβ2 ˆβ 1 { ˆβ 0 { x 2 Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 471 / 485

16 Modellbildung β 0 Grundlevel β 2 durchschnittlicher Stundenlohn β 1 Zusatzeffekt des Geschlechts zum Grundlevel. Die 0-1 Variable dient als Schalter, mit dem man den Männereffekt an/abschaltet. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 472 / 485

17 Dummykodierung Nominales Merkmal mit q Kategorien, z.b. X = Parteipräferenz mit 1 CDU/CSU oder FDP X = 2 SPD oder Grüne 3 Sonstige Man darf X nicht einfach mit Werten 1 bis 3 besetzen, da es sich um ein nominales Merkmal handelt. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 473 / 485

18 Dummycodierung (2) Idee: Mache aus der einen Variable mit q (hier 3) Ausprägungen q 1 (hier 2) Variablen mit den Ausprägungen ja/nein ( ˆ=0/1). Diese Dummyvariablen dürfen dann in der Regression verwendet werden. X 1 = { 1 CDU/CSU oder FDP 0 andere X 2 = { 1 SPD, Grüne 0 andere Durch die Ausprägungen von X 1 und X 2 sind alle möglichen Ausprägungen von X vollständig beschrieben: X Text X 1 X 2 1 CDU/CSU, FDP SPD, Grüne Sonstige 0 0 Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 474 / 485

19 Multiples Regressionsmodell Y i abhängige Variable X i1 X i2. X ip unabhängige Variablen metrisch/quasistetig metrische/quasistetige oder dichotome (0/1) Variablen (kategoriale Variablen mit mehr Kategorien Dummy-Kodierung) Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 475 / 485

20 Multiple lineare Regression Analoger Modellierungsansatz, aber mit mehreren erklärenden Variablen: Y i = β 0 + β 1 X i1 + β 2 X i β p X ip + ɛ i Schätzung von β 0, β 1,..., β p und σ 2 sinnvollerweise über Matrixrechnung bzw. Software. Aus dem SPSS-Output sind ˆβ 0, ˆβ 1,..., ˆβ p sowie ˆσ ˆβ 0, ˆσ ˆβ 1,..., ˆσ ˆβ p ablesbar. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 476 / 485

21 Es gilt für jedes j = 0,..., p ˆβ j β j ˆσ ˆβj t (n p 1) und man erhält wieder Konfidenzintervalle für β j : sowie entsprechende Tests. [ ˆβ j ± ˆσ ˆβj t (n p 1) ] 1+ γ 2 Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 477 / 485

22 Von besonderem Interesse ist wieder der Test H 0 : β j = 0, H 1 : β j 0. Der zugehörige p-wert findet sich im Ausdruck (Vorsicht mit Problematik des multiplen Testens!). Man kann auch simultan testen, z.b. β 1 = β 2 =... = β p = 0. Dies führt zu einem sogenannten F-Test ( Software). Sind alle X ij 0/1-wertig, so erhält man eine sogenannte Varianzanalyse, was dem Vergleich von mehreren Mittelwerten entspricht. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 478 / 485

23 Für Befragte mit X ij = 0 für alle j gilt: E(Y ) = β 0 Ist X i1 = 1 und X ij = 0 für j 2, so gilt E(Y ) = β 0 + β 1 Ist X i1 = 1 und X i2 = 1, sowie X ij = 0 für j 3, so gilt E(Y ) = β 0 + β 1 + β 2 etc. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 479 / 485

24 Varianzanalyse (Analysis of Variance, ANOVA) Vor allem in der angewandten Literatur, etwa in der Psychologie, wird die Varianzanalyse unabhängig vom Regressionsmodell entwickelt. Ziel: Mittelwertvergleiche in mehreren Gruppen, häufig in (quasi-) experimentellen Situationen. Verallgemeinerung des t-tests. Dort nur zwei Gruppen. Hier nur einfaktorielle Varianzanalyse (Eine Gruppierungsvariable). Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 480 / 485

25 Einstellung zu Atomkraft anhand eines Scores, nachdem ein Film gezeigt wurde. 3 Gruppen ( Faktorstufen ): Pro-Atomkraft-Film Contra-Atomkraft-Film ausgewogener Film Varianzanalyse: Vergleich der Variabilität in und zwischen den Gruppen Beobachtungen: Y ij j = 1,..., J i = 1,..., n j Faktorstufen Personenindex in der j-ten Faktorstufe Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 481 / 485

26 Modellformulierung Modell (Referenzcodierung): Y ij = µ J + β j + ɛ ij j = 1,..., J, i = 1,..., n j, mit µ J Mittelwert der Referenz β j Effekt der Kategorie j im Vergleich zur Referenz J ɛ ij zufällige Störgröße ɛ ij N(0, σ 2 ), ɛ 11, ɛ 12,..., ɛ JnJ unabhängig. Testproblem: H 0 : β 1 = β 2 =... β j 1 = 0 gegen H 1 : β j 0 für mindestens ein j Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 482 / 485

27 Streuungszerlegung Mittelwerte: Ȳ Ȳ j Gesamtmittelwert in der Stichprobe Mittelwert in der j-ten Faktorstufe Es gilt (vgl. Statistik I) die Streuungszerlegung: n J j n J J (Y ij Ȳ ) 2 = n j (Ȳ j Ȳ ) 2 }{{} + j (Y ij Ȳ j) 2 j=1 j=1 i=1 }{{} = SQE Variabilität der Gruppen = SQR Variabilität in den Gruppen j=1 j=1 Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 483 / 485

28 F-Test Die Testgröße F = SQE/(J 1) SQR/(n J) ist geeignet zum Testen der Hypothesen gegen H 0 : β 1 = β 2 =... β j 1 = 0 H 1 : β j 0 für mindestens ein j Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 484 / 485

29 Testprozedur Die kritische Region besteht aus den großen Werten von F Also H 0 ablehnen falls T > F 1 α (J 1, n J), mit dem entsprechenden (1 α)-quantil der F -Verteilung mit (J 1) und (n J) Freiheitsgraden. (Je größer die Variabilität zwischen den Gruppen im Vergleich zu der Variabilität in den Gruppen, desto unplausibler ist die Nullhypothese, dass alle Gruppenmittelwerte gleich sind.) Bei Ablehnung des globalen Tests ist dann oft von Interesse, welche Gruppen sich unterscheiden. Testen spezifischer Hypothesen über die Effekte β j. Dabei tritt allerdings die Problematik des multiplen Testens auf. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 485 / 485