Multiple Regression. Statistik II

Transkript

1 Statistik II

2 Übersicht Wiederholung Literatur Regression Assoziation und Kausalität Statistische Kontrolle Multivariate Beziehungen Inferenz Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit Statistik II (1/33)

3 Literatur Regression Literatur für heute Agresti ch. 10 Zur Nach- und Vorbereitung: Agresti ch. 11 Statistik II (2/33)

4 Literatur Regression Literatur für nächste Woche Mason/Wolfinger: Cohort Analysis. Kish: Weighting: Why, When, and How? Statistik II (3/33)

5 Literatur Regression Daten/Kommandos für heute net get from net describe floridacrime net get floridacrime Statistik II (4/33)

6 Literatur Regression Was ist Regression? Modellierung konditionaler Verteilung (Mittelwert und Streuung) Beschreibung vs. Inferenz Daten vs. Modellannahmen Bekanntestes und einfachstes Modell: lineare (Einfach)- Regression Statistik II (5/33)

7 Literatur Regression Was ist lineare Einfachregression? Der konditionale Mittelwert einer abhängigen Variablen y wird modelliert als lineare Funktion einer unabhängigen Variablen x und einer Konstanten Gemeinsame Verteilung von x und y als Punktewolke (Fehlervarianz) um eine gerade Linie Allgemeines Muster für viele andere statistische Modelle Bestimmung der Parameter durch OLS (Minimale quadrierte Abweichung in y-richtung) Statistik II (6/33)

8 Literatur Regression Wie funktioniert OLS (ohne Mathematik) SAQ = Funktion(Daten, Parameterschätzungen) Daten sind gegeben Welche Parameterschätzungen machen SAQ möglichst klein (guter Fit, gute Schätzung)? Minimum der SAQ-Funktion suchen 1. Ableitung auf null setzen, nach Konstante und Steigung auflösen 1. Formeln aus Formelsammlung 2. Alternativ: kompakte Matrixalgebra Statistik II (7/33)

9 Assoziation und Kausalität Statistische Kontrolle Multivariate Beziehungen Inferenz Was ist Kausalität? X Y Hypothetisch-kontrafaktisches Konzept von Kausalität X und Y an einem Fall messen Realität für diesen Fall mit anderem Wert von X wiederholen Änderung von Y? In der Praxis nicht durchführbar, nur Annäherung an dieses Ideal Statistische Verfahren kein Ersatz für gutes Design Statistik II (8/33)

10 Assoziation und Kausalität Statistische Kontrolle Multivariate Beziehungen Inferenz Was ist Kausalität? X Y Hypothetisch-kontrafaktisches Konzept von Kausalität X und Y an einem Fall messen Realität für diesen Fall mit anderem Wert von X wiederholen Änderung von Y? In der Praxis nicht durchführbar, nur Annäherung an dieses Ideal Experiment: Viele Objekte X von Forscherin variiert, zeitliche Reihenfolge klar Vergleichbar bezüglich anderer Eigenschaften wg. zufälliger Aufteilung auf Experimental-/Kontrollgruppe Statistische Verfahren kein Ersatz für gutes Design Statistik II (8/33)

11 Assoziation und Kausalität Statistische Kontrolle Multivariate Beziehungen Inferenz Was ist Kausalität? X Y Hypothetisch-kontrafaktisches Konzept von Kausalität X und Y an einem Fall messen Realität für diesen Fall mit anderem Wert von X wiederholen Änderung von Y? In der Praxis nicht durchführbar, nur Annäherung an dieses Ideal Beobachtung/Befragung (ex post facto) Viele Objekte Keine Kontrolle über X (zeitliche Reihenfolge), keine zufällige Aufteilung Andere Eigenschaften nur statistisch kontrollierbar Statistische Verfahren kein Ersatz für gutes Design Statistik II (8/33)

12 Assoziation und Kausalität Statistische Kontrolle Multivariate Beziehungen Inferenz Was setzt Kausalität voraus? X Y 1. (Theorie) 2. Statistische Assoziation (Übergang deterministische/probabilistische Aussagen!) 3. Richtige zeitliche Reihenfolge in ex post facto Designs fast nicht zu prüfen 4. Ausschluß von Drittvariablen Statistik II (9/33)

13 Assoziation und Kausalität Statistische Kontrolle Multivariate Beziehungen Inferenz Beispiel: Körpergröße und Mathematik-Leistung Statistik II (10/33)

14 Assoziation und Kausalität Statistische Kontrolle Multivariate Beziehungen Inferenz Beispiel: Pfadfinder und Delingquenz Statistik II (11/33)

15 Assoziation und Kausalität Statistische Kontrolle Multivariate Beziehungen Inferenz Beispiel: Pfadfinder und Delingquenz Statistik II (11/33)

16 Assoziation und Kausalität Statistische Kontrolle Multivariate Beziehungen Inferenz Welche Beziehungen können zwischen drei Variablen bestehen? 1. Scheinkorrelation / scheinbare Non-Korrelation 2. Mediatorvariable 3. Multiple Verursachung 4. Interaktion Statistik II (12/33)

17 Assoziation und Kausalität Statistische Kontrolle Multivariate Beziehungen Inferenz 1. Scheinkorrelation y z x Statistik II (13/33)

18 Assoziation und Kausalität Statistische Kontrolle Multivariate Beziehungen Inferenz Scheinbare Non-Korrelation (Suppression) Kein Zusammenhang zwischen Bildung und Einkommen? Statistik II (14/33)

19 Assoziation und Kausalität Statistische Kontrolle Multivariate Beziehungen Inferenz 2. Mediatorvariable z x y Statistik II (15/33)

20 Assoziation und Kausalität Statistische Kontrolle Multivariate Beziehungen Inferenz 3. Multiple Verursachung x y z Statistik II (16/33)

21 Assoziation und Kausalität Statistische Kontrolle Multivariate Beziehungen Inferenz 4. Interaktion x z y Statistik II (17/33)

22 Assoziation und Kausalität Statistische Kontrolle Multivariate Beziehungen Inferenz Schluß auf die Grundgesamtheit? Kontrolle für multivariate Beziehungen durch multivariate Modelle Inferenzen verfügbar Statistik II (18/33)

23 Modell (zwei unabhängige Variablen) Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit y = β 0 + β 1 x 1 + β 2 x 2 Wert von y von beiden unabhängigen Variablen beeinflußt Effekte linear (proportional) und additiv Effekte unabhängig voneinander β 1 Effekt von x 1 während x 2 konstant gehalten wird (vgl. Pfadfinder-Tabelle) β2 Effekt von x 2 während x 1 konstant gehalten wird D. h. wechselseitige statistische Kontrolle Statistik II (19/33)

24 Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit Graphische Darstellung (zwei unabhängige Variablen) Statistik II (20/33)

25 Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit Beispiel: Bildung und Verbrechen 67 counties in Florida Sind counties mit höherem Niveau von formaler Bildung (% high school Absolventen) krimineller (mehr Verbrechen pro Einwohner)?. reg c hs Source SS df MS Number of obs = 67 F( 1, 65) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = c Coef. Std. Err. t P> t [95% Conf. Interval] hs _cons Statistik II (21/33)

26 Scatterplot + Regression Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit graph twoway (scatter c hs) (lfit c hs) HS C Fitted values Statistik II (22/33)

27 Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit Scheinkorrelation? Verbrechen Urbanisierung Bildung Kontrolle: multiple Regression Verbrechen = α + β 1 Bildung + β 2 Urbanisierung Effekt von Bildung für jedes denkbare Niveau von Urbanisierung Effekt von Urbanisierung für jedes denkbare Niveau von Bildung Statistik II (23/33)

28 Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit Regression in Stata Grundbefehl (reg)ress y x1 x2... Variablennamen können abgekürzt werden Jokerzeichen oder Bereiche für Variablen Ergebnis der letzten Regression reg (Optionen mit Komma abtrennen) Postestimation (z. B. predict) Statistik II (24/33)

29 Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit In Stata.... reg c hs u Source SS df MS Number of obs = 67 F( 2, 64) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = c Coef. Std. Err. t P> t [95% Conf. Interval] hs u _cons Urbanisierung hat eine starken positiven Effekt Bildung hat negativen Effekt Partieller Effekt (vs. bivariater Effekt) Statistik II (25/33)

30 Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit Partielle Effekte Partielle Effekte = Effekt von Bildung Innerhalb einer Gruppe von counties mit identischem (aber beliebigem) Urbanisierungsgrad Schätzung über alle Niveaus von Urbanisierungsgrad Und umgekehrt Analog zur Betrachtung von Subgruppen im Pfadfinder-Beispiel Partielle Koeffizienten Bivariate Koeffizienten wg. Korrelation zwischen unabhängigen Variablen Nicht beim Experiment Statistik II (26/33)

31 Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit Warum ist der partielle Effekt negativ? C Ugrad nicht hoch Ugrad hoch Graphs by Urbanisierungsgrad hoch HS Urbanisierungsgrad wird konstant gehalten Statistik II (27/33)

32 Visualisierung: Matrixplot Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit C U HS Statistik II (28/33)

33 Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit Partielle Regressionsplots Verbrechen Urbanisierung Bildung (Added Variable Plot) Residuum: Differenz zwischen beobachtetem und geschätztem Wert Verbrechen = α 1 + β 1 Urbanisierung Residuum = Verbrechen abzüglich Effekt von Urbanisierung Bildung = α 2 + β 2 Urbanisierung Residuum = Bildung abzüglich Effekt von Urbanisierung Statistik II (29/33)

34 Partielle Regressionsplots Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit Regression von Residuum 1 auf Residuum 2 identisch mit partiellem Regressionskoeffizienten Plot für alle unabhängigen Variablen, Identifikation von Ausreißern avplots Ein plot pro unabhängige Variable Partieller Effekt dieser Variablen auf abhängige Variable Ausreißer Statistik II (29/33)

35 Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit Partielle Regressionsplots e( c X ) e( u X ) coef = , se = , t = 5.54 e( c X ) e( hs X ) coef = , se = , t = Statistik II (29/33)

36 Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit Root Mean Squared Error Verbrechen: 0 128; Residuum = Vorhersagefehler Residuum quadrieren und aufsummieren SAQ SAQ/n= Mittlerer quadrierter Fehler Wurzel RMSE Wie bei Einfachregression. predict abweichung, resid. gen aq=abweichung *abweichung. sum aq Variable Obs Mean Std. Dev. Min Max. displ sqrt(414) aq Statistik II (30/33)

37 Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit R 2 Analog zur Einfachregression R = Korrelation zwischen vorhergesagten/beobachteten Wert bzw. Gesamt SAQ (TSS) = Modell-SAQ (MSS) + Residuale SAQ (RSS) (PRE-Interpretation) R 2 = TSS RSS TSS = MSS TSS = Σ(y ȳ)2 Σ(y ŷ) 2 Σ(y ȳ) 2 Kollinearität zwischen unabhängigen Variablen Adjusted R 2 Statistik II (31/33)

38 Das Multivariate Modell Beispiel: Bildung und Verbrechen Fit R/R 2 von Hand ausrechnen. predict yhat (option xb assumed; fitted values). corr yhat c (obs=67). display.69^ yhat yhat c c Statistik II (32/33)

39 Korrelation Kausalität Keine Kontrolle über unabhängige Variable(n) (vs. Experiment) (Schwacher) Ersatz für Randomisierung (Drittvariablenkontrolle) Partielle vs. bivariate Effekte Fit analog zu Einfachregression Inferenz für Koeffizienten? Nächste Woche: Agresti ch. 11 Statistik II (33/33)