Wiederholung/Einführung Lineare Regression Zusammenfassung. Regression I. Statistik I. Sommersemester 2009

Transkript

1 Sommersemester 2009

2 Wiederholung/Einführung Ein Beispiel: Armut und Gewaltverbrechen Rechtswahl Arbeitslosigkeit

3 Zum Nachlesen Agresti: Gehring/Weins: 8 Schumann:

4 Was ist ein Zusammenhang? Gemeinsame Verteilung zweier Variablen weicht von Randverteilungen ab

5 Was ist ein Zusammenhang? Gemeinsame Verteilung zweier Variablen weicht von Randverteilungen ab Muster gemeinsame Verteilung zufällige Verteilung

6 Zusammenhangsmaß für intervallskalierte Daten? x überdurchschnittlich, y überdurchschnittlich (und umgekehrt) positiver Zusammenhang x überdurchschnittlich, y unterdurchschnittlich (und umgekehrt) negativer Zusammenhang Maß für gemeinsame Abweichung von zwei Mittelwerten: Abweichungsprodukt SAP: Welches Muster überwiegt? Kovarianz: SAP/n Teilen durch Produkt Standardabweichungen r, standardisiert Kovarianz auf Wertebereich [-1;1]

7 Was ist ein linearer Zusammenhang? r mißt lineare Zusammenhänge Zusammenhang zwischen zwei Variablen entspricht näherungsweise einer geraden Linie Formaler: Wert einer Variable könnte durch Addition/Multiplikation in Wert anderer Variable (plus Fehler) überführt werden 15 Rechtswahl Arbeitslosigkeit

8 Was ist ein linearer Zusammenhang? r mißt lineare Zusammenhänge Zusammenhang zwischen zwei Variablen entspricht näherungsweise einer geraden Linie Formaler: Wert einer Variable könnte durch Addition/Multiplikation in Wert anderer Variable (plus Fehler) überführt werden 15 Rechtswahl Arbeitslosigkeit

9 Was ist ein statistisches Modell? Mathematische Formalisierung von Theorie/Hypothesen Set von Gleichung(en) Eine oder mehrere abhängige Variablen als Funktion von einer/mehrerer unabhängiger Variablen Funktionen: Abbildungsvorschrift; input/output Modelle sind nicht wahr/maßstäblich Test von Hypothesen/extrem vereinfachten Beschreibungen

10 Was ist lineare Einfachregression? linear : nur lineare Beziehungen zwischen Variablen einfach : eine abhängige, eine unabhängige Variable Regression : Rückführung ; konditionaler Mittelwert der abhängigen Variablen abhängig vom Niveau der unabhängigen Variablen

11 Was ist Regression? Regression ist der Oberbegriff für Verfahren,... die die konditionale Verteilung einer Variablen y... in Abhängigkeit von einer oder mehreren anderen Variablen x 1, x 2... x k beschreiben Was ist eine konditionale Verteilung? Verteilung von y (Mittelwert, Streuung etc.)... innerhalb von Subgruppen, die durch x1, x 2... x k definiert sind

12 Armut und Gewaltverbrechen in 51 Bundesstaaten Statistiken auf Ebene der 50 Bundesstaaten plus Washington D.C. Zusammenhang zwischen Anteil der Armen (in Prozent) an Gesamtbevölkerung und Morde pro Einwohner? Konditionale Verteilung von y (Morde) Für verschiedene Werte von x 1 (Armutsquote)

13 Beispiel: Konditionale Verteilung Mordquote für Armutsquote 10.5% Percent of Total Morde AM = 3.6

14 Beispiel: Konditionale Verteilung Mordquote für Armutsquote 12.5% Percent of Total Morde AM = 5.7

15 Was ist lineare Regression? II Konditionale Mittelwerte können durch gerade Linie verbunden werden Konditionale Variation um konditionalen Mittelwert

16 Wie war das mit dem konditionalen Mittelwert?

17 Was ist lineare Regression? II Konditionale Mittelwerte können durch gerade Linie verbunden werden Konditionale Variation um konditionalen Mittelwert Übergang zum Modell: Annahmen über die Eigenschaften der Linie kommen von außen Abhängige / unabhängige Variable kommen ebenfalls von außen Was ist damit gewonnen?

18 Was ist lineare Regression? II Konditionale Mittelwerte können durch gerade Linie verbunden werden Konditionale Variation um konditionalen Mittelwert Übergang zum Modell: Annahmen über die Eigenschaften der Linie kommen von außen Abhängige / unabhängige Variable kommen ebenfalls von außen Was ist damit gewonnen? Wenn Annahme über Linie (Modell) gültig Allgemeiner Mechanismus einfach

19 Was ist lineare Regression? II Konditionale Mittelwerte können durch gerade Linie verbunden werden Konditionale Variation um konditionalen Mittelwert Übergang zum Modell: Annahmen über die Eigenschaften der Linie kommen von außen Abhängige / unabhängige Variable kommen ebenfalls von außen Was ist damit gewonnen? Wenn Annahme über Linie (Modell) gültig Allgemeiner Mechanismus einfach setzt Kausalität nicht voraus Kann Kausalität nicht bestätigen

20 Was macht man mit Modellen? Wenn Modell korrekt (angemessen), y-werte für nicht beobachtete x Allgemeiner, einfacher, eleganter Mechanismus 1. Kompakte Beschreibung 2. Besseres Verständnis/Hypothesentest 3. Prognose für zusätzliche/hypothetische/zukünftige x

21 Kausalität und Korrelation Was ist Kausalität?

22 Kausalität und Korrelation Was ist Kausalität? x verursacht y. Hypothetisch: ohne x kein y; anderes x anderes y Voraussetzungen: theoretischer Zusammenhang, zeitliche Reihenfolge, keine anderen Variablen ( Theorie und Forschungsdesign) + empirischer Zusammenhang (Korrelation) Näherungsweise Prüfung von Kausalität in experimentellen Designs In Ex-post-facto Designs nur hypothetische Prüfung; statistische Kontrolle von Drittvariablen

23 Kausalität und Korrelation Was ist Kausalität? x verursacht y. Hypothetisch: ohne x kein y; anderes x anderes y Voraussetzungen: theoretischer Zusammenhang, zeitliche Reihenfolge, keine anderen Variablen ( Theorie und Forschungsdesign) + empirischer Zusammenhang (Korrelation) Näherungsweise Prüfung von Kausalität in experimentellen Designs In Ex-post-facto Designs nur hypothetische Prüfung; statistische Kontrolle von Drittvariablen Korrelation notwendig, aber nicht hinreichend für Kausalität Korrelation kann durch gemeinsame Hintergrundvariablen zustande kommen Korrelation kann durch andere Variablen unterdrückt werden, obwohl kausaler Zusammenhang besteht

24 Welche Form hat das Modell der linearen Einfachregression? y =a + b 1 x 1 +e bzw. y =b 0 + b 1 x 1 +e bzw. y =α + β 1 x 1 +ɛ bzw. y =β 0 + β 1 x 1 +ɛ bzw.

25 Welche Form hat das Modell der linearen Einfachregression? y =a + b 1 x 1 +e bzw. y =b 0 + b 1 x 1 +e bzw. y =α + β 1 x 1 +ɛ bzw. y =β 0 + β 1 x 1 +ɛ bzw. Deskription vs. Inferenz lateinische vs. griechische Buchstaben

26 Welche Form hat das Modell der linearen Einfachregression? y =a + b 1 x 1 + b 2 x 2 + b 3 x 3 +e bzw. y =b 0 + b 1 x 1 + b 2 x 2 + b 3 x 3 +e bzw. y =α + β 1 x 1 + β 2 x 2 + β 3 x 3 +ɛ bzw. y =β 0 + β 1 x 1 + β 2 x 2 + β 3 x 3 +ɛ bzw. Deskription vs. Inferenz lateinische vs. griechische Buchstaben Erweiterung zum multivariaten Modell möglich

27 Welche Bestandteile hat dieses Modell? 1. y: abhängige Variable, soll erklärt werden 2. a oder b 0 oder α oder β 0 : Achsenabschnitt : Wert von y wenn x (1) = 0 3. b 1 oder β 1 : Steigung ; erwarteter Effekt auf y wenn x 1 um eine Einheit zunimmt 4. e oder ɛ: Abweichung zwischen erwartetem und beobachtetem y; zufällige Einflüsse 2 und 3 bilden die systematische/deterministische Komponente 4 ist die stochastische/zufällige Komponente

28 Warum ɛ? Wiederholung/Einführung To err is human, to forgive divine, but to include errors into your design is statistical (Leslie Kish)

29 Warum ɛ? Wiederholung/Einführung To err is human, to forgive divine, but to include errors into your design is statistical (Leslie Kish) Kein Modell paßt perfekt Zahl der unabhängigen Variablen beschränkt ɛ umfaßt Nichtgemessene Einflüsse, die vernachlässigt werden können Genuin zufällige Einflüsse Modell Wirklichkeit ɛ

30 Wie sieht das praktisch aus? y e = y 3 ŷ y = y 2 y 1 } a = 2 x = x 2 x 1 y x = b ŷ = a + bx + e = x + e x

31 Wie interpretiert man das Modell der linearen Einfachregression? b: Stärke/Richtung des Effektes von x auf y Bei Interpretation Wertebereiche von x und y beachten ŷ ist der für einen x-wert vorhergesagte Wert von y Konditionaler Mittelwert von y Unter Berücksichtigung der Modellannahmen Vergleich Modell/Empirie: ŷ i vs. y i Warum weicht yi ab? Untypisch? Hypothetische Werte: Wieviel Morde würden wir in einem Bundesstaat ohne Armut erwarten (wenn Modell gilt) Prognose: Wie wirkt sich ein Anstieg der Armut aus? Wie stark läßt sich Verbrechen durch Armutsbekämpfung reduzieren?

32 Daten: Armut und Morde in 51 Bundesstaaten Strukturdaten für 51 US-Staaten (Morde, Armut, % Weiße, % urbane Bevölkerung etc.) Unterschiede in x und y Hawaii: 8 Prozent Arme, Louisiana 26.4 Prozent Maine: 1.6 Morde pro Einwohner, Washington D.C Sehr hohe Aggregationsebene Sehr große Unterschiede in Größe der Einheiten Wyoming: 522,830 Einwohner California: 36,553,215 Einwohner

33 Was erwarten wir? Warum?

34 Was erwarten wir? Warum? Sind Arme gewalttätiger? Macht Armut gewalttätig? Gibt es gemeinsame Ursachen? Sind weniger gewalttätige Staaten wirtschaftlich erfolgreicher?... Kein Rückschluß auf individuelles Verhalten (ökologischer Fehlschluß)

35 Wie sieht die bivariate Verteilung aus? murder poverty

36 Wie sieht die bivariate Verteilung aus? 20 murder[1:50] poverty[1:50]

37 Wie sieht die bivariate Verteilung aus? 20 murder[1:50] poverty[1:50]

38 Was ist ein Kriterium für gute Parameter? Gesucht werden Werte für a und b, die die Summe der quadrierten Abweichungen in y-richtung minimieren Gute Trendgerade Warum? Vorhersagefehler für y optimieren guter fit (innerhalb Modellannahmen) Einfache Abweichungen nicht eindeutig

39 Warum werden nicht die einfachen Abweichungen verwendet? y ŷ = 0 + 2x; e 1 + e 2 + e 3 = 0 x

40 Warum werden nicht die einfachen Abweichungen verwendet? y } e 3 = y 3 ŷ 3 = 2 } e 1 = y 1 ŷ 1 = 2 ŷ = 6 + 0x; e 1 + e 2 + e 3 = = 0 x

41 Was ist ein Kriterium für gute Parameter? Gesucht werden Werte für a und b, die die Summe der quadrierten Abweichungen in y-richtung minimieren Gute Trendgerade Warum? Vorhersagefehler für y optimieren guter fit (innerhalb Modellannahmen) Einfache Abweichungen nicht eindeutig Quadrierte Abweichungen eindeutig + Gewichtung große Abweichungen Optimales Schätzverfahren, wenn Bedingungen erfüllt

42 Wie werden die Parameter bestimmt? Gesucht: Werte für a und b, die SAQ y (bezogen auf ŷ) minimal machen Verlustfunktion, abhängig von Daten und Parameterschätzungen Verlustfunktion SAQ y = = n (y i (b 0 + b 1 x 1i )) 2 i=1 n (y i b 0 b 1 x 1i ) 2 i=1

43 Wie finde ich das Minimum dieser Funktion? Analytische Lösung Notwendige Bedingung für einen Extremwert: 1. Ableitung gleich 0 (Tangente ist an dieser Stelle flach) Funktion hat zwei Variablen zwei partielle Ableitungen (nach b 0 und b 1 ) betrachten

44 Wie finde ich die partiellen Ableitungen? SAQ = SAQ b 0 = SAQ b 1 = n (y i b 0 b 1 x 1i ) 2 (1) i=1 n 1 2 (y i b 0 b 1 x 1i ) = 0 (2) i=1 n x 1i 2 (y i b 0 b 1 x 1i ) = 0 (3) i=1

45 Wie finde ich die Werte für b 0 und b 1? Durch Umformen/Auflösen ergibt sich: b 0 =ȳ b 1 x 1 (4) (x1i x 1 )(y i ȳ) b 1 = (x1i x 1 ) 2 = (5)

46 Wie finde ich die Werte für b 0 und b 1? Durch Umformen/Auflösen ergibt sich: b 0 =ȳ b 1 x 1 (4) (x1i x 1 )(y i ȳ) b 1 = (x1i x 1 ) 2 = SAP xy (5) SAQ x

47 Die einfache Variante b 1 = SAP SAQ x D. h. mit den aus der Berechnung von r bekannten SAP und SAQ b bestimmen Diese Gerade läuft durch Punkt ( x, ȳ) Steigungsdreieck konstruieren, a berechnen

48 Wie sieht das praktisch aus? ( x, ȳ) y y = ȳ a (0, a) } a = 2 x = x 0 y x = ȳ a x 0 = b x

49 Die einfache Variante Wiederholung/Einführung b 1 = SAP SAQ x D. h. mit den aus der Berechnung von r bekannten SAP und SAQ b bestimmen Diese Gerade läuft durch Punkt ( x, ȳ) Steigungsdreieck konstruieren, a berechnen b 1 = y x = ȳ a x 0 = ȳ a x a = b 0 = ȳ b 1 x

50 Wie sieht das im Beispiel aus? x = ȳ = SAQ x = SAP = Koeffizienten

51 Wie sieht das im Beispiel aus? x = ȳ = SAQ x = SAP = Koeffizienten b 1 = SAP SAQ x = = 1.32

52 Wie sieht das im Beispiel aus? x = ȳ = SAQ x = SAP = Koeffizienten b 1 = SAP SAQ x = = 1.32 a = b 0 = ȳ b 1 x = 10.14

53 Was bedeutet das? Statistisch ist bei einem Anstieg der Armutsquote um einen Punkt etwas mehr als ein zusätzlicher Mord / Einwohner zu erwarten Louisiana sollte = 24.8 Morde haben, hat aber nur 20.3 Keine Armut: 10.1 Morde? Bei etwa 8 Prozent Armutsquote wären gar keine Morde mehr zu erwarten? Rolle von ɛ

54 Lineare Einfachregression als einfachstes statistisches Modell Beschreibt Zusammenhang zwischen zwei Variablen mit Veränderungsrate und Konstante Muster für eine ganze Reihe von komplexeren Modellen Modelle Ermöglichen kompakte Beschreibung und Erleichtern Verständnis der Zusammenhänge Ermöglichen ggf. Schluß auf eine Grundgesamtheit Gestatten Prognosen für zukünftige und hypothetische Fälle Wenn Modell korrekt spezifiziert und Annahmen realistisch