Bivariate lineare Regression. Statistik für SozialwissenschaftlerInnen II p.154

Transkript

1 Bivariate lineare Regression Statistik für SozialwissenschaftlerInnen II p.154

2 Grundidee und Typen der Regression Die Regressionsanalyse dient zur Quantifizierung des Zusammenhangs und der statistisch kausalen Verbindung zwischen metrischen Variablen. Grundidee der Regression: Die Ausprägung abhängigen Variablen lässt sich durch eine mathematische Funktion der unabhängige(n) Variablen ausdrücken: y = f(x) Allgemein lassen sich zwei Grundtypen der Regression unterscheiden: Die lineare Regression, bei der ein linearer Zusammenhang unterstellt wird: y = a + b x Die nicht-lineare Regression, bei der nicht-lineare (z.b. gemischt-quadratische) Funktionen zur Beschreibung des Zusammenhangs genutzt werden. Statistik für SozialwissenschaftlerInnen II p.155

3 Beispiel: Regressionsgerade CDU: Anteil an gueltigen Stimmen Katholiken'87: Anteil an Bevoelkerung Zusammenhang zwischen CDU-Wähleranteil und Katholikenrate (Rheinland-Pfalz) ŷ = 33, , 194 x Statistik für SozialwissenschaftlerInnen II p.156

4 Interpretation der Koeffizienten Die Konstante a Entspricht mathematisch dem y-achsenabschnitt. Sie kann beliebige Werte annehmen und lässt sich als unabhängiger, konstanter Grundwert interpretieren. Der Regressionskoeffizient b Entspricht mathematisch der Steigung der Geraden und kann zwischen und + schwanken. 0 bedeutet keinen Einfluss der Unabhängigen, negative Werte einen negativen Einfluss und positive Werte einen positiven Einfluss Statistik für SozialwissenschaftlerInnen II p.157

5 Beispiel: Schätzfehler Wie hoch schätzen wir das Wahlergebnis im WK Kaiserslautern? Der Katholikenanteil liegt bei 34,89 %. Schätzung des Wahlergebnisses: Schätzwert: ŷ = 40, 06 % 33, , , 89 = 40, 06 Tatsächlicher Anteil der CDU in Kaiserslautern: y = 37, 68 Schätzfehler (Residuum): e = 2, 38 Statistik für SozialwissenschaftlerInnen II p.158

6 Schätzfehler Residuen Wie das Beispiel des WK Kaiserslauern zeigt, kann es bei der Schätzung von y-werten anhand einer Regression zu Fehlern kommen. Nahezu alle Schätzungen sind mit Fehlern behaftet Je stärker die empirische Verteilung der y-werte von einer Geraden abweicht, desto größer ist die (quadrierte) Summe der Residuen Legt man eine Gerade durch einen Punkteschwarm, gibt es Geraden, die den Punkteschwarm besser (geringe Residuen) oder auch schlechter (hohe Residuen) repräsentieren Berechnung der Residuen: e = y i ŷ i Statistik für SozialwissenschaftlerInnen II p.159

7 Die Ermittlung der Regressionsgeraden Üblicherweise ist die Regressionsgerade, also die Werte für a und b, unbekannt und soll anhand der Daten geschätzt werden. Kriterium für die Schätzung der Regressionsgeraden: Möglichst geringe Schätzfehler Gesucht ist also die Gerade, zu der alle Punkte den geringstmöglichen (quadrierten) Abstand besitzen Methode der kleinsten Quadrate : n (y i ŷ i ) 2 = min! Statistik für SozialwissenschaftlerInnen II p.160

8 Berechnung der Regressionskoeffizienten Durch partielles Ableiten der Gleichung nach a und b kann berechnet werden, welche Werte von a und b die Beziehung (y ŷ) 2 minimieren. Es ergeben sich folgende Berechnungsformeln: a = ȳ b x mit s xy = 1 n 1 s 2 x = 1 n 1 b = s xy s 2 x = n (x i x)(y i ȳ) n (x i x) 2 Kovarianz xy Varianz x Statistik für SozialwissenschaftlerInnen II p.161

9 Beispiel: Regressionskoeffizienten Wahlkreis x y x i x (x i x) 2 y i ȳ (x i x) (y i ȳ) Neuwied 55,55 44,21 0,56 0,31 0,25 0,14 Ahrweiler 81,99 50, ,17 166,59 Koblenz 73,14 46,6 18,15 329,42 2,64 47,92 Cochem 70,78 50,94 15,79 249,32 6,98 110,21 Kreuznach 32,6 39,1 22,39 501,31 4,86 108,82 Bitburg 91,4 52,68 36, ,68 8,72 317,50 Trier 87,97 44,82 32, ,68 0,86 28,36 Montabaur 50,76 43,42 4,23 17,89 0,54 2,28 Mainz 51,36 40,86 3,63 13,18 3,1 11,25 Worms 32,81 37,99 22,18 491,95 5,97 132,41 Frankenthal 31,98 39,71 23,01 529,46 4,25 97,79 Ludwigshafen 38,01 40,86 16,98 288,32 3,1 52,64 Neustadt - Sp 45,61 46,48 9,38 87,98 2,52 23,64 Kaiserslautern 34,89 37,68 20,1 404,01 6,28 126,23 Pirmasens 45,98 42,79 9,01 81,18 1,17 10,54 Südpfalz 55,07 45,09 0,08 0,01 1,13 0,09 879,9 703, , ,14 x = 54, 99 ȳ = 43, 96 a = ȳ b x = 43, 96 0, , 99 = 33, 29 b = s xy s = 1189,14/15 = 0, x 6136,72/15 Statistik für SozialwissenschaftlerInnen II p.162

10 Der Determinationskoeffizient R 2 Gibt Auskunft darüber, wwelcher Anteil der Streuung der abhängigen Variable durch die Regression erklärt wird Ausgangspunkt ist eine Varianzanalyse: SAQ ges = SAQ erklärt + SAQ unerklärt Die erklärte Streuung ist die Abweichung der Schätzwerte vom Mittelwert, die nicht-erklärte Streuung die Abweichung der empirischen Werte von den Schätzwerten: (yi ȳ) 2 = (ŷ i ȳ) 2 + (y i ŷ i ) 2 R 2 ist das Verhältnis der erklärten Streuung zur Gesamtstreuung: R 2 = erklärte Streuung Gesamtstreuung = n (ŷ i ȳ) 2 n (y i ȳ) 2 Statistik für SozialwissenschaftlerInnen II p.163

11 Beispiel R 2 Wahlkreis y i (y i ȳ) (y i ȳ) 2 ŷ i (ŷ i ȳ) (ŷ i ȳ) 2 Neuwied 44,21 0,25 0,06 44,07 0,11 0,01 Ahrweiler 50,13 6,17 38,07 49,19 5,23 27,36 Koblenz 46,6 2,64 6,97 47,48 3,52 12,36 Cochem 50,94 6,98 48,72 47,02 3,06 9,36 Kreuznach 39,1 4,86 23,62 39,62 4,34 18,83 Bitburg 52,68 8,72 76,04 51,01 7,05 49,77 Trier 44,82 0,86 0,74 50,35 6,39 40,83 Montabaur 43,42 0,54 0,29 43,14 0,82 0,67 Mainz 40,86 3,1 9,61 43,26 0,70 0,50 Worms 37,99 5,97 35,64 39,66 4,30 18,47 Frankenthal 39,71 4,25 18,06 39,50 4,46 19,88 Ludwigshafen 40,86 3,1 9,61 40,67 3,29 10,83 Neustadt - Sp 46,48 2,52 6,35 42,14 1,82 3,30 Kaiserslautern 37,68 6,28 39,44 40,06 3,90 15,17 Pirmasens 42,79 1,17 1,37 42,21 1,75 3,05 Südpfalz 45,09 1,13 1,28 43,98 0,02 0,00 703,36 315,87 230,40 43,96 R 2 = n (ŷ i ȳ) 2 n (y i ȳ) 2 = 230,40 315,87 = 0, 73 Statistik für SozialwissenschaftlerInnen II p.164

12 Signifikanztest der Regression Überprüft, ob sich der Regressionskoeffizient β in der Grundgesamtheit von 0 unterscheidet: H 0 : β = 0 ; H 1 : β 0 (ungerichtet) H 0 : β 0 ; H 1 : β > 0 (positiv gerichtet) Die Hypothese wird mit folgender t-verteilter Prüfgröße berechnet (mit k =Anzahl der unabhängigen Variablen; hier 1): t emp = b s b mit df = n k 1 wobei der Standardfehler des Regressionskoeffizienten s b n (y i ŷ i ) 2 n 2 s b = n (x i x) 2 Statistik für SozialwissenschaftlerInnen II p.165

13 Beispiel Signifikanztest Hypothese: Je höher der Anteil der Katholiken in einerm Landkreis, desto besser das Wahlergebnis der CDU. Berechnung von t emp : H 1 : β > 0 ; H 0 : β 0 t = b s b Alle zur Werte, die zur Berechnung des Standardfehlers notwendig sind, wurden bereits berechnet: n (y i ŷ i ) 2 230,40 n 2 s b = n (x i x) = 14 = 0, , 72 und damit t emp = 0,194 /0,00518 = 37, 45 Da t krit = 1, 76 und t emp > t krit, kann die H 0 verworfen werden. Statistik für SozialwissenschaftlerInnen II p.166