Korrelation und Regression

Transkript

1 Professur E-Learning und Neue Medien Institut für Medienforschung Philosophische Fakultät Einführung in die Statistik Korrelation und Regression

2 Überblick Kovarianz und Korrelation Korrelation und Kausalität Fishers Z-Transformation Signifikanz von Korrelationen Lineare bivariate Regression Methode der kleinsten Quadrate Nichtlineare Zusammenhänge Multiple Regression Indikatorcodierung Inferenzstatistische Voraussetzungen

3 Transfer Einführung Zusammenhang zweier Variablen: Die Variablen variieren systematisch miteinander Fiktives Beispiel: Zusammenhang zwischen Behaltens- und Transferleistungen Behalten 3

4 Kovarianz (z. B. Rasch, Friese, Hofmann & Naumann, 014) Kovarianz und Korrelation quantifizieren den Grad des Zusammenhanges Kovarianz zweier Variablen: Durchschnittliches Abweichungsprodukt aller Messwertpaare von ihrem jeweiligen Mittelwert Formel (vgl. Formel zur Varianz): n i1 cov( x, y) ( x i x) ( y n 1 y) Kovarianz als unstandardisiertes Maß für den Grad von Zusammenhängen i x i x y i ӯ n = Wert x der Person i = Mittelwert von x = Wert y der Person i = Mittelwert von y = Anzahl an Personen 4

5 Kovarianz Wie hoch ist die Kovarianz für den rechts dargestellten Datensatz? A: 0.97 B: 1.0 C: 7.0 D: 8.5 Berechnung: cov( x, y) VPN IQ Mathe Sheldon Leonard Howard Rajesh Penny M ( ) ( )... ( ) (.0 6.5) 5 1 Rey.participoll.com cov( x, y) A B C D 0 5

6 Korrelation (z. B. Rasch, Friese, Hofmann & Naumann, 014) Produkt-Moment-Korrelation nach Pearson gebräuchlichstes Maß für die Stärke des Zusammenhangs zweier (intervallskalierter) Variablen Korrelationskoeffizient r als standardisiertes (Effektstärke-)Maß für den Zusammenhang zweier Variablen Formel: r xy cov cov emp max cov(x, y) ˆ ˆ Wertebereich von r reicht von 1 bis +1 x y Cov emp Cov max σ x σ y = Empirische Kovarianz zwischen x und y = Maximale Kovarianz zwischen x und y = Standardabweichung (SD) von x = Standardabweichung (SD) von y Wichtig: Korrelationskoeffizient r nicht intervallskaliert und nicht als Prozentmaß des Zusammenhanges interpretierbar (i. G. zu r ) 6

7 Korrelation Wie hoch ist die (gerundete) Korrelation für den rechts dargestellten Datensatz? A: 0.97 B: 1.00 C: 0.79 D: 0.85 Berechnung: r xy VPN IQ Mathe Sheldon Leonard Howard Rajesh Penny Rey.participoll.com M SD A B C D 0 7

8 Variable y Variable y Variable y Arten von Zusammenhängen Drei Beispiele für Zusammenhänge zwischen zwei Variablen x und y: Hoher positiver Zusammenhang Variable x Positive Kovarianz Hoher negativer Zusammenhang Variable x Negative Kovarianz r = +.9 r = -.96 r = Kein Zusammenhang Variable x Kovarianz von (nahezu) Null 8

9 Korrelation und Kausalität (Rey, 01) Wichtig: Korrelation und Kausalität sind nicht identisch Mögliche Ursachen für eine Korrelation zwischen den zwei Variablen x und y: x y x y x y z z z z x y x y x y x y 9

10 Korrelation und Kausalität (Dubben & Beck- Bornholdt, 006; Bortz & Schuster, 010) Beispiele für hohe Korrelationen ohne Kausalzusammenhänge Storchenpopulation und Geburtenrate Einsatz von Feuerwehrleuten und Brandschäden Globale Erwärmung und Lebenserwartung Verweildauer im Krankenhaus und späterer Gesundheitszustand (negative Korrelation) Kartoffelkonsum und Stromverbrauch (negative Korrelation) Partialkorrelationen dienen zur Aufdeckung von Scheinzusammenhängen aufgrund von Drittvariablen Partialkorrelation: Korrelation zwischen Variablen, welche vom Einfluss einer oder mehrerer Drittvariablen statistisch bereinigt wurde 10

11 Fishers Z-Transformation (z. B. Rasch, Friese, Hofmann & Naumann, 014) Problem: Berechnung von Mittelwerten aus Korrelationen aufgrund des fehlenden Intervallskalenniveaus nicht unmittelbar möglich Lösung: Fishers Z-Transformation (nicht mit der z-standardisierung verwechseln!) Berechnungsschritte Transformation der einzelnen Korrelationen in Fishers Z-Werte Berechnung des Mittelwertes zu den Fishers Z-Werten Rücktransformation dieses Mittelwertes in eine Korrelation Berechnung in Excel mittels der Funktionen FISHER() und FISHERINV() Beispiel: Mittelwert aus r =.10 und r =.90 ist r =.66 und nicht r =.50 11

12 Signifikanz von Korrelationen (z. B. Rasch, Friese, Hofmann & Naumann, 014) Signifikanztest für Korrelationen analog zum t-test Formel: t( df ) r N 1 r Formel für die Freiheitsgrade: df = N Beispiel: In einer Studie mit 100 Studierenden korrelieren Behalten und Transfer mit r = 0.3 Berechnung: t(98) Da t emp = 3.11 t krit = 1.66 wird H 0 zugunsten der H 1 verworfen, d. h. das Ergebnis ist signifikant; r =.3, t(98) = 3.11, p <.01 r N = Korrelation = Stichprobenumfang

13 Transfer Lineare bivariate Regression (z. B. Rasch, Friese, Hofmann & Naumann, 014) Lineare bivariate Regression: Statistisches Verfahren zur Vorhersage einer Kriteriumsvariable durch eine Prädiktorvariable mittels linearer Funktion Fiktives Beispiel: Zusammenhang zwischen Behaltens- und Transferleistungen Behalten 13

14 Lineare bivariate Regression Regressionsgrade soll den Gesamttrend der Einzelwerte bestmöglich wiedergeben Regressionsgleichung zur Regressionsgraden: yˆ m x b ŷ = Vorhergesagte Kriteriumsvariable y m = Steigung der Regressionsgraden x = Prädiktorvariable x b = Achsenabschnitt der Regressionsgraden Berechnung der Regressionsgewichte m und b mittels Methode der kleinsten Quadrate 14

15 Methode der kleinsten Quadrate Quelle: 15

16 Methode der kleinsten Quadrate Summe der Abweichungsquadrate (SAQ) soll ein Minimum ergeben Formel: SAQ n yi yˆ i yi m xi b i1 i1 n min Erste Ableitung bilden und auf Null setzen ergibt für m und b: m b yx yx cov( x, y) y x m yx x y = Beobachtete Werte der Variablen y ŷ = Vorhergesagte Kriteriumsvariable y m = Steigung der Regressionsgraden x = Prädiktorvariable x b = Achsenabschnitt der Regressionsgraden i = Person i 16

17 Lineare bivariate Regression Berechnung von b und m zu dem rechts dargestellten Datensatz: m b yx yx cov( x, y) y m x yx x VPN IQ Mathe Sheldon Leonard Howard Rajesh Penny M SD

18 Mathe Lineare bivariate Regression Regressionsgrade mit b = 1.47 und m = 0.8: IQ Sheldon Leonard Howard Rajesh Penny 18

19 Methode der kleinsten Quadrate Ein Gewicht: Parabel ( Regressionsgerade durch Achsenursprung) Zwei Gewichte: Paraboloid ( Regressionsgrade) n-gewichte: n-dimensionaler Paraboloid ( n 1-dimensionale Regressions-Hyperebene) Für ein Gewicht Für zwei Gewichte SAQ SAQ SAQ min m min m SAQ min b min b m min m 19

20 Methode der kleinsten Quadrate Was kann man an der Methode der kleinsten Quadrate kritisieren? A: Es resultieren nur positive Fehlerwerte. B: Der Einfluss von Ausreißerwerten auf die Parameter ist aufgrund der Quadrierung besonders stark. C: Es werden große Einzelabweichungen vermieden. D: Größere, inhaltlich bedeutsamere Abweichungen werden stärker gewichtet als kleinere, auf Messungenauigkeiten zurückführbare Abweichungen. E: Bei Verwendung von Betragswerten anstelle der quadrierten Werte kann die Ableitung mathematisch nicht mehr ermittelt werden, da die Funktion nicht mehr differenzierbar ist. Rey.participoll.com A B C D E 0 0

21 Variable y Variable y Nichtlineare Zusammenhänge (z. B. Rasch, Friese, Hofmann & Naumann, 014) Beispiele für lineare und nonlineare Zusammenhänge Linearer Zusammenhang Nonlinearer Zusammenhang Variable x Variable x 1

22 Multiple univariate Regression Statistisches Verfahren zur Vorhersage einer Kriteriumsvariable durch mehrere Prädiktorvariablen mittels Linearkombination Regressionsgleichung zur Regressions(hyper-) ebene: ˆ y 1b x b... x b m m Bestimmung der Regressionsgewichte (Beta- Gewichte) wieder mittels Methode der kleinsten Quadrate Unterschied zur linearen bivariaten Regression: Berechnung mit Matrizen statt mit Zahlen ŷ b 0 x 1 b 1 x m b m Vorhergesagte Kriteriumsvariable y Achsenabschnitt der Regressionsgraden Erste Prädiktorvariable Steigung zur ersten Prädiktorvariablen m-te Prädiktorvariable Steigung zur m-ten Prädiktorvariablen

23 Interaktionseffekte in der multiplen Regression Interaktionseffekt (bzw. Moderatoreffekt bzw. Wechselwirkungseffekt) Fiktives Beispiel: Studienerfolg nur dann hoch, wenn IQ und Motivation hoch sind ŷ = 1 b 0 + x 1 b 1 + x 1 x b 3 + x b Bzw. neue Variable (x 3 = x 1 x ) bilden und einsetzen: ŷ = 1 b 0 + x 1 b 1 + x b + x 3 b 3 Studienerfolg Motivation IQ 3

24 Inkrement und Dekrement in der multiplen Regression Für jede einzelne Prädiktorvariable lässt sich der Beitrag zur Varianzaufklärung bestimmen Unterscheidung zwischen Inkrement und Dekrement Inkrement (R I ): Zuwachs an aufgeklärter Varianz durch Hinzunahme weiterer Prädiktorvariablen Dekrement (R D ): Abnahme an aufgeklärter Varianz durch Verzicht auf bestimmte Prädiktorvariablen 4

25 Inkrement und Dekrement in der multiplen Regression Orthogonaler Fall (sämtliche Prädiktorvariablen sind unkorreliert): Addition der Einzelkorrelationen zur Berechnung von R ; R I (bzw. R D ) = r x j,y Kollinearer Fall (Prädiktoren sind korreliert) R kleiner als Summe der Einzelkorrelationen durch Informationsüberschneidungen (häufiger Fall) R größer als Summe der Einzelkorrelationen: Suppressoreffekte durch Informationspräzisierung (seltener Fall) R R R m j1 m j1 m j1 r x j, y r x j, y r x j, y 5

26 Suppressorvariablen in der multiplen Regression Suppressorvariablen erhöhen die aufgeklärte Varianz durch Unterdrückung irrelevanter Varianzen anderer Variablen Bedingungen für eine Suppressorvariable Keine oder geringe Korrelation mit der Kriteriumsvariable Deutliche Korrelation mit mindestens einer Prädiktorvariable Inkrement bzw. Dekrement der Variable ist (deutlich) größer als einfacher Determinationskoeffizient (R ) der Suppressorvariable Beispiel: Berufserfolg (AV) wird durch Abschlussnote im Studium (UV 1 ) und Prüfungsangst (UV ) vorhergesagt Prüfungsangst könnte als mögliche Suppressorvariable irrelevante Varianz in der Abschlussnote unterdrücken 6

27 Kriteriumsvariable bzw. AV Indikatorcodierung Regressionsanalyse mittels Indikatorcodierung auch bei fehlendem Intervallskalenniveau der Prädiktorvariable(n) möglich Indikatorcodierung: Umrechnung von nominaloder ordinalskalierten Prädiktorvariablen in künstliche, intervallskalierte Prädiktorvariablen Beispiel: Umrechnung der Variable Geschlecht in eine Indikatorvariable (z. B. = 0 und = 1) Diese Indikatorvariable enthält nur ein Intervall, welches zu sich selbst äquidistant ist und somit Intervallskalenniveau besitzt Wichtig: Durch Indikatorcodierung und das Allgemeine Lineare Modell gilt mathematisch: Varianzanalyse = Regressionsanalyse 1 0 männlich weiblich 7

28 Inferenzstatistische Voraussetzungen (z. B. Rasch, Friese, Hofmann & Naumann, 014) Intervallskalenniveau der Kriteriumsvariable Normalverteilung der Kriteriumsvariable in der Population Unabhängigkeit der einzelnen Messwerte verschiedener Personen Homoskedastizität: Homogenität der Streuungen der zu einem x-wert gehörenden y-werte über den gesamten Wertebereich von x (vgl. inferenzstatistische Voraussetzungen der MANOVA ohne MW) 8

29 Beispiele für Korrelationen und Regressionen in Fachzeitschriften Quelle: Linek, Gerjets und Scheiter (010) Quelle: Mulder, Lazonder und de Jong (014) Quelle: Habgood und Ainsworth (011) 9

30 Variable y Variable y Zusammenfassung Kovarianz als unstandardisiertes und Korrelation als standardisiertes Maß zur Quantifizierung des Zusammenhanges zweier Variablen Korrelation und Kausalität sind nicht identisch Signifikanztest für Korrelationen analog zum t-test Lineare bivariate Regression: Statistisches Verfahren zur Vorhersage einer Kriteriumsvariable durch eine Prädiktorvariable mittels linearer Funktion Methode der kleinsten Quadrate zur Berechnung der Regressionsgewichte Variable x Variable x 30

31 Prüfungsliteratur Rasch, B., Friese, M., Hofmann, W., & Naumann, E. (014). Quantitative Methoden 1: Einführung in die Statistik für Psychologen und Sozialwissenschaftler (4. Aufl.). Heidelberg: Springer. Merkmalszusammenhänge (S ) 31

32 Weiterführende Literatur I Bortz, J., & Schuster, C. (010). Statistik für Human- und Sozialwissenschaftler (7. Aufl.). Berlin: Springer. Korrelation (S ) Einfache lineare Regression (S ) Eid, M., Gollwitzer, M., & Schmitt, M. (015). Statistik und Forschungsmethoden (4. Aufl.). Weinheim: Beltz. Zusammenhänge zwischen zwei Variablen: Korrelations- und Assoziationsmaße (S ) Abhängigkeiten zwischen zwei Variablen: Einfache lineare Regression (S ) Leonhart, R. (013). Lehrbuch Statistik. Einstieg und Vertiefung (3. Auflage). Bern: Huber. Korrelation und Regression (S ) 3

33 Weiterführende Literatur II Sedlmeier, P., & Renkewitz, F. (013). Forschungsmethoden und Statistik: Ein Lehrbuch für Psychologen und Sozialwissenschaftler (. Aufl.). München: Pearson. Korrelation (S ) Lineare Regression (S ) Rey, G. D. (01). Methoden der Entwicklungspsychologie. Datenerhebung und Datenauswertung. Norderstedt bei Hamburg: BoD. Korrelation (S ) Dubben, H.-H., & Beck-Bornholdt, H.-P. (006). Der Hund, der Eier legt. Erkennen von Fehlinformation durch Querdenken. Reinbek bei Hamburg: Rowohlt Taschenbuch Verlag. 33