Mathematische und statistische Methoden I

Transkript

1 Prof. Dr. G. Meinhardt Methodenlehre Mathematische und statistische Methoden I Sprechstunde jederzeit nach Vereinbarung und nach der Vorlesung Wallstr. 3, 6. Stock, Raum Dr. Malte Persike persike@uni-mainz.de lordsofthebortz.de twitter.com/methodenlehre tinyurl.com/gplusmethodenlehre Folie 1 WiSe 011/01 Fachbereich Sozialwissenschaften Psychologisches Institut Johannes Gutenberg Universität Mainz

2 Bortz, S der multiplen Regression 1. Der multiple Korrelationskoeffizient R Definition: Der multiple Korrelationskoeffizient R repräsentiert die Korrelation zwischen dem Kriterium y und allen Prädiktoren x 1 x k Dabei berücksichtigt R etwaige Interkorrelationen zwischen den Prädiktoren (und entfernt sie) Der multiple Korrelationskoeffizient R ist definiert als R yxx 1 xk j xjy j1 k r Folie Er ist mathematisch äquivalent zur Korrelation zwischen den gemessenen y-werten und den vorhergesagten y dach -Werten, also R r yxx x yy 1 k ˆ

3 der multiplen Regression. Der multiple Determinationskoeffizient R² Definition: Der multiple Determinationskoeffizient R² repräsentiert die Varianzaufklärung, die alle Prädiktoren x 1 x k am Kriterium y leisten Der multiple Determinationskoeffizient R² ist definiert als Erklärte Streuung Fehlerstreuung R 1 Gesamt-Streuung Gesamt-Streuung Folie 3 Rechnerisch: R 1 Var( yˆ ) Var( e) n 1 Var( y) Var( y) 1 n i1 n n i1 ( y yˆ ) ( y y)

4 der multiplen Regression. R und R² R und R² sind tatsächlich direkt ineinander transformierbar k k j xjy j xjy j1 j1 R r r R Folie 4 Für die Bewertung des R können wieder die Daumenregeln nach Cohen (1988) verwendet werden: R < ± 0.10 keine Korrelation R < ± 0.30 kleine Korrelation R < ± 0.50 mittlere Korrelation R ±0.50 hohe Korrelation

5 der multiplen Regression. R und R² Dies führt aber auf ein Problem bei der Bewertung des R², denn die Quadratur der Daumenregeln liefert R² < ± 0.01 keine Korrelation R² < ± 0.10 kleine Korrelation R² < ± 0.5 mittlere Korrelation R² ±0.5 hohe Korrelation In der Praxis bedeuten 5% aufgeklärte Varianz, dass 75% der Streuung in der AV nicht durch die Regressionsgleichung, d.h. die Prädiktoren erklärt wird Folie 5

6 der multiplen Regression. R und R² Daher hat Cohen alternative Daumenregeln für die Bewertung des R² vorgeschlagen (beruhend auf seiner Definition der Effektstärke) R² < ± 0.0 keine Varianzaufklärung R² < ± 0.50 kleine Varianzaufklärung R² < ± 0.80 mittlere Varianzaufklärung R² ±0.80 hohe Varianzaufklärung Diese Regeln sind recht streng, insbesondere in der Feldforschung, wo 0-30% Varianzaufklärung bereits als gutes Ergebnis gewertet werden Folie 6

7 der multiplen Regression 3. Abhängigkeit a) Sind die Prädiktoren unabhängig, so sind die ß- gleich den Kriteriumskorrelationen und die aufgeklärte Varianz ist die Summe der Quadrate der ß- Folie 7 Erklärung: Bei perfekt unabhängigen Prädiktoren ist die Prädiktorinterkorrelationsmatrix R xx gleich der Identitätsmatrix I. Damit gilt für den multiplen Korrelationskoeffizienten R Und R² ist einfach die Summe der quadrierten Kriteriumskorrelationen I r r R R xy k yxx 1 x r k xjy j1 k yxx 1 x r k xjy j1 xy

8 der multiplen Regression 3. Abhängigkeit a) Sind die Prädiktoren unabhängig, so sind die ß- gleich den Kriteriumskorrelationen und die aufgeklärte Varianz ist die Summe der Quadrate der ß- b) Sind die Prädiktoren abhängig (interkorreliert), so sind 3 Fälle zu unterscheiden: 1. Der Prädiktor klärt zumindest Teile der Varianz am Kriterium auf, die andere Prädiktoren nicht aufklären: er ist nützlich.. Der Prädiktor enthält (nur) Information, die auch andere Prädiktoren enthalten: er ist redundant 3. Der Prädiktor unterdrückt irrelevante Varianz in anderen Prädiktoren: er ist ein Suppressor Folie 8

9 Bortz, S. 349 der multiplen Regression 3a. Nützlichkeit Nützlichkeit = Der Beitrag, den eine Variable zur Varianzaufklärung des Kriteriums leistet, der von den anderen Variablen nicht geleistet wird Die Nützlichkeit einer Variablen x j berechnet sich als U R R j y, x y, x 1,,..., k j 1,,..., k j U j ist also der Betrag, um den R² wächst, wenn die Variable x j in die multiple Regressionsgleichung aufgenommen wird. Folie 9

10 Bortz, S der multiplen Regression 3b. Redundanz Redundanz = die vielen Variablen messen Aspekte gemeinsam, so dass man prinzipiell weniger Prädiktoren benötigte unerwünschter Aspekt Die Variable x j ist redundant zur Vorhersage von Variable y wenn gilt r r x x y x y j j j Prädiktoren enthalten empirisch nahezu immer gemeinsame Varianzanteile und sind somit teilweise redundant. Echte Redundanz liegt erst gemäß obiger Definition vor. Folie 10 Multikollinearität: Die Kovarianz eines Prädiktors mit dem Kriterium ist in den anderen Prädiktoren (fast) vollständig enthalten extremer Fall von Redundanz, der unbedingt zu vermeiden ist.

11 Bortz, S der multiplen Regression 3c. Suppression r x1 y r x1 x r x y =0 x 1 X Y x bindet irrelevante Prädiktorinformation x hängt nicht mit y zusammen, trotzdem erhöht sie R² Folie 11

12 der multiplen Regression 3c. Suppression Defintion: Eine Variable x j ist ein Suppressor, wenn gilt: U x j r x y j Die Zunahme der erklärten Varianz durch Aufnahme der Variable ist also größer als die einzelne Varianzaufklärung. Vereinfachung: Bei nur zwei Prädiktoren x 1 und x ist x ein Supressor, wenn gilt: r 1-r x1x xzx 1. r xz 1 1-rx z Folie 1

13 Bortz, S Grundlagen Linearisierbare Formen Polynome Nichtlineare Regression Grundlagen Bei einer Reihe psychologischer Fragestellungen ergeben sich nichtlineare Zusammenhänge zwischen UV & AV. Beispiele: Reaktionszeit, Blutalkohol und psychomotorische Leistungen, Fehlerraten in Leistungstests bei verschiedenen Aufgabenschwierigkeiten Solche nichtlinearen Zusammenhänge lassen sich in zwei Klassen einteilen: 1. Zusammenhänge, die sich durch eine einfache (nichtlineare) Transformationen in lineare Zusammenhänge überführen lassen Folie 13. Zusammenhänge, für die eine nichtlineare Regressionsgleichung gelöst werden muss.

14 Grundlagen Linearisierbare Formen Polynome Nichtlineare Regression Linearisierbare und polynomiale Formen Fall 1: Linearisierende Transformation, z.b. ˆ ln ˆ ln ln ln y b xb1 y b b x (hier nicht behandelt) Fall : Nicht (einfach) linearisierbar ŷ b b xb x 0 1 Folie 14

15 Grundlagen Nichtlineare Regression Beispiel: Logistische Regression Linearisierbare Formen Polynome Folie 15 Gemessene Daten verlaufen ogivenförmig und variieren zwischen 0 und 1 Umformung der y-werte durch Logarithmieren bewirkt eine Linearisierung der Daten Mithilfe dieser neuen y-werte kann eine lineare Regression bestimmt werden, um die Parameter b 0 und b 1 zu errechnen

16 Grundlagen Linearisierbare Formen Polynome Grundlagen und Durchführung Häufig können Merkmalszusammenhänge durch Polynome. oder 3. Ordnung gut beschrieben werden, d.h. oder ŷ b b xb x 0 1 ŷ b b xb x b x Dies ist formal eine lineare multiple Regression, allerdings nicht mit mehreren Prädiktoren, sondern mit einem Prädiktor sowie Transformationen seiner selbst. Folie 16

17 Grundlagen Linearisierbare Formen Polynome Grundlagen und Durchführung Eine solche polynomiale Regression wird berechnet, indem einfach die transformierten Prädiktorterme x², x³ usw. bestimmt werden Dann wird auf diesen eine übliche lineare multiple Regression durchgeführt Die Einträge der Korrelationsmatrix sind dabei dann die Korrelationen des Prädiktors mit sich selbst in den transformierten Formen Es können alle von und Gütemaße der multiplen Regression bestimmt werden. Folie 17 Die polyn. Regression ist auch über die KQ-Methode (inkl. Normalgleichungen) herzuleiten. Dies führt auf dasselbe Ergebnis wie der hier verfolgte Ansatz.