Mathematische und statistische Methoden I

Transkript

1 Prof. Dr. G. Meinhardt 6. Stock, Wallstr. 3 (Raum 06-06) Sprechstunde jederzeit nach Vereinbarung und nach der Vorlesung. Mathematische und statistische Methoden I Dr. Malte Persike persike@uni-mainz.de WS 00/0 Fachbereich Sozialwissenschaften Psychologisches Institut Johannes Gutenberg Universität Mainz Folie

2 Grundlagen Gleichung Minimierung Normalgleichungen Grundlagen Oft werden in psychologischen Untersuchungen nicht nur ein sondern mehrere UVn betrachtet, die eine AV beeinflussen. Beispiele: Abhängigkeit der Lebenszufriedenheit von sozialem, ökonomischem und Gesundheitsstatus; Beeinflussung sportlicher Leistung durch Trainingszustand und Anwesenheit von Zuschauern. Solche Fragestellungen werden auch als multifaktoriell bezeichnet Problem: Die Berechnung vieler paarweiser Korrelationen im multifaktoriellen Fall vernachlässigt mögliche Zusammenhänge zwischen den Prädiktoren Folie

3 Grundlagen Gleichung Minimierung Normalgleichungen Grundgleichung Die vorherzusagende Variable (AV, y-wert) wird als Kriterium bezeichnet, die vorhersagenden Variablen (UVn, x-werte) als Prädiktoren. Die Vorhersagegleichung der multiplen Regression mit k Prädiktoren wird geschrieben als ˆ = k k y b b x b x b x Bei standardisierten Daten verwendet man das Symbol β für die k Regressionsparameter (bzw. -gewichte ) ˆ = β + β + + βk k y z z z Folie 3

4 Grundlagen Gleichung Minimierung Normalgleichungen Folie 4 Regression Methode der kleinsten Quadrate (KQ-Kriterium) Zur Minimierung des Vorhersagefehlers wird oft das Kleinste-Quadrate Kriterium verwendet (KQ; oder Ordinary Least Squares, OLS) Parameter der multiplen Regressionsgleichung werden so gewählt, dass das Quadrat der Abweichungen von gemessenem und geschätztem Wert minimiert wird Für eine Versuchsperson i aus allen n gelte: y = yˆ + e e = y yˆ i i i i i i beobachteter Kriteriumswert = vorhergesagter Wert + Messfehler Dann soll für alle n Datenwerte erreicht werden, dass n ( y yˆ ) e = i i i i= i= n min Minimierung der Quadratsumme des Vorhersagefehlers

5 Grundlagen Gleichung Minimierung Regression Methode der kleinsten Quadrate (KQ-Kriterium) Mithilfe der Allgemeinen Gleichung der einfachen linearen Regression lässt sich für die Streuung des Vorhersagefehlers QS e also schreiben: n n ( ˆ e i i) ( i 0 i i k ik) i= i= QS = y y = y b b x b x b x min Normalgleichungen bzw. in der standardisierten Form n n ( ˆ ) ( β β β ) QS = z z = z z z z e y y y x x k x i= i= i i i i i ik min Folie 5 Die Minimierung der Regressionsparameter erfolgt über partielle Differenzierung nach jedem einzelnen der b- bzw. β-gewichte

6 Grundlagen Gleichung Minimierung Normalgleichungen Folie 6 Regression Normalgleichungen der multiplen Regression Die partielle Differenzierung der nichtstandardisierten Gleichung mit k Prädiktoren führt immer auf ein System von k+ Normalgleichungen, das wie folgt aufgebaut ist: n n n n n y = b + b x + b x + + b x 0 k k i= i= i= i= i= n n n n n yx = b0 x+ b x + b xx + + bk xx k i= i= i= i= i= n n n n n yx = b0 x + b x x + b x + + bk xxk i= i= i= i= i= n n n n yx = b x + b x x + b x x + + bk x k 0 k k k i= i= i= i= n i= k

7 Grundlagen Gleichung Minimierung Normalgleichungen Regression Normalgleichungen der multiplen Regression In der standardisierten Form ergibt sich ein System von k Normalgleichungen: n n n n zx z y = β zx + β zx z x + + β k zx z xk i= i= i= i= n n n n zx z y = β zx z x + β zx + + β k zx z x i= i= i= i= n n n n zx zy = β zx zx + β zx zx + + βk zx i= i= i= i= k k k k k Folie 7

8 Grundlagen Gleichung Minimierung Normalgleichungen Regression - Zusammenfassung Die partielle Differenzierung einer multiplen Regressionsgleichung mit k Prädiktoren führt immer auf ein System von k+ (bzw. k) Normalgleichungen Prinzip: Die summierte Ausgangsgleichung wird nacheinander mit Prädiktor x 0 x k (bzw. z z k ) multipliziert Die Normalgleichungen liefern dann für k+ (bzw. k) unbekannte Regressionsparameter genau so viele Gleichungen. Dieses Gleichungssystem kann nun durch Substitution oder Diagonalisierung für die Parameter gelöst werden Folie 8

9 Interpretation der b und β Matrixalgebraische Berechnung Zusammenfassung Folie 9 Matrixalgebraische Berechnung der multiplen Regression Wir haben gesehen, dass die Normalgleichungen der multiplen Regression für standardisierte Daten lauteten: n n n n zx z y = β zx + β zx z x + + β k zx z xk i= i= i= i= n n n n zx z y = β zx z x + β zx + + β k zx z x i= i= i= i= n n n n zx zy = β zx zx + β zx zx + + βk zx i= i= i= i= k k k k Weiterhin ist die Korrelation zweier Variablen x p und x q : n r = z z x x i, x i, x n i = p q p q k

10 Matrixalgebraische Berechnung der multiplen Regression Damit reduziert sich das Normalgleichungssystem zu: Interpretation der b und β Matrixalgebraische Berechnung Zusammenfassung r = β + β r + β r + + β r x y x x 3 x x k x x 3 r = β r + β + β r + + β r x y x x 3 x x k x x 3 r = β r + β r + β + + β r x y x x x x 3 k x x r = β r + β r + β r + + β x y x x x x 3 x x k k k k 3 k k k k In Matrixnotation ist dies: R xx β = r mit T xy Rxx = Z Z n Folie 0

11 Interpretation der b und β Matrixalgebraische Berechnung der multiplen Regression In Matrixnotation ist dies: wobei: R xx β = Rxx = k k r xy mit Rxx T = Z Z n Matrix der Prädiktorinterkorrelationen Matrixalgebraische Berechnung Zusammenfassung Folie

12 Interpretation der b und β Matrixalgebraische Berechnung Zusammenfassung Folie Exkurs: Die Korrelationsmatrix R Aufbau und Bedeutung Die Korrelationsmatrix R stellt die Korrelationen zwischen k Variablen in Matrixschreibweise dar. Sie ist quadratisch und enthält k k Korrelationen x x x k x x x r r r r rk rk k k k Die Hauptdiagonale enthält die Korrelationen der Variablen mit sich selbst (r xx = ) Die untere und obere Dreiecksmatrix sind symmetrisch

13 Interpretation der b und β Matrixalgebraische Berechnung Zusammenfassung Matrixalgebraische Berechnung der multiplen Regression In Matrixnotation ist dies: wobei: R xx β = r xy mit Rxx T = Z Z n Rxx = k k Matrix der Prädiktorinterkorrelationen rxy = k Vektor der Kriteriumskorrelationen β = k Vektor der Regressionsgewichte Z = n k Vektor der z-standardisierten Daten Lösung: Inverse Interkorrelationsmatrix vormultiplizieren R R β = R r xx xx xx xy β = R r xx xy Folie 3

14 Interpretation der b und β Matrixalgebraische Berechnung Zusammenfassung Matrixalgebraische Berechnung Rückrechnung der unstandardisierten Parameter Wurden die β-parameter für die z-standardisierten Daten matrixalgebraisch bestimmt, kann die Berechnung der unstandardisierten b-parameter vorgenommen werden über SDy bi = βi mit i =,,..., k SD x i Die Konstante b 0 wird dann berechnet als b0 = y bx bx... bkxk Folie 4

15 Interpretation der b und β Matrixalgebraische Berechnung Zusammenfassung Interpretation der Lösung b- und β-gewichte Die Größe eines b-gewichtes gibt an, um wieviele Einheiten sich der Wert des unstandardisierten Kriteriums verändert, wenn der Betrag des unstandardisierten Prädiktors um steigt. Die Größe des β-gewichtes gibt dasselbe für die standardisierten Variablen an Das b-gewicht beantwortet die Frage: Ich möchte einen der Prädiktoren um erhöhen. Welchen sollte ich wählen, damit das Kriterium maximal steigt? Das β-gewicht beantwortet die Frage: Mit welchem Prädiktor erhöhe ich das Kriterium am effizientesten? Folie 5 Das b-gewicht liefert also eine absolute, das β-gewicht eine relative Information.

16 Interpretation der b und β Matrixalgebraische Berechnung Zusammenfassung Regression Vereinfachung bei nur einem Prädiktor Bei nur einem Prädiktor vereinfacht sich die Berechnung der Regressionsgewichte erheblich. b s = rxy s. Steigung: oder y x b ŷ = b0 + b x = cov( xy, ) s x. y-achsenabschnitt: b0 = y b x Folie 6

17 Regression Zusammenfassung Interpretation der b und β Matrixalgebraische Berechnung Zusammenfassung Oft ist in der Psychologie die Vorhersage des Wertes einer bestimmten Variablen unter Kenntnis der Ausprägung anderer Variablen gefordert. Die bekannten Variablen wird dabei als Prädiktoren, Unabhängige Variablen (UVn) oder Erklärende Variablen bezeichnet Die vorherzusagende Variable wird als Kriterium, Abhängige Variable (AVn) oder Response bezeichnet Folie 7

18 Regression Zusammenfassung Interpretation der b und β Matrixalgebraische Berechnung Zusammenfassung Drei Hauptfragestellungen der Regressionsrechnung:. Gibt es eine statistische Beziehung zwischen zwei Variablen, die die Vorhersage der AV aus der UV erlaubt?. Kann eine möglichst einfache mathematische Regel formuliert werden, die diesen Zusammenhang beschreibt? ˆ = k k y b b x b x b x 3. Wie gut ist diese Regel im Hinblick auf die Vorhersage? Folie 8

19 Regression Zusammenfassung Interpretation der b und β Matrixalgebraische Berechnung Zusammenfassung Gründe für die Annahme einer linearen Gleichung: Lineare Zusammenhänge sind einfach zu verstehen Lineare Zusammenhänge sind mathematisch und statistisch einfach zu behandeln Lineare Gleichungen haben sich vielfach als gute Approximationen für komplexe Beziehungen erwiesen Achtung: Auch wenn die Beziehung zwischen zwei ZVn linear aussieht, muss es sich nicht zwangsläufig um einen linearen Zusammenhang handeln. Folie 9

20 Interpretation der b und β Matrixalgebraische Berechnung Zusammenfassung Regression Zusammenfassung Vorsicht bei der Interpretation der Regressionsgleichung Bei der Korrelationsrechnung bedeutet ein Zusammenhang niemals Kausalität, lediglich Assoziation Bei der Regressionsrechnung gilt zunächst dasselbe Die Kausalitätsvermutung wird (wenn überhaupt) schon bei der Aufstellung der Regressionsgleichung getroffen, nicht erst bei der Interpretation der Ergebnisse. Um tatsächlich Kausalität festzustellen, müssen weitere Randbedingungen vorliegen (z.b. zeitliche Antezedenz von Ursache vor Wirkung). Folie 0

21 Relevante Excel Funktionen MMULT() MTRANS() MINV() Folie

22 Kennwerte Test der Gewichte gegen Null Kennwerte der multiplen Regression. Der multiple Korrelationskoeffizient R Definition: Der multiple Korrelationskoeffizient R repräsentiert die Korrelation zwischen dem Kriterium y und allen Prädiktoren x x k Dabei berücksichtigt R etwaige Interkorrelationen zwischen den Prädiktoren (und entfernt sie) Der multiple Korrelationskoeffizient R ist definiert als R yxx xk j xjy j= k = β r Folie Er ist mathematisch äquivalent zur Korrelation zwischen den gemessenen y-werten und den vorhergesagten y dach -Werten, also R yxx x = ryy k ˆ

23 Kennwerte Test der Gewichte gegen Null Kennwerte der multiplen Regression. Der multiple Determinationskoeffizient R² Definition: Der multiple Determinationskoeffizient R² repräsentiert die Varianzaufklärung, die alle Prädiktoren x x k am Kriterium y leisten Der multiple Determinationskoeffizient R² ist definiert als Erklärte Streuung Fehlerstreuung R = = Gesamt-Streuung Gesamt-Streuung Folie 3 Rechnerisch: R Var( yˆ ) Var( e) n = = = Var( y) Var( y) n i= n n i= ( y yˆ ) ( y y)

24 Kennwerte Test der Gewichte gegen Null Kennwerte der multiplen Regression 3. Abhängigkeit a) Sind die Prädiktoren unabhängig, so sind die ß-Gewichte gleich den Kriteriumskorrelationen und die aufgeklärte Varianz ist die Summe der Quadrate der ß-Gewichte Folie 4 Erklärung: Bei perfekt unabhängigen Prädiktoren ist die Prädiktorinterkorrelationsmatrix R xx gleich der Identitätsmatrix I. Damit gilt für den multiplen Korrelationskoeffizienten R Und R² ist einfach die Summe der quadrierten Kriteriumskorrelationen β = I r β = r R R xy k yxx x = r k xjy j= k yxx x = r k xjy j= xy

25 Kennwerte Test der Gewichte gegen Null Kennwerte der multiplen Regression 3. Abhängigkeit a) Sind die Prädiktoren unabhängig, so sind die ß-Gewichte gleich den Kriteriumskorrelationen und die aufgeklärte Varianz ist die Summe der Quadrate der ß-Gewichte b) Sind die Prädiktoren abhängig (interkorreliert), so sind 3 Fälle zu unterscheiden:. Der Prädiktor klärt zumindest Teile der Varianz am Kriterium auf, die andere Prädiktoren nicht aufklären: er ist nützlich.. Der Prädiktor enthält Information, die bereits andere Prädiktoren enthalten: er ist redundant. Der Prädiktor unterdrückt irrelevante Varianz in anderen Prädiktoren: er ist ein Suppressor Folie 5

26 Kennwerte Test der Gewichte gegen Null Kennwerte der multiplen Regression 3a. Nützlichkeit Nützlichkeit = Der Beitrag, den eine Variable zur Varianzaufklärung des Kriteriums leistet, der von den anderen Variablen nicht geleistet wird Die Nützlichkeit einer Variablen x j berechnet sich als U = R R j y, x y, x,,..., k, j,,..., k U j ist also der Betrag, um den R² wächst, wenn die Variable x j in die multiple Regressionsgleichung aufgenommen wird. Folie 6

27 Kennwerte Test der Gewichte gegen Null Kennwerte der multiplen Regression 3b. Redundanz Redundanz = die vielen Variablen messen Aspekte gemeinsam, so dass man prinzipiell weniger Prädiktoren benötigte unerwünschter Aspekt Die Variable x j ist redundant zur Vorhersage von Variable y wenn gilt β r < r x x y x y j j j Prädiktoren enthalten empirisch nahezu immer gemeinsame Varianzanteile und sind somit teilweise redundant. Echte Redundanz liegt aber erst gemäß obiger Definition vor. Folie 7 Multikollinearität: Die Kovarianz eines Prädiktors mit dem Kriterium ist in den anderen Prädiktoren (fast) vollständig enthalten extremer Fall von Redundanz.

28 Kennwerte Test der Gewichte gegen Null Kennwerte der multiplen Regression 3c. Suppression r x y r x x r x y =0 x x y x bindet irrelevante Prädiktorinformation x hängt nicht mit y zusammen, trotzdem erhöht sie R² Folie 8

29 Kennwerte Test der Gewichte gegen Null Kennwerte der multiplen Regression 3c. Suppression Defintion: Eine Variable x j ist ein Suppressor, wenn gilt: U x j > r x y j Die Zunahme der erklärten Varianz durch Aufnahme der Variable ist also größer als die einzelne Varianzaufklärung. Vereinfachung: Bei nur zwei Prädiktoren x und x ist x ein Supressor, wenn gilt: r -r xx xzx. > r xz -rx z Folie 9

30 Kennwerte Test der Gewichte gegen Null Statistischer Test der Gewichte Fragestellung Neben der Aussage über die Nützlichkeit eines Prädiktors ist man oft daran interessiert, ob er überhaupt mit dem Kriterium zusammenhängt Grundgedanke: Ein Prädiktor, der in keiner Verbindung zum Kriterium steht, sollte den Wert β j = 0 haben. Ein Prädiktor, der an der Veränderung des Kriteriums beteiligt ist, sollte einen Wert β j 0 haben. Problem: Allein aufgrund der zufälligen Auswahl der Merkmalsträger für die Stichprobe wird ein β-gewicht niemals perfekt Null sein ( Stichprobenfehler ). Folie 0

31 Kennwerte Test der Gewichte gegen Null Statistischer Test der Gewichte Fragestellung Frage: Wie unterschiedlich zu Null muss ein β-gewicht sein, damit wir begründet annehmen können, dass diese Abweichung nicht zufällig ist? Es existieren einfache statistische Verfahren zur (probabilistischen) Beantwortung dieser Fragestellung Ebenso kann geprüft werden, ob der multiple Korrelationskoeffizient zufällig zustande gekommen ist oder auf tatsächlichen systematischen Zusammenhängen zwischen Kriterium und Prädiktoren beruht Folie

32 Grundlagen Linearisierbare Formen Polynome Nichtlineare Regression Grundlagen Bei einer Reihe psychologischer Fragestellungen ergeben sich nichtlineare Zusammenhänge zwischen UV & AV. Beispiele: Reaktionszeit, Blutalkohol und psychomotorische Leistungen, Fehlerraten in Leistungstests bei verschiedenen Aufgabenschwierigkeiten Solche nichtlinearen Zusammenhänge lassen sich in zwei Klassen einteilen:. Zusammenhänge, die sich durch eine einfache (nichtlineare) Transformationen in lineare Zusammenhänge überführen lassen Folie. Zusammenhänge, für die eine nichtlineare Regressionsgleichung gelöst werden muss.

33 Grundlagen Linearisierbare Formen Polynome Nichtlineare Regression Linearisierbare und polynomische Formen Fall : Linearisierende Transformation, z.b. ˆ ( ) ln ˆ ln ln ln 0 0 y = b xb y = b + b x ( ) ( ) ( ) (hier nicht behandelt) Fall : Nicht (einfach) linearisierbar ŷ = b + b x+ b x 0 Folie 3

34 Grundlagen Nichtlineare Regression Beispiel: Logistische Regression 0.8 Linearisierbare Formen Polynome Folie 4 Gemessene Daten verlaufen ogivenförmig und variieren zwischen 0 und Umformung der y-werte durch Logarithmieren bewirkt eine Linearisierung der Daten Mithilfe dieser neuen y-werte kann eine lineare Regression bestimmt werden, um die Parameter b 0 und b zu errechnen

35 Grundlagen Linearisierbare Formen Polynome Grundlagen und Durchführung Häufig können Merkmalszusammenhänge durch Polynome. oder 3. Ordnung gut beschrieben werden, d.h. oder ŷ = b + b x+ b x 0 ŷ = b + b x+ b x + b x Dies ist formal eine lineare multiple Regression, allerdings nicht mit mehreren Prädiktoren, sondern mit einem Prädiktor sowie Transformationen seiner selbst. Folie 5

36 Grundlagen Linearisierbare Formen Polynome Grundlagen und Durchführung Eine solche polynomische Regression wird berechnet, indem die transformierten Prädiktorterme bestimmt werden Dann wird eine übliche lineare multiple Regression durchgeführt Die Einträge der Korrelationsmatrix sind dabei dann die Korrelationen des Prädiktors mit sich selbst in den transformierten Formen Es können alle Kennwerte und Gütemaße der multiplen Regression bestimmt werden. Folie 6 Die polyn. Regression ist auch über die KQ-Methode (inkl. Normalgleichungen) herzuleiten. Dies führt auf dasselbe Ergebnis wie der hier verfolgte Ansatz.

37 Voraussetzungen Voraussetzungen der Regression Mathematische und statistische Betrachtung Residualplot Mathematisch ist eine multiple Regression praktisch immer zu rechnen, da nur in Ausnahmefällen die Invertierung der Prädiktorinterkorrelationsmatrix fehlschlägt Statistisch aber sollen eine Reihe von Voraussetzungen erfüllt sein, damit Kennwerte und inferenzstatistische Verfahren (z.b. der statistische Test der β Gewichte) anwendbar sind die Regressionsgleichung empirische Aussagekraft besitzt Folie

38 Voraussetzungen Residualplot Voraussetzungen der Regression. Skalenniveaus Die Prädiktoren können entweder intervallskaliert oder dichotom sein Das Kriterium muss intervallskaliert sein und die Skala soll unbeschränkt sein (keine untere und obere Schranke Ungebundenheit) Für andere Skalenniveaus des Kriteriums existieren verschiedene Regressionsvarianten: Logistische Regression für dichotome Kriteriumsvariablen Multinomiale Regression für nominalskalierte Kriterien Ordinale Regression für ordinalskalierte Kriterien Folie 3

39 Voraussetzungen Residualplot Voraussetzungen der Regression. Eigenschaften der Prädiktoren Keine zu hohen Interkorrelationen zwischen den Prädiktoren, i.e. Vermeidung von Multikollinearität Es sollen alle wesentlichen Einflussvariablen des Kriteriums erfasst werden, d.h. hinreichend hohes R² Der Zusammenhang zwischen den Prädiktoren und dem Kriteriums soll dem Modell der Regressionsgleichung entsprechen (linear, polynomisch etc.) Es soll eine hinreichend hohe Stichprobengröße vorliegen, Daumenregeln empfehlen hier zwischen 5 und 5 Personen pro Prädiktor Folie 4

40 Voraussetzungen Residualplot Voraussetzungen der Regression 3. Eigenschaften der Fehler bzw. Residuen Hinweis: Der Vorhersagefehler in der Regression wird auch als Residuum bezeichnet Die Residuen dürfen nicht untereinander korreliert sein, d.h. die Höhe des Vorhersagefehlers für Merkmalsträger darf nicht den Fehler für Merkmalsträger beeinflussen Die Residuen sollen normalverteilt sein Für die Residuen soll der erwartete Mittelwert 0 sein Folie 5 Die Residuen sollen dem Gebot der Homoskedastizität genügen, d.h. ihre Varianz soll unabhängig vom Kriteriumswert sein.

41 Voraussetzungen Residualplot Der Residualplot Eigenschaften der Fehler bzw. Residuen Für die meisten der Fehlereigenschaften gibt es statistische Tests zur Voraussetzungsprüfung z.b. Variance Inflation Factor (VIF) für Multikollinearität, Durbin-Watson Test für Unkorreliertheit, Levene-Test für Homoskedastizität, Kolmogoroff-Smirnov Test für Normalverteilung Der Residualplot ist ein optisches Verfahren zur Prüfung der Voraussetzungen Er stellt die beobachteten Kriteriumswerte (x-achse) und die Residuen (y-achse) gegenüber An ihm kann man Homoskedastizität, Modellpassung (und auch Normalverteiltheit) optisch gut überprüfen Folie 6

42 Voraussetzungen Der Residualplot Eigenschaften der Fehler bzw. Residuen Residualplot Folie 7 Hinweis: Für die Residuen werden zumeist die z-standardisierten Residuen gewählt

43 Voraussetzungen Der Residualplot Eigenschaften der Fehler bzw. Residuen Residualplot Folie 8