25. Januar Ruhr-Universität Bochum. Methodenlehre III, WS 2009/2010. Prof. Dr. Holger Dette. 4. Multivariate Mittelwertvergleiche

Transkript

1 Ruhr-Universität Bochum 25. Januar / 75

2 2 / 75

3 4.1 Beispiel: Vergleich von verschiedenen Unterrichtsmethoden Zwei Zufallsstichproben (A und B) mit je 10 Schülern und 8 Schülern Gruppe A wird nach Unterrichtsmethode A unterrichtet und Gruppe B nach Unterrichtsmethode B Für jeden Schüler werden zwei Variable gemessen Leistung (x1) Zufriedenheit (x2) Frage: besteht zwischen den beiden Unterrichtsmethoden ein Unterschied? 3 / 75

4 Daten zu Beispiel 4.1 Methode A x 1 x Methode B x 1 x Beachte: Im Prinzip könnte man beide Variablen getrennt untersuchen. (z.b. Hypothesen bzgl. der Variablen x 1 mit t-test für zwei unabhängige Stichproben). Die Anwendung von mutliplen Tests führt aber zu Schierigkeiten bei der Wahl des Niveaus (vgl. Methodenlehre II, 1.16). 4 / 75

5 4.2 Mathematisches Modell g Gruppen von Probanden in jeder Gruppe gibt es n j Probanden, für die Daten erhoben werden (j) x 1,..., x n (j) j (j = 1,..., g) jedes Datum (d.h. Messung an einem Probanden) hat p Variablen/Merkmale. x (j) m = (x (j) m1,..., x (j) mp) (m = 1,..., n j ) bezeichnet die Messwerte für Proband m in Gruppe j (man beachte, dass der obere Index j die Gruppe bezeichnet). alle Daten sind Realisierungen einer normalverteilten Zufallsvariable. die Daten entstammen aus unabhängigen Gruppen Ziel: Vergleich der Erwartungswertvektoren (d.h. den Vektoren aus den komponentenweise gebildeten Erwartungswerten). 5 / 75

6 4.3 Hypothesentest für den Erwartungswert (Vektor) der Population (g = 1) Frage: ist der Erwartungswertvektor µ der Grundgesamtheit gleich einem gegebenen Vektor µ 0 Idee: lehne die Nullhypothese H 0 : µ = µ 0 ab, falls der Vektor x (1) µ 0 groß ist. Dabei bezeichnet x (1) = 1 n 1 n 1 m=1 den Mittelwertvektor der beobachteten Daten. Beachte: Der Mittelwertvektor ist x (1) ist der Vektor gebildet aus den Mittelwerten für die einzelnen Variablen x m (1). x (1) m 6 / 75

7 4.4 Beispiel (Fortsetzung von 4.2) Ein Wissenschaftler behauptet, dass der Erwartungswertvektor der Population derjenigen Schüler, die nach Methode A unterrichtet werden, durch den Vektor µ 0 = ( 10 5 ) gegeben ist. In diesem Fall ist p = 2, n 1 = 10. Man berechnet den Mittelwertvektor x (1) = 1 n1 {( n 1 m=1 x(1) m = 1 11 ) ( ) ( ) } = ( ) und erhält x (1) µ 0 = ( ) Beachte: Wenn die Nullhypothese gilt, sollten die beiden Komponenten in diesem Vektor ungefähr gleich 0 sein, andernfalls sollte mindestens eine der Komponenten weit von 0 entfernt sein. 7 / 75

8 4.5 Hotellings T 2 -Test für eine Stichprobe Modellannahmen: die beobachteten Daten sind Realisationen von unabhängigen multivariat normalverteilten Zufallsvariablen. Testgröße wobei T 2 1 = n 1 (x (1) µ 0 ) D 1 1 (x (1) µ 0 ) D 1 = 1 n 1 1 n 1 (x (1) m=1 m x (1) )(x (1) ) T m x (1) eine Schätzung für die Kovarianzmatrix der Population ist. Diese Matrix dient hier der Standardisierung, da nicht davon ausgegangen werden kann, dass verschiedene Variablen dieselbe Größenordnug haben. Die Nullhypothese H 0 : µ = µ 0 wird verworfen, falls n 1 p (n 1 1)p T 2 1 > F p,n1 p,1 α ist. Dabei ist F p,n1 p,1 α das (1 α)-quantil der F -Verteilung mit (p, n 1 p) Freiheitsgraden. 8 / 75

9 Beispiel (Berechnung der Kovarianzmatrix) Beachte: In Beispiel 4.1 erhält man für Gruppe A als Kovarianzmatrix D 1 = 1 [ {( ) ( )} {( ) ( )} T { (9 ) ( ) } T {(9 ) ( )} ] = 1 [( ) ( ) ] (0.2, 0.6) + ( 1.8, 1.4) = 1 [ ( ) ( ) ] ( ) = / 75

10 Beachte: Berechnet man für das erste und das zweite Merkmal der Daten für Unterrichtsmethode A die Varianz, so ergibt sich s 2 x 1 = 1 9 {( )2 + (9 10.8) 2 + ( ) } = 3.29 s 2 x 2 = 1 9 {(5 4.4)2 + (3 4.4) 2 + (4 4.4) } = 1.82 D.h. in der Diagonalen der Kovarianzmatrix stehen die (empirischen) Varianzen der Merkmale. Berechnet man für das erste und zweite Merkmal die Kovarianz, so ergibt sich sx 2 1x 2 = 1 {( )(5 4.4) + (9 10.8)(3 4.4) +... } 9 = 0.36 D.h. in den Einträgen neben der Diagonalen stehen die (empirischen) Kovarianzen zwischen den Merkmalen. 10 / 75

11 Eine Bemerkung zur Kovarianzmatrix Beispiel: 500 simulierte Daten (zweidimensional) X1 X2 Beachte: Die Kovarianzmatrix D 1 wird zur Standardisierung verwendet. Ziel ist es, die Daten so zu transfomieren, dass Die einzelnen Komponenten dieselbe Größenordnung haben. Die beiden Komponenten unkorreliert sind. 11 / 75

12 Beispiel: Bei den 500 Daten, wurde jede Komponente getrennt z-standadisiert X1 X2 Beachte: Die einzelnen Komponenten haben dieselbe Größenordnung. Die beiden Komponenten sind aber nicht unkorreliert. 12 / 75

13 Beispiel: die 500 simulierten Daten werden wie folgt transformiert. Es gibt eine Matrix A mit A A = D 1. Transformiere die Daten durch z i = A 1 (x (1) i x (1) ) X1 X2 Beachte: Die einzelnen Komponenten haben dieselbe Größenordnung. Die beiden Komponenten sind unkorreliert. 13 / 75

14 Beispiel: Hotellings T 2 -Test für Beispiel 4.1 Für die Daten aus Gruppe A im Beispiel 4.1 ergibt sich für die Statistik T 1 der Wert ( ) 1 ( ) T = 10 (0.8, 0.6) ( ) ( ) = 10 (0.8, 0.6) ( ) 0.21 = 10 (0.8, 0.6) = Da F 2,8,0.95 = 4.46 und T 2 1 H 0 : µ = = 1.52, kann die Nullhypothese ( ) 10 5 zum Niveau 5% nicht verworfen werden (p-wert: 0.275) 14 / 75

15 Anschauliche Interpretation von Hotellings T 2 -Test für die Daten aus Beispiel 4.1 X Y X1 Links: Original Daten Rechts: Daten nach der Transformation z = A 1 (x µ 0 ) Beachte: Die Nullhypothese wird abgelehnt, falls der durchschnittliche Abstand der transformierten Daten zum Nullpunkt des Koordinatensystems zu groß ist. Y1 15 / 75

16 SPSS Output für die Daten aus Beispiel 4.1 Multivariate Tests b Effekt Konstanter Term a. Exakte Statistik Pillai-Spur Wilks-Lambda Hotelling-Spur Größte charakteristische Wurzel nach Roy Wert,276,724,380,380 F 1,522 a 1,522 a 1,522 a 1,522 a Hypothese df 2,000 2,000 2,000 2,000 Fehler df 8,000 8,000 8,000 8,000 Sig.,275,275,275,275 b. Design: Konstanter Term Beachte: Mit SPSS wurde die Nullhypothese H : µ = 0 mit den um den Vektor µ 0 = (10, 5) T verschobenen Daten überprüft. Der Wert von Hotellings T 2 berechnet sich indem man den Wert der Hotelling-Spur mit (n 1) multipliziert : T 2 1 = (10 1) = 3.42 SPSS liefert noch die Ergbnisse für drei weitere Tests für die Nullhypothese H : µ = 0 (Pillai-Spur, Wilk s-lambda, Roy s größter Eigenwert), die am Ende des Kapitels erklärt werden. 16 / 75

17 4.6 Wichtigste Anwendung des Einstichproben T 2 -Tests: Vergleich von zwei abhängigen Stichproben Beispiel: 5 Probanden machen ein Konzentrationstraining. Vor und nach dem Training wird ein Konzentrationstest gemacht, in dem 2 Variablen gemessen werden. Das ergibt die Daten: vorher x 1 x nachher x 1 x nachher - vorher x 1 x Frage: Bewirkt das Training einen Unterschied in der Konzentrationsfähigkeit? Idee: Falls kein Unterschied zwischen den Ergebnissen vor und nach dem Test besteht sollten die Differenzen (nachher-vorher) klein seien. 17 / 75

18 T 2 -Tests: für zwei abhängige Stichproben Idee: Man wendet Hotelling s Einstichproben T 2 -Test auf die komponentenweise gebildeten Differenzen der Daten an, um die Hypothese H 0 : µ = 0 zu testen. Im Beispiel ergibt sich (n = 5, p = 2): Mittelwertvektor der Differenzen: ( ) T1 2 = 5 F = = 1.87 Das 95%-Quantil der F -Verteilung mit (2, 3) Freiheitsgraden ist F 2,3,0.95 = Damit kann die Nullhypothese ( vor und nach dem Training besteht kein Unterschied ) nicht zum Niveau 5% verworfen werden. 18 / 75

19 Anschauliche Interpretation von Hotellings T 2 -Test für die Daten aus Beispiel 4.6 X Y X Y1 Links: Original Daten (Differenzen vorher - nachher) Rechts: Daten nach der Transformation z = A 1 (x µ 0 ) (in diesem Fall ist µ 0 = 0) Beachte: Die Nullhypothese wird abgelehnt, falls der durchschnittliche Abstand der transformierten Daten zum Nullpunkt des Koordinatensystems zu groß ist. 19 / 75

20 4.7 Vergleich von zwei unabhängigen Stichproben Frage: sind die Erwartungswertvektoren µ 1 und µ 2 der beiden Populationen (vgl. Beispiel 4.1) gleich H 0 : µ 1 = µ 2 Idee: die Nullhypothese wird abgelehnt falls der Vektor der Differenzen x (1) x (2) groß ist (d.h. sich mindestens eine der Komponenten deutlich von 0 unterscheidet). Dabei bezeichnet x (j) = 1 n j n j m=1 x (j) m j = 1, 2 den Mittelwert (Vektor) der Gruppe j (j = 1: Lernmethode A, j = 2 Lernmethode B) 20 / 75

21 4.8 Beispiel (Fortsetzung von 4.1) Ein Wissenschaftler behauptet, dass zwischen den Unterrichtsmethoden ein Unterschied bestht. mathematische Formulierung der Nullhypothese H 0 : µ 1 µ 2 = 0 H 0 : µ 1 = µ 2 µ j bezeichnet den Erwartungswert (Vektor) der Population j Als Schätzung für die Mittelwertdifferenz berechnet man zunächst den Mittelwertvektor der beiden Populationen (x (1) wurde bereits in Beispiel 4.4 berechnet) x (2) = 1 n 2 = n 2 m=1 ( Damit erhält man x (1) x (2) = x (j) m = 1 8 ) ( ) {( ) ( ) = 4.5 ( ) ( ) } ( ) / 75

22 4.9 Hotelling s T 2 -Test für den Vergleich von zwei Stichproben aus unabhängigen Populationen Modellannahmen: Zwei unabhängige Stichproben {x m (1) = (x (1) m1,..., x mp) (1) m = 1,..., n 1 } {x (2) m = (x (2) m1,..., x mp) (2) m = 1,..., n 2 } Die beobachteten Daten sind Realisationen von normalverteilten Zufallsvariablen. (x (1) 1,..., x(1) n 1 ) und (x (2) 1,..., x(2) n 2 ) sind Realisationen unabhängiger Zufallsvariablen (d.h. es liegen unabhängige Stichproben vor). Varianzhomogenität und Kovarianzhomogenität 22 / 75

23 4.9 Hotelling s T 2 -Test für den Vergleich von zwei Stichproben aus unabhängigen Populationen Testgröße T 2 2 = n 1n 2 (n 1 + n 2 2) n 1 + n 2 (x (1) x (2) ) T W 1 (x (1) x (2) ), wobei die Matrix W = n 2 j j=1 m=1 (x (j) m x (j) )(x (j) m x (j) ) T die (gewichteten) Summen der Varianzen und Kovarianzen innerhalb der beiden Gruppen enthält. Die Nullhypothese H 0 : µ 1 = µ 2 wird zum Niveau α verworfen, falls n 1 + n 2 p 1 (n 1 + n 2 2)p T 2 2 > F p,n1+n 2 p 1,1 α gilt. Dabei bezeichnet F p,n1+n 2 p 1,1 α das (1 α)-quantil der F -Verteilung mit (p, n 1 + n 2 p 1) Freiheitsgraden. 23 / 75

24 Bemerkung zu der Matrix W Kovarianzmatrix für Gruppe 1 D 1 = 1 n 1 1 n 1 (x (1) m=1 m x (1) )(x (1) ) T m x (1) Kovarianzmatrix für Gruppe 2 D 2 = 1 n 2 1 n 2 (x (1) m=1 m x (1) )(x (1) ) T m x (1) Die Matrix ergibt sich als gewichtete Summe von D 1 und D 2 : Im Beispiel 4.1 ist W = 9 W = (n 1 1) D 1 + (n 2 1) D 2 ( ) ( ) = ( ) / 75

25 Beispiel (Fortsetzung von 4.1) Für die Matrix W erhält man im Beispiel 4.1 ( ) ( ) W = W 1 = Das ergibt ( ) ( ) T = (0.925, 0.1) ( ) = (0.925, 0.1) = Wegen ( ) 2 T 2 3 = 0.54 und F 2,15,0.95 = 3.68 kann die Nullhypothese H 0 : µ 1 = µ 2 ( zwischen den Unterrichtsmethoden besteht kein Unterschied ) zum Niveau 5% nicht verworfen werden (p-wert: 0.593). 25 / 75

26 SPSS Output: Vergleich von zwei unabhängigen Stichproben Effekt Konstanter Term GRUPPE Pillai-Spur Wilks-Lambda Hotelling-Spur Größte charakteristische Wurzel nach Roy Pillai-Spur Wilks-Lambda Hotelling-Spur Größte charakteristische Wurzel nach Roy a. Exakte Statistik b. Design: Konstanter Term + GRUPPE Multivariate Tests b Wert,981,019 50,785 50,785,068,932,073,073 F 380,886 a 380,886 a 380,886 a 380,886 a,547 a,547 a,547 a,547 a Hypothese df 2,000 2,000 2,000 2,000 2,000 2,000 2,000 2,000 Fehler df 15,000 15,000 15,000 15,000 15,000 15,000 15,000 15,000 Sig.,000,000,000,000,590,590,590,590 Der Wert von Hotellings T 2 berechnet sich durch Multiplikation des Werts der Hotelling-Spur mit (n 1 + n 2 2): T 2 2 = ( ) = SPSS liefert noch die Ergbnisse für drei weitere Tests für die Nullhypothese H : µ 1 = µ 2 (Pillai-Spur, Wilk s-lambda, Roy s größter Eigenwert), die am Ende des Kapitels erklärt werden. 26 / 75

27 4.10 Einfaktorielle multivariate Varianzanalyse (MANOVA) Modellannahmen: g 2 unabhängige Stichproben. {x (1) m = (x (1) m1,..., x (1) mp) m = 1,..., n 1 }. {x (g) m = (x (g) m1,..., x (g) mp ) m = 1,..., n g } die beobachteten Daten sind Realisationen von normalverteilten Zufallsvariablen. (x (1) 1,..., x(1) n 1 ),..., (x (g) 1,..., x(g) n 2 ) sind Realisationen unabhängiger Zufallsvariablen (d.h. es liegen g unabhängige Stichproben vor). Varianzhomogenität und Kovarianzhomogenität. 27 / 75

28 4.10 MANOVA Es bezeichne µ j den Erwartungswert (-vektor) der j-ten Population (j = 1,..., g). Nullhypothese: H 0 : µ 1 = = µ g Die Nullhypothese wird zu Gunsten der Alternative für H 1 : µ i µ j für mindestens ein Paar i, j (i j) verworfen falls für Wilk s gilt: Λ = W (W + B) 1 Λ p,n g,n 1,α Dabei bezeichnet Λp,n g,n 1,α das (1 α)-quantil der Wilk s-λ-verteilung mit (p, n g, n 1) Freiheitsgraden n = g j=1 n j die Anzahl aller Beobachtungen Die Matrix B = g j=1 n j (x (j) x ( ) )(x (j) x ( ) ) T dient als Maß für die Unterschiede zwischen den Gruppen (Streuung zwischen den Gruppen). D.h. man vergleicht jeden Gruppenmittelwertvektor mit dem Mittelwertvektor von allen Daten. 28 / 75

29 Vergleich mit dem eindimensionalen Fall Im Fall p = 1 ergibt sich Λ 1 = W + B W = 1 + B W g j=1 = 1 + n j(x (j) x ( ) ) 2 g nj (j) j=1 m=1 (x m x (j) ) 2 H 0 wird verworfen, falls Λ kleine Werte annimmt, d.h. falls g B W = j=1 n j(x (j) x ( ) ) 2 g nj (j) j=1 m=1 (x m x (j) ) 2 große Werte annimmt. D.h. der Test von Wilk ist eine Verallgemeinerung des F -Test für multivariate Daten (vgl. Beispiel Methodenlehre II, 1.17) Für große Stichprobenumfänge kann man zeigen, dass der Test (n 1 g + p ) log Λ χ 2 p(g 1),1 α 2 näherungsweise das Niveau α hat. Dabei bezeichnet χ 2 p(g 1),1 α das Quantil der χ 2 -Verteilung mit p(g 1) Freiheitsgraden 29 / 75

30 SPSS und Wilk s Λ In SPSS wird statt der χ 2 -Approximation (Bartlett, 1947) eine F -Approximation verwendet (Rao, 1952). Man kann zeigen, dass F f1,f 2 = f 2 f 1 1 Λ1/s Λ 1/s näherunsweise F -verteilt ist mit (f 1, f 2 ) Freiheitsgraden, wobei f 1 = p(g 1), f 2 = m s 1 p(g 1) m = n 1 p + g 2 s = p 2 (g 1) 2 4 p 2 + (g 1) 2 5 Als Approximation für das α-quantil der Wilk s Λ-Verteilung erhält man ( 1 ) s Λ p,n g,n 1,α 1 + f1 f 2 F f1,f 2,α Ist n im Vergleich zu g und p klein, dann liefert die F -Approximation die genaueren Werte. 30 / 75

31 4.10 Abschließende Bemerkungen Wilk s Test setzt die Normalverteilungsannahme und Varianzund Kovarianzhomogenität voraus. Sind λ 1,..., λ g die Eigenwerte der Matrix W 1 B, dann gilt Λ = g 1 i=1 1+λ i = λ 1 1+λ 2 1+λ g Neben der Determinante werden noch andere Kriterien für die Konstruktion von Teststatistiken verwendet: Hotelling s Spurkriterium g H = Spur (B 1 1 W ) = Pillai s Spurkriterium P = Spur (W (W + B) 1 ) = λ i i=1 g i= λ i Roy s größter Eigenwert (der Matrix (W (W + B) 1 ): R = g max i= λ i 31 / 75

32 4.11 Beispiel: MANOVA Anhand von Aufsätzen wird bei 6 Unter-, 4 Mittel- und 5 Oberschichtenkindern ein Index für die Satzlänge (x1), ein Index für die Vielfalt der Wortwahl (x2) und ein Index für die Komplexität der Satzkonstruktionen (x3) erhoben. Stimmen die drei sozialen Schichten hinsichtlich dieser linguistischen Variablen überein? Daten (p = 3, n 1 = 6, n 2 = 4, n 3 = 5) Unterschicht Mittelschicht Oberschicht x 1 x 2 x 3 x 1 x 2 x 3 x 1 x 2 x / 75

33 Man berechnet die Gruppenmittelwerte x (1) = 1 ( 3 ) ( 4 ) ( = x (2) = ( ) ( 7, x (3) = ), ) den Gesamtmittelwert x ( ) = 1 ( ) ( ) ( = ) und erhält für die Streuung zwischen den Gruppen 33 / 75

34 ( 3 B = ( ( 0.53 = = ) ( ) ( ( ) ( ) ( ) ( 1.14 ( 0.53, 1.33, 4.4) ) ) ( ) ) ( T ) T ) (1.14, 1.0, 1.73) / 75

35 Für die Matrix W erhält man mit einer ähnlichen Rechnung wie in Beispiel W = und damit für Wilk s Λ (die Berechnung der Determinante wird hier nicht dargestellt) Λ = W (W + B) 1 = Es ist p = 3, n 1 = 6, n 2 = 4, n 3 = 5 und man erhält (Tabelle) = Λ Λ 3,12,14,0.95 = mit der F -Approximation (Rao) erzielt man die gleiche Testentscheidung (n = 15, s = 2, f 1 = 6, f 2 = 20) f 2 f 1 1 Λ1/s Λ 1/s = = F 6,20,0.95 Damit wird die Nullhypothese (die Erwartungswerte der Populationen sind gleich) zum Niveau 5% verworfen. 35 / 75

36 SPSS Output für Beispiel 4.11: Multivariate Tests c Effekt Konstanter Term Schicht Pillai-Spur Wilks-Lambda Hotelling-Spur Größte charakteristische Wurzel nach Roy Pillai-Spur Wilks-Lambda Hotelling-Spur Größte charakteristische Wurzel nach Roy Wert,990, , ,246,717,297 2,321 2,300 F 347,487 a 347,487 a 347,487 a 347,487 a 2,049 2,784 a 3,481 8,435 b Hypothese df 3,000 3,000 3,000 3,000 6,000 6,000 6,000 3,000 Fehler df 10,000 10,000 10,000 10,000 22,000 20,000 18,000 11,000 a. Exakte Statistik b. Die Statistik ist eine Obergrenze auf F, die eine Untergrenze auf dem Signifikanzniveau ergibt. c. Design: Konstanter Term + Schicht Sig.,000,000,000,000,102,039,018, / 75

37 37 / 75

38 5.1 Beispiel 20 Versuchspersonen werden gebeten einen Text abzuschreiben. Dabei werden der beim Schreiben gezeigte durchschnittliche Schreibdruck (x1) registriert die durchschnittliche Unterlänge der Buchstaben (x2) ermittelt Außerdem werden die Personen mit dem Rosenzweig PF (Picture Frustration) Test klassifiziert. Folgende Kategorien kommen hierbei in Betracht: extrapunitiv: Aggresivität ist gegen die Umwelt gerichtet intrapunitiv: Aggresivität ist gegen das eigene Ich gerichtet impunitiv: Aggresivität wird überhaupt umgangen 38 / 75

39 Daten zu Beispiel 5.1 extrapunitiv intropunitiv impunitiv x 1 x 2 x 1 x 2 x 1 x / 75

40 Streudiagramm zu Beispiel 5.1 Aggresivität Durchschnittliche Unterlänge der Buchstaben extrapunitiv: Aggresivität ist gegen die Umwelt gerichtet intropunitiv: Aggresivität ist gegen das eigene Ich gerichtet impunitiv: die Aggresivität wird überhaupt umgangen Schreibdruck 40 / 75

41 Mathematisches Modell der Diskriminanzanalyse g Gruppen von Probanden in jeder Gruppe n j Probanden, jeweils gemessen in p Variablen x (j) 1,..., x(j) n j (j = 1,..., g) x (j) m = (x (j) m1,..., x mp) (j) (m = 1,..., n j ) p ist die Anzahl der gemessenen Variablen Beachte: Das Modell entspricht der einfaktoriellen multivariaten Varianzanalyse (wobei hier keine Normalverteilungsannahme gemacht wird) Ziel: der Diskriminanzanalyse ist die Bildung optimaler Linearkombinationen y (j) ms = v 1s x (j) m1 + + v ps x (j) mp (s = 1, 2,... ), um die gegebenen Probandengruppen möglichst gut separieren zu können 41 / 75

42 Beispiele für Linearkombination für die Daten in 5.1 (g = 3, p = 2) Mittelwert aus beiden Merkmalen: v 1 = (v 11, v 21 ) = ( 1 2, 1 2 ) y (1) 11 = (1) 3 = 8, y 21 2 = = 10, y (3) 11 = = 9.5 Kontrast (Differenz aus den Merkmalen) (v 21, v 22 ) = ( 1 2, 1 2 ) y (1) 12 = (1) 3 = 5, y 22 2 = = 5, y (3) 12 = = / 75

43 Daten für die beiden Linearkombinationen ext int imp y 1 y 2 y 1 y 2 y 1 y Frage: was sind optimale Linearkombinationen? 43 / 75

44 5.2 Das Grundprinzip der Diskriminanzanalyse Schritt 1: Wir bestimmen zunächst eine Linearkombination y (j) m1 = v 11 x (j) m1 + + v p1 x (j) mp Beachte: die neuen Daten hängen von den Gewichten v 11,..., v p1 ab Das ergibt g Gruppen mit je n j (eindimensionalen) Daten Gruppe 1 : y (1) 11,..., y (1) n 11. Gruppe g : y (g) 11..., y (g) n g 1 Man versucht jetzt, die Gewichte v 11,..., v p1 so zu wählen, dass man die Gruppen möglichst gut unterscheiden kann 44 / 75

45 Eine (naheliegende) Möglichkeit: wähle v 11,..., v p1 so, dass sich (a) die Gruppenmittelwerte y (j) 1 = 1 nj n j m=1 y (j) m1 möglichst stark streuen. (b) die transformierten Daten innerhalb einer Gruppe möglichst wenig streuen. Betrachtet man als Maß für die Streuung die Varianz, dann führt (a) auf die Maximierung von g F (v 11,..., v p1 ) = n j (y (j) 1 y 1) 2. Dabei ist y ( ) 1 = 1 g nj n j=1 m=1 y (j) m1 der Mittelwert der transformierten Daten der Gesamtstichprobe und n = n n g die Anzahl aller Probanden. (b) führt auf die Minimierung von n g j G(v 11,..., v p1 ) = (y (j) m1 y (j) 1 )2 j=1 j=1 m=1 Eine simultane Maxi- und Minimierung der Größen F und G ist nicht möglich! 45 / 75

46 Man maximiert daher den Ausdruck H (1) (v 11,..., v p1 ) = F (v 11,..., v p1 ) G(v 11,..., v p1 ) = g j=1 n j (y (j) 1 y 1) 2 g nj (j) j=1 m=1 (y m1 y (j) 1 )2 Den Maximalwert bezeichnen wir mit λ 1. Man spricht auch von dem größten Eigenwert Man beachte: die Größe H (1) (v 11,..., v p1 ) ist (bis auf einen Faktor der Freiheitsgrade) die Statistik des F -Tests in der einfaktoriellen Varianzanalyse (vgl. Methodenlehre II, 1.17) D.h. die Gewichte v 11,..., v p1 für die erste Linearkombination werden so bestimmt, dass die Statistik des F -Tests für den Vergleich der Gruppenmittelwerte der transformierten Daten maximal wird 46 / 75

47 Beispiele für die erste Linearkombination für die Daten in 5.1 (g = 3, p = 2) (v 11, v 21 ) (0.8348, ) y (1) 11 y (1) 21 y (3) 31 = = , = = , = = / 75

48 Transformierte Daten für die erste optimale Linearkombination y (1) m1 y (2) m1 y (3) m1 ext int imp / 75

49 Schritt 2 (und Folgende): Man bestimmt nun eine weitere Linearkombinationen y (j) m2 = v 12 x (j) m1 + + v p2 x (j) mp so dass: (1) die Größe H (2) (v 12,..., v p2 ) = F (v 12,..., v p2 ) G(v 12,..., v p2 ) = g j=1 n j (y (j) 2 y 2) 2 g nj (j) j=1 m=1 (y m2 y (j) 2 )2 maximal wird und (2) die transformierten Daten {y (j) m1 m = 1,..., n j; j = 1,..., g} und {y (j) m2 m = 1,..., n j; j = 1,..., g} unkorreliert sind Den Maximalwert aus Schritt 2 bezeichnen wir mit λ 2 (zweitgrößter Eigenwert). Die aus den weiteren Schritten erhaltenen Größen werden mit λ 3 λ 4... bezeichnet. 49 / 75

50 Beispiele für die beiden Linearkombination für die Daten in 5.1 (g = 3, p = 2) (v 11, v 21 ) (0.8348, ) y (1) 11 y (1) 21 y (3) 31 = = , = = , = = (v 11, v 21 ) (0.4969, ) y (1) 12 y (1) 21 y (3) 31 = = , = = , = = / 75

51 Transformierte Daten für die ersten beiden optimalen Linearkombinationen ext int imp y 1 y 2 y 1 y 2 y 1 y Frage: Wie findet man die Transformationen? 51 / 75

52 Deskriptive Statistiken vor und nach der Transformation Aggresivität extrapunitiv: Aggresivität ist gegen die Umwelt gerichtet intropunitiv: Aggresivität ist gegen das eigene Ich gerichtet impunitiv: die Aggresivität wird überhaupt umgangen Gesamt Schreibdruck Mean 14,43 16,80 12,75 13,96 Sd 1,13,84 1,28 2,12 Durchschnittliche Unterlänge der Buchstaben Mean 4,14 6,60 7,13 5,69 Sd,69 1,95 1,25 1,83 Aggresivität extrapunitiv: Aggresivität ist gegen die Umwelt gerichtet intropunitiv: Aggresivität ist gegen das eigene Ich gerichtet impunitiv: die Aggresivität wird überhaupt umgangen Gesamt Y1 Mean 9,76 10,39 6,72 8,70 Sd,80 1,13,89 1,89 Y2 Mean 10,76 14,08 12,52 12,29 Sd 1,02 1,84 1,53 1,90 52 / 75

53 Streudiagramm zu Beispiel 5.1 mit Eigenvektoren Durchschnittliche Unterlänge der Buchstaben 9,00 8,00 7,00 6,00 5,00 4,00 Aggresivität extrapunitiv: Aggresivität ist gegen die Umwelt gerichtet intropunitiv: Aggresivität ist gegen das eigene Ich gerichtet impunitiv: die Aggresivität wird überhaupt umgangen Gruppenmittelwert 3,00 10,00 12,00 14,00 16,00 18,00 Schreibdruck 53 / 75

54 Altes und neues Koordiantensystem Durchschnittliche Unterlänge der Buchstaben Aggresivität extrapunitiv: Aggresivität ist gegen die Umwelt gerichtet intropunitiv: Aggresivität ist gegen das eigene Ich gerichtet impunitiv: die Aggresivität wird überhaupt umgangen Schreibdruck 12,00 Aggresivität extrapunitiv: Aggresivität ist gegen die Umwelt gerichtet intropunitiv: Aggresivität ist gegen das eigene Ich gerichtet impunitiv: die Aggresivität wird überhaupt umgangen 10,00 Y1 8,00 6,00 4,00 10,00 12,00 14,00 16,00 Y2 54 / 75

55 5.3 Bemerkungen (1) Ist x (j) m der Vektor der p-variablen des m-ten Probanden in Stichprobe j (= 1,..., g), dann ist x (j) = 1 n j n j m=1 x (j) m der Mittelwertvektor in Gruppe j und x = 1 N g j=1 n j x (j) = 1 n n g j j=1 m=1 x (j) m der Mittelwertvektor aller Beobachtungen. Die Matrix p p B = g j=1 n j (x (j) x)(x (j) x) T ist ein multivariates Maß für die Streuung zwischen den Gruppen (vgl. 4.10) 55 / 75

56 (2) die Matrix W = n g j j=1 m=1 (x (j) m x (j) )(x (j) m x (j) ) T ist ein multivariates Maß für die Streuung innerhalb der Gruppen (vgl. 4.8). (2) Man kann zeigen, dass die Vektoren v s = (v 1s,..., v ps ) (sukzessive unter der Nebenbedingung der Unkorreliertheit) die Größen H (s) (v s ) = vt s B v s vs T W v s maximieren. (3) Man kann zeigen, dass die Vektoren v 1, v 2,... die Eigenvektoren der Matrix W 1 B sind und die zugehörigen Maximalwerte λ 1, λ 2,... sind die Eigenwerte dieser Matrix, d.h. es gilt (W 1 B)v j = λ j v j j = 1, 2, / 75

57 Zahlenbeispiel für die Berechnung der Eigenvektoren SPSS liefert Schätzungen für Mittelwerte und Kovarianzmatrizen (innerhalb der Gruppen und in der gesamten Stichprobe); daraus berechnen sich: ( ) B = und Damit ergibt sich: W = W 1 B = ( ) ( ) mit λ 1 = 3.693, v 1 = ( ) und λ 2 = 0.902, v 2 = als Eigenwerten und zugehörigen Eigenvektoren ( ) / 75

58 Zahlenbeispiel: SPSS-Ausgaben Gemeinsam Matrizen innerhalb der Gruppen a Kovarianz Korrelation Schreibdruck Durchschnittliche Unterlänge der Buchstaben Schreibdruck Durchschnittliche Unterlänge der Buchstaben Schreibdruck 1,295 a. Die Kovarianzmatrix hat einen Freiheitsgrad von 17. W = (20 3) ( ) = ,613 1,000,413 Durchschnittliche Unterlänge der Buchstaben,613 1,702,413 1,000 ( ) / 75

59 Zahlenbeispiel: SPSS-Ausgaben Aggresivität extrapunitiv: Aggresivität ist gegen die Umwelt gerichtet intropunitiv: Aggresivität ist gegen das eigene Ich gerichtet impunitiv: die Aggresivität wird überhaupt umgangen Gesamt Kovarianz-Matrizen a Schreibdruck Durchschnittliche Unterlänge der Buchstaben Schreibdruck Durchschnittliche Unterlänge der Buchstaben Schreibdruck Durchschnittliche Unterlänge der Buchstaben Schreibdruck Durchschnittliche Unterlänge der Buchstaben Schreibdruck 1,286 a. Die Kovarianzmatrix für alle Fälle hat einen Freiheitsgrad von 19.,429,700,400 1,643,893 3,818,124 Durchschnittliche Unterlänge der Buchstaben,429,476,400 3,800,893 1,554,124 3,418 ( ) ( ) W = (7 1) + (5 1) ( ) ( ) (8 1) = / 75

60 Zahlenbeispiel: SPSS-Ausgaben Eigenwerte Funktion Eigenwert % der Varianz Kumulierte % Kanonische Korrelation 1 3,685 a 80,3 80,3,887 2,901 a 19,7 100,0,689 a. Die ersten 2 kanonischen Diskriminanzfunktionen werden in dieser Analyse verwendet. 60 / 75

61 5.4 Bemerkungen Die Vektoren v s = (v 1s,..., v ps ) in den Linearkombinationen heißen Diskriminanzfaktoren (man beachte die Analogie zur Faktorenanalyse). Allerdings sind die Diskriminanzfaktoren nicht notwendig orthogonal. Bei g Gruppen und p Variablen gibt es r = min {p, g 1} Faktoren. Wir erhalten also insgesamt r Maximalwerte λ 1 λ 2 λ r, die Eigenwerte genannt werden. Die Größe ρ s = λ s λ 1 + λ λ r ; s = 1,..., r bezeichnet den Diskriminanzanteil des Diskriminanzfaktors s 61 / 75

62 5.5 Bemerkungen Die Größe ω s = λ 1 + λ λ s λ 1 + λ λ r ; s = 1,..., r bezeichnet das Diskriminanzpotenzial der Diskriminanzfaktoren 1,..., s. In vielen verwendet man nicht alle Diskriminanzfaktoren sondern nur diejenigen, für die das Diskriminanzpotenzial groß ist. Damit erhält man wie bei der Faktorenanalyse eine Dimensionsreduktion. Durch die Diskriminanzanalyse werden r neue Koordinatenachsen bestimmt mit dem Ziel der sukzessiven maximalen Separierbarkeit der verglichenen Stichproben. Die neuen Achsen sind nicht notwendig orthogonal. 62 / 75

63 Beachte: Wichtige Kennwerte der Diskriminanzanalyse - Die z-standardisierten Positionen der Probanden auf den Koordinatenachsen heißen wie bei der Faktorenanalyse Faktorwerte. - Die Korrelation zwischen den ursprünglichen Messwerten und den Faktorwerten heißen Faktorladungen und werden wie bei der Faktorenanalyse für die Interpretation der Diskriminanzfaktoren verwendet. Eine sehr hohe positive oder sehr niedrige negative Faktorladung besagt, dass die entsprechende Variable besonders charakteristisch für den Diskriminanzfaktor ist. - Außerdem untersucht man die Mittelwerte der verglichenen Gruppen auf dem Diskriminanzfaktor. Dadurch kann man feststellen, wie gut die Gruppen durch den Diskriminanzfaktor getrennt werden. Oft werden die Diskriminanzfaktoren noch mit dem Varimax-Kriterium (vgl. 3.7) rotiert, um eine bessere Interpretation der Diskriminanzfaktoren zu erhalten 63 / 75