Holger Dette. 30. Oktober 2015

Transkript

1 Ruhr-Universität Bochum 30. Oktober / 1

2 Methodenlehre III Prof. Dr. NA 3/73 Telefon: Internet: Vorlesung: Montag, :00 Uhr, HGA 10 Thema: Lineare Modelle, Modelle der Faktorenanalyse, Clusteranalyse, logistische Regression und ihre Anwendungen in der Psychologie Klausur am (bzw ): Anmeldung in VSPL (ab etwa Mitte Dezember) 2 / 1

3 E-Learning Zur Unterstützung der Veranstaltung gibt es einen Blackboardkurs: Kurs-ID: ws15, Kursbezeichnung: (Statistische) Methodenlehre III, Anmeldung: ab , 10 Uhr, Passwort: mlehre3. Dort gibt es: Folien zu Vorlesung, Übung und Aufgaben, Anmeldung ist notwendig, Übungsaufgaben und Tests, mit denen Bonuspunkte für die Klausur erzielt werden können. 3 / 1

4 Statistik-Team Übung: Freitag, Uhr, HGA 10 (ab ) Ria Van Hecke: NA 1/34, Tel Tutorium: SPSS Sophia Terwiel: 04/425, Di. (wtl.) Uhr (ab ) 04/425, Do. (wtl.) Uhr (ab ) Philipp Ozimek: 02/368, Mi. (wtl.) Uhr (ab ) 02/368, Do. (wtl.) Uhr (ab ) Julia Schmitt: 03/974, Mo. (wtl.) Uhr (ab ) 02/368, Di. (wtl.) Uhr (ab ) Koordination Tutorium Lars Kuchinke: GAFO 04/424, Tel / 1

5 1. Einige (sehr kurze) Vorbemerkungen zur Matrizenrechnung 5 / 1

6 Abbildungen von Vektoren Beispiel: Es seien x 1 = ( ) 1 ; x 2 2 = ( ) ( ) 1 1 ; x 3 3 = 2 Vektoren und eine (quadratische) Matrix A = 1 ( ) Durch Multiplikation der Vektoren x 1, x 2, x 3 mit der Matrix A ergeben sich neue Vektoren. 6 / 1

7 Abbildungen von Vektoren Durch Multiplikation der Vektoren x 1, x 2, x 3 mit der Matrix A ergeben sich neue Vektoren: ( ( ) 1 x 1 = y 2) 1 = Ax 1 = ( ) ( ) 1 x 2 = y 3 2 = Ax 3 = ( ) ( ) 1 x 3 = y 2 3 = Ax 3 = Die Punkte y 1, y 2, y 3 erhält man aus x 1, x 2, x 3 durch eine Drehung um 45% gegen den Uhrzeigersinn. Die obige Matrix beschreibt also eine Drehung. 7 / 1

8 Y 1 X 1 Y 3 X 3 X 2 Y 2 8 / 1

9 Beachte: Bei der obigen Drehung ändern alle Vektoren ihre Richtung. Betrachtet man eine andere Matrix, z. B. ( ) 1 2 B = 2 1 so erhält man durch Multiplikation der Vektoren x 1, x 2, x 3 mit der Matrix B die neuen Vektoren: ( ) ( ) ( ) y 1 = Bx 1 = ; y 4 2 = Bx 2 = ; y 1 3 = Bx 3 = 0 In diesem Fall ändert sich auch die Länge der Vektoren! Jede Matrix beschreibt eine Abbildung, die den Punkten der Ebene neue Punkte zuordnet. 9 / 1

10 Y 1 X 1 Y 3 Y 2 X 3 X 2 10 / 1

11 Frage: Gibt es Vektoren, die bei Multiplikation mit einer Matrix ihre Richtung nicht ändern? Für die Matrix A gibt es solche Vektoren nicht! Für den Vektor ( x1 1 = 1) gilt: Bx 1 = Für den Vektor gilt: Bx 2 = ( ) ( ) ( = 2 1 1) ( ) 1 = 1 ( x2 1 = 1) ( ) 3 = 3 3 ( ) 1 = 3x 1 1 ( ) ( 1 1 = ( 1) = ( 1)x 1 1) 2 D. h. Für die Matrix B existieren solche Vektoren (man beachte: wir identifizieren die Richtung von Bx 2 und x 2 als dieselbe)! 11 / 1

12 Y 1 Y 2 X 1 X 2 12 / 1

13 1.1 Definition Ist A eine n n Matrix und x ein n-dimensionaler Vektor, dann heißt x Eigenvektor der Matrix A zum Eigenwert λ, falls die Gleichung Ax = λx erfüllt ist. Beachte: Mit x ist auch jedes Vielfache von x Eigenvektor. Die Matrix A hat immer n Eigenwerte λ 1,..., λ n (diese sind nicht notwendig reelle Zahlen). Symmetrische Matrizen (A = A T ) haben reelle Eigenwerte. Z. B. ist die Matrix aller Korrelationen von beobachteten Variablen symmetrisch! Die Berechnung von Eigenwerten und Eigenvektoren ist nicht einfach und wird in dieser Vorlesung nicht besprochen. 13 / 1

14 1.2 Determinante einer quadratischen Matrix Bezeichnung: Ist A eine n n Matrix und sind λ 1,..., λ n die Eigenwerte von A, dann heißt die Größe Determinante der Matrix A A = λ 1 λ 2... λ n = Beachte: Eigenwerte und Determinanten werden nur für quadratische Matrizen definiert (Zeilenzahl = Spaltenzahl) n j=1 λ j 14 / 1

15 2. Faktorenanalyse 15 / 1

16 2.1 Grundlegende/einleitende Bemerkungen zur Faktorenanalyse Die Faktorenanalyse ist ein Sammelbegriff für eine Reihe von explorativen Verfahren, um für wechselseitige Beziehungen vieler Variablen ein einfaches Erklärungsmodell zu bestimmen Typisches Beispiel: Schulnoten ( 10 inklusive Kopfnoten) Erklärung durch Intelligenz und Disziplin. Man Beachte: Die Größen Intelligenz und Disziplin sind nicht direkt beobachtbar Ziel: Aus der Korrelationsmatrix der beobachtbaren Variablen sollen möglichst wenige, wechselseitig voneinander unkorrelierte Faktoren extrahiert werden, sodass möglichst wenig Information über die beobachteten Variablen verloren geht sich eine interpretierbare Struktur ergibt, durch die die Faktoren bezüglich der gemeinsamen Anteile der Ausgangsvariablen benannt werden können 16 / 1

17 Das Ergebnis der Faktorenanalyse sind wechselseitig voneinander unkorrelierte Faktoren, die die Zusammenhänge zwischen den beobachtbaren Variablen erklären In dieser Vorlesung betrachten wir nur ein Verfahren der Faktorenanalyse: Hauptkomponentenanalyse (PCA: principal component analysis) Es gibt viele andere Verfahren der Faktorenanalyse, die sich vor allem aus anderen Modellannahmen ableiten. Z. B. Explorative Faktorenanalyse Image Analyse Kanonische Faktorenanalyse 17 / 1

18 Heuristisches Prinzip: Schritt 1: Aus den Korrelationen der gemessenen Variablen wird eine synthetische Variable (Faktor) konstruiert, die mit allen gemessenen Variablen möglichst hoch korreliert ist. Dieser Faktor ist also eine theoretische (nicht beobachtbare) Variable. Die Partialkorrelationen bzgl. dieses Faktors erfassen diejenigen Zusammenhänge, die durch den Faktor nicht erklärt werden können. Schritt 2: Aus den Restkorrelationen wird dann mit derselben Methode ein weiterer Faktor bestimmt, der mit dem ersten Faktor unkorreliert ist. die verbleibenden Zusammenhänge möglichst gut erklärt. Dieses Verfahren wird dann fortgesetzt. Wie wird das gemacht? 18 / 1

19 2.2 Das Grundprinzip des Faktormodells in einem Beispiel Klausurergebnisse in 5 Fächern (Mechanik, Vektorrechnung, Algebra, Analysis, Statistik) In den Klausuren zur Algebra (x 3 ), Analysis (x 4 ) und Statistik (x 5 ) konnten während der Klausur Bücher verwendet werden, (O: open book); in den Klausuren zur Mechanik (x 1 ) und Vektorrechnung (x 2 ) nicht (C: closed book). Daten (Ergebnisse in Punkten) C O x 1 x 2 x 3 x 4 x Datensatz auf der Homepage oder in Blackboard verfügbar / 1

20 Korrelationsmatrix für das Beispiel der Klausurergebnisse Beachte: Es bestehen Korrelationen zwischen allen Variablen! kleinste Korrelation besteht zwischen den Ergebnissen der Klausuren in Mechanik und Statistik (x 1 und x 5 ) größte Korrelation besteht zwischen den Ergebnissen der Klausuren in Algebra und Analysis (x 3 und x 4 ) 20 / 1

21 Beachte: x mi bezeichne das Ergebnis des m-ten Studenten in Klausur i (i = 1,..., 5 m = 1, 2,..., 87) Es ist zu erwarten: (1) dass eine Korrelation zwischen den verschiedenen Klausuren besteht. Die Ergebnisse könnten z. B. von der Intelligenz oder einer anderen nicht beobachtbaren Eigenschaft der Kandidaten abhängen. Diese Eigenschaft der Person m wird mit f m bezeichnet. (2) dass das Ausmaß dieser Eigenschaft für die Bearbeitung der verschiedenen Klausuren unterschiedlich ist. Das Ausmaß, in dem diese Eigenschaft für die Bearbeitung der Klausur i erforderlich ist, wird mit a i bezeichnet. 21 / 1

22 Mathematische Annahme: Faktormodell x m1 = f m a 1 x m2 = f m a 2 x m3 = f m a 3 x m4 = f m a 4 x m5 = f m a 5 + Rest D. h. das Klausurergebnis x mi (des m-ten Studenten im Fach i) setzt sich als Produkt zusammen aus der Eigenschaft (z. B. der allgemeinen Intelligenz) der m-ten Person (f m ) (man spricht von einem Faktor) und dem Ausmaß einer Eigenschaft (z. B. der allgemeinen Intelligenz), das für die Bearbeitung der Klausur i in diesem Fach erforderlich ist (a i ). Beachte: Der Faktor wird mathematisch konstruiert und seine Interpretation (z. B. als allgemeine Intelligenz) erfolgt erst später. 22 / 1

23 Beachte: Es kann weitere Faktoren geben! Beispiel: Mit einer Eigenschaft (z. B. der allgemeinen Intelligenz) sind die Klausurergebnisse nicht eindeutig bestimmt und es bleibt oft ein nicht erklärbarer Rest (man beachte, dass der Rest für jede Klausur ein anderer ist). Zum Beispiel könnten Klausuren mit Buchbenutzung andere Eigenschaften erfordern als Klausuren ohne Buchbenutzung, z. B. Disziplin (um etwas auswendig zu lernen). Es ist daher in vielen Fällen sinnvoll einen weiteren (und evtl. auch mehrere) Faktor(en) einzuführen. In der Regel sucht man nach möglichst wenigen Faktoren. 23 / 1

24 Ein zweiter Faktor: Bezeichnet man die Ausprägung des ersten Faktors (z. B. der allgemeinen Intelligenz) der Person m mit f m1 das Ausmaß, in dem die Klausur i den ersten Faktor (z. B. allgemeine Intelligenz) erfordert mit a i1 die Ausprägung des zweiten Faktors (z. B. der Disziplin ) der Person m mit f m2 das Ausmaß, in dem die Klausur i den zweiten Faktors (z. B. die Disziplin ) erfordert mit ai2 so erhält man das folgende Modell x m1 = f m1 a 11 + f m2 a 12 x m2 = f m1 a 21 + f m2 a 22 x m3 = f m1 a 31 + f m2 a 32 + Rest x m4 = f m1 a 41 + f m2 a 42 x m5 = f m1 a 51 + f m2 a 52 Die Fähigkeit, die Klausur zu bearbeiten, stellt sich als gewichtete Summe aus den Komponenten Intelligenz und Disziplin dar. Diese beiden Größen bezeichnen wir als Faktoren 24 / 1

25 2.3 Das allgemeine Faktormodell x mi = f m1 a i f mq a iq + Rest = q j=1 f mj a ij + Rest (m = 1,..., n i = 1,..., p) Interpretation: n ist die Anzahl der Versuchspersonen; p bezeichnet die Anzahl der Variablen/Merkmale, die bei jeder Versuchsperson gemessen werden. x mi repräsentiert die i-te Komponente der Messung für die Versuchsperson m (im Beispiel: Klausurergebnis für Klausur i = 1,..., p = 5) f mj Ausprägung der Person m mit dem Faktor j (j = 1,..., q) q bezeichnet die Anzahl der Faktoren (im Beispiel ist - bis jetzt - q = 2) Beachte: Im mathematischen Modell sind f 1 = (f 11,..., f 1q ), f 2 = (f 21,..., f 2q ),..., f n = (f n1,..., f nq ) Zufallsvariable (genauer Zufallsvektoren), deren Komponenten Varianz 1 haben. Außerdem wird angenommen, dass diese Zufallsvariablen unabhängig sind. 25 / 1

26 0.0 Das allgemeine Faktormodell x mi = f m1 a i f mq a iq + Rest = q j=1 f mj a ij + Rest Interpretation: (m = 1,..., n i = 1,..., p) a ij Bedeutung des j-ten Faktors für die Variable x i (im Beispiel die Bedeutung von Intelligenz (j = 1) bzw. Disziplin (j = 2) für das Klausurergebnis in den 5 Fächern, d. h. i = 1,..., 5). Die Größen a ij bezeichnet man auch als Faktorladungen In der Regel ist q wesentlich kleiner als p ( Dimensionsreduktion) und aus diesem Grund steht in der obigen Gleichung immer ein Rest. Wie bestimmt man die Faktoren und die Faktorladungen? 26 / 1

27 Matrixschreibweise des allgemeinen Faktormodells x x 1p X =..... x n1... x np a a 1q A =..... a p1... a pq ; F = ; A T = Matrixschreibweise des allgemeinen Faktormodells Beachte: X = F A T X ist n p Matrix (die Datenmatrix) F ist n q Matrix A T ist q p Matrix f f 1q..... f n1... f nq a a p a 1q... a pq 27 / 1

28 Matrixschreibweise des allgemeinen Faktormodells X = F A T Beachte: X ist n p Matrix F ist n q Matrix A T ist q p Matrix Die Darstellung ist nicht eindeutig: ist V eine invertierbare q q Matrix mit V V 1 = I q, so gilt X = F A T = F I q A T = F V V 1 A T = F Ã T mit F = F V ; Ã T = V 1 A T. Oft interessiert man sich für solche Matrizen, für die V 1 = V T gilt (solche Matrizen, genauer die durch sie beschriebenen Abbildungen bezeichnet man als orthogonale Rotation) 28 / 1

29 2.4 Bestimmung der Faktoren für das Beispiel von 2 Variablen 3 Daten P 1 = ( x11 ) = x 12 ( ( ) ( ( ) 1 x21 0 x31 ; P 2) 2 = = ; P x 22 1) 3 = = x 32 ( ) 1 3 X 2 P 1 P 2 X 1 P 3 29 / 1

30 Kenngrößen der Daten x 1 = 1 3 s 2 x 1 = 1 3 s 2 x 2 = x j1 = 0 ; x 2 = 1 3 j=1 3 (x j1 x 1 ) 2 = 2 3 j=1 3 (x j2 x 2 ) 2 = 14 3 j=1 3 x j2 = 0 j=1 sx sx 2 2 = s 2 x 1,x 2 = 1 3 j=1 (x j1 x 1 )(x j2 x 2 ) = / 1

31 Gesucht: Neues Koordinatensystem mit der folgenden Eigenschaft: In dem neuen Koordinatensystem hat die erste Koordinate der Datenpunkte möglichst große und die zweite Koordinate möglichst kleine Varianz Beispiel 1: Drehung der Achsen um 90 P 1 P 2 X 2 P 3 X 1 31 / 1

32 Beispiel 1: Drehung der Achsen um 90 (nicht optimal) Beachte: In dem neuen Koordinatensystem haben die Punkte die Koordinaten ( ) ( ) ( ) ( ) y11 2 y21 1 P 1 = = ; P y = = ; y 22 0 ( ) ( ) y31 3 P 3 = = 1 y 32 Die Varianz der ersten Koordinate wird deutlich vergrößert y 1 = 1 3 y j1 = 0 ; y 3 2 = 1 3 y j2 = 0 3 s 2 y 1 = 1 3 j=1 3 (y j1 y 1 ) 2 = 14 3 j=1 3 j=1 s 2 y 2 = 1 3 j=1 (y j2 y 2 ) 2 = 2 3 ; s2 y 1 + s 2 y 2 = s 2 y 1,y 2 = 1 3 j=1 (y j1 y 1 )(y j2 y 2 ) = / 1

33 Beispiel 2: Drehung um 45 (besser als am Anfang - aber nicht optimal!) X 2 P 1 X 1 P 2 P 3 33 / 1

34 Beispiel 2: Drehung der Achsen um 45 (besser - aber nicht optimal!) In dem neuen Koordinatensystem haben die 3 Punkte die Koordinaten P 1 = P 3 = ( y11 y 12 ) ( y31 ) = y 32 ( ) 3 2 ( y21 = ; P 1 2 = 2 ( ) y 22 ) = ( ) ; Beachte: In diesem Fall wird die Varianz der ersten Koordinate nicht weiter vergrößert y 1 = 0 ; y 20 = 0 3 sy 2 1 = 1 (y j1 y 3 1 ) 2 = 13 3 j=1 sy 2 2 = 1 ; sy sy 2 2 = 16 3 sy 2 1,y 2 = 1 3 (y j1 y 3 1 )(y j2 y 2 ) = 2 j=1 34 / 1

35 Beispiel 3: Drehung um (optimal!) X 1 P 1 X 2 P 2 P 3 35 / 1

36 Beispiel 3: Drehung um (optimal!) In diesem Koordinatensystem haben die 3 Punkte die Koordinaten ( ) ( ) ( ) ( ) y y P 1 = = ; P y = = ; y ( ) ( ) y P 3 = = 0.08 y 32 In diesem Fall ist die Varianz der ersten Koordinate maximal und die der zweiten Koordinate minimal y 1 = 0 ; y 2 = 0 ; s 2 y 1 = ; s 2 y 2 = s 2 y 1 + s 2 y 2 = 16 3, s2 y 1,y 2 = 0 Die beiden neuen Achsen nennt man Faktoren. Offensichtlich kann der größte Teil der Varianz der beiden Variablen durch nur einen Faktor erklärt werden! Durch die orthogonale Rotation wurden Koordinaten eingeführt, in denen die Daten unkorreliert sind. 36 / 1

37 2.5 Das Prinzip der Faktor- (Hauptkomponenten) analyse im allgemeinen Fall Methode: In der Regel wird die Faktorenanalyse mit der Korrelationsmatrix durchgeführt d. h. die Daten werden zunächst z-standardisiert Mit der Hauptkomponentenanalyse bestimmt man für die p Variablen durch Drehungen ein neues Koordinatensystem: Schritt 1: Die erste Achse (Faktor) wird so gewählt, dass die Projektionen der Daten auf diese Achse maximale Varianz haben Dadurch wird ein Teil der Gesamtvarianz durch den ersten Faktor erklärt Schritt 2: Die zweite Achse wird orthogonal (senkrecht) zu der ersten Achse so gewählt, dass von der Restvarianz ein möglichst großer Anteil erklärt wird (man beachte, dass im Beispiel 3.4 p = 2 ist und dadurch die zweite Achse festgelegt ist) Schritt 3, 4,... : Das Verfahren wird in dieser Weise fortgesetzt. 37 / 1

38 Beachte: Die neuen Achsen erklären sukzessive maximale Varianz. Mathematisch bestimmt man dafür die Eigenwerte und Eigenvektoren der Korrelationsmatrix der Daten. Die neuen (optimalen) Achsen bezeichnet man als Faktoren. Die neuen Koordinaten y mi werden noch durch eine z-transformation standardisiert. D. h. man ersetzt y mi durch z mi = y mi y i s yi, und die transformierten Werte heißen Faktorwerte. Diese Werte sind die Koordinaten der Daten bzgl. der neuen Achsen und geben Auskunft, wie stark die Merkmale in dem jeweiligen Faktor ausgeprägt sind. Die Faktorladungen a ij sind die Korrelationen zwischen den Faktorwerten für den j-ten Faktor und den Messungen der Variablen x i. D. h. a 2 ij ist der Anteil der Varianz, der Variablen x i, der durch den j-ten Faktor erklärt werden kann! 38 / 1

39 Weitere Bezeichnungen Die Größe λ j = p aij 2 (j = 1,..., q) i=1 ergibt diejenige Varianz, die durch den j-ten Faktor aufgeklärt werden kann. λ j heißt Eigenwert des j-ten Faktors. Sind die Variablen wie üblich z-standardisiert, dann ist die Summe der Varianzen aller Variablen gleich p, p λ j = p und es gilt j=1 0 λ j p (j = 1,..., q) D. h. der Eigenwert λ j gibt an, wie viel von der Gesamtvarianz aller Variablen durch den j-ten Faktor erklärt werden kann. Man kann zeigen: λ 1 λ 2... λ q sind die q größten Eigenwerte der Korrelationsmatrix der Daten. 39 / 1

40 Kommunalitäten Die Größe h 2 i = q aij 2 (i = 1,..., p) j=1 gibt an, welcher Anteil der Varianz der Variablen x i durch die q Faktoren erklärt werden kann. hi 2 heißt Kommunalität und es gilt (da man wie üblich von z-standardisierten Variablen ausgeht) 0 h 2 i 1 Beachte: Bei der Verwendung von q = p Faktoren sind alle Kommunalitäten gleich / 1

41 2.6 Eine Methode zur Wahl von q Die Frage, wie viele Faktoren man verwendet, ist nicht eindeutig beantwortbar. In der Regel sollte q im Verhältnis zu p klein sein! Kaiser-Guttmann Kriterium: Benutze nur Faktoren für die der zugehörige Eigenwert λj größer als 1 ist! Beachte: Die Varianz der standardisierten Eingangsvariablen ist gleich 1! Damit betrachtet man nur Faktoren, für die die Varianz der transformierten Größe größer ist als die ursprünglichen Varianzen. Ein Screeplot betrachtet das Eigenwertdiagramm in Abhängigkeit von den Faktoren und man sucht in diesem einen Knick, der die wesentlichen Eigenwerte von den unwesentlichen unterscheidet. In anderen Worten: Man reduziert Schritt für Schritt die Dimensionalität, bis plötzlich im nächsten Schritt die Kosten der Reduktion (gemessen in Form des Verlusts an erklärter Varianz) deutlich größer sind als in den vorigen Schritten. 41 / 1

42 Beispiel für ein Eigenwertdiagramm bzw. Screeplot Screeplot 5 4 Eigenwert Faktor Auf Basis des Diagramms entscheidet man für 3 Faktoren Aus Basis des Kaiser-Guttmann Kriteriums entscheidet man für 2 Faktoren 42 / 1

43 2.7 Faktorenanalyse im Beispiel 0.0 Korrelationsmatrix in SPSS Korrelationsmatrix Korrelation Mechanik Vektorrechnung Algebra Analysis Statistik Mechanik 1,000,558,546,408,390 Vektorrechnung,558 1,000,615,492,437 Algebra,546,615 1,000,710,666 Analysis,408,492,710 1,000,610 Statistik,390,437,666,610 1,000 Als Eigenwerte erhält man für diese Matrix λ 1 = λ 2 = λ 3 = λ 4 = λ 5 = Beachte: λ 1 + λ 2 + λ 3 + λ 4 + λ 5 = 5 43 / 1

44 Screeplot für die Daten aus Beispiel 0.0 Screeplot 4 3 Eigenwert Faktor Auf Basis des Screeplot arbeitet man entweder mit 1 oder 2 Faktoren. Wir entscheiden uns hier für 2 Faktoren! Damit erklärt man ca. 78% der Gesamtvarianz aller Variablen. 44 / 1

45 SPSS Output: Erklärte Gesamtvarianz Komponente Anfängliche Eigenwerte Summen von quadrierten Faktorladungen für Extraktion Gesamt % der Varianz Kumulierte % Gesamt % der Varianz Kumulierte % 3,188 63,769 63,769 3,188 63,769 63,769,740,443,381 14,805 8,868 7,624 78,574 87,442 95,065 5,247 4, ,000 Extraktionsmethode: Hauptkomponentenanalyse. Erklärte Gesamtvarianz,740 14,805 78, / 1

46 SPSS Output: Kommunalitäten Kommunalitäten Mechanik Vektorrechnung Algebra Analysis Anfänglich 1,000 1,000 1,000 1,000 Extraktion,819,739,818,776 Statistik 1,000,777 Extraktionsmethode: Hauptkomponentenanalyse. Beachte: Durch die beiden Faktoren kann man für alle Variablen ca. 78% der Varianz erklären! 81.9% der Varianz der Klausurergebnisse in Mechanik können durch die ersten beiden Faktoren erklärt werden (die Werte für die Faktorladungen findet man auf der folgenden Folie) / 1

47 SPSS Output: Komponentenmatrix Mechanik Vektorrechnung Algebra Analysis Komponentenmatrix a Komponente 1,713,773,898,816 2,558,375 -,110 -,332 Statistik,782 -,407 Extraktionsmethode: Hauptkomponentenanalyse. a. 2 Komponenten extrahiert Beachte: Die Komponentenmatrix enthält die Faktorladungen {a ij i = 1,..., 5; j = 1, 2}, also die Korrelationen zwischen den Variablen und den extrahierten Faktoren. D. h. der erste Faktor erklärt (0.713) % der Varianz der Ergebnisse in der Mechanikklausur. 47 / 1

48 Komponentenmatrix Mechanik Vektorrechnung Algebra Analysis Komponentenmatrix a Komponente 1,713,773,898,816 2,558,375 -,110 -,332 Statistik,782 -,407 Extraktionsmethode: Hauptkomponentenanalyse. a. 2 Komponenten extrahiert Beachte: Die erste Komponente kann man als Mittelwert auffassen. Ein hoher Faktorwert für eine Versuchsperson zeigt an, dass diese bei allen Klausuren gute Leistung erzielt hat. Die zweite Komponente beschreibt den Unterschied zwischen den Klausuren mit und ohne Buch. 48 / 1

49 SPSS Output: Komponentendiagramm Komponentendiagramm Mechanik Vektorrechnung Algebra Analysis Statistik -1,0-0,5 0,0 0,5 1,0 Komponente 1 49 / 1

50 SPSS Output: Koeffizientenmatrix Mechanik Vektorrechnung Algebra Analysis Koeffizientenmatrix der Komponentenwerte Komponente 1,223,243,282,256 2,754,507 -,149 -,449 Statistik,245 -,550 Extraktionsmethode: Hauptkomponentenanalyse. Die Faktorwerte sind Linearkombination der standardisierten Merkmalswerte. Die obige Matrix enthält die Gewichte in diesen Linearkombinationen. 50 / 1

51 Verwendung der Koeffizientenmatrix zur Berechnung der Faktorwerte 1/2 Die Matrix auf der letzten Folie enthält die Transformationsvektoren v 1 λ1 und v 2 λ2, mit denen die fünf Merkmale in die zwei Faktorwerte transformiert werden können. Es sind λ 1 λ 2 die beiden größten Eigenwerte und v 1, v 2 die zugehörigen Eigenvektoren der Korrelationsmatrix. 51 / 1

52 Verwendung der Koeffizientenmatrix zur Berechnung der Faktorwerte 2/2 Zur Veranschaulichung betrachten wir die Daten aus Beispiel 3.2 und berechnen den Faktorwert für das erste Datum mit obiger Matrix. z-standardisierung von x = (77, 82, 67, 67, 81) z = (2.17, 2.37, 1.54, 1.37, 2.23). Für den ersten Faktorwert verwende zum einen den Eigenvektor v 1 = (0.399, 0.433, 0.503, 0.457, 0.438) T zum größten Eigenwert λ 1 = Das ergibt: v 1 λ1 = (0.223, 0.234, 0.282, 0.256, 0.245) T Der Faktorwert ist damit: z v 1 = ( ) = λ1 52 / 1

53 0.0 Rotation der Faktoren Varimax Noch einige grundsätzliche Bemerkungen zur Hauptkomponentenanalyse (PCA) PCA liefert eine Datenreduktion der p-dimensionalen ursprünglichen Daten auf q-dimensionale Daten (in dem durch die Faktoren bestimmten Koordinatensystem). PCA ist ein mathematisches Verfahren, das nicht die Interpretierbarkeit der resultierenden Faktoren gewährleistet (es ist damit zu rechnen, dass die Faktoren zu viele Variablen hochladen ) 53 / 1

54 Beispiel (Fortsetzung von Beispiel 0.0) Die ursprünglichen Daten haben die Dimension 5 (das entspricht der Anzahl der Variablen/Merkmale). Die PCA liefert eine Reduktion auf Dimension 2 (mit den projezierten Daten kann 78.41% der Varianz der ursprünglichen Daten erklärt werden). In vielen Fällen sind die neuen Faktoren nur schwer interpretierbar. Ziel: Da die Faktoren nicht eindeutig bestimmt sind, versucht man eine weitere Rotation dieser 2 Faktoren zu finden, um eine bessere Interpretierbarkeit der neuen Faktoren zu erhalten. In dieser Vorlesung wird nur das Varimax Rotationsverfahren besprochen. 54 / 1

55 Beispiel (Fortsetzung von Beispiel 0.0) Streudiagramm der ersten beiden (nicht rotierten) Faktoren REGR factor score 2 for analysis 1 2,00000, , , , , ,00000, , ,00000 REGR factor score 1 for analysis 1 3, / 1

56 Varimax Rotation Anschauliche Beschreibung: Die Rotation der q Achsen (die durch die Hauptkomponentenanaylse ermittelt wurden) erfolgt so, dass quadrierte Ladungen mittlerer Größe entweder unbedeutender oder extremer werden. Quadrierte Ladung ungefähr 1 Ladung ungefähr ±1 Ausgangsvariable kann als Indikatorvariable für den Faktor interpretiert werden. Quadrierte Ladung ungefähr 0 Ladung ungefähr 0 Ausgangsvariable ist keine Indikatorvariable. 56 / 1

57 Mathematische Beschreibung der Varimax Rotation Die q Achsen (die durch die Hauptkomponentenanaylse ermittelt wurden) werden so rotiert, dass die Summe der Varianzen der quadrierten Ladungen der verschiedenen Faktoren maximal wird: a 2 j = 1 p aij 2 ist der Mittelwert der quadrierten Ladungen für p i=1 Faktor j (j = 1,..., q). s 2 j = 1 p p ( aij 2 a 2 j ist die Varianz der quadrierten Ladungen für Faktor j (j = 1,..., q). i=1 Die Rotation der Achsen wird so bestimmt, dass die Summe der Varianzen q ) 2 maximal wird. j=1 s 2 j 57 / 1

58 2.8 Beispiel: Varimax Rotation für die Daten aus Beispiel 0.0 Erklärte Gesamtvarianz Komponente Anfängliche Eigenwerte Gesamt % der Varianz Kumulierte % 3,188 63,769 63,769,740,443,381 14,805 8,868 7,624 78,574 87,442 95,065 5,247 4, ,000 Extraktionsmethode: Hauptkomponentenanalyse. Summen von quadrierten Faktorladungen für Extraktion Gesamt % der Varianz Kumulierte % 3,188 63,769 63,769,740 14,805 78,574 Rotierte Summe der quadrierten Ladungen Komponente Gesamt % der Varianz Kumulierte % 1 2,189 43,784 43, ,739 34,789 78,574 Extraktionsmethode: Hauptkomponentenanalyse. Erklärte Gesamtvarianz 58 / 1

59 SPSS Output: Komponentenmatrix nach Varimax Rotation Rotierte Komponentenmatrix a Mechanik Vektorrechnung Algebra Analysis Komponente 1,192,355,761,840 2,885,783,489,266 Statistik,861,186 Extraktionsmethode: Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser-Normalisierung. a. Die Rotation ist in 3 Iterationen konvergiert. Beachte: Der erste Faktor hat einen stärkeren Einfluss auf die Klausurergebnisse mit Buch ( Intelligenz ) Der zweite Faktor hat einen stärkeren Einfluss auf die Klausurergebnisse ohne Buch ( Disziplin ) 59 / 1

60 SPSS Output: Komponententransformationsmatrix Komponententransformationsmatrix Komponente 1 2 1,769, ,639,769 Extraktionsmethode: Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser-Normalisierung. Beachte: Diese Matrix beschreibt die Rotation (in unserem Fall ist das eine Drehung in der Ebene, da nur 2 Faktoren betrachtet werden). Z. B. ( ) ( ) ( ) = / 1

61 Beispiel (Fortsetzung von Beispiel 0.0) Das Streudiagramm der ersten beiden rotierten Faktoren REGR factor score 2 for analysis 2 2,00000, , , , , ,00000, , , ,00000 REGR factor score 1 for analysis 2 61 / 1

62 Beispiel (Fortsetzung von Beispiel 0.0) Das Streudiagramm der ersten beiden (nicht rotierten) Faktoren REGR factor score 2 for analysis 1 2,00000, , , , , ,00000, , , ,00000 REGR factor score 1 for analysis 1 62 / 1

63 SPSS Output: Komponentendiagramm nach Varimax Rotation Komponentendiagramm im rotierten Raum 1,0 Mechanik Vektorrechnung 0,5 Algebra Komponente 2 0,0 Analysis Statistik -0,5-1,0-1,0-0,5 0,0 0,5 1,0 Komponente 1 63 / 1

64 SPSS Output: Komponentendiagramm vor Varimax Rotation Komponentendiagramm 1,0 Mechanik 0,5 Vektorrechnung Komponente 2 0,0 Analysis Algebra -0,5 Statistik -1,0-1,0-0,5 0,0 0,5 1,0 Komponente 1 64 / 1

65 SPSS Output: Koeffizientenmatrix nach Varimax Rotation Mechanik Vektorrechnung Algebra Analysis Koeffizientenmatrix der Komponentenwerte Komponente 1 -,310 -,137,312,483 2,723,545,066 -,182 Statistik,540 -,266 Extraktionsmethode: Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser-Normalisierung. Interpretation: Wie auf Folie?? und?? (Berechnung der Faktorwerte aus den z-standardisierten Originaldaten) 65 / 1

66 Bemerkung: Weitere Rotationsverfahren Beachte: Die Varimax Rotation ist eine orthogonale Rotation, bei der die Unkorreliertheit der Faktoren erhalten bleibt. Die Varianz der q Faktoren wird auf die neuen (rotierten) Faktoren umverteilt, um eine bessere Interpretierbarkeit der Faktoren zu erhalten. Es gibt auch alternative orthogonale Rotationen. Bei orthogonalen Rotationen ändern sich die Kommunalitäten nicht. SPSS berechnet (Standardeinstellung) das zu maximierende Kriterium statt aij 2 mit aij 2/h2 i (Kaiser-Normalisierung). Eine bessere Interpretation der Faktoren nach der Rotation ist nicht immer gewährleistet. Es gibt Rotationsvarianten, bei denen die neuen Faktoren nicht unkorreliert sind (oblique Rotationen): Oblimin Promax Quartimin Tandem.. 66 / 1

67 2.9 Beispiel (Persönlichkeitspsychologie) Ziel: Aus einer (großen) Menge von Adjektiven sollen einzelne Gruppen von inhaltlich zusammenhängenden Adjektiven identifiziert werden (beschreiben hochkorrelierte Adjektive eine gemeinsame Eigenschaft?) Probanden schätzen eine Person dahingehend ein, inwieweit die jeweiligen Adjektive auf diese Person zutreffen (1 trifft überhaupt nicht zu; 9 trifft voll zu) 12 Adjektive (p = 12 Variablen/Merkmale) Variablen Adjektive Variablen Adjektive x1 angriffslustig x7 akkurat x2 penibel x8 gewissenhaft x3 streitbar x9 kleinlich x4 kämpferisch x10 übergenau x5 grimmig x11 herausfordernd x6 gründlich x12 hitzig 67 / 1

68 Daten (n = 30) x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 x 10 x 11 x / 1

69 Mit der Faktoranalyse sollen nun die Adjektive zu möglichst wenig Gruppen (Faktoren) zusammengefasst werden, sodass möglichst wenig Information bei dieser Datenreduktion verloren geht die extrahierten Faktoren möglichst gut interpretierbar sind 69 / 1

70 Korrelationsmatrix für die Daten aus Beispiel 0.0 1/2 Korrelationsmatrix Korrelation angriffslustig penibel streitbar kämpferisch grimmig gründlich akkurat gewissenhaft kleinlich übergenau herausfordernd hitzig streitbar,945,052 1,000,757,693,039 -,109 -,063,226,077,622,641 angriffslustig 1,000 -,135,945,770,624 -,147 -,271 -,101,033 -,152,607,541 penibel -,135 1,000,052,070,199,931,917,194,829,856,056,214 kämpferisch,770,070,757 1,000,555,056 -,053 -,016,187,042,737,537 grimmig,624,199,693,555 1,000,224,135,049,236,215,641,812 gründlich -,147,931,039,056,224 1,000,951,397,844,867,109,208 akkurat -,271,917 -,109 -,053,135,951 1,000,388,753,795,005,128 Beobachtung: Korrelation übergenau -,152 gewissenhaft -,101 Korrelationsmatrix herausfordernd,607 Die Variablen angriffslustig kleinlichund streitbar haben hitzig viel angriffslustig,033,541 gemeinsame Varianz (r 1,3 95%, r1,3 2 89%) penibel,194,829,856,056,214 Die Variablen streitbar angriffslustig -,063,226und,077 penibel,622hängen,641 nur wenig kämpferisch -,016,187,042,737,537 zusammen (r 1,2 14%, r1,2 2 2%) grimmig,049,236,215,641,812 gründlich,397,844,867,109, / 1

71 gewissenhaft -,101,194 kleinlich,033,829,226,187,236,844,753 Korrelationsmatrix für die Daten aus Beispiel 0.0 übergenau -,152,856,077,042,215,867,795 herausfordernd,607,056,622,737,641,109,005 2/2 -,063 -,016 hitzig,541,214,641,537,812,208,128,049,397,388 Korrelationsmatrix Korrelation angriffslustig penibel streitbar kämpferisch grimmig gründlich akkurat gewissenhaft kleinlich übergenau herausfordernd hitzig übergenau -,152,856,077,042,215,867,795,227,935 1,000,111,220 gewissenhaft -,101,194 -,063 -,016,049,397,388 1,000,234,227,109,062 kleinlich,033,829,226,187,236,844,753,234 1,000,935,224,239 herausfordernd,607,056,622,737,641,109,005,109,224,111 1,000,659 hitzig,541,214,641,537,812,208,128,062,239,220,659 1,000 Die Variablen streitbar und gewissenhaft hängen nur wenig zusammen (r 3,8 6%, r 2 3,8 < 1%) Die Variablen übergenau und kleinlich haben viel gemeinsame Varianz (r 10,9 94%, r 2 10,9 87%) 71 / 1

72 Screeplot für die Daten aus Beispiel 0.0 Screeplot 5 4 Eigenwert Faktor = Wir entscheiden uns mit 3 Faktoren zu arbeiten! 72 / 1

73 SPSS Output: Erklärte Gesamtvarianz für die Daten aus Beispiel 0.0 1/2 Komponente Gesamt 4,991 4,127,958,666,458,321,189,152,048,043,029 Anfängliche Eigenwerte % der Varianz 41,596 34,388 7,985 5,546 3,813 2,675 1,575 1,266,401,355,242 Erklärte Gesamtvarianz Kumulierte % 89,515 93,329 96,003 97,579 98,845 99,246 99,601 99,842 12,019, ,000 Extraktionsmethode: Hauptkomponentenanalyse. Anfängliche Eigenwerte Erklärte Gesamtvarianz Summen von quadrierten Faktorladungen für Extraktion Komponente Kumulierte % Gesamt % der Varianz Kumulierte % 1 41,596 4,991 41,596 41, ,984 4,127 34,388 75, ,969,958 7,985 83,969 Die drei gewählten Faktoren erklären zusammen % = % % % der Gesamtvarianz. Extraktionsmethode: Hauptkomponentenanalyse. Erklärte Gesamtvarianz Rotierte Summe der quadrierten Ladungen 73 / 1

74 5,458 93,329 6,321 2,675 96,003 7,189 1,575 97,579 SPSS Output: Erklärte Gesamtvarianz für die 8,152 1,266 98,845 9,048,401 99,246 Daten aus Beispiel 10, /2,355 99,601 3,813 11,029,242 99,842 12,019, ,000 Extraktionsmethode: Hauptkomponentenanalyse. Anfängliche Eigenwerte Erklärte Gesamtvarianz Summen von quadrierten Faktorladungen für Extraktion Komponente Kumulierte % Gesamt % der Varianz Kumulierte % 1 41,596 4,991 41,596 41, ,984 4,127 34,388 75, ,969,958 7,985 83,969 Extraktionsmethode: Hauptkomponentenanalyse. Komponente 1 2 Rotierte Summe der quadrierten Ladungen Gesamt 4,552 4,425 % der Varianz 37,933 Erklärte Gesamtvarianz 36,872 Kumulierte % 37,933 74, ,100 9,164 83,969 Extraktionsmethode: Hauptkomponentenanalyse. Beachte: Nach der Rotation der Faktoren ändern sich die Varianzanteile, der Gesamtanteil für die drei Faktoren bleibt gleich. 74 / 1

75 SPSS Output Kommunalitäten für die Daten aus Beispiel 0.0 angriffslustig penibel streitbar kämpferisch grimmig gründlich akkurat gewissenhaft kleinlich übergenau herausfordernd Kommunalitäten Anfänglich 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 Extraktion,853,929,862,729,721,956,911,948,868,898,721 hitzig 1,000,680 Extraktionsmethode: Hauptkomponentenanalyse. Beachte: Durch die drei Faktoren kann man für alle Variablen ca. 75% der Varianz erklären (für 11 der 12 Variablen mindestens 72%, in vielen Fällen sogar deutlich mehr)! 75 / 1

76 SPSS Output: Komponentenmatrix für die Daten aus Beispiel 0.0 angriffslustig penibel streitbar kämpferisch grimmig gründlich akkurat gewissenhaft kleinlich übergenau herausfordernd Komponentenmatrix a 1,358,789,536,508,641,815,716,296,837,788,550 Komponente 2,848 -,522,748,686,555 -,540 -,629 -,248 -,373 -,499, ,071 -,185 -,118 -,015,051,031,053,894 -,169 -,168,191 hitzig,630,526,080 Extraktionsmethode: Hauptkomponentenanalyse. a. 3 Komponenten extrahiert Beachte: Die Kommunalität der Variablen angriffslustig ergibt sich zu h 2 = ( 0.071) (vgl. vorige Folie) 76 / 1

77 Komponentendiagramm Komponentendiagramm 1,0 Komponente 2 0,5 0,0-0,5-1,0 x8 x1 x3 x4 x11 x12 x5 x9 x2 x7 x6 y10-1,0-0,5 0,0 Komponente 1 0,5 1,0 1,0 0,5 0,0-0,5-1,0 Komponente 3 Es ist relativ gut zu erkennen, dass drei Gruppen vorliegen. 77 / 1

78 SPSS Output: Komponentenwerte für die Daten aus Beispiel 0.0 Koeffizientenmatrix der Komponentenwerte angriffslustig penibel streitbar kämpferisch grimmig gründlich akkurat gewissenhaft kleinlich übergenau herausfordernd 1 -,046,236,005 -,011,014,198,191 -,101,220,229 -,037 Komponente 2,206 -,015,205,194,186 -,008 -,036,019,020 -,010, ,092 -,149 -,132 -,025,051,073,096,931 -,136 -,133,189 hitzig,011,180,081 Extraktionsmethode: Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser- Normalisierung. Interpretation: wie auf Folie?? und?? (Berechnung der Faktorwerte aus den z-standardisierten Originaldaten) 78 / 1

79 Komponentendiagramm Komponentendiagramm im rotierten Raum 1,0 0,5 x1 x3 x11 x4 x12 x5 Komponente 2 0,0-0,5 x8 x9 x6 x2 y10 x7-1,0-1,0-0,5 0,0 Komponente 1 0,5 1,0 1,0 0,5 0,0-0,5-1,0 Komponente 3 Es ist relativ gut zu erkennen, dass drei Gruppen vorliegen. 79 / 1

80 SPSS Output: Varimax Rotation für die Daten aus Beispiel 0.0 angriffslustig penibel streitbar kämpferisch grimmig gründlich akkurat gewissenhaft kleinlich übergenau herausfordernd Rotierte Komponentenmatrix a 1 -,188,963,020,013,181,951,920,203,912,946,045 Komponente 2,893,038,916,853,828,048 -,083,006,188,058, ,141,002 -,149 -,043,059,220,241,952,003,015,174 hitzig,183,799,090 Extraktionsmethode: Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser- Normalisierung. a. Die Rotation ist in 4 Iterationen konvergiert. 80 / 1

81 Eine mögliche Interpretation der Faktoren Die Variablen penibel, gründlich, akkurat, kleinlich und korrelieren hoch mit Faktor 1. übergenau Faktor 1 kann als Perfektionismus bezeichnet werden. Hohe Ausprägungen eines Probanden in diesem Faktor bewirken hohe Werte in den zugehörigen Variablen. Die Variablen angriffslustig, streitbar, kämpferisch, grimmig, herausfordernd und hitzig korrelieren hoch mit Faktor 2. Der Faktor 2 kann als Aggressivität beschrieben werden. Der Faktor 3 beschreibt nur die Eigenschaft gewissenhaft, die man auch Faktor 1 zuordnen kann (das mathematische Verfahren hat evtl. zu viele Faktoren ermittelt). 81 / 1

82 Faktorenanalyse für die Daten aus Beispiel 0.0 mit 2 Faktoren Komponentenmatrix a angriffslustig penibel streitbar kämpferisch grimmig gründlich akkurat gewissenhaft kleinlich übergenau herausfordernd Komponente 1,358,789,536,508,641,815,716,296,837,788,550 2,848 -,522,748,686,555 -,540 -,629 -,248 -,373 -,499,618 hitzig,630,526 Extraktionsmethode: Hauptkomponentenanalyse. a. 2 Komponenten extrahiert 82 / 1

83 Komponentendiagramm Komponentendiagramm 1,0 x1 x4 x3 x11 0,5 x12 x5 Komponente 2 0,0-0,5 x8 x2 y10 x9 x6 x7-1,0-1,0-0,5 0,0 0,5 1,0 Komponente 1 83 / 1

84 Komponentenmatrix nach Varimax Rotation Rotierte Komponentenmatrix a angriffslustig penibel streitbar kämpferisch grimmig gründlich akkurat gewissenhaft kleinlich übergenau herausfordernd Komponente 1 -,221,945 -,019 -,004,181,976,950,386,893,930,070 2,894,054,920,854,828,056 -,075 -,022,202,073,824 hitzig,189,799 Extraktionsmethode: Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser-Normalisierung. a. Die Rotation ist in 3 Iterationen konvergiert. 84 / 1

85 Komponentendiagramm nach Varimax Rotation Komponentendiagramm im rotierten Raum 1,0 x1 x3 x11 x12 x4 x5 0,5 Komponente 2 0,0 x8 x9 y10 x6 x2 x7-0,5-1,0-1,0-0,5 0,0 0,5 1,0 Komponente 1 85 / 1

86 Eine mögliche Interpretation der zwei Faktoren Die Variablen penibel, gründlich, akkurat, kleinlich, übergenau und (mit Einschränkungen) gewissenhaft korrelieren hoch mit Faktor 1. Faktor 1 kann als Perfektionismus bezeichnet werden. Hohe Ausprägungen eines Probanden in diesem Faktor bewirken hohe Werte in den zugehörigen Variablen. Die Variablen angriffslustig, streitbar, kämpferisch, grimmig, herausfordernd und hitzig korrelieren hoch mit Faktor 2. Der Faktor 2 kann als Aggressivität beschrieben werden. 86 / 1

87 Einige abschließende Bemerkungen Auch nach der Varimax Rotation sind die Faktoren manchmal nur schwer interpretierbar. Faktorenanalyse ist ein mathematisches Verfahren, das keine Interpretierbarkeit der ermittelten Faktoren garantiert. Faktoren, die nicht interpretiert werden können, sind in der Regel praktisch unbrauchbar. Faktorenanalyse ist ein mathematisches Verfahren zum Finden von Hypothesen. 87 / 1