Faktorenanalyse und Hauptkomponentenanalyse

Transkript

1 Faktorenanalyse und Hauptkomponentenanalyse Man habe n Personen auf m Variablen untersucht Insbesondere habe man: n Personen Index i m Variablen Index j r Faktoren Index l Die Faktoren sind latente Variablen, für die r m gelte Man schreibe die Messvariablen als Vektoren, die Vektorkomponenten sind einfach die Messungen der n Personen auf den m Variablen Wir haben also m Messvariablen oder standardisiert x x j x m z z j z m Wir können nun die Messvektoren als Spalten der Matrix Z, oder auch als Zeilen der Matrix Z t schreiben: Z = = z z 2 z j z m z 2 z 22 z 2j z 2m Zt = = z z 2 z i z n z 2 z 22 z 2i z 2n z n z n2 z nj z nm z m z m2 z mi z mn () Man nehme an, es existiere eine Basis F für Z, die dazu eine Orthogonalbasis sein soll F F 2 F l F r F F 2 F i F n F = = F 2 F 22 F 2l F 2r Ft = = F 2 F 22 F 2i F 2n F n F n2 F nl F nr F r F r2 F ri F rn (2) Mit dieser Basis können wir alle Messvektoren (alle Zeilen von Z t ) als eine Linearkombination der Zeilen von F t schreiben: z j = b j F + b j2 F b jl F l + + b jr F r (3) Hierin ist b jl die Koordinatenzahl von Variable (Vektor) z j auf Faktor (Vektor) F l

2 Demzufolge ist b j = (b j, b j2,, b jr ) ein Koordinatenvektor, der die Koordinaten der Variable z j auf allen r Faktoren hält Gleichung (3) entsteht offensichtlich dadurch, dass man den Koordinatenvektor b j mit den Spalten der Matrix F t multipliziert, dadurch erhält man also eine Messvariable z j als einen Zeilenvektor: F F 2 F i F n F 2 F 22 F 2i F 2n (b j, b j2,, b jr ) = (z j, z j2,, z jn ) (4) F r F r2 F ri F rn ( r) (r n) = ( n) Um alle Messvektoren z j (Zeilen von Z t ) als Linearkombination der Faktoren F l darzustellen, erhalten wir die Matrixgleichung b b 2 b l b r b 2 b 22 b 2l b 2r b j b j2 b jl b jr b m b m2 b ml b mr F F 2 F i F n F 2 F 22 F 2i F 2n = F l F l2 F li F ln F r F r2 F ri F rn z z 2 z i z n z 2 z 22 z 2i z 2n z j z j2 z ji z jn z m z m2 z mi z mn Also B F t = Z t (5) (m r) (r n) = (m n) 2

3 Unser Problem ist damit, dass wir die Matrix B zerlegen wollen in ein Matrixprodukt von zwei zunächst unbekannten Matrizen Man erinnere sich, dass eine Eigenwertzerlegung einer quadratischen symmetrischen Matrix eine Matrix von Eigenvektoren liefert, die paarweise orthogonal sind und damit eine Orthogonalbasis der zerlegten Matrix Die Messwertmatrix Z ist nicht quadratisch und symmetrisch, aber die Korrelationsmatrix R = n Zt Z (6) ist es, und eine Basis von Z t Z ist stets auch eine Basis von Z Für R kann man nun schreiben R = n BFt (BF t ) t = n BFt FB t = B n Ft FB t (7) Nun ist aber C = n Ft F auch eine Korrelationsmatrix, nämlich die Matrix der Korrelationen der Faktoren untereinander Sind die Faktoren aber nach der Forderung orthogonal, so gilt für die Faktorkorrelationsmatix C = I Damit vereinfacht sich (7) zu R = BB t (8) was auch als Thurstones Fundamentaltheorem der Faktorenanalyse bekannt ist Damit gilt für jedes Element r ik r ik = b i b k + b i2 b k2 + + b ir b kr = l b il b kl = b i, b k (9) Satz Die Korrelation zweier Variablen z i und z k lässt sich darstellen als das innere Produkt b i, b k der Koordinatenvektoren der beiden Variablen auf allen r Faktoren Die Matrix B ist die Matrix der Eigenvektoren von R, was über eine Eigenwertzerlegung gezeigt werden kann Man erhält die Eigenvektoren (Spaltenvektoren von B) also aus der Bedingung R β l = λ l β l R β l λ l β l = 0 (R λ l I) β l = 0 (0) 3

4 Damit (0) eine nichttriviale Lösung für β l besitzt, darf (R λ l I) keine Inverse besitzen, dh aber dass det (R λ l I) = 0 () sein muss Ausführlich geschrieben lautet die Eigenwertbedingung: λ l r 2 r m r 2 λ l r 23 r 24 r m r m2 λ l = 0 (2) Da die Matrix (R λ l I) m quadratisch ist, führt seine Determinantenentwicklung auf ein Polynom m ter Ordnung Jeder der m Nullstellen ist ein Eigenwert von R Man setzt nun sukzessive jeden Eigenwert λ l in (2) und bestimmt den entsprechenden Lösungsvektor β l In der Regel erhält man auch m verschiedene Eigenwerte, dh die Anzahl der Faktoren ist gleich der Anzahl der Variablen (r = m) Jeden Eigenvektor β l normiert man auf die Länge seines zugehörigen Eigenwertes, indem man die Vektorkomponenten gemäss b jl = λ l β jl β l (3) transformiert Die spaltenweise Anordnung der normierten Eigenvektoren b l ergibt die gesuchte Koordinatenmatrix B, die auch Matrix der Faktorladungen oder einfach Ladungsmatrix heisst 4

5 Die Lösung hat folgende Eigenschaften und Implikationen: Die Summe der Ladungsquadrate pro Faktor ergibt den Eigenwert des Faktors: λ l = m j= b 2 jl 2 Die Ladungsvektoren sind wechselseitig orthogonal: b p, b q = m b jp b jq = 0 j= 3 Aus der Diagonalisierung Λ = B RB folgt: Die Summe der Diagonalelemente der Korrelationsmatrix ist die Summe der Eigenwerte Da die Diagonalelemente von R aber alle gleich sind und R m quadratisch ist, folgt m m = 4 Da die Varianz jeder z- standardisierten Variable ja gleich ist (s 2 = s 2 2 = = s 2 m = ), folgt m m s 2 j = λ l = m j= l= l= dh die totale Varianz ist die Summe der Eigenwerte und gleichzeitig die Summe der Variablen 5 Daher definiert V l = λ l m l= λ l λ l = λ l m den Anteilswert der Varianzaufklärung des l ten Faktors in Einheiten der Einheitsvarianz Man setzt V l = ( Kaiser-Kriterium ): Die Varianzaufklärung eines Faktors sollte grösser als die Varianz einer Variable sein Es folgt ein weitere wichtige Eigenschaft der Hauptkomponentenlösung: Satz 2 Die Folge der Eigenvektoren, geordnet nach absteigender Grösse der zugeordneten Eigenwerte, gibt die Folge der Faktoren mit sukzessive maximaler Varianzaufklärung an 5

6 Reproduzierte Korrelationsmatrix Eine Hauptkomponentenanalyse mit r = mreproduziert die Korrelationsmatrix vollständig: Es gilt wegen auch R = n Zt Z = BB t r ik = r jj = m b il b kl l= m b 2 jl = l= Man kann nun auch r < m Faktoren benutzen, um die Korrelationsmatrix zu reproduzieren, zb indem man nur die Faktoren verwendet, die mehr Varianz als eine Variable aufklären Dann hätte man R = B r B t r als reproduzierte Korrelationsmatrix Auf der Diagonalen dieser Matrix treten dann die Werte r h 2 j = r jj = b 2 jl (4) auf, die sog Kommunalitäten der Variablen Satz 3 Die Kommunalität h 2 j gibt die anteilige Varianz einer Variable z j an, die durch eine unvollständige Faktorlösung erklärt wird Die Matrix l= R e = R R enthält die Residuen der Reproduktion Diese sind mit E {r e } = 0 und σ r = / n 2 t verteilt, eine Abweichung des Mittelwertes vom Erwartungswert 0 ist also statistisch prüfbar 6

7 Bedeutung der Faktorladungen Die Faktorladungen, dh die Koordinatenzahlen der Variablen auf den Faktoren haben eine konkrete anschauliche Bedeutung Es ist Z t m n = B Dies kann man mit /nf nachmultiplizieren: m r F t r n n Zt F = B n Ft F n Zt F = B m n n r m r (m n) (n r) = (m r) da n Ft F = I ist Also ist B ebenfalls eine Art Korrelationsmatrix, zwar unsymmetrisch, enthält aber die Korrelationen von Variablen und Faktoren Satz 4 Eine Faktorladung b jl repräsentiert die Korrelation der Variable z j mit Faktor F l Bestimmung der Faktorwerte für r = m Wir hatten bislang nur die Ladungsmatrix B bestimmt Hat man dies für r = m (Hauptkomponentenanalyse), ist die Bestimmung der Faktorwerte, dh der Werte der Personen auf den Faktoren, einfach Es gilt ja Z t = BF t und B ist m quadratisch und besitzt eine Inverse B Wenn man mit dieser Inversen vormultipliziert, folgt B Z t = F t (5) dh die FaktorScores können durch einfaches Vormultiplizieren der Ladungsmatrix mit der Variablenmatrix gefunden werden Generell wird man aber an einer reduzierten Anzahl von Faktoren interessiert sein, die möglichst viel Varianz der Variablen aufklärt, also eine Lösung mit r < m Das dahinterstehende Problem ist das Problem der Bestimmung der validen Anzahl der Faktoren, kurz Faktorenproblem 7

8 Das Faktorenproblem der Faktorenanalyse Das Faktorenproblem der Faktoranalyse ist das Problem, wie viele gemeinsame Faktoren zu einem befriedigenden und stabilen Modell der Variablen extrahiert werden müssen Hätte man eine sichere a priori Schätzung für die Kommunalitäten, würde sich das Faktorenproblem nicht ergeben Diese hat man jedoch nicht (so) Daher achtet man noch auf andere Indikatoren für die Anzahl der gemeinsamen Faktoren, unabhängig von den Kommunalitäten Scree Test Man erzeugt normalverteilte Zufallsvariablen mit derselben Anzahl von Messungen, bildet deren Korrelationsmatrix ( auf der Diagonalen!) und faktorisiert diese Man erhält also eine Faktorisierung von Zufallskorrelationen, diese hat einen linearen Eigenwerteverlauf, wenn man die Eigenwerte der Grösse nach ordnet und nach ihrer Reihenfolge abträgt In dieses Eigenwertediagramm trägt man ebenso die Eigenwerte der Faktorisierung der Messvariablen ein Die Steigung der Gerade der Eigenwertefolge der Zufallsvariablen liefert ein Kriterium, wie viele Faktoren verwendet werden können Man trägt eine Gerade derselben Steigung in den Tail der Eigenwertefolge der Messvariablen ab Die Eigenwerte, die vom ersten Eigenwert kommend über dieser Geraden liegen, gehören zu Eigenvektoren die für die Erklärung von Korrelationen nötig sind, die nicht mit einer Zufallsgeneration vereinbar sind Zugrundegelegt ist eine Hauptkomponentenanalyse, die zunächst durchgeführt wird Wenn mit dem Scree Test über die Anzahl der Faktoren entschieden wird, wird nachfolgend erst die Faktorenanalyse mit der festgelegten Anzahl von Faktoren und iterativen Kommunalitätenschaätzungen gerechnet 2 Horn Kriterium Nach Horn sollte der Schnittpunkt der Folge der Eigenwerte der Zufallsskorrelationen mit der Eigenwertfolge der Messvariablen als Kriterium verwendet werden 3 Beurteilung der Residualkorrelationen (Differenzen von Korrelationsmatrix und reproduzierter Korrelationsmatrix) Beruhen die Residualkorrelationen r jk auf reinen Zufallseffekten, so sollten die r jk eine t - Verteilung mit dem Erwartungswert Null und der Streuung σ r = / n 2 bilden Daher liefert ein statistischer Test der Nullhypothese H 0 : E { r ik } = 0 Information zu Verletzungen der Unabhängigkeitsannhme der Einzelrestfaktoren Eine positive Abweichung der Streuung σ r vom Erwartungswert / n 2 besagt, daß einige Korrelationen bestehen, die über die bisher extrahierten gemeinsamen Faktoren nicht erklärt werden können (Residualkorrelationen als Zufallskorrelationen müssen ja allesamt auf Restfaktoren, bzw Zufallsfehlern, beruhen) Die Extraktion weiterer Faktoren ist dann gerechtfertigt Praktisch wird man immer eine Kombination von Kriterien verwenden und sich nicht auf ein einzelnes verlassen Da nach dem Scree Test mehr gemeinsame Faktoren extrahiert werden als über das Horn Kriterium, kann man zb schauen, ob durch Anwendung des Horn 8

9 Lambda Eigenwertdiagramm Horn Kriterium Random DataSet Nr Eigenwert Abbildung : Eigenwerte einer beobachteten Korrelationsmatrix (blaue Quadrate) und einer Korrelationxmatrix von Zufallsvariablen (grüne Kreise) Die eingezeichnete Gerade liefert das Horn-Kriterium für Cattel s Scree Test Kriteriums die Testung der Residualkorrelationen eine zu grosse Streuung anzeigt Dann kann man weitere Faktoren hinzunehmen und sich somit der Lösung nach dem Scree Test annähern Die Bestimmung der Faktorwerte für r < m Die Faktorenanalyse ist erst vollständig, wenn auch die Werte der Matrix F bestimmt sind, dh jedem Meßindividuum muß ein Ausprägungsgrad in jedem der r - gemeinsamen Faktoren zugewiesen sein Im Falle der Hauptkomponentenanalyse ist die Bestimmung der Faktorwerte auf direktem Wege möglich (s oben) da in diesem Fall B eine nicht singuläre m - quadratische Matrix ist (r = m), Anzahl der Variablen ist gleich der Anzahl der Faktoren), die eine Inverse besitzt Im Falle r < m (Faktorenanlyse) ist B jedoch nicht quadratisch, sondern hat die Dimension m r und ist ebenfalls nicht quadratisch, besitzt daher keine Inverse Die direkte Bestimmung der Faktorwerte ist damit im Falle der Faktorenanalyse nicht möglich Man kann zu den Faktorwerten aber über Schätzmethoden kommen, für die es mehrere Möglichkeiten gibt (ausführlich bei Harman (973), S 345ff) Wir behandeln nur den einfachsten Weg für die Faktorenanalyse mit unabhängigen gemeinsamen Faktoren Der einfachste Weg ist der regressionsanalytische Ansatz F li = β l z i + β l2 z 2i + + β lm z mi, 9

10 den man für jeden Faktor F l aufstellen kann Wir schreiben daher als Matrixgleichung F t r n = P t r m Z t m n (6) Hierin ist P die Matrix der β Regressionskoeffizienten Korreliert man die Faktorwerte mit den Variablen z j, erhält man für jeden Faktor F l ein Gleichungssystem der Form: r Fl z = β l +β l2 r β lm r m r Fl z 2 = β l r 2 +β l2 + + β lm r 2m r Fl z m = β l r m +β l2 r m2 + + β lm (7) In (7) beinhaltet der Spaltenvektor links vom Gleichheitszeichen die Korrelationen des l -ten Faktors mit den m - Variablen, und es gilt bei unabhängigen gemeinsamen Faktoren: r Fl z b l r Fl z 2 = b 2l r Fl z m Jedem der r - Spaltenvektoren von B ist ein Regressionsgleichungssystem (7) zugeordnet, und da gilt b ml b l = R β l R b l = β l gilt als Erweiterung auf die gesamte Matrix der Regressionskoeffizienten P m r = R m m B m r (8) was die gesuchte Lösung ist, da die Korrelationsmatrix R symmetrisch und invertierbar ist Die Lösung erhält man auch direkt aus (6) Nach Transponieren von (6) hat man Vormultiplizieren mit n Zt gibt F n r = Z n m P m r (9) n Zt F = n Zt ZP = RP (20) 0

11 Der linke Teil von (20) ist aber B (s Abschnitt Bedeutung der Faktorladungen ) Also gilt B = RP, (2) was nach Vormultiplizieren mit der Inversen der Korrelationsmatrix zu R B = P (22) wird

12 Die Grössen um die Ladungsmatrix im Überblick r(z j,w l ) h 2 j = r l= b 2 jl = für r= m Faktoren Variablen m λ l = b 2 2 jl = b l j= bb 2 b l b bb 2 22 b2 l b2 bb 2 b b bb m 2 b b j jl jm m m m ml mm Abbildung 2: Die Grössen, die in der Ladungsmatrix eine Rolle spielen Ein Zeilenvektor b j von B repräsentiert die Koordinaten der Variable z j auf allen Faktoren 2 Ein Spaltenvektor b l von B repräsentiert die Koordinaten aller Variablen auf Faktor F l 2

13 Rotation der Faktoren Y Y' x' = xcosφ+ ysinφ y' = xsinφ+ ycosφ x' cos sin y' = x sin cos y X' X Neuer Koordinatenvektor Alter Koordinatenvektor Drehmatrix Abbildung 3: Rotation des Koordinatensystems entspricht einer Multiplikation des ursprünglichen Koordinatenvektors mit einer Drehmatrix Für die Länge des neuen Koordinatenvektors gilt v = x 2 + y 2 = (x cos ϕ + y sin ϕ) 2 + ( x sin ϕ + y cos ϕ) 2 = (x 2 + y 2 ) (cos 2 ϕ + sin 2 ϕ) = (x 2 + y 2 ) da cos 2 ϕ + sin 2 ϕ = Es gilt für die Rotation der Faktorlösung: Da die Summen der Koordinatenquadrate und damit die Vektorlängen gleich bleiben, bleiben die Kommunalitäten der Variablen bei der Rotation erhalten 2 Es ändert sich die Verteilung der Variablenkoordinaten auf die neuen Achsen Die Summe der Koordinatenquadrate pro Faktorachse ändert sich, und damit die Varianzaufklärung jedes Faktors 3