Faktorenanalyse Zweck der Faktorenanalyse ist die Dimensionsreduktion einer gegebenen Variablenanzahl, d. h. also die Zusammenfassung vorhandener Variablen zu wenigen latenten, i. d. R. voneinander unabhängigen Faktoren. Diese Faktoren sind im Fall der Hauptkomeponentenmethode Beschreibungsvariablen, die nicht beobachtbar und somit auch nicht messbar sind. Ziel ist es, eventuell hinter den Zusammenhängen von Variablen stehende Faktoren zu extrahieren, um nicht beobachtbare Phänomene durch eben diese Faktoren kenntlich zu machen. Beispiel In einem Unternehmen, das Autos herstellt, fragt man sich, wie die bislang relativ teuren Umfragen zur Präferenzmessung von Kunden günstiger durchgeführt werden könnten. Bisher wurden Präferenzen bezüglich sechs Wichtigkeitsitems erfragt. Können diese sechs Items nun auf weniger Items reduziert werden, so dass weniger Kosten anfallen und die Befragten weniger belastet werden? Zudem stellt sich die Frage, in welche Segmente Kunden eingeteilt werden könnten. Die Ausgangslage stellt sich folgendermaßen dar: 85
Zudem stellt sich die Frage, inwiefern die bisherige Werbekampagne modifiziert werden könnte, um neue Käufer zu gewinnen. Die obigen Daten beziehen sich nämlich auf eine Stichprobe des bestehenden Kundenstamms. Die Präferenzen der Kunden wurden auf einer Skala mit elf Merkmalsausprägungen gemessen, wobei die Ausprägung 0 bedeutet, dass dieser Aspekt hinsichtlich eines Autos überhaupt nicht wichtig ist, und die Ausprägung 10 demgegenüber bedeutet, dass dieser Aspekt dem Befragten sehr wichtig ist. Zur Herleitung des Modells ist es zunächst hilfreich, einen Ansatz zu betrachten, der zwei Variablen und einen Faktor berücksichtigt: z 1k = a 1 f k und z 2k = a 2 f k, (80) mit z 1k,z 2k als beobachtete Variablen, deren Zusammenhang durch einen Faktor beschrieben werden kann. k ist hier die Anzahl der Beobachtungen: k =1,...,N. f k ist der (einzige) unbeobachtete, latente Faktor. a 1,a 2 sind hier zwei verschiedene Faktorenladungen, deren Werte es festzulegen gilt. Im allgemeineren Fall werden insgesamt P Variablen und M Faktoren betrachtet: z ik = a i1 f 1k + a i2 f 2k +...+ a ij f jk +...+ a im f Mk, (81) hier mit i =1,...,P als Anzahl der beobachteten Variablen, k =1,...,N wie oben als Anzahl der Beobachtungen. Zudem gilt in Anlehnung an das obige Beispiel: z ik istwertdesk-ten Objekts in der i-ten Variable, a ij als Faktorenladung des j-ten Faktors auf die i-te Variable und f jk als Wert des k- ten Objektes im j-ten Faktor. An dieser Stelle muss angemerkt werden, dass der letzte Wert in der Realität nicht messbar ist, rechentechnisch hingegen ist dies möglich. Grundsätzlich gilt, dass bei obiger Gleichung M<Pgelten muss. Anderenfalls hätte man mehr Faktoren als beobachtbare Variablen, 86
was dem Ziel der Faktorenanalyse - der Dimensionsreduktion - widersprechen würde. Damit Faktoren extrahiert werden können, müssen die beobachtbaren Variablen z ik untereinander, d. h. also für i j, einen Zusammenhang aufweisen. Dieser wird über Kovarianzen bzw. insbesondere über Korrelationskoeffizienten festgestellt. Um die Ergebnisse der Faktorenanalyse - hier auf Basis der Hauptkomponentenmethode - nachvollziehbarer interpretieren zu können, werden die Variablen z ik standardisiert, so dass diese ein arithmetisches Mittel von null und eine Standardabweichung in Höhe von eins haben: z ik z ik s zik. Diese Standardisierung hat zur Folge, dass die Varianz-Kovarianz- Matrix und Korrelationsmatrix der z ik gleiche Werte haben. Um diese Zusammenhänge beurteilen zu können, bedient man sich der folgenden Beurteilungskriterien: Korrelationsmatrizen Determinante einer Korrelationsmatrix Inverse Korrelationsmatrizen KMO- & Bartlett-Test Korrelationsmatrizen Die Korrelationsmatrizen geben die Korrelationskoeffizienten der beobachteten Variablen wider. Bei metrischskalierten beobachteten Variablen wird der Korrelationskoeffizient nach Pearson berechnet: r zik,z jk = Cov(z ik,z jk ) Var(z ik ) Var(z jk ). (82) Damit die beobachteten Variablen in der Faktorenanalyse berücksichtigt werden können, sollten die Korrelationen möglichst groß sein. Ist dies der Fall, so kann davon ausgegangen werden, dass ein ausreichend großer Zusammhang 87
zwischen beobachteten Variablen vorhanden ist, der dann durch Faktoren beschrieben werden kann. Zudem wird gefordert, dass diese auch statistisch signifikant sind: Die Nullhypothese H 0 : ϱ zik,z jk < 0oderH 0 : ϱ zik,z jk > 0 sollte also abgelehnt werden. Determinante einer Korrelationsmatrix Damit eine Faktorenanalyse durchgeführt werden kann, wird gefordert, dass die Determinante der Korrelationsmatrix der beobachteten Variablen nahe null ist. Exemplarisch hierfür sei folgendes Beispiel mit zwei beobachteten Variablen gegeben: r x,y = a b c d Die Determinante dieser Matrix wird dann berechnet über a d c b. Sind nun die Korrelationen zwischen x und y hoch, z. B. r x,y =0, 9, dann wird dieser Korrelationskoeffizient auch nahe null sein: r x,y =1 1 0, 9 0, 9=0, 19. Inverse Korrelationsmatrizen Die inversen Korrelationsmatrizen basieren auf den Korrelationsmatrizen selbst. Hierbei wird gefordert, dass die Nebendiagonalelemente der Korrelationsmatrix (im obigen sind dies b und c) nahe null sein sollen. Die Inverse einer Korrelationsmatrix r x,y im Falle zweier beobachteter Variablen wird berechnet über folgenden Ausgangspunkt: r x,y = a b c d Die Inverse selbst wird bestimmt über 1 rx,y 1 = a b c d Die numerische Bestimmung der Parameter ist dann r x,y = 1 a d c b d b c a 88
Geht man davon aus, dass r x,y =0, 9 ist, dann liegt folgende Korrelationsmatrix vor: r x,y = 1 0, 9 0, 9 1 Die Werte der inversen Korrelationsmatrix sind dann 1 r x,y = 1 0, 9 1 1 0,9 0,9 0, 9 1 bzw. 5, 26 4, 74 r x,y = 4, 74 5, 26 KMO- & Bartlett-Test Das Kaiser-Meyer-Olkin-Kriterium (KMO-Kriterium) dient als Maß für die Geeignetheit aller beobachteten Variablen gemeinsam und einzeln betrachtet, um in der Faktorenanalyse verwendet werden zu können. Der Wertebereich dieser Maßzahlen liegt zwischen [0, 1]. Je näher der Wert an eins, desto geeigneter sind die Variablen, um eine Faktorenanalyse durchzuführen. Der Bartlett-Test überprüft, ob die beobachteten Variablen in der Grundgesamtheit keinen Zusammenhang aufweisen. Als Nullhypothese kann also Folgendes geschrieben werden: H 0 : ϱ zik,z jk = 0. Es werden mit diesem Test alle Korrelationskoeffizienten simultan auf Signifikanz überprüft. Wird die Nullhypothese abgelehnt, so muss davon ausgegangen werden, dass die beobachteten Variablen in der Stichprobe in der Grundgesamtheit nicht zusammenhängen und somit von der Durchführung der Faktorenanlyse abzuraten ist. Beispiel (fortgesetzt) Sprechen oben genannte Kriterien für oder gegen die Durchführung einer Faktorenanalyse? Die Korrelationsmatrix, der Test der Nullhypothesen H 0 : ϱ zik,z jk > 0 und die Determinante sind in der folgenden Abbildung zu sehen: 89
Die Werte der Korrelationskoeffizienten sprechen tendenziell für die Durchführung einer Faktorenanalyse, da sie - blockweise betrachtet - einen gewissen Zusammenhang zwischen den beobachteten Variablen erkennen lassen. Gerade die Blöcke stoßen auf Interesse, da sich an dieser Stelle gegebenenfalls schon eine mögliche Konstellation hinsichtlich der Anzahl der Faktoren ausfindig machen läßt: Erkennbar sin zwei Blöcke, was auf eventuell zwei vorhandene Faktoren hinweist. Die Nullhypothese wird zu einem Signifikanzniveau von α = 0, 05 für jeden Korrelationskoeffizienten abgelehnt, so dass auch dieses Kriterium für die Durchführung einer Faktorenanalyse spricht. Ebenso verhält es sich mit der Determinante der Korrelaionsmatrix, die einen Wert in Höhe von 0, 002 annimmt und somit fast null ist. Bei der inversen Korrelationsmatrix sollten die Nebendiagonalelemente nahe null sein, damit die beobachteten Variablen Basis einer Faktorenanalyse sind. Für die Daten des Automobilherstellers ergibt sich gerade eine solche Konstellation: 90
Auch das KMO-Kriterium, dass gleich 0, 694 ist, spricht für die Durchführung einer Faktorenanalyse, da es fast ziemlich gut ist 11. Die beobachteten Variablen sind gemeinsam auf Basis dieses Kriteriums also geeignet für weitergehende Analysen. Die Nullhypothese, dass alle Korrelationskoeffizienten gemeinsam gleich null sind, wird auf Basis des Bartlett-Tests zu jedem Signifikanzniveau abgelehnt. 11 Vgl. Backhaus et al. (2006) für eine Klassifizierungsmöglichkeit der KMO-Werte. 91
Wie verhält es sich nun mit KMO-Kriterium, wenn lediglich einzelne beobachtete Variablen separat betrachtet werden? Diese Werte lassen sich von der Hauptdiagonalen der Anti-Image-Korrelationsmatrix ablesen. Es wird ersichtlich, dass auch diese Werte für die Durchführung einer Faktorenanalyse sprechen. Insgesamt betrachtet weisen alle berücksichtigten Kriterien Werte aus, die die Durchführung einer Faktorenanalyse geeignet erscheinen läßt. Wie werden die Faktoren extrahiert? Von besonderem Interesse an dieser Stelle sind die Faktorenladungen a ij, die einen Zusammenhang zwischen beobachteten Variablen z ik und den unbeobachteten Faktoren f jk herstellen und die für die folgende Herleitung auch die Basis sind. Die Faktoren selbst werden erst danach genauer betrachtet. In Matrixschreibweise kann die Gleichung (81) geschrieben werden als Z = F A, (83) wobei zunächst die Werte der Matrix A bestimmt werden müssen. Um diese zu bestimmen, bedarf es der Berücksichtigung der Korrelationsmatrix 92
der (standardisierten) beobachteten Variablen Z: R = 1 N 1 Z Z. (84) Setzt man nun Z der obigen Gleichung in die untere Gleichung ein, so kann (nach einigen Umformungen) gezeigt werden, dass die Matrix der Korrelationskoeffizienten R auch geschrieben werden kann als R = AA, (85) d h. die Matrizen der Faktorenladungen A können über die Korrelationsmatrix R berechnet werden. Die letztere Gleichung wird Fundamentaltheorem der Faktorenanalyse genannt und ist Basis der Hauptkomponentenmethode 12. Die Bestimmung der Werte der Matrix A erfolgt über die Berechnung von Eigenwerten und -vektoren der Matrix R. Wie sind nun die berechneten Faktorenladungen zu interpretieren? Die Bedeutung dieser Werte wird besonders dann deutlich, wenn die Kommunalitäten betrachtet werden: Die Kommunalität h 2 i der i-ten Variable gibt den Anteil der Varianz dieser (standardisierten) Variablen i (mit Varianz gleich eins) wider, die durch alle Faktoren gemeinsam aufgeklärt wird. Bevor Faktoren extrahiert werden, beträgt der Wert der Kommunalität einer Variablen i eins, danach wird der Wert i. d. R. kleiner als eins sein. Der Wertebereich der Kommunalitäten liegt zwischen [0, 1], eine Kommunalität wird berechnet über 0 h 2 i =ΣM j=1 a2 ij 1, i =1,...,P. (86) 12 Andere Ansätze zur Bestimmung der Faktorenladungen a ij berüchsichtigen noch spezifische Faktoren und Meßfehler, welche ihren Ausdruck in der Gleichung R = AA + U finden. 93
Vor einer Extraktion von Faktoren, d. h. bei Berücksichtigung aller Faktoren (die Anzahl der Faktoren ist vor Extraktion derselben gleich der Anzahl der beobachteten Variablen), wird die gesamte Varianz der beobachteten Variablen reproduziert. Die Reduzierung des Reproduktionsanteils erfolgt erst nach der Extraktion der Faktoren. Beispiel (fortgesetzt) Im Unternehmen fragt man sich, ob durch die extrahierten Faktoren ausreichend Varianz der beobachteten standardisierten Variablen reproduziert wurde. Die Ergebnisse sehen wie folgt aus: Der Anteil der Varianz der beobachteten Variablen, der durch die extrahierten Faktoren erklärt wird, erscheint ausreichend. Fraglich ist, wie viele Faktoren hierfür berücksichtigt wurden. Wie wird die Anzahl der zu berücksichtigenden Faktoren bestimmt? Die Bestimmung der Anzahl der zu berücksichtigenden Faktoren kann auf verschieden Arten vorgenommen werden. Das bekannteste ist das Kaiser-Kriterium. Nach dem Kaiser-Kriterium wird ein Faktor dann in der Faktorenanalyse (weiter) berücksichtigt, wenn sein Eigenwert größer als eins ist. Der Eigenwert eines Faktors wird berechnet über 94
0 λ j =Σ P i=1 a2 ij P, j =1,...,M. (87) Der Eigenwert λ j des j-ten Faktors gibt an, welcher Anteil der Gesamtvarianz aller (standardisierten) beobachteten Variablen durch diesen Faktor j aufgeklärt wird. Ist der Eigenwert eines Faktor j größer als eins, dann erklärt dieser Faktor im Gesamtzusammenhang mehr Varianz als eine einzelne (standardisierte) Variable (mit der Varianz eins). Beispiel (fortgesetzt) Laut Kaiser-Kriterium werden im Rahmen der Untersuchung des Automobilherstellers zwei Faktoren extrahiert: Der erste Faktor - bei der Hauptkomponentenmethode auch Komponente genannt - hat einen Eigenwert in Höhe von 2, 714, ist also größer als eins und erklärt im Gesamtzusammenhang mehr Varianz als eine einzelne standardisierte Varible. Ähnlich verhält es sich mit der zweiten Komponente. Insgesamt erklären die zwei extrahierten Faktoren 89, 286% = (2, 714 + 2, 643) : 6 der Gesamtvarianz der beobachteten Variablen. Der Verlauf der Eigenwerte der anfänglich sechs Faktoren kann grafisch über den Scree-Plot veranschaulicht werden: 95
Die Faktorenladungen selbst können dazu verwendet werden, um den extrahierten Faktoren zusammenfassende Charakteristika zuzuschreiben. Hierbei ist es erforderlich, die Faktorenladungen der einzelnen Faktoren in Relation zu den beobachteten Variablen zu betrachten und - aus Sicht der Faktoren - gemeinsame Ausprägungen der Faktorenladungen zusammenzufassen. Dies ist in der anfänglichen Lösung nur schwer möglich. Deswegen wird eine - üblcherweise orthogonale, d. h. rechtwinklige, um weiterhin die Unabhängigkeit der Faktoren zu gewährleisten - Rotation vorgenommen. Beispiel (fortgesetzt) Die anfängliche Lösung ist nicht rotiert und nur schwer zu interpretieren, da hier Gemeinsamkeiten der Faktoren in Bezug auf die Variablen kaum zu entdecken sind: 96
Eher geeignet hierfür ist die rotierte Lösung, die rechtwinklig mit der Varimax-Methode vorgenommen wurde: Es wird ersichtlich, dass der erste Faktor hoch auf die ersten drei Variablen lädt und kaum auf die letzten drei. Genau andersherum verhält es sich mit dem zweiten Faktor. Wie sollen diese Faktoren nun bezeichnet werden? Der erste Faktor kennzeichnet sicherheitsorientierte Fahrer, wohingegen der zweite Faktor sportlich orientierte Fahrer beschreibt. Welche Schluss- 97
folgerungen lassen sich nun für das Unternehmen ziehen? Eine Möglichkeit wäre, die ursprünglich vorhandenen sechs Fragen zu lediglich zwei Fragen zur Wichtigkeit eines Sicherheitsaspekts und der Wichtigkeit eines Sportlichkeitsaspekts zusammen zu ziehen, um so Befragungskosten zu reduzieren. Eine andere wäre, eine weitere gleichartige Befragung unter potenziellen Kunden durchzuführen. Ähnelten sich die Faktorenkonstellationen beider Gruppen, könnte das Unternehmen gezielt Werbekampagnen durchführen, die den Sportlichkeitsaspekt oder den Sicherheitsaspekt besonders hervorheben würden, um letztlich neue Kunden zu gewinnen und die alten zu behalten. Eine grafische Darstellung dieser (rotierten) Faktorenladungen ist im zweidimensionalen Raum möglich und erleichtert letztlich eine Interpretation: 98