Formelsammlung zu Multivariate Verfahren

Institut für Statistik Gerhard Tutz, Moritz, Wolfgang Pößnecker Sommersemester 204 Formelsammlung zu Multivariate Verfahren Inhaltsverzeichnis Version 0804204 Diese Formelsammlung darf in der Klausur verwendet werden Eigene Notizen und Ergänzungen dürfen eingefügt, aber keine zusätzlichen Blätter eingeheftet werden Multivariate Schätz und Testprobleme 2 Schätzung im Ein Stichprobenfall 2 2 Schätzung im Mehr Stichprobenfall 3 3 Tests, Konfidenzbereiche für Erwartungswerte im Ein Stichprobenfall; Σ bekannt 4 4 Tests, Konfidenzbereiche für Erwartungswerte im Ein Stichprobenfall; Σ unbekannt 4 5 Tests im Zwei Stichprobenfall unabhängige Stichproben 5 6 Tests im Zwei Stichprobenfall verbundene Stichproben 5 2 Diskriminanzanalyse/Klassifikation 6 2 Relevante Größen: 6 22 Bayes Zuordnung: 6 23 Kostenoptimale Bayes Zuordnung: 8 24 Zuordnungsregel unter der Voraussetzung Normalverteilung 9 25 Fishersche Diskriminanzanalyse 0 3 Clusteranalyse 3 Distanzmaße für Objekte: 32 Distanzmaße: 33 Distanzmaße für Klassen: 2 34 Einige Grundbegriffe: 3 35 Gütekriterien: quantitative Merkmale 4 4 Multivariate lineare Regression 4 4 Konzept 4 42 Schätzen 6 43 Testverfahren 7 5 Assoziationsstrukturen 7 5 Marginale, bedingte und partielle Korrelation 7 52 Korrelationskoeffizienten bei vektoriellen Größen 8 53 Multiple Korrelation 8 54 Kanonische Korrelation 9 6 Hauptkomponentenanalyse 20 7 Faktorenanalyse 2 MULTIVARIATE SCHÄTZ UND TESTPROBLEME 2 Multivariate Schätz und Testprobleme Schätzung im Ein Stichprobenfall Seien x,, x n unabhängige Wiederholungen von x mit E(x) = µ und Kovarianz Var(x) = Σ x x x p Bezeichne X die (n p) Datenmatrix X = = x n x np Erwartungswertschätzung: Empirische Kovarianzmatrix: Alternativer Schätzer für Σ: x n n x = x i x = ; n n x ip x p S = n n (x i x)(x i x) = ( n ) n x ix i n x x Schätzung der Korrelationsmatrix: ˆR = (r ij ) p p Satz: ˆΣ = n S nicht erwartungstreu n r ij = n n s= (x si x i )(x sj x j ) s= (x si x i ) 2 n s= (x sj x j ) 2 x,, x n seien unabhängig und identisch p(µ, Σ) verteilt Dann gilt a) E( x) = µ, E(S) = Σ (Unverzerrtheit), b) cov( x) = n Σ, c) E x µ 2 E ˆµ µ 2 für jeden anderen unverzerrten linearen Schätzer ˆµ = ˆµ(x,, x n ) = a x + + a n x n Sind x, x n zusätzlich normalverteilt, dann gilt außerdem d) x N p ( µ, n Σ) und (n )S = Σ n (x i x)(x i x) T W p (Σ, n ) e) x und S sind unabhängig

MULTIVARIATE SCHÄTZ UND TESTPROBLEME 3 MULTIVARIATE SCHÄTZ UND TESTPROBLEME 4 2 Schätzung im Mehr Stichprobenfall Grundgesamtheit ist aufgespalten in disjunkten Klassen Ω,, Ω g Separat in den Klassen werden Stichproben gezogen Arithmetrisches Mittel in Klasse k: x () x () n (aus Ω ) x (g) x (g) ng (aus Ω g ) x (k) = n k nk Empirische Kovarianzmatrix in Klasse k: S (k) = nk n k Häufige Annahme: Σ = Σ 2 = Σ g = Σ x(k) (x(k) i i µ k = µ (k) µ (k) p x (k) )(x (k) i x (k) ) Σ k Wenn Gleichheit gilt, dann nimmt man die gepoolte empirische Kovarianzmatrix: S = g n g (n k )S (k) = g nk k= n g k= W = g nk k= Weiter bezeichnet (x(k) i (x(k) i x (k) )(x (k) i x (k) ) = n g W x (k) )(x (k) i x (k) ) die Streuung innerhalb der Gruppen bezeichnet B = g n k( x (k) x)( x (k) x) k= die Streuung zwischen den Gruppen, 3 Tests, Konfidenzbereiche für Erwartungswerte im Ein Stichprobenfall; Σ bekannt x,, x n unabhängige Realisierungen der Stichprobenvariablen x i N(µ, Σ); i =,, n Hypothesen: Teststatistik: H 0 ablehnen, wenn gilt: H 0 : µ = µ 0, H : µ µ 0 T 2 = n( x µ 0 ) T Σ ( x µ 0 ), T 2 H0 χ 2 (p) T 2 > χ 2 (p; α) 4 Tests, Konfidenzbereiche für Erwartungswerte im Ein Stichprobenfall; Σ unbekannt x,, x n unabhängige Realisierungen der Stichprobenvariablen x i N(µ, Σ) mit unbekanntem Σ Hypothesen: x = n g den großen Mittelwert über alle Klassen bezeichnet, mit k= n k x (k) Teststatistik: T s = H 0 : µ = µ 0, H : µ µ 0 n(n p) p(n ) ( x µ 0) T S ( x µ 0 ), n = n + n 2 + + n g H0 T s F (p, n p) für die Gesamtstreuungsmatrix T = g k= nk (x(k) i x)(x (k) i x) H 0 ablehnen, wenn gilt: T s > F (p, n p; α) gilt die folgende Zerlegung T = W + B

MULTIVARIATE SCHÄTZ UND TESTPROBLEME 5 2 DISKRIMINANZANALYSE/KLASSIFIKATION 6 5 Tests im Zwei Stichprobenfall unabhängige Stichproben X = (x,, x n ) T ist eine unabhängige Stichprobe aus einer N p (µ, Σ) verteilten Grundgesamtheit, X 2 = (x 2,, x 2n2 ) T ist eine unabhängige Stichprobe aus einer N p (µ 2, Σ) verteilten Grundgesamtheit, Es werden gleiche Kovarianzmatrizen vorausgesetzt Hypothesen: Teststatistik: H 0 ablehnen: H 0 : µ = µ 2, H : µ µ 2 T 2 = n n 2 ( x x 2 ) T S ( x x 2 ) n + n 2 mit S = n + n 2 2 [(n )S + (n 2 ) S 2 ] ni und S i = n i j= (x(i) j x (i) )( x (i) j x (i) ) T n + n 2 p (n + n 2 2) p T 2 > F (p; n + n 2 p ; α) weil n + n 2 p (n + n 2 2) p T 2 H0 F (p; n + n 2 p ) 6 Tests im Zwei Stichprobenfall verbundene Stichproben Hypothesen: ( ()) x i x (2) i (( ) µ N 2p ; µ 2 ( )) Σ Σ 2 Σ 2 Σ 22 Unbekannte Kovarianzmatrix: H 0 ablehnen (n p) n (n ) p d T S d d > F (p; n p; α) mit d = S d = Bekannte Kovarianzmatrix von d sei Σ d : H 0 ablehnen n Σn d i n n 2 Diskriminanzanalyse/Klassifikation 2 Relevante Größen: Wichtige Größen für das Klassifikationsproblem sind (d i d)(d i d) T n d T Σ d d > χ 2 (p; α) die a priori Wahrscheinlichkeiten p(r) = P (Y = r), r =,, k, die a posteriori Wahrscheinlichkeiten P (r x) = P (Y = r x), r =, k, die Verteilung der Merkmale, gegeben die Klasse, bestimmt durch die Dichten f(x ),, f(x k) die Mischverteilung der Population f(x) = p()f(x ) + + p(k)f(x k) Satz von Bayes: 22 Bayes Zuordnung: P (r x) = f(x r)p(r) f(x) = f(x r)p(r) p(i)p (x i) H 0 : µ = µ 2 µ µ 2 = 0, H : µ µ 2 d i = x () i x (2) i H 0 besagt: E(d i ) = 0 d i N p (µ µ 2 ; Σ + Σ 22 Σ 2 Σ 2 ) δ (x) = r P (r x) = max P (i x),,k

2 DISKRIMINANZANALYSE/KLASSIFIKATION 7 2 DISKRIMINANZANALYSE/KLASSIFIKATION 8 Fehlklassifikationswahrscheinlichkeiten: Es lassen sich verschiedene Formen der Fehlklassifikationen durch die Zuordnungsregel δ unterscheiden Wahrscheinlichkeit einer Fehlklassifikation, gegeben der feste Merkmalsvektor x ε(x) = P (δ(x) Y x) = P (δ(x) = Y x) = P (δ(x) x) Verwechslungswahrscheinlichkeit oder individuelle Fehlerrate ε rs = P (δ(x) = s Y = r) = f(x r)dx, x:δ(x)=s Globale Fehlklassifikationswahrscheinlichkeit oder Gesamt Fehlerrate ε = P (δ(x) Y ) r s Wahrscheinlichkeit einer Fehlklassifikation, gegeben das Objekt entstammt der Klasse r Es gilt der Zusammenhang: ε r = P (δ(x) r Y = r) = s r ε = P (δ(x) Y ) = P (δ(x) r Y = r)p(r) = ε r p(r) = ε rs p(r) r= s r r= ε = P (δ(x) Y ) = ε rs P (δ(x) Y x)f(x)dx = Optimalität der Bayes Zuordnung Die Bayes Zuordnung minimiert die Gesamtfehlerrate ε Äquivalente Diskriminanzfunktionen: a) d r (x) = P (r x), b) d r (x) = f(x r)p(r)/f(x) c) d r (x) = f(x r)p(r) d) d r (x) = log(f(x r)) + log(p(r)) δ (x) = r P (r x) = max P (i x),,k r= ε(x)f(x)dx Maximum Likelihood (ML) Zuordnungsregel 23 Kostenoptimale Bayes Zuordnung: δ ML (x) = r f(x r) = max f(x i),,k c(i, j) = c ij = Kosten einer Zuordnung eines Objekts aus Klasse i in die Klasse j Für I = j gelte c ii = 0 dh die Kosten einer richtigen Zuordnung sind Null, während c ij 0 für i j Bedingtes Risiko, gegeben x Individuelles Risiko Risiko, gegeben Klasse i r(x) = c i,δ(x) P (i x) r ij = c ij P (δ(x) = j Y = i) = c ij r i = r ij j= x:δ(x)=j f(x i)dx Das gesamte Bayes Risiko, dh die zu erwartenden Kosten, lassen sich darstellen durch R = E(c(Y, δ(x))) = r i p(i) = r(x)f(x)dx Bayes Zuordnung mit Kosten Bei Vorliegen des Beobachtungsvektors x wird das Bayes Risiko minimiert durch die Zuordnung Mit den Diskrimininanzfunktionen erhält man δ (x) = r P (i x)c ir = min d r (x) = j=,,k P i (i x)c ir, δ (x) = r d r (x) = max,,k d i(x) P (i x)c ij

2 DISKRIMINANZANALYSE/KLASSIFIKATION 9 2 DISKRIMINANZANALYSE/KLASSIFIKATION 0 24 Zuordnungsregel unter der Voraussetzung Normalverteilung Klassenverteilungen: Bayes Regel: f(x i) = (2π) p/2 (det Σ i ) /2 exp{ 2 (x µ i) T Σ i (x µ i )} 25 Fishersche Diskriminanzanalyse x i x ini in der Klasse i Grundprinzip (Zwei Klassen Fall): Projektion y = a T x mit a =, so dass das folgende Kriterium maximiert wird d i (x) = ln(f(x i)) + ln(p(i)) d i (x) = 2 (x µ i) T Σ i (x µ i ) 2 ln(det Σ i) + ln p(i), i =,, k Zusätzlich unabhängige standardisierte Merkmale, Σ i = σ 2 I: d i (x) = x µ i 2 2σ 2 + ln p(i) Sind die a priori Wahrscheinlichkeiten gleich groß, so reduziert sich die Diskriminanzfunktion auf d i (x) = x µ i 2 Klassenweise identische Kovarianzmatrizen; Σ i = Σ, i =,, k : d i (x) = 2 (x µ i) T Σ (x µ i ) + ln p(i) Lösung: Q(a) = (ȳ ȳ 2 ) 2 s 2 + s 2 2 ȳ i = ni a T x ij = a T x i Klassenmittelpunkt, n i j= s 2 i = (a T x ij a x i ) 2 Quadratische Abweichungen i te Klasse mit a = W ( x x 2 ) W = (n + n 2 2)S =, 2 ni (x ij x i )(x ij x i ) T j= Für k=2 erhält man: d i (x) = µ T i Σ x 2 µt i Σ µ i + ln p(i), i =,, k d(x) = d (x) d 2 (x) = [x 2 (µ + µ 2 )] T Σ (µ µ 2 ) ln p(2) p() Für die ML Regel sind die ln Terme wegzulassen Schätzer für µ k und Σ : ˆµ i = x i, ˆΣ = S = N g ni (x in x i )(x in x i ) T n= Mehr Klassen Fall: Kriterium: Resultierende Eigenvektoren: Resultierende Eigenwerte: mit Q(a) = g n i(ȳ i ȳ) 2 g s2 i a,, a q, q = rg(b) λ = at Ba a T Wa B = W = max,, λ q = a qba q a T q Wa q g n i ( x i x)( x i x) T g ni (x ij x i )(x ij x i ) T j=

3 CLUSTERANALYSE 3 CLUSTERANALYSE 2 3 Clusteranalyse Objektmenge Ω = {a,, a n } Zugehörige Merkmalsvektoren {x,, x n } Gesucht: Partition = disjunkte vollständige Zerlegung C,, C g so daß g C i = {a,, a n }, C i C j = 3 Distanzmaße für Objekte: d : Ω Ω IR + mit d(a i, a i ) = 0, d(a i, a j ) 0, d(a i, a j ) = d(a j, a i ) Für metrische Distanzmaße: zusätzlich Dreiecksungleichung 32 Distanzmaße: Binäre Merkmale d(a i, a j ) d(a i, a m ) + d(a m, a j ) für alle a i, a j, a m x T i = (x i,, x ip ) mit x ij {0, } h ij (y, z) bezeichnet die Anzahl der übereinstimmenden Komponenten in x i und x j mit Ausprägung y in x i und z in x j h ij (y, z) = {s (x is, x js ) = (y, z)} für (y, z) {(0, 0), (0, ), (, 0), (, )} Matching Koeffizient s ij = h ij(, ) + h ij (0, 0) p Distanz Matching Koeffizient (Anzahl nicht übereinstimmender Merkmale) d ij = s ij Metrische Merkmale L q Metrik q = City Block Metrik q = 2 Euklidische Metrik Mahalanobis Distanz mit empirischer Kovarianzmatrix S 33 Distanzmaße für Klassen: Form: D(C r, C s ) C r, C s Ω Single Linkage Verfahren 2 Complete Linkage Verfahren 3 Average Linkage Verfahren 4 Zentroid Verfahren x = (x,, x p ), y = (y,, y p ) ( p ) /q d(x, y) = x i y i q d(x, y) = (x y) T S (x y) D(C r, C s ) = min a i Cr a j Cs D(C r, C s ) = max a i Cr D(C r, C s ) = n r n s mit n i = C i a j Cs d(a i, a j ) d(a i, a j ) ai Cr aj Cs d(a i, a j ) D(C r, C s ) = x r x s 2 mit x i = n i xj Ci x j

3 CLUSTERANALYSE 3 4 MULTIVARIATE LINEARE REGRESSION 4 34 Einige Grundbegriffe: 35 Gütekriterien: quantitative Merkmale Mittelwert in Klasse C k xk = n k Streuung in Klasse C k Streuung der Partition IC innerhalb der Klassen nk x i mit n k = C k W(C k ) = (x i x k )(x i x k ) T xi Ck Partition IC = {C,, C g } Varianzkriterium g H(IC) = x i x k 2 k= xi Ck g W(IC) = W(C k ) k= Streuung der Partition IC zwischen den Klassen B(IC) = Die Gesamtstreuung ist zerlegbar in g n k ( x k x)( x k x) T mit x = n n k= n T = (x i x)(x i x) T T = W(IC) + B(IC) x i Minimum Distanz Eigenschaft x i x k x i x j für x i C k 2 Determinantenkriterium H(IC) = W(IC) Minimum Distanz Eigenschaft (x i x k ) T W(IC) (x i x k ) (x i x j ) T W(IC) (x i x j ) für x i C k 3 Verallgemeinertes Determinantenkriterium g H(IC) = n k ln( W(C k ) ) n k k= 4 Multivariate lineare Regression 4 Konzept (y i, x i ), i =,, n mit y T i x T i = (y i,, y iq ) q abhängige Variablen = (, x i,, x ip ) p konstante und fixe Prädiktoren

4 MULTIVARIATE LINEARE REGRESSION 5 4 MULTIVARIATE LINEARE REGRESSION 6 Klassisches lineares Modell: Matrixdarstellungen: Vektorielle Form bzw und als Gesamtmodell y i = y iq Multivariate Formulierung I Multivariate Formulierung II bzw als Gesamtmodell y ij = x T i β (j) + ε ij, i =,, n, j =, q, x T i x T i β T (j) = (β 0j, β j, β qj ), y T y T n = (y (),, y (q) ) = x T mit X 0 = x T n Annahmen: () E(ɛ i ) = 0 (2) cov(ɛ i ) = Σ, i =,, n cov(ɛ i, ɛ j ) = 0, i j cov(ɛ (s), ɛ (t) ) = σ st I, s t (3) Normalverteilung, ɛ i N(0, Σ) x T x T n x T x T n β () ε i + x T i y i = X i β + ɛ i y = Xβ + ɛ β (q) ε iq β T = (β T (),, β T (q)) ɛ T (β (),, β (q) ) + ɛ T n (β (),, β (q) ) + (ɛ (),, ɛ (q) ) Y = X 0 B + E β 0j β pj y j, β (j) =, y (j) =, ɛ (j) = y nj ɛ j ɛ nj 42 Schätzen Kleinste Quadrate Schätzung Lösung (voller Rang von X): Als Vektor mit Schätzung der Kovarianz: q (y (j) X 0 β (j) ) T (y (j) X 0 β (j) ) min j= ˆβ (j) = (X T 0 X 0 ) X T 0 y (j) bzw ˆB = (X T 0 X 0 ) X T 0 Y ˆβ = BDiag{(X T 0 X 0 ) X T 0 }y 0 oder ˆβ = (X T X) X T y y T 0 = (y T (),, y T (q)), y T = (y T,, y T n ) ˆΣ = n p ˆΣ = n T (y i X i ˆβ)(yi X i ˆβ) Gauß Markov Theorem (Annahmen () und (2)) () E( ˆB) = B, E( ˆΣ) = Σ (2) Var(ˆβ (i), ˆβ (j) ) = σ ij (X T 0 X 0 ) (3) ˆB ist BLUE Weiter gilt mit Normalverteilungsannahme (4) ˆB ist normalverteilt (5) Q e = ÊT Ê W p(σ, n p ) (6) ˆB und ˆΣ sind unabhängig n p ET E E = Y X 0 ˆB Residuenmatrix

5 ASSOZIATIONSSTRUKTUREN 7 5 ASSOZIATIONSSTRUKTUREN 8 43 Testverfahren Tests: (Unter Normalverteilungsannahme) H 0 : CB = Γ H : CB Γ rg(c) = s Λ = Q e Λ(q, n p, s) Q 0 mit Q e = (Y X 0 ˆB) T (Y X 0 ˆB) ohne Restriktion Q 0 = (Y X 0 ˆB0 ) T (Y X 0 ˆB0 ) mit Restriktion H 0 ablehnen, wenn Λ < Λ α (q, n p, s) 52 Korrelationskoeffizienten bei vektoriellen Größen Ausgangspunkt: Zufallsvektoren y, x und z mit y µ y y µ = E x = µ x, Σ = cov x = z z µ z Marginale Korrelationsmatrix für y gegeben x: Σ yy Σ yx Σ yz Σ xy Σ xx Σ xz Σ zy Σ zx Σ zz K = (k ij ) mit k ij = σ yixj /(σ yi σ xi ), 5 Assoziationsstrukturen 5 Marginale, bedingte und partielle Korrelation Marginale Korrelation von Y und X ρ Y X = Bedingte Korrelation von Y und X, gegeben Z = z ρ Y X Z=z = cov(y, X) σ Y σ X cov(y, X Z = z) var(y Z = z) var(x Z = z) Partielle Korrelation von Y und X nach Elimination des linearen Anteils von Z ρ XY Z = cov(ε Y Z, ε X Z ) var(εy Z ) var(ε X Z ) = ρ Y X ρ XZ ρ Y Z, ρ 2 Y Z ρ 2 XZ mit ε Y Z, ε X Z als Residuen aus den Regressionsmodellen Y = β 0 + βz + ε Y Z und X = γ 0 + γz + ε X Z σ yixj Einträge von Σ yx Matrix der bedingten Kovarianzen für y und x gegeben z = z: Σ yx z= z = (cov(y i, x j z = z)) ij Partielle Korrelation skalarer Merkmale y und x nach Elimination des linearen Anteils von z: ϱ xy z = cov(ε y z, ε x z ) var(εy z ) var(ε x z ) = ε y z = y z T β und ε x z = x z T γ 53 Multiple Korrelation σ 2 y Σ yz Σ z σ yx Σ yz Σ z Σ zx, Σ zy σ 2 x Σ xz Σ z Σ zx Ausgangspunkt: lineares Regressionsmodell y = x T β + ε y x, damit ergibt sich var(x T β) = Σ yx Σ x Σ xy = cov(y, x T β) var(y x) = var(ε y x ) = σy 2 Σ yx Σ x Σ xy Für (Y, X, Z) gemeinsam normalverteilt gilt ρ Y X Z=z = ρ XY Z und die Zerlegung Multipler Korrelationskoeffizient: var(y) = var(x T β) + var(y x) R = ϱ(y, x T β) = cov(y, x T β) var(y) var(xt β) Es gilt R 2 = var(xt β) var(y) = var(y x) var(y)

5 ASSOZIATIONSSTRUKTUREN 9 6 HAUPTKOMPONENTENANALYSE 20 54 Kanonische Korrelation Ausgangspunkt: Zufallsvektoren y und x der Länge p bzw q mit Σ xy = cov(x, y) Betrachte Maximierungsproblem ϱ(a T x, b T y) a,b max ϱ(a, b) = ϱ(a T x, b T y) = mit der Nebenbedingung var(a T x) = var(b T y) = cov(a T x, b T y) var(at x) var(b T y) = a T Σ xy b at Σ xx a b T Σ yy b Lösen des Maximierungsproblems für i =,, s = min{p, q} mit ergibt cov(a i x, a j x) = cov(b i y, b j y) = 0 für i j a i, b i als die iten Korrelationsvektoren, u i = a T i x, v i = b T i y als ite Korrelationsvariablen und ϱ i = ϱ(u i, v i ) als ite kanonische Korrelationskoeffizienten Für u T = (u,, u s ) und v T = (v,, v s ) gilt cor ( ) u v Schärfere Formulierung des Maximierungsproblems: 0 ϱ 0 0 0 ϱ s = ϱ 0 0 0 ϱ s 0 6 Hauptkomponentenanalyse Ausgangsgrößen: Problem: y i = a T i x, i =,, p so dass Restriktionen: () a T i a i = (2) a T i a j = 0, j =,, i Äquivalent ist cov(y i, y j ) = 0, j =,, i Lösung: Σ = ΨΛΨ T Λ = diag(λ,, λ p ), λ λ 2 λ p Ψ = (a,, a p ) Eigenschaften: x T = (x,, x p ) µ = E(x), Σ = cov(x) var(y i ) = a T i Σa i maximal y = Ψ T x mit y T = (y,, y p ) () cov(y) = Λ (var(y i ) = λ i, cov(y i, y j ) = 0, i j) (2) tr(σ) = tr(λ) ϱ(a T i x, b T i y) ai,bi max mit den Nebenbedingungen var(a T i x) = var(b T i y) =, i =,, s cov(a T i x, a T j x) = cov(b T i y, b T j y) = 0, j =,, i Lösungen (a i, b i ) über das kombinierte Eigenwertproblem (Σ xy Σ yyσ yx λ i Σ xx )a i = 0 (Σ yx Σ xxσ xy λ i Σ yy )b i = 0

7 FAKTORENANALYSE 2 7 Faktorenanalyse Modell: X µ = ΓF + U, X (p ) - Vektor der beobachtbaren Größen µ Erwartungswert von X F (k ) - Vektor der Faktoren Γ (p k) - Matrix der Faktorladungen U (p ) - Vektor der spezifischen Faktoren Annahmen: () E(F) = 0 (2) U V (0, Ψ), mit Ψ = diag(ψ 2,, Ψ 2 p) (3) cov(f, U) = 0 (4) cov(f) = I orthogonales Faktormodell Fundamentaltheorem für s = cov(x) Insbesondere: s = ΓΓ + Ψ m var(x i ) = γij 2 + Ψ 2 i j=, cov(x, F) = Γ Rotationsproblem (Eindeutigkeit von Γ bei gegebenem k, Ψ) Γ Ψ Γ = diag(λ,, λ k ), λ λ 2,, λ k