Multivariate Verfahren

Transkript

1 Multivariate Verfahren Oliver Muthmann 31. Mai 2007

2 Gliederung 1 Einführung 2 Varianzanalyse (MANOVA) 3 Regressionsanalyse 4 Faktorenanalyse Hauptkomponentenanalyse 5 Clusteranalyse 6 Zusammenfassung

3 Komplexe Systeme werden meist durch mehrere Faktoren gleichzeitig beinflusst, und nicht immer ist es möglich, den Einfluss einzelner Faktoren bei konstanten anderen Faktoren zu messen. (Beispiel Gehirn) Wann sind die Mittelwerte zweier Stichproben (Datenmatrizen) verschieden? Welche Beziehung besteht zwischen zwei Messgrößen? Wie kann man die Datenmenge reduzieren ohne wesentliche Information zu verlieren? Datenmatrix: x 11 x 12 x 1p x 21 x 22 x 2p X = x n1 x n2 x np n: # der Messungen p: # der beobachteten Größen

4 Univariater Fall: ANOVA Test auf Gleichheit der Mittelwerte von g Stichproben bezüglich einer Dimension H 0 : Mittelwerte sind gleich Schätze Varianz zwischen den Mittelwerten der Stichproben und innerhalb der Stichproben Bilde den Quotienten, dieser ist bei Gültigkeit der Nullhypothese F(g-1,(n-1)g)-verteilt

5 Multivariater Fall: MANOVA p-dimensionale Beobachtungsgrößen g Stichproben mit Erwartungswerten µ k = µ + α k = ( µ 1k µ pk ) T ; k = 1,, g x ik = µ + α k + ɛ ik H 0 : α 1 = α 2 =... = α g = 0 Annahme: Kovarianzmatrix für alle Stichproben gleich; Stichproben normalverteilt

6 Matrix der Summe der quadrat. Abweichungen innerhalb der Stichproben: W = g n k (x ik x k )(x ik x k ) T k=1 i=1... zwischen den Stichproben: G = g n k ( x k x)( x k x) T k=1 i=1 Λ = W / W + G Unter der Nullhypothese entspricht W + G der ( G W ) 1/s m2 m 1 Gesamtvarianz und F = 1 y m 2 y m 1 = ist näherungsweise F-verteilt mit m 1 und m 2 Freiheitsgraden, wobei r y = Λ 1/s p ; s = 2 (g 1) 2 4 p 2 +(g 1) 2 5 m 1 = p(g 1); m 2 = s[n (p + g + 2)/2] p(g 1) + 1 2

7 univariate (lineare) Regression n Realisierungen y i einer Zufallsvariablen Y (x i ) Erklärung der Varianz von Y durch die Stichprobenwerte x i und einen Rauschterm: Y i = β 0 + β 1 x i + ɛ i mit E i = N(0, σ) Schätzung der Parameter mit der Maximum-Likelihood Methode ˆβ 1 = s xy s 2 x = n i=1 (x iy i xȳ) n i=1 (x 2 i x 2 ) ˆβ 0 = ȳ ˆβ 1

8 multivariate (lineare) Regression Datenmatrix ( ) x1 X = x 2 x 1 M(q n) x 2 M(s n) ( 1 T Umdefinition: X = x 1 ) T Y = x 2 T Ziel: Erklärung von Y durch X Y = XB + U Schätzung von B: ( T β0 B = B ) wobei E[ x 2 x 1 ] T = ( µ 2 Σ 21 Σ 1 11 µ 1) T + x T 1 Σ 1 11 Σ 12 = β 0 T + B

9 Maximum-Likelihood Schätzer für β 0 T ; B : ˆ β T 0 = ȳ T x T 1 S 1 x 1 x 1 S x1 y ˆB = S 1 x 1 x 1 S x1 y Schätzer ist äquivalent zu denen aus der univariaten multiplen Regression für jede Spalte von y: y j = X β j + u j j = 1,..., s Schätzung der Fehlerkovarianzmatrix: Û 2 = ˆ Σ yy x1 = ˆΓ = (Y XˆB) T (Y XˆB)/(n q 1) Nichtdiagonalelemente verschwinden nicht!

10 Faktorenanalyse Ziel: Reduktion der Datenmenge/Dimension durch Einführung von neuen Variablen, den sogenannten Faktoren. Extraktion der Faktoren kann durch verschiedene Verfahren erreicht werden, am gängigsten ist die Hauptkomponentenanalyse.

11 Hauptkomponentenanalyse (PCA, auch: Karhunen-Loeve-Transformation) Idee: Hauptachsentransformation der (geschätzten) Korrelationsmatrix orthogonale Eigenvektoren, sortiert nach deren Varianz. Die Varianz kann als Maß für den Informationsgehalt angesehen werden nehme nur die Eigenvektoren mit der größten Varianz!

12 Beispiel: Mustererkennung bei Rhesusaffen Richmond, Optican 1987 Spikes eines Neuron

13 Beispiel: Mustererkennung bei Rhesusaffen

14 Aufgaben: Welche Hauptkomkonenten tragen keine (signifikante) Information? Vergleich mit ursprünglicher Korrelation Scree Test Broken Stick Model Interpretation der Hauptkomponenten? Aufstellen von neuen Hypothesen für die Hauptkomponenten gemittelte Spikedichte und die ersten Hauptkomponenten

15 Korrelation mit der gemittelten Spikezahl 1. Hauptkomponente 2. Hauptkomponente (r = 0.89) (r = 0.19)

16 Varianz der Hauptkomponenten Beiträge der einzelnen Hauptkomponenten (=Faktorladungen)

17 Faktorenanalyse Definiere einen Satz gemeinsamer, orthonormierter Faktoren F 1,..., F r so dass ( x µ) = A f + u u i unkorreliert mit f j Σ = AA T + ψ Varianz von X i : σ 2 i = r aij 2 + σu 2 i j=1 Kommunalität: r j=1 a2 ij Die Korrelationsmatrix ist invariant unter orthogonalen Transformationen: Σ = AA T + ψ = ATT T A T + ψ B = AT

18 Clusteranalyse Betrachte XX T : große Nichtdiagonalelemente bei ähnlichen Variablen (verschwindende bei orthogonalen Variablen) Ziel: Reduktion der Datenmenge durch Zusammenfassen von Messgrößen zu Clustern. Verfahren: hierarchisches Clustern k-means-algorithmus fuzzy clustering

19 Hierarchisches Clustern Abstandsmaße zwischen Variablen: standardisierter euklidische Metrik ( x r x s ) T S 1 ( x r x s ) Mahalanobis Distance ( x r x s ) T S 1 ( x r x s ) [ p ] 1/λ Minkowski Metrik m rs = j=1 x rj x rs λ Abstandsmaße zwischen Gruppen: Single Linkage (Nearest Neighbor) Complete Linkage (Furthest Neighbor) Average Linkage

20 Aufstellung einer Abstandsmatrix Zusammenfassen der nächstliegenden Variablen zu einem Cluster Berechnung einer neuen Abstandsmatrix mit p tu = α r p ru + α s p su + βp rs + γ p ru p rs Die Koeffizienten hängen von der verwendeten Metrik ab. Ist die Aufteilung signifikant? externe Kriterien: Vergleich mit bekannten Clustern interne Kriterien: passt die Lösung zur Abstandsmatrix? Reproduzierbarkeit: mit halber Datenanzahl? Verwendung anderer Algorithmen

21 Zusammenfassung Im Multivariaten hat man große Datenmengen Herausfiltern der relevaten Daten durch Faktoranalyse Clusteranalyse Test ob 2 Datensätze sich in den Mittelwerten unterscheiden: Varianzanalyse Wenn ein linearer Zusammenhang zwischen den Datensätzen besteht: Regressionsanalyse

22 Literatur Literaturangaben J.D. Jobson Applied Multivariate Data Analysis; Volume 2 Springer-Verlag Richmond, Podell, Optican, Spitzer Temporal encoding of two-dimensional patterns by single units in inferior temporal cortex. 1.Response characteristics 2.Quantification of response waveform 3.Information theoretic analysis Journal of Neuroscience 57: