Klausur zur Vorlesung Analyse mehrdimensionaler Daten, Lösungen WS 2010/2011; 6 Kreditpunkte, 90 min

Transkript

1 Klausur, Analyse mehrdimensionaler Daten, WS 2010/2011, 6 Kreditpunkte, 90 min 1 Prof. Dr. Fred Böker Klausur zur Vorlesung Analyse mehrdimensionaler Daten, Lösungen WS 2010/2011; 6 Kreditpunkte, 90 min Hinweise: Bitte runden Sie alle Ergebnisse auf drei Dezimalstellen. Runden Sie jedoch nur die Endergenisse und keine Zwischenergebnisse. Wenn Sie bereits abgefragte Ergebnisse in folgenden Berechnungen benötigen, verwenden Sie jedoch bitte die gerundeten Ergebnisse. Im Anhang finden Sie Tabellen der benötigten Verteilungen. Aufgabe 1 (Punkte: 7) Betrachten Sie die Varianz-Kovarianz-Matrix Σ für den zufälligen Vektor Y t (Y 1, Y 2, Y 3 ) Die Kovarianzmatrix hat als zweiten Eigenwert λ 2 1 und als dritten Eigenvektor a t 3 (1/ 2, 0, 1/ 2). a) (Punkte: 5) Bestimmen Sie die übrigen Eigenwerte und Eigenvektoren von Σ. Man erhält die Eigenwerte der Kovarianzmatrix, indem man die Gleichung det(σ λi) 0 löst, d.h. hier 1 λ det 0 1 λ λ Wir entwickeln die Matrix nach der 2. Zeile und erhalten 1 λ ( ) 1 λ 0.8 det 0 1 λ 0 ( 1) 2+2 (1 λ) det λ λ (1 λ) [(1 λ) ] Für den Ausdruck in der eckigen Klammer verwenden wir die dritte binomische Formel a 2 b 2 (a + b)(a b), d.h. für die Determinante ergibt sich (1 λ)(1 λ + 0.8)(1 λ 0.8) (1 λ)(1.8 λ)(0.2 λ) 0 λ oder λ 2 1 oder λ Die Eigenwerte sind also λ 1 1.8, λ 2 1 und λ

2 2 Klausur, Analyse mehrdimensionaler Daten, WS 2010/ Kreditpunkte, 90 min Der Eigenvektor der Kovarianzmatrix zum Eigenwert λ muss die Gleichung (Σ λi)a 0 erfüllen, d.h. zu jedem Eigenwert λ i gehört ein Vektor a i, der Eigenvektor genannt wird, für den gilt: Σa i λ i a i. In unserer Aufgabe ist also für λ das Gleichungssystem (Σ 1.8I)a 1 0 zu lösen Da Σ 1.8I ist das zu lösende Gleichungssystem 0.8a a a a a 13 0 Die 2. Gleichung gilt genau dann, wenn a Die 1. und 3. Gleichung gilt genau dann, wenn a 11 a 13. Die Eigenvektoren müssen normiert sein, d.h. a a a a a a a 11 ±1/ 2 Als Eigenvektoren zu λ kommen also a t 1 (1/ 2, 0, 1/ 2) oder a t 1 ( 1/ 2, 0, 1/ 2) in Frage. Wir rechnen im weiteren Verlauf mit a t 1 (1/ 2, 0, 1/ 2) Für λ 2 1 ist Σ λ 2 I Σ I Das für a t 2 (a 21, a 22, a 23 ) zu lösende Gleichungssystem ist 0.8a a 21 0 Das bedeutet a 21 a 23 0, während a 22 beliebig gewählt werden kann, d.h. jeder Vektor a t 2 (0, a 22, 0) ist eine Lösung des Gleichungssystem. Der 2. Eigenvektor muss normiert sein und außerdem orthogonal zu a 1. Aus der Normiertheit folgt: a a a a a 22 ±1 Ortogonalität zu a 1 bedeutet: das innere Produkt der Vektoren a t 2 (0, ±1, 0) und at 1 (1/ 2, 0, 1/ 2) muss gleich 0 sein, d.h. 0 1/ 2 + a / 2 0, was für beide Werte von a 22 ±1 erfüllt ist. Wir rechnen im weiteren Verlauf der Aufgabe mit a t 2 (0, 1, 0). Für λ das Gleichungssystem (Σ 0.2I)a 3 0 zu lösen Da Σ 0.2I ist das zu lösende Gleichungssystem

3 Klausur, Analyse mehrdimensionaler Daten, WS 2010/2011, 6 Kreditpunkte, 90 min 3 0.8a a a a a 33 0 Aus der 2. Gleichung folgt a Aus der 1. oder 3. Gleichung folgt a 31 a 33, d.h jeder Vektor a t 3 (a 31, 0, a 31 ) ist eine Lösung des Gleichungssystems. Der Vektor muss normiert sein, d.h. a a a 2 33 a a a a 31 ±1/ 2 In unserer Aufgabe ist also a t 3 (1/ 2, 0, 1/ 2) eine normierte Lösung, die auch orthogonal zu a t 1 (1/ 2, 0, 1/ 2) t und a t 2 (0, 1, 0) ist. b) (Punkte: 2) Hat die zu Σ gehörige Korrelationsmatrix andere Eigenwerte und Eigenvektoren? Begründen Sie Ihre Antwort. Die Eigenwerte und Eigenvektoren der Korrelationsmatrix sind identisch, da Σ mit der Korrelationensmatrix übereinstimmt, denn alle Varianzen sind 1. Aufgabe 2 (Punkte: 14) Die Kovarianzmatrix des zufälligen Vektors Y t (Y 1, Y 2, Y 3 ) sei Σ Sei A 1/ 3 1/ 2 1/ 6 1/ 3 0 2/ 6 1/ 3 1/ 2 1/ 6 a) (Punkte: 2) Bestimmen Sie die Kovarianzmatrix von Z A t Y. Var(Z) Var(A t Y ) A t ΣA 1/ 3 1/ 3 1/ 3 1/ 2 0 1/ 2 1/ 6 2/ 6 1/ / 3 1/ 2 1/ 6 1/ 3 0 2/ 6 1/ 3 1/ 2 1/ 6

4 4 Klausur, Analyse mehrdimensionaler Daten, WS 2010/ Kreditpunkte, 90 min b) (Punkte: 1) Die Matrix A enthält in den Spalten die normierten und orthogonalen Eigenvektoren von Σ. Geben Sie möglichst unter Benutzung des Ergebnisses aus a) die Eigenwerte von Σ an. In a) wurde die Kovarianzmatrix der Hauptkomponenten berechnet. Die Varianzen stimmen mit den Eigenwerten überein. Daher ist λ 1 4, λ 2 3 und λ 3 1. c) (Punkte: 2) Welcher Anteil der Variation wird durch die einzelnen Hauptkomponenten erklärt? Wie viele Hauptkomponenten würden Sie verwenden, um mindestens 85% der Variation durch die verwendeten Hauptkomponenten zu erklären? Die 1. Hauptkomponente erklärt den Anteil λ 1 /(λ 1 +λ 2 +λ 3 4/8 1/ % Die 2. Hauptkomponente erklärt den Anteil λ 2 /(λ 1 + λ 2 + λ3 3/ % Die 3. Hauptkomponente erklärt den Anteil λ 3 /(λ 1 + λ 2 + λ3 1/ % Damit wird 50% der Variation durch die erste Hauptkomponente erklärt und 87.5% durch die beiden ersten Hauptkomponenten, d.h. man sollte die beiden ersten Hauptkomponenten verwenden, um mindestens 85% der Variation zu erklären. d) (Punkte: 1) Schreiben Sie die beiden ersten Hauptkomponeneten Z 1 und Z 2 als Linearkombination der ursprünglichen Variablen Y 1, Y 2, Y 3. Z 1 a t 1Y 1 3 Y Y Y (Y 1 Y 2 + Y 3 ) Z 2 a t 2 Y 1 2 Y Y Y (Y 1 Y 3 ) e) (Punkte: 1) Die gegebene Kovarianzmatrix wurde in R mit Sigma bezeichnet. Mit dem folgenden Befehl wurde in R die Korrelationsmatrix berechnet. > RHO<-cov2cor(Sigma) > RHO [1,] [2,] [3,] Erläutern Sie, wie man die Zahlen erhält. Die gegebenen Kovarianzen σ ij 1 sind durch das Produkt der Standardabweichungen σ i σ j zu dividieren. Das Produkt der Standardabweichungen ist in allen Fällen und 1/ f) (Punkte: 2) Mit der Korrelationsmatrix RHO wurden in R folgende Berechnungen durchgeführt:

5 Klausur, Analyse mehrdimensionaler Daten, WS 2010/2011, 6 Kreditpunkte, 90 min 5 > RHO1<-eigen(RHO)$values[1]*eigen(RHO)$vectors[,1]%*%t(eigen(RHO)$vectors[,1]) > RHO2<-eigen(RHO)$values[2]*eigen(RHO)$vectors[,2]%*%t(eigen(RHO)$vectors[,2]) > RHO3<-eigen(RHO)$values[3]*eigen(RHO)$vectors[,3]%*%t(eigen(RHO)$vectors[,3]) > round(rho1,digits3) [1,] [2,] [3,] > round(rho2,digits3) [1,] [2,] [3,] > round(rho3,digits3) [1,] [2,] [3,] Wie nennt man diese Darstellung und was geben die Zahlen an? Was ergibt die Summe RHO1+RHO2+RHO3? Spektralzerlegung der Korrelationsmatrix: Es gilt P 3 j1 P j mit P j : λ j a j a t j. Dabei ist P j der Beitrag der j-ten Hauptkomponente zur Korrelationsmatrix. g) (Punkte: 5) Im Rahmen einer Faktorenanalyse mit der Korrelationsmatrix RHO haben Sie die folgenden Berechnungen durchgeführt: > round(eigen(rho)$values,digits3) [1] > round(eigen(rho)$vectors,digits3) [1,] [2,] [3,] Sie verwenden die Hauptkomponentenmethode und haben sich entschieden, zwei Faktoren zu verwenden. Mit R haben Sie die folgende Faktorladungsmatrix Λ 2 berechnet: [,1] [,2] [1,] [2,] 0.89 c? [3,] Ergänzen Sie den fehlenden Wert c. Welche Bedeutung hat dieser Wert? Geben Sie anschliessend die Kommunalitäten und die Fehlermatrix Ψ 2 an. Verwenden Sie dabei die Hauptkomponentenmethode. Hinweis: Falls Sie c nicht bestimmen konnten, verwenden Sie in den Folgerechnungen c. Die Faktorladungsmatrix Λ 2 besteht aus den ersten beiden Spalten der Matrix der Komponentenladungen. Diese ist das Produkt AΛ 1/2, wobei A die Matrix der Eigenvektoren (in

6 6 Klausur, Analyse mehrdimensionaler Daten, WS 2010/ Kreditpunkte, 90 min den Spalten) und Λ die Diagonalmatrix der Eigenwerte ist. Das fehlende Element ist das Produkt der 2. Zeile von A und der 2. Spalte von Λ 1/2, also Dieser Wert ist die Korrelation zwischen der zweiten standardisierten Variable und dem zweiten Faktor. Diese sind somit unkorreliert. Die Kommunalitäten sind die Diagonalelemente von Λ 2 Λ t 2. Mit R ergab sich folgendes Ergebnis für dieses Matrizenprodukt. [1,] [2,] [3,] Die Kommunalitäten sind also , und Damit sind die spezifischen Varianzen , und Aufgabe 3 (Punkte: 12) In einer zufälligen Stichprobe mit n 25 Realisierungen eines N 4 (µ, Σ)-verteilten Vektors X t (X 1, X 2, X 3, X 4 ) ergaben sich folgende Schätzer: x t (186; 151; 184; 149) S a) (Punkte: 5) Testen Sie für die Zufallsvariablen X 1 und X 3 die Hypothese H 0 : µ t (µ 1, µ 3 ) µ t 0 (182, 182) bei unbekannter Kovarianzmatrix mit einem Signifikanzniveau α Hinweis: Eine Formel zur Berechnung einer hier benötigten inversen Matrix finden Sie in der Formelsammlung! Da die wahre Kovarianzmatrix ( als unbekannt ) vorausgesetzt wird, müssen wir sie mit Hilfe der Stichprobe durch S schätzen und folgende Teststatistik verwenden T 2 n( x µ 0 ) t S 1 ( x µ 0 ) H 0 wird abgelehnt, wenn gilt: F m 2 und Die Inverse von S x µ 0 ( ) (n m)t 2 m(n 1) ( ) ist > F α (m, n m). Hier ist n 25 und ( ) ( ) ( det(s) ) 1 ( )

7 Klausur, Analyse mehrdimensionaler Daten, WS 2010/2011, 6 Kreditpunkte, 90 min 7 Damit erhalten wir T 2 25 ( ) ( ) (4, 2) Hier ist n 25 und m 2. Dann ist der zugehörige Wert F n m T 2 23 m(n 1) Die Realisation unserer Teststatistik vergleichen wir mit dem 95%-Quantil der F-Verteilung mit m 2, n m Freiheitsgraden. Aus der Tabelle der F -Verteilung ergibt sich der Wert Da F < 3.42, kann H 0 nicht verworfen werden. b) (Punkte: 2) Bestimmen Sie simultane Konfidenzintervalle für µ i, i 1, 2, 3, 4 zum Konfidenzniveau 1 α s i Simultane Konfidenzintervalle: x i ± K α/2 n ( ) 1/2 4(25 1) wobei K α/2 (25 4) F 0.05(4, 25 4) µ ± µ ± µ ± µ ± ( )1/ / ± 7.024, d.h. µ 1 ( ; ) 54/ ± 5.295, d.h. µ 2 ( ; ) 101/ ± 7.242, d.h. µ 3 ( ; ) 45/ ± 4.834, d.h. µ 4 ( ; ) c) (Punkte: 1) Wie ändert sich die Lage und die Länge der Konfidenzintervalle, wenn man das Wort simultane in der Aufgabenstellung weglässt? Lage ändert sich nicht, aber simultane Konfidenzintervalle sind länger. d) (Punkte: 4) Beschreiben Sie, wie man die Nullhypothese H 0 : 5µ 1 6µ 4 µ 2 2 µ 4 5µ 3 6µ 4 für α 0.01 testen kann. Schreiben Sie zunächst die Nullhypothese mit einer geeigneten Matrix C und geben Sie dann die Formel für Hotellings Prüfgröße T 2 an. Verwenden Sie dann für T 2 den Wert 48.7 und fällen Sie eine Entscheidung über den Testausgang, indem Sie F und den zugehörigen kritischen Wert für α 0.01 bestimmen. Die Nullhypothese kann geschrieben werden als 5µ 1 6µ 4 0 µ 2 µ 4 2 5µ 3 6µ 4 0

8 8 Klausur, Analyse mehrdimensionaler Daten, WS 2010/ Kreditpunkte, 90 min µ Mit C t µ ; µ 2 µ und φ 2 lautet die Nullhypothese 0 µ 4 C t µ φ. Die Teststatistik ist T 2 n(c t x φ) t (C t SC) 1 (C t x φ) Dann gilt F n p p(n 1) T 2 F(p, n p), wobei hier n 25 und p 3 ist. Wenn T ist F 25 3 T (25 1) 72 Die Realisation unserer Teststatistik ist mit dem 99%-Quantil der F -Verteilung mit p 3, n p Freiheitsgraden zu vergleichen. Aus der Tabelle erhalten wir den kritischen Wert Da F > 4.82, muss H 0 verworfen werden. Aufgabe 4 (Punkte: 7) Aufgrund von drei Merkmalen sollen die Merkmalsträger einer von zwei Klassen (Klasse 1 und Klasse 2) zugeordnet werden. Dazu wurden jeweils 101 zufällig ausgewählte Merkmalsträger in beiden Klassen beobachtet. Der dreidimensionale Merkmalsvektor X sei normalverteilt mit den folgenden geschätzten Parametern x t 1 (2.7, 1.6, 12.5) S in der ersten Klasse und x t 2 (1.5, 1.1, 8.2) S in der zweiten Klasse. Welcher Klasse wird ein Merkmalsträgern mit den Werten (1.7, 1.3, 9.8) zugeordnet, wenn die Apriori-Wahrscheinlichkeit, dass der Merkmalsträger zur Klasse 1 gehört 0.3 beträgt und die Kosten einer Fehlklassifikation C(1 2) 20 und C(2 1) 100 sind. Verwenden Sie Fishers lineare Diskriminanzfunktion L t x. Welche Bedeutung hat L? Mit R wurden die folgenden Berechnungen durchgeführt: > ES1<-matrix(c(0.8,0.5,0.7,0.5,0.9,0.8,0.7,0.8,0.9),byrowT,nrow3) > ES1 [1,] [2,] [3,] > ES2<-matrix(c(1.1,0.5,0.7,0.5,1,0.9,0.7,0.9,1.1),byrowT,nrow3) > ES2

9 Klausur, Analyse mehrdimensionaler Daten, WS 2010/2011, 6 Kreditpunkte, 90 min 9 [1,] [2,] [3,] > round(solve(es1+es2),digits2) [1,] [2,] [3,] Mit π 1 0.3, π und C(1 2) 20, C(2 1) 100 ist k ln[(π 2 C(1 2))/(π 1 C(2 1))] ( ) ln ln(7/15) Mit L S 1 ( x 1 x 2 ) ist die Entscheidungsregel: Wenn L t x 1 2 Lt ( x 1 + x 2 ) k, dann ordne ( ) 1 den Merkmalsträger der Klasse 1 zu, sonst 2. Dabei ist S 1 (n1 1)S 1 + (n 2 1)S 2 n 1 + n 2 2 ( ) (S 1 + S 2 ) 2(S 1 + S 2 ) Beachten Sie, dass die Inverse von S 1 + S 2 in der R-Ausgabe gegeben ist Dann ist L S 1 ( x 1 x 2 ) Hier ist L t x ( ) Lt ( x 1 + x 2 ) 0.5 ( ) L t x 1 2 Lt ( x 1 + x 2 ) < , d.h. der Merkmalsträger wird Klasse 2 zugeordnet. L ist der Vektor, der am besten trennen kann zwischen den beiden Klassen.