Übungen zu Multivariate Verfahren WS 2009/10 1. Aufgabe 1 Betrachten Sie die folgenden beiden Vektoren und Matrizen

Transkript

1 Übungen zu Multivariate Verfahren WS 2009/10 1 Prof. Dr. Fred Böker und Jing Dai Aufgabe 1 Betrachten Sie die folgenden beiden Vektoren und Matrizen a = 2, b = 1, C = 1 4 0, E = Berechnen Sie a t a, aa t, a t b, b t a, ab t, ba t, a t C, Ca, a t Ca, E t a, E t C, CE, C t E und E t CE, wobei wir mit C t die Transponierte von C bezeichnen, die in manchen Lehrbüchern auch mit C bezeichnet wird. Entsprechend ist a t der Zeilenvektor (1, 2, 2). Aufgabe 2 Sei Σ eine m m-matrix. Betrachten Sie Σ = ( ) 1/2 1 und C = 1 1/2 Berechnen Sie die Determinanten und die Inversen der Matrizen Σ und C Aufgabe 3 Sei α = 1/2, β = 1/4, γ = 2, d 1 = 100 und d 2 = 80. Schreiben Sie das Gleichungssystem (i)x 1 = βx 2 + d 1 (ii)x 2 = γx 3 + d 2 (iii)x 3 = αx 1 vollständig auf und bestimmen Sie die Lösung des Systems. Aufgabe 4 Importieren Sie die Datei frag.frame mit dem Befehl dget in R. Sie finden die Daten im Internet unter der Instituts-Adresse dann unter Lehre, WS 2009/10, Multivariate Verfahren, Notizen. Den Fragebogen zu der Befragung und die Codes finden Sie an derselben Stelle im Internet. Nennen Sie die importierte Datei in R wieder frag.frame. Sie müssen dann den Befehl attach(frag.frame) eingeben. a) Schauen Sie sich mit dem Befehl rownames(frag.frame) und colnames(frag.frame) die Zeilen- und Spaltennamen an. b) Welche der Variablen sind nominal-, ordinalskalierte bzw. metrische Variablen? c) Geben Sie für die kategorialen oder qualitativen Daten die Kategorien und Anzahl der Kategorien an. d) Für welche der Variablen macht es Sinn, Erwartungswerte und Varianzen auszurechnen? e) Berechnen Sie diese Größen für einige der Variablen, die Sie besonders interessieren. Unter Umständen werden Sie kein Ergebnis bekommen, da Ihre Datei fehlende Werte (NA) enthält. Informieren Sie sich in der Hilfe zu mean oder var, wie Sie zu einem Ergebnis kommen können. Was geschieht mit den fehlenden Werten? Verwenden Sie auch den Befehl summary.

2 2 Übungen zu Multivariate Verfahren WS 2009/10 f) Speichern Sie alle metrischen Variablen in einem neuen Data.Frame. Hinweis: Wenn matrix.mat eine Matrix mit 10 Spalten ist, so erhalten Sie z.b. die Teilmatrix ohne die ungeraden Spalten durch den Befehl: teilmatrix.mat<-matrix.mat[,-c(1,3,5,7,9)]. g) Berechnen Sie für diese Variablen die Kovarianz- und Korrelationsmatrix mit den Befehlen var, cov bzw. cor. Wie werden hier die fehlenden Werte behandelt? Interpretieren Sie das Ergebnis. h) Unterziehen Sie eine bzw. zwei der Variablen einer linearen Transformation var.neu = a var.alt + b, d.h. die alte Variable soll mit einer Konstanten a multipliziert werden und anschließend soll die Konstante b addiert werden. Wie ändert sich die Kovarianz- bzw. Korrelationsmatrix? Aufgabe 5 Betrachten Sie den Fall, dass Sie eine Datenmatrix mit m Variablen haben. Sie interessieren sich für die Erwartungswerte, die Varianzen und Korrelationen. All diese Größen seien im folgenden als Parameter bezeichnet. a) Wie viele Parameter gibt es dann insgesamt? b) Wie viele Parameter gibt es für m=1, 2, 10? c) Nehmen Sie an, dass die Variablen unkorreliert sind. Um welche Zahl reduziert sich dann die Anzahl der Parameter? d) Wie viele Parameter verschwinden, wenn sich die Anzahl der Variablen von m auf m-1 verringern läßt? Aufgabe 6 In der folgenden Abbildung sind die Dichten zweier Normalverteilungen dargestellt. Nehmen Sie an, dass es in Ihrer Grundgesamtheit zwei gleich starke Gruppen von Merkmalsträgern gibt. Für ein bestimmtes Merkmal haben die beiden Gruppen die dargestellten Verteilungen. Die beiden Gruppen sollen anhand dieses Merkmals getrennt (diskriminiert) werden. Der,,Trennungspunkt sei D. Bestimmen Sie den optimalen Punkt D, d.h. bestimmen Sie D, so dass die Wahrscheinlichkeit einer falschen Zuordnung minimal wird. Überlegen Sie sich zunächst, welche Möglichkeiten es gibt, einen Merkmalsträger falsch zuzuordnen.

3 Übungen zu Multivariate Verfahren WS 2009/ Gruppe 1 N(20,25) Gruppe 2 D N(50,100) Aufgabe 7 Sei P (gelesen: Rho) eine Korrelationsmatrix 1 ρ ρ 1m ρ ρ 2m P =. ρ m1 ρ m und D eine Diagonalmatrix D, in deren Diagonale die Standardabweichungen der Zufallsvariablen stehen: D = σ σ σ m Zeigen Sie, dass die folgenden Zusammenhänge gelten, wenn Σ die Kovarianzmatrix bezeichnet: Σ = DPD und P = D 1 ΣD 1 Aufgabe 8 Seien Y 1, Y 2, Y 3 unabhängige Zufallsvariablen mit EY i = 0 und Varianz 1. Sei Z 1 = Y 1 + Y 2 + Y 3 ; Z 2 = Y 1 Y 2 ; Z 3 = Y 1 Y 3. a) Berechnen Sie die Kovarianz- und Korrelationsmatrix von Z, wenn Z t = (Z 1, Z 2, Z 3 ) b) Sei Y eine m-dimensionale Zufallsvariable und A eine m p-matrix. Verifizieren Sie das Resultat der Vorlesung V ar(a t Y) = A t ΣA, wobei Σ die Kovarianzmatrix von Y.

4 4 Übungen zu Multivariate Verfahren WS 2009/10 c) Wenden Sie das Resultat aus b) auf Teilaufgabe a) an. d) Nehmen Sie als Verteilung von Y i an: Y i N(0, 1). Simulieren Sie mit der 1000 Realisationen des Vektors Z. Verwenden Sie dazu die R-Funktion mvrnorm aus der library(mass). Aufgabe 9 Die Datei kuh.dat enthält Daten über die Milchleistung von Kühen. Die Daten stehen in der üblichen Weise in einer Matrix: jede Zeile steht für eine Kuh. In der ersten Zeile stehen die Namen der Variablen. In den Spalten stehen die folgenden Variablen: Nummer Name V1 MTG MKG EKG FKG Betrieb Jahr Mo Tg EKA Nummer der Kuh Name der Kuh Bedeutung unbekannt Melktage (i.d.r. um die 300 Tage = eine Laktation) Milchmenge in kg über die ganze Laktation Eiweißmenge in kg über die ganze Laktation Fettmenge in kg über die ganze Laktation Nummer oder Code des Milchviehbetriebes Jahr der ersten Abkalbung der Kuh Monat der ersten Abkalbung der Kuh Tag der ersten Abkalbung der Kuh Alter der Kuh bei der ersten Abkalbung in Monaten a) Lesen Sie die Daten in R ein. Verwenden Sie den Befehl read.table zum Einlesen der Daten. b) Stellen Sie die Daten in geeigneter Form graphisch dar. Verwenden Sie u.a. die Funktion pairs. Benutzen Sie die in der Hilfe zu pairs angegebenen Funktionen für die Grafiken in, unter- und oberhalb der Diagonalen. c) Zwischen welchen Variablen gibt es einen linearen Zusammenhang? Bestimmen Sie den Anteil der durch die Regression bestimmten Variation an der Totalvariation. Welcher Anteil bleibt für die Reststreuung? d) Stellen Sie Paare geeigneter Variablen in einem Scatterplot dar und zeichnen Sie die Regressionsgerade ein. Verwenden Sie den Befehl lsfit zur Berechnung der Regressionsgeraden (siehe Beispiel der Vorlesung).

5 Übungen zu Multivariate Verfahren WS 2009/10 5 e) Falls die Daten kategoriale Variablen enthalten, untersuchen Sie die Daten gruppenweise, indem Sie als Grafik die Funktion boxplot verwenden. Der Befehl split könnte Ihnen dabei helfen. f) Berechnen Sie Mittelwerte, Varianzen und Korrelationen. Stellen Sie die Korrelationsmatrix in einer übersichtlichen gut interpretierbaren Form dar. g) Verwenden Sie die Funktion cor.test, um für gewisse Variablen die Unkorreliertheit zu überprüfen. Aufgabe 10 Sei f(y) = y t Σy = i,j y i y j σ ij eine quadratische Form, wobei Σ eine symmetrische m m-matrix und y t = (y 1, y 2,...,y m ). Zeigen Sie (vergleiche Vorlesung) f y 1 f y =. = 2Σy f y m Aufgabe 11 In Aufgabe 7 hatten wir die folgende Kovarianzmatrix errechnet: Σ = a) Bestimmen Sie die Eigenwerte (zunächst nicht mit R). b) Bestimmen Sie die Eigenvektoren. c) Bestimmen Sie die Hauptkomponenten. d) Welcher Anteil der Totalvariation wird durch die einzelnen Komponenten erklärt? e) Bestimmen Sie die Eigenwerte der Korrelationsmatrix und beantworten Sie die Frage in d) mit diesen Ergebnissen erneut. f) Überprüfen sie Ihre Ergebnisse mit der R-Funktion eigen. Aufgabe 12 Verwenden Sie die Daten aus der Datei kuh.dat. a) Bestimmen Sie für geeignete Variablen aus diesem Datensatz die Eigenwerte und Eigenvektoren der Kovarianzmatrix mit der Funktion eigen. b) Halten Sie es für sinnvoll die Kovarianzmatrix für eine Hauptkomponentenanalyse zu verwenden? Begründen Sie Ihre Antwort.

6 6 Übungen zu Multivariate Verfahren WS 2009/10 c) Bestimmen Sie für geeignete Variablen aus diesem Datensatz die Eigenwerte und Eigenvektoren der Korrelationsmatrix mit der Funktion eigen. d) Standardisieren Sie Ihre Datenmatrix. e) Bestimmen Sie die Hauptkomponenten mit Hilfe der in c) erhaltenen Ergebnisse. f) Welcher Anteil der Variation wird durch die einzelnen Hauptkomponenten erklärt? g) Verwenden Sie jetzt auch die R-Funktionen prcomp und princomp. Vergleichen Sie die von diesen Funktionen ausgegebenen Hauptkomponenten mit Ihren Ergebnissen. Aufgabe 13 Verwenden Sie die Daten aus der Datei ernbsp1.frame. Die Datei ERNBSP1.Dat enthält Daten aus Kockläuner: Angewandte Regessionsanalyse mit SPSS, Vieweg 1988, S. 7: Für 102 Länder sind die folgenden Variablen gegeben: ERN Ernährungsindex BSP Bruttosozialprodukt pro Kopf LWS Landwirtschaftsindex LS2 Lebenshaltungsindex 2 BEV Bevölkerungsindex a) Standardisieren Sie die Daten, so dass sie Mittelwert 0 und Standardabweichung 1 haben. Verwenden Sie dann nur noch die standardisierten Variablen. b) Bestimmen Sie die Eigenwerte und Eigenvektoren der Kovarianz- und Korrelationsmatrix. Gibt es Unterschiede? c) Bestimmen Sie die Hauptkomponenten. d) Bestimmen Sie die Korrelationskoeffizienten zwischen den Hauptkomponenten und den standardisierten Originalvariablen. e) Wie viele Hauptkomponenten würden Sie verwenden? Benutzen Sie für die Beantwortung dieser Frage alle vier Kriterien aus der Vorlesung. Die R-Funktion Bartlett.fun finden Sie im Internet. f) Bestimmen Sie die Spektralzerlegung der Korrelationsmatrix. g) Geben Sie die Kommunalitäten an, wenn Sie 1, 2, 3 oder 4 Hauptkomponenten verwenden. Aufgabe 14 Verwenden Sie die Daten aus der Datei ernbsp1.frame (siehe Aufgabe 12). a) Stellen Sie die Hauptkomponenten in einer Scatterplotmatrix grafisch dar. Verwenden Sie die Korrelationsmatrix. Sind die Variablen bereits standardisiert? b) Stellen Sie nun die beiden ersten Hauptkomponenten gegeneinander dar. Identifizieren Sie die Punkte durch die Namen der Länder. Versuchen Sie die Darstellung, insbesondere die beiden ersten Hauptkomponenten zu interpretieren.

7 Übungen zu Multivariate Verfahren WS 2009/10 7 c) Stellen Sie die Ladungen der ersten beiden Hauptkomponenten grafisch dar. Stellen Sie die Variablen durch Pfeile arrows dar. d) Verwenden Sie jetzt die Funktion biplot.princomp um die Variablen und Merkmalsträger in einer gemeinsamen Grafik darzustellen. Versuchen Sie die Ergebnisse zu interpretieren. Aufgabe 15 Verwenden Sie jetzt die Daten aus der Datei kuh.dat (siehe Aufgabe 8). a) Gehen Sie ähnlich vor, wie in der vorigen Aufgabe. Benutzen Sie unterschiedlich viele Variablen, d.h. lassen Sie zunächst die Variablen V1 und EKA weg und nehmen Sie sie anschließend dazu. b) Identifizieren Sie die Punkte in den grafischen Darstellung durch die Variable Betrieb. Dazu ist es zweckmäßig, die Codes für den Betrieb durch Kürzel zu ersetzen. c) Benutzen Sie jetzt nur die Variablen, die annähernd normalverteilt sind. Vielleicht ist es auch sinnvoll, die Variablen zunächst zu transformieren? Schauen Sie, ob die Logarithmen der Daten eventuell eher normalverteilt sind. d) Bestimmen Sie die gemeinsame Verteilung der Hauptkomponenten, wenn Sie eine gemeinsame Normalverteilung der Originalvariablen voraussetzen können. Geben Sie auch die gemeinsame Verteilung der Originalvariablen an. Aufgabe 16 Betrachten Sie die folgende Kovarianzmatrix Σ = Sei Λ = Dann gilt die Zerlegung Σ = ΛΛ t + Ψ. a) Bestimmen Sie die Matrix Ψ. b) Bestimmen Sie die Kommunalitäten und zerlegen Sie die Varianzen der Originalvariablen in Kommunalitäten und spezifische Varianzen. c) Geben Sie die Korrelationsmatrix an. Benutzen Sie P = D 1 ΣD 1, wobei D die Diagonalmatrix ist, die die Standardabweichungen enthält. Benutzen Sie R für die Berechnungen.

8 8 Übungen zu Multivariate Verfahren WS 2009/10 d) Geben Sie für die Korrelationsmatrix eine Zerlegung mit zwei Faktoren an. Gehen Sie dabei von der Zerlegung für Σ aus und setzen Sie diese in die Formel P = D 1 ΣD 1 ein. Für die Berechnungen dürfen Sie dann R benutzen. e) Geben Sie die Korrelationskoeffizienten zwischen den Faktoren und den standardisierten Originalvariablen an. f) Stellen Sie die Faktorenladungen grafisch dar. g) Bestimmen Sie mit der Funktion varimax die optimale Drehmatrix und stellen Sie die Ladungen nach der Drehung erneut grafisch dar. h) Geben Sie den Drehwinkel an. Aufgabe 17 Im Buch von Johnson und Wichern (1999, S. 525) findet sich das folgende Beispiel: In einer Konsumentenbefragung wurden Kunden gebeten, einige Eigenschaften eines neuen Produkts auf einer Siebenpunkteskala zu bewerten. Die Variablen waren: Taste, Good buy for money, Flavor, Suitable for snack, Provides lots of energy. Es ergab sich die folgende Korrelationsmatrix: R = a) Erkennen Sie anhand der Korrelationsmatrix Gruppen von Variablen? b) Führen Sie eine Faktorenanalyse nach der Hauptkompontenmethode durch. i) Wie viele Faktoren würden Sie extrahieren, wenn mindestens 90% der Gesamtvariation durch die extrahierten Faktoren erklärt werden soll? ii) Berechnen Sie die Faktorladungen, die Kommunalitäten und die spezifischen Varianzen. iii) Geben Sie für jede der fünf Variablen an, welcher Anteil der Varianz durch die gemeinsamen Faktoren erklärt wird. iv) Geben Sie die Varianzen an, die durch die einzelnen Faktoren erklärt werden. Berechnen Sie auch die entsprechenden Anteile und kumulierten Anteile. c) Johnson und Wichern führen eine Rotation der beiden ersten Faktoren durch. Sie geben die geschätzten Faktorladungen f 1, f 2 und die geschätzten, gedrehten Faktorladungen f1, f 2 wie folgt an: Variable f 1 f 2 f1 f2 Taste Good buy for money Flavor Suitable for snack Provides lots of energy

9 Übungen zu Multivariate Verfahren WS 2009/10 9 i) Stellen Sie die Faktorladungen und die rotierten Faktorladungen grafisch dar. ii) Bestimmen Sie den Drehwinkel α, indem Sie zunächst cos(α), dann α im Bogenmaß und schließlich in Grad angeben. Beachten Sie, dass die Faktorladungen gedreht und (an der Abszisse) gespiegelt wurden. iii) Versuchen Sie die Faktoren zu interpretieren. Aufgabe 18 Der zufällige Vektor Y t = (Y 1, Y 2, Y 3 ) besitze eine dreidimensionale Normalverteilung mit Erwartungswertvektor µ, wobei µ t = (1, 2, 3), und Kovarianzmatrix Σ (vergleiche Aufgabe 11). Σ = a) Bestimmen Sie eine Transformation, die Y in U überführt mit U N 3 (0; I), wobei I eine dreidimensionale Einheitsmatrix ist. b) Jetzt gelte U N 3 (0; I). Bestimmen Sie eine Transformation, die U in Y mit der oben angegebenen Verteilung überführt. c) Überprüfen Sie Ihre Ergebnisse durch Simulationen in R mit einer geeeigneten Funktion aus dem R-Package mvtnorm oder mnormt. Aufgabe 19 Leiten Sie die in der Vorlesung für die bivariate Normalverteilung angegebenen Resultate E(Y 1 Y 2 = y 2 ) = µ 1 + ρ σ 1 σ 2 (y 2 µ 2 ) und Var(Y 1 Y 2 = y 2 ) = σ 2 1 (1 ρ2 ) aus den ebenfalls dort angegebenen allgemeinen Formeln ( ) her. Aufgabe 20 Zeigen Sie durch Berechnungen in R, dass die in der Vorlesung angebene Beziehung K α/2 t α/2 (n 1) gültig ist. Warum ist dieses Resultat plausibel? Aufgabe 21 Verwenden Sie die Datei kuh.dat und darin die drei Variablen MKG, EKG FKG. und a) Greifen Sie einige aufgrund der früheren grafischen Darstellung besonders interessante Betriebe heraus und prüfen Sie, ob die Milchleistungen in diesen Betrieben signifikant von den durchschnittlichen Leistungen abweichen. b) Berechnen Sie simultane Konfidenzintervalle für die Erwartungswerte dieser drei Variablen zur Konfidenzwahrscheinlichkeit 1 α = 0.95.

10 10 Übungen zu Multivariate Verfahren WS 2009/10 c) Berechnen Sie auch Konfidenzintervalle mit den Quantilen der t-verteilung. Begründen Sie die unterschiedlichen Ergebnisse. Aufgabe 22 Überprüfen Sie die Hypothese, dass Studierende Idealgewicht haben (vergleiche das Beispiel der Vorlesung). Aufgabe 23 Betrachten Sie die drei Variablen MKG, EKG, FKG aus dem Datensatz kuh.dat. Man sagt, dass Milch in der Regel 4% Fett und 3,5% Eiweiß enthält. Läßt sich diese Regel mit dem vorhandenen Datensatz bestätigen oder eher widerlegen? Aufgabe 24 Betrachten Sie die Variablen Groesse und Schuh bei männlichen und weiblichen Studierenden. a) Bestimmen Sie den 95%-Konfidenzbereich für die Differenzen der Erwartungswerte. b) Stellen Sie diesen Konfidenzbereich grafisch dar. c) Berechnen Sie simultane Konfidenzintervalle. Aufgabe 25 In der Vorlesung wurde eine Diskriminanzanalyse für die Datensätze teil01m.frame und teil01w.frame durchgeführt. a) Berechnen Sie die Anteile der Fehlklassifikationen in beiden Datensätzen und den Gesamtanteil der Fehlklassifikationen. b) In der Vorlesung wurde mit k = gerechnet. Unter welchen Bedingungen würde k = 0 gelten? c) Führen Sie die Berechnungen mit k = 0 durch. Aufgabe 26 Die Beobachtung x 0 soll einer von drei Populationen P 1, P 2 oder P 3 zugeordnet werden. Die Kosten einer Fehlzuordnung seien durch die Matrix C = (C ij = C(i j)) = gegeben. Die Apriori-Wahrscheinlichkeiten seien: π 1 = 0.05 π 2 = 0.60 π 3 = 0.35 Die Werte der gemeinsamen Dichtefunktion an der Stelle x 0 seien: f 1 (x 0 ) = 0.01 f 2 (x 0 ) = 0.85 f 3 (x 0 ) = 2 Berechnen Sie die in der Vorlesung definierten Diskriminanzwerte w i. (Beachten Sie, dass keine Normalverteilung vorausgesetzt wurde!) Welcher Population würden Sie die Beobachtung x 0 zuordnen?

11 Übungen zu Multivariate Verfahren WS 2009/10 11 Aufgabe 27 Die folgende Tabelle enthält fünf diagnostische Tests zur Aufdeckung einer schwerwiegenden Erkrankung. Die Patienten der Gruppe K leiden an dieser Erkrankung. Die Patienten der Gruppe B haben weniger ernsthafte Beschwerden mit ähnlichen Symptomen. Die letzte Spalte der Tabelle enthält die Werte von Fishers linearer Diskriminanzfunktion (FLD). Gruppe Patient Test FLD B Mittelwert K Mittelwert a) Beschreiben Sie, wie Sie in diesem Fall mit Hilfe der linearen Diskriminanzfunktion von Fisher entscheiden würden. b) Geben Sie dazu auch genau den Wert an, der zwischen den beiden Gruppen trennt. c) Wie viele der 10 Patienten werden der falschen Gruppe zugeordnet?