Übungsblatt 11 zur Vorlesung Statistische Methoden - freiwilliger Teil

Transkript

1 Dr. Christof Luchsinger Übungsblatt zur Vorlesung Statistische Methoden - freiwilliger Teil Rechnen mit Matrizen, Multivariate Normalverteilung Herausgabe des Übungsblattes: Woche 0, Abgabe der Lösungen: Woche (bis Freitag, 65 Uhr), Besprechung: Woche (Dienstag und Mittwoch) Must Aufgabe 55 [Idempotente Matrizen I] Zeigen Sie mit der Notation aus Kapitel 6: a) M z ist idempotent. b) M z = 0 und damit auch t M z = ( 0) t c) unter Verwendung von M z : n i= (x i x) = 0 d) n i= (x i x) = ( x) t M z x e) n i= (x i x)(y i y) = ( x) t M z y Aufgabe 56 [Idempotente Matrizen II] Zeigen Sie mit der Notation aus Kapitel 6: a) H und M sind symmetrisch und idempotent b) HA = A c) H und M sind orthogonal zueinander, das heisst, es gilt: HM = 0. Standard Aufgabe 57 [Rang(H) = k] [4 Punkte] Sei A eine (n k)-matrix, n k und Rang(A) = k (voller Rang). Zeigen Sie: H := A(A t A) A t hat auch Rang k. Aufgabe 58 [Idempotente Matrizen III] [ Punkt] Zeigen Sie: a) Die Eigenwerte von idempotenten Matrizen sind entweder 0 oder. b) Für idempotente, symmetrische Matrizen A gilt: Rang(A) = tr(a). Frühjahrsemester 0 Olivier Warin Seite von 8

2 Dr. Christof Luchsinger Aufgabe 59 [Niveaulinien und Kovarianz] [4 Punkte] Betrachten wir die Dichte einer bivariaten Normalverteilung MVN (µ, Σ). Was lässt sich über die Niveaulinien aussagen. Betrachten Sie insbesondere die Fälle a) µ = (, ) t und 0 0 b) µ = (0, 0) t und 0 0 c) µ = (0, 0) t und ( ) d) µ = (0, 0) t und und machen Sie jeweils eine Skizze dazu. Honours Aufgabe 60 [Randdichten der Multivariaten Normalverteilung] [ Punkte] Sei X eine MVN (µ, Σ)-Zufallsgrösse. Dabei sei Wie ist die Dichte der ersten Komponente X dieses zweidimensionalen Zufallsvektors (mit Beweis bitte)? Frühjahrsemester 0 Olivier Warin Seite von 8

3 Übungsblatt zur Vorlesung Statistische Methoden Seite 3 von 8 Übungsblatt zur Vorlesung Statistische Methoden Olivier Warin 30. Mai 0 Aufgabe 55 [Idempotenze Matrizen I] Wir benutzen in der ganzen Aufgabe die Notationen aus Kapilel 6. a) Behauptung: Die Matrix M z ist idempotent. Beweis: Nach Definition von M z gilt (M z ) = (I n n t ) = I n I n n t n t I n + n }{{} t t = I n n t = M z. =n b) Behauptung: Es gilt M z = 0 und damit auch t M z = ( 0) t Beweis: Wiederum nach der Definition von M z gilt M z = (I n n t ) = n }{{} t = 0. =n c) Behauptung: Es gilt n i= (x i x) = 0. Beweis: Wie wir in gesehen haben gilt x x M z x x x =.. x n x Wir schliessen daraus n (x i x) = t M z x = b) ( 0) t x = 0. i= d) Behauptung: Es gilt n i= (x i x) = ( x) t M z x. Beweis: Da M z klar symmetrisch ist, schliessen wir ( x) t M z x = a) ( x) t (M z ) x = ( x) t (M z ) t M z x = (M z x) t M z x t x x x x x x x x =.. = n (x i x). i= x n x x n x Frühjahrsemester 0 Olivier Warin Seite 3 von 8

4 Übungsblatt zur Vorlesung Statistische Methoden Seite 4 von 8 e) Behauptung: Es gilt n i= (x i x)(y i y) = ( x) t M z y. Beweis: Analog wie in d) schliessen wir ( x) t M z y = a) ( x) t (M z ) y = ( x) t (M z ) t M z y = (M z x) t M z y t x x y y x x y y =.. = n (x i x)(y i y). i= x n x y n y Aufgabe 56 [Idempotenze Matrizen II] Wir benutzen wieder die Notationen aus Kapitel 6. a) Behauptung: Die Matrizen H und M sind symmetrisch und idempotent. Beweis: Es gilt H t = (A(A t A) A t ) t = (A t ) t ((A t A) ) t A t = A((A t A) t ) A t = A(A t A) A t = H M t = (I n H) t = I n t H t = I n H H = A(A t A) A t A(A t A) A t = A(A t A) A t = H }{{} =I k M = (I n H) = I n I n H HI n + }{{} H = I n H = M. =H b) Behauptung: Es gilt HA = A. Beweis: HA = A (A t A) A t A = A. }{{} =I k c) Behauptung: H und M sind orthogonal zueinander, das heisst es gilt HM = 0. Beweis: Es gilt HM = H(I n H) = H H = a) 0. Aufgabe 57 [Rang(H) = k] Sei A eine (n k)-matrix, n k und Rang(A) = k (voller Rang). Behauptung: Die Matrix H := A(A t A) A t hat auch Rang k. Beweis: Nach Aufgabe 56 a) ist H symmetrisch und idempotent. Also gilt nach Aufgabe 58 b): Rang(H) = tr(h) = tr(a(a t A) A t ) = tr(a t A(A t A) ) = tr(i k ) = k. Wir haben dabei das Kommutativgesetz der Addition in R benutzt. Genauer wissen wir aus der linearen Algebra, dass tr(mn) = tr(nm) für Matrizen M und N (sofern beide Produkte überhaupt Sinn machen natürlich). Hier haben wir dies mit M = A(A t A) und N = A t eingesetzt. (Bei mehr als zwei Matrizen wäre dies allerdings im Allgemeinen nur bei zyklischen Vertauschungen erlaubt.) Frühjahrsemester 0 Olivier Warin Seite 4 von 8

5 Übungsblatt zur Vorlesung Statistische Methoden Seite 5 von 8 Aufgabe 58 [Idempotente Matrizen III] a) Behauptung: Die Eigenwerte von idempotenten Matrizen sind entweder 0 oder. Beweis: Sei A eine idempotente Matrix. Seien weiter λ ein Eigenwert und v 0 ein zugehöriger Eigenvektor. Es gilt also Av = λv und damit A v = AAv = Aλv = λ v A v = Av = λv. Daraus schliessen wir λ = λ und damit λ = 0 oder λ =. b) Behauptung: Für idempotente, symmetrische Matrizen A gilt Rang(A) = tr(a). Beweis: Da A symmetrisch ist, ist A klar diagonalisierbar (Spektralsatz). Daraus folgt, dass der Rang gerade die Anzahl Eigenwerte (mit Vielfachheit gezählt), die nicht Null sind, ist. Wie wir in a) gesehen haben, sind die Eigenwerte von A 0 oder. Daraus folgt sofort die Behauptung. Bemerkung: Bei a) spielt es keine Rolle über welchem Körper wir die idempotente Matrizen betrachten. Beim Beweis von b) haben wir den Spektralsatz benutzt. Dieser setzt reelle Matrizen voraus. Allerdings ist die Aussage auch über einem beliebigen Körper mit Charakteristik 0 richtig, da idempotente Matrizen sowieso immer diagonalisierbar sind. Die Eigenschaft symmetrisch braucht man also nicht. Aufgabe 59 [Niveaulinien und Kovarianz] Es sei f : R R die Dichtefunktion einer MVN (µ, Σ)-Zufallsgrösse. In dieser Aufgabe interessieren wir uns für die Niveaulinien dieser Dichtefunktion. Allgemein gilt für x R und c R: c = f(x, y) = π für ein gewisses C R. a) Falls µ = (, ) t und det(σ) exp ( (x µ)t Σ (x µ) ) (x µ) t Σ (x µ) = C, 0, so folgt aus obiger allgemeiner Überlegung mit x = (x, y) 0 f(x) = c (x ) + (y ) = C, für eine gewisse reelle Zahl C. Also sind die Niveaulinien hier Ellipsen, wie in der folgenden Skizze angedeutet: 3 Frühjahrsemester 0 Olivier Warin Seite 5 von 8

6 Übungsblatt zur Vorlesung Statistische Methoden Seite 6 von 8 Bemerkung: Beachten Sie bitte, dass die Hauptachsen der Ellipsen von den Höhenlinien das Verhältnis : haben (Standardabweichungen) und nicht : (Varianzen). b) Falls µ = (0, 0) t und 0, so folgt aus obiger allgemeiner Überlegung mit x = (x, y) 0 f(x) = c x + y = C, für eine gewisse Zahl C R. Also sind die Niveaulinien hier Kreise, wie in der folgenden Skizze angedeutet: c) Falls µ = (0, 0) t und, so folgt Σ =. Σ ist klar positiv definit. Dies impliziert, dass die Niveaulinien hier Ellipsen sind. Um die genaue Lage dieser Ellipsen zu bestimmen, berechnen wir noch schnell die Eigenwerte von Σ : Diese lauten λ, = 3± 5. Weiter lauten zugehörige Eigenvektoren wie folgt: ( ) 3 5 v, = ±. 5 4 Diese Informationen liefern uns die folgende Skizze: Frühjahrsemester 0 Olivier Warin Seite 6 von 8

7 Übungsblatt zur Vorlesung Statistische Methoden Seite 7 von 8 d) Falls µ = (0, 0) t und, so folgt sofort Σ = 3. Die Eigenwerte von Σ lauten λ = und λ = 3. Ausserdem lauten zugehörige Eigenvektoren wie folgt: ( ( v =, v ) =. ) Also sind die Niveaulinien hier Ellipsen in der Lage wie in der folgenden Skizze angedeutet: Frühjahrsemester 0 Olivier Warin Seite 7 von 8

8 Übungsblatt zur Vorlesung Statistische Methoden Seite 8 von 8 Bemerkung: Diese Höhenlininen sind allgemein immer Ellipsen, da die Kovarianzmatrix Σ und damit auch Σ immer positiv definit ist. Aufgabe 60 [Randdichten der Multivariaten Normalverteilung] Sei X eine MVN (µ, Σ)-Zufallsgrösse. Dabei sei ( ) Wir interessieren uns nun für die Dichte der ersten Komponente X von X. Es gilt X = ( 0 ) X = η + BX, wobei η = 0 und B = ( 0 ). Damit schliessen wir mit Satz 7.7 sofort, dass X eine ( MVN (η + Bµ, BΣB t ) = MVN µ, ( 0 ) ( 0.5 = N (µ 0.5 0)), )-Verteilung hat. µ ist dabei die erste Komponente von µ. Somit lautet eine Dichte f von X wie folgt: f(x) = π e (x µ ). Frühjahrsemester 0 Olivier Warin Seite 8 von 8