Statistische Analyseverfahren Abschnitt 2: Zufallsvektoren und mehrdimensionale Verteilungen

Transkript

1 Statistische Analyseverfahren Abschnitt 2: Zufallsvektoren und mehrdimensionale Verteilungen Prof. Dr. Hans-Jörg Starkloff TU Bergakademie Freiberg Institut für Stochastik Oktober 2018 Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

2 2.1 Zufallsvektoren und mehrdimensionale Verteilungen Eine endliche Familie X 1,..., X n von Zufallsgrößen kann als ein Zufallsvektor (ZV) X = (X 1,..., X n ) T angesehen werden. Eine doppelt indizierte Familie X ij, i = 1,..., n ; j = 1,..., m, von Zufallsgrößen kann als eine Zufallsmatrix (ZM) angesehen werden. X = (X ij ) i=1,...,n ;j=1,...,m = (X ij ) Zufallsvariable werden hier im Allgemeinen mit Großbuchstaben bezeichnet, z.b. X, deren Realisierungen durch Angabe von ω oder durch Kleinbuchstaben, z.b. X(ω) = x. Vektoren werden hier durch einen Unterstrich, Matrizen durch zwei Unterstriche gekennzeichnet. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

3 Bezeichnungen aus der linearen Algebra Verwendet werden übliche Bezeichnungen aus der linearen Algebra. Vektoren werden als Spaltenvektoren angesehen, T bezeichnet die Transponierung eines Vektors oder einer Matrix. 0 n, 0 n m... n dim. Nullvektor, Nullmatrix vom Typ n m. 1 n, 1 n m... n dim. Vektor bzw. n m Matrix aus Einsen. Analog n, n = n. M n m, M n... Menge aller n m bzw. n n Matrizen. M n, M > n... Menge aller positiv semidefiniten bzw. positiv definiten n n Matrizen, I n 0 x R n : x T a x 0 (a M n ) bzw. x T a x > 0 (a M > n ).... n n Einheitsmatrix. bezeichnet die euklidische Norm. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

4 Verteilung eines Zufallsvektors Ein Zufallsvektor X wird im Allgemeinen durch seine Verteilung gegeben. Die Verteilung P X eines n-dimensionalen Zufallsvektors X definiert die Wahrscheinlichkeiten dafür, dass die Realisierungen des Zufallsvektors in geeigneten Teilmengen des R n liegen, P X (B) = P(X B), B R n, geeignet. Analog kann die Verteilung einer n m Zufallsmatrix für geeignete Teilmengen des Raumes R n m genutzt werden. Formal kann dies durch die Vektorisierung der Matrix realisiert werden (Hintereinanderschreiben der Spalten der Matrix zu einem langen Spaltenvektor). Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

5 Definition Verteilungsfunktion n dim. Zufallsvektor Bez. x = (x 1,..., x n ) T < y = (y 1,..., y n ) T, falls x i < y i i = 1,..., n ; x = (x 1,..., x n ) T y = (y 1,..., y n ) T, falls x i y i i = 1,..., n. Für einen n dimensionalen Zufallsvektor X wird die Verteilung eindeutig durch die zugehörige Verteilungsfunktion F X : R n [0, 1] definiert: für für F X (x) = P X (( n, x)) = P(X < x), x R n. Bem. Oft wird die Verteilungsfunktion von X auch definiert durch F X (x) = P X (( n, x]) = P(X x), x R n. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

6 Eigenschaften Verteilungsfunktion n dim. Zufallsvektor Bez.: für i {1,..., n}, a < b R sei i;a,b F X (x) := F X (x 1,... x i 1, b, x i+1,..., x n ) F X (x 1,... x i 1, a, x i+1,..., x n ). Eine Verteilungsfunktion F X besitzt die Eigenschaften (i) lim F X(x) = 0 ; lim F X(x) = 1 ; x i, i {1,...,n} x i, i=1,...,n (ii) für beliebige a < b gilt 1;a1,b 1... n;an,b n F X (x) 0, ( = PX ([a, b)) ) F X ist monoton nichtfallend bezüglich jeder Variablen; (iii) F X ist linksseitig stetig bzgl. aller Variablen, d.h. aus x (k) x folgt F X (x (k) ) F X (x), k. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

7 Verteilungsdichte eines n dimensionalen Zufallsvektors Für absolut stetige Zufallsvektoren wird die Verteilung auch eindeutig durch die Verteilungsdichte (auch Dichtefunktion) f X : R n R gegeben: F X (x) = P(X < x) = x n f X (u) du, x R n. Eigenschaften von Dichtefunktionen (etwas vereinfacht): für alle x R n : f X (x) 0 ; f X (x) dx = 1. R n Dann gilt für geeignete B R n P(X B) = f X (x) dx. Die Dichtefunktion wird im statistischen Kontext, inbesondere bei unbekannten Parametern und einer gegebenen Realisierung (Stichprobe) als Likelihood-Funktion bezeichnet. B Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

8 Randverteilungen Die Verteilungsfunktion eines Teilvektors eines Zufallsvektors (die Randverteilungsfunktion) kann mit Hilfe der Verteilungsfunktion des Zufallsvektors berechnet werden. Bsp.: X = (X 1,..., X n ) T x 1 R : F X1 (x 1 ) = P(X 1 < x 1 ) = F X (x 1,,..., ). Analoges gilt im Fall von absolut stetigen Zufallsvektoren für die Randverteilungsdichten. Bsp.: X = (X 1,..., X n ) T (etwas vereinfacht) x 1 R : f X1 (x 1 ) = f X (x 1, x 2,..., x n ) dx 2... dx n. R n 1 Aus den Randverteilungsfunktionen bzw. -dichten kann man nur in Spezialfällen die Verteilungsfunktion bzw. -dichte des gesamten Zufallsvektors bestimmen. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

9 Satz von Cramér-Wold Satz von Cramér-Wold Die Verteilung des n dimensionalen Zufallsvektors X ist vollständig bestimmt durch die Familie der (eindimensionalen) Verteilungen der Zufallsgrößen t T X, wobei t die Menge R n durchläuft. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

10 Erwartungswert eines Zufallsvektors Erwartungswerte von Zufallsvektoren und Zufallsmatrizen werden komponentenweise definiert und existieren, falls von jeder Komponente der skalare Erwartungswert existiert. Erwartungswert des Zufallsvektors X = (X 1,..., X n ) T : EX := (EX 1,..., EX n ) T. Erwartungswert der Zufallsmatrix X = (X ij ) : EX := (EX ij ). Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

11 Kovarianzmatrix eines Zufallsvektors Ein Analogon der Varianz für Zufallsvektoren, deren Komponenten endliche zweite Momente besitzen, ist die Kovarianzmatrix (oder auch Varianz-Kovarianz-Matrix) des Zufallsvektors. Kovarianzmatrix des Zufallsvektors X = (X 1,..., X n ) T : [ VarX := E [X EX] [X EX] T]. Auf der Hauptdiagonale der Kovarianzmatrix von X stehen die Varianzen VarX i der Komponenten, an der Stelle (i, j), i j, jeweils die Kovarianz der Zufallsgrößen X i und X j : Cov[X i, X j ]. Eigenschaften einer Kovarianzmatrix Σ = VarX Σ = Σ T (Σ ist symmetrisch) ; x R n : x T Σ x 0 (Σ ist positiv semidefinit). Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

12 Korrelationsmatrix eines Zufallsvektors Gilt für alle Komponenten eines Zufallsvektors X = (X 1,..., X n ) T 0 < VarX i <, kann man die Korrelationsmatrix definieren: CorrX := (Corr[X i, X j ]) i,j=1,...,n mit Corr[X i, X j ] := Cov[X i, X j ] VarXi VarX j. Die Elemente auf der Hauptdiagonale sind 1, das Element an der Stelle (i, j) ist der Korrelationskoeffizient von X i und X j. Die Korrelationsmatrix des Zufallsvektors X = (X 1,..., X n ) T ist die Kovarianzmatrix der standardisierten Komponenten von X. Es gilt immer 1 Corr[X i, X j ] 1. Im Fall von Corr[X i, X j ] = 1 besteht eine lineare Beziehung zwischen den Zufallsgrößen X i und X j. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

13 Kreuzkovarianz zweier Zufallsvektoren Sind X = (X 1,..., X n ) T und Y = (Y 1,..., Y m ) T zwei Zufallsvektoren, deren Komponenten endliche zweite Momente besitzen, definiert man die Kreuzkovarianzmatrix dieser Zufallsvektoren als n m Matrix [ Cov[X, Y] := E [X EX] [Y EY] T]. An der Stelle (i, j) der Kreuzkovarianzmatrix steht die Kovarianz Cov[X i, Y j ] der Zufallsgrößen X i und Y j. Für einen Zufallsvektor X gilt VarX = Cov[X, X] =: CovX. Es gilt Cov[X, Y] = Cov[Y, X] T. Analog kann man die Kreuzkorrelationsmatrix Corr[X, Y] zweier Zufallsvektoren X und Y definieren. Gilt Cov[X, Y] = 0 n m, nennt man X und Y unkorreliert. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

14 Eigenschaften bei linearen Operationen I Geg.: X, Y n dim. ZV, E X <, E Y <. a, b R E[aX + by] = a EX + b EY ; d M m n, c R m E [ d X + c ] = d EX + c. Geg.: X n dim. ZV, E X 2 <. [ VarX = E X X T] (EX) (EX) T ; a R n Var [ a T X ] = a T Var[X] a ; a Mm n, b R m Var [ a X + b ] = a Var[X] a T. Geg.: X (1), X (2) n dim. ZV, Y m dim. ZV, E X (i) 2 <, i = 1, 2, E Y 2 < [ ] [ ] Cov X (1) + X (2), Y = Cov X (1), Y [ ] + Cov X (2), Y. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

15 Eigenschaften bei linearen Operationen II Geg.: X, Y n dim. ZV, E X 2 <, E Y 2 < Var[X + Y] = VarX + Cov[X, Y] + Cov[Y, X] + VarY. Geg.: X n 1 dim. ZV, Y n 2 dim. ZV, E X 2 <, E Y 2 <, a M m1 n 1, b M m2 n 2 Cov [ a X, b Y ] = a Cov[X, Y] b T. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

16 Stochastische Unabhängigkeit von Zufallsvektoren Geg.: X n dim. ZV, Y m dim. ZV, Z = (X T, Y T ) T. Die Zufallsvektoren X und Y sind (stochastisch) unabhängig, wenn eine der folgenden äquivalenten Bedingungen erfüllt ist (Bedingung (iii) nur, falls der (n + m) dimensionale Zufallsvektor Z (absolut) stetig ist). (i) B 1 R n, B 2 R m, geeignet: P ({X B 1 } {Y B 2 }) = P(X B 1 ) P(Y B 2 ). (ii) x R n, y R m : F Z (x, y) = F X (x) F Y (y). (iii) x R n, y R m : f Z (x, y) = f X (x) f Y (y). Aus der Unabhängigkeit folgt die Unkorreliertheit, falls die zweiten Momente existieren. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

17 2.2 Mehrdimensionale Normalverteilung (Multinormalverteilung) Def Ein m dimensionaler Zufallsvektor X = (X 1,..., X m ) T besitzt eine m dimensionale Standardnormalverteilung, falls X i N(0, 1), i = 1,..., m, i.i.d. Bez. X N m (0 m, I m ) oder X N(0 m, I m ). Satz Geg.: Zufallsvektor X N m (0 m, I m ) X ist ein stetiger Zufallsvektor mit Dichtefunktion f X (x) = (2π) m/2 e 1 2 xtx = (2π) m/2 e 1 2 x 2, x R m. Außerdem gelten EX = 0 m und VarX = I m. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

18 Allgemeine normalverteilte Zufallsvektoren Def Ein p dimensionaler ZV X = (X 1,..., X p ) T besitzt eine p dimensionale Normalverteilung, falls für einen m dimensionalen standardnormalverteilten Zufallsvektor Z, einen Vektor µ R p und eine p m Matrix a gilt X = µ + a Z. Satz Für den Zufallsvektor X aus Def gelten EX = µ und VarX = a a T =: Σ. Bez. X N p (µ, Σ) oder X N(µ, Σ). Man spricht auch von Gaußschen Zufallsvektoren. Bem. Die p p Matrix a a T = Σ ist (z.b. als Kovarianzmatrix) symmetrisch und positiv semidefinit. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

19 Spektraldarstellung reeller symmetrischer Matrizen Satz Ist b eine reelle symmetrische p p Matrix, dann kann sie geschrieben werden als p b = Γ Λ Γ T = λ k γ k γ T k, wobei Λ die Diagonalmatrix der Eigenwerte von b ist und Γ die zugehörige orthogonale Matrix, deren Spalten die standardisierten Eigenvektoren enthalten (es gilt Γ Γ T = Γ T Γ = I p ). k=1 Ist die Matrix b positiv semidefinit, dann sind alle Eigenwerte nichtnegativ und es gilt b = Γ Λ 1/2 ( Λ 1/2) T Γ T = ( Γ Λ 1/2) ( Γ Λ 1/2) T. Der Rang dieser Matrix ist gleich der Anzahl der Eigenwerte 0. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

20 Weitere Eigenschaften Satz Ein p dimensionaler Zufallsvektor X = (X 1,..., X p ) T ist genau dann normalverteilt, wenn für jeden Vektor t R p die skalare Zufallsgröße t T X normalverteilt (oder eine Konstante) ist. Satz Sei X = (X 1,..., X p ) T N p (µ, Σ). (i) Für b R d, a M d p gilt Y := b + a X N d (b + a µ, a Σ a T ). (ii) Jeder Teilvektor bzw. jede Komponente von X ist ein normalverteilter Zufallsvektor bzw. eine normalverteilte Zufallsgröße. Bem. Ist jede Komponente eines Zufallsvektors eine normalverteilte (oder konstante) Zufallsgröße, dann muss der Zufallsvektor nicht unbedingt ein normalverteilter Zufallsvektor sein! Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

21 Regulär normalverteilte Zufallsvektoren Def. und Satz Gilt für einen normalverteilten Zufallsvektor X aus Definition p = m, VarX = a a T =: Σ mit det Σ 0, dann besitzt X eine reguläre Normalverteilung N p (µ, Σ) und X ist ein (absolut) stetiger Zufallsvektor mit Dichtefunktion 1 f X (x) = e 1 2 (x µ)t Σ 1 (x µ), x R p. (2π) p det Σ Der Normierungsfaktor kann auch als det(2πσ) 1/2 geschrieben werden, Σ ist eine reelle, symmetrische und positiv definite p p Matrix. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

22 Zweidimensionale regulär normalverteilte Zufallsvektoren Spezialfall m = p = 2, X = (X 1, X 2 ) T N 2 (µ, Σ) mit ( ) µ = (µ 1, µ 2 ) T σ R 2 2, Σ = 1 ϱ σ 1 σ 2 ϱ σ 1 σ 2 σ2 2, σ 2 i = VarX i > 0, i = 1, 2, ϱ = Corr[X 1, X 2 ] ( 1, 1) det Σ = σ1σ 2 2(1 2 ϱ 2 ), ( ) Σ 1 = 1 σ2 2 ϱ σ 1 σ 2, det Σ ϱ σ 1 σ 2 σ1 2 [ f (X1,X 2 )(x 1, x 2 ) = c e 1 (x 1 µ 1 ) 2 2(1 ϱ 2 ) σ 1 2 mit c = ] 2ϱ (x 1 µ 1 )(x 2 µ 2 ) + (x 2 µ 2 )2 σ 1 σ 2 σ πσ 1 σ 2 1 ϱ 2, (x 1, x 2 ) T R 2. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

23 Dichtefunktionsgrafiken zweidimensionaler Normalverteilungen Dichtefunktionen von normalverteilten Zufallsvektoren (X 1, X 2 ) T mit EX 1 = EX 2 = 0, VarX 1 = VarX 2 = 1 sowie Corr[X 1, X 2 ] = 0 (links), Corr[X 1, X 2 ] = 0.5 (mitte) und Corr[X 1, X 2 ] = 0.9 (rechts). Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober

24 Unabhängigkeit von Teilvektoren bei Normalverteilung Satz Geg. X = (X 1 T, X 2 T ) T N p (µ, Σ), X 1 = (X 1,..., X k ) T, X 2 = (X k+1,..., X p ) T. Dann sind X 1 und X 2 genau dann stochastisch unabhängig, wenn Cov[X 1, X 2 ] = 0 k (p k) gilt. Prof. Dr. Hans-Jörg Starkloff Statistische Analyseverfahren Abschnitt 2 Version: 29. Oktober