Abhängigkeitsmaße Seien X 1 und X 2 zwei Zufallsvariablen. Es gibt einige skalare Maße für die Abhängigkeit zwischen X 1 und X 2.

Transkript

1 Abhängigkeitsmaße Seien X 1 und X 2 zwei Zufallsvariablen. Es gibt einige skalare Maße für die Abhängigkeit zwischen X 1 und X 2. Lineare Korrelation Annahme: var(x 1 ),var(x 2 ) (0, ). Der Koeffizient der linearen Korrelation ρ L (X 1,X 2 ) ist folgendermaßen gegeben: ρ L (X 1,X 2 ) = cov(x 1,X 2 ) var(x1 )var(x 2 ) X 1 und X 2 sind unabhängig ρ L (X 1,X 2 ) = 0 ρ L (X 1,X 2 ) = 0 impliziert nicht, dass X 1 und X 2 unabhängig sind Beispiel 2 Sei X 1 N(0,1) und X 2 = X 2 1. Es gilt ρ L(X 1,X 2 ) = 0 aber X 1 und X 2 sind klarerweise abhängig. Weiters gilt: ρ L (X 1,X 2 ) = 1 α,β IR, β 0, sodass X 2 d = α+βx1 und signum(β) = signum(ρ L (X 1,X 2 )) 4

2 Der lineare Korrelationskoeff. ist eine Invariante unter streng monoton steigende lineare Transformationen. D.h. für zwei Zufallsvariablen X 1 und X 2 und reellen Konstanten α 1,α 2,β 1,β 2 IR, β 1 > 0 und β 2 > 0 gilt: ρ L (α 1 +β 1 X 1,α 2 +β 2 X 2 ) = ρ L (X 1,X 2 ). Der lineare Korrelationskoeffizient ist jedoch keine Invariante unter streng monoton steigende nicht-lineare Transformationen. Beispiel 3 Seien X Exp(λ), X 2 = X 1, und T 1, T 2 zwei streng monoton steigende Transformationen: T 1 (X 1 ) = X 1 und T 2 (X 1 )) = X 2 1. Dann gilt: ρ L (X 1,X 1 ) = 1 und ρ L (T 1 (X 1 ),T 2 (X 1 )) =

3 Rang Korrelation Die Koeffizienten der Rang Korrelation (Spearmans Rho und Kendalls Tau) sind Maße für die Übereinstimmung von bivariaten Zufallsvektoren. Seien (x 1,x 2 ) und ( x 1, x 2 ) zwei Punkte in IR 2. Die zwei Punkte heißen übereinstimmend wenn (x 1 x 1 )(x 2 x 2 ) > 0 und nicht übereinstimmend wenn (x 1 x 1 )(x 2 x 2 ) < 0. Seien (X 1,X 2 ) T und ( X 1, X 2 ) T zwei unabhängige Zufallsvektoren mit identischer bivariater Verteilung. Die Kendall s Tau ρ τ ist definiert als ρ τ (X 1,X 2 ) = P ( (X 1 X 1 )(X 2 X 2 ) > 0 ) P ( (X 1 X 1 )(X 2 X 2 ) < 0 ) Sei ( ˆX 1, ˆX 2 ) ein dritter von (X 1,X 2 ) und ( X 1, X 2 ) unahängiger Zufallsvektor mit derselben Verteilung wie (X 1,X 2 ) und ( X 1, X 2 ). Die Spearman s Rho ρ S ist definiert als ρ S (X 1,X 2 ) = 3 { P ( (X 1 X 1 )(X 2 ˆX 2 ) > 0 ) P ( (X 1 X 1 )(X 2 ˆX 2 ) < 0 )} 6

4 Einige Eigenschaften von ρ τ und ρ S : ρ τ (X 1,X 2 ) [ 1,1] und ρ S (X 1,X 2 ) [ 1,1]. Wenn X 1 und X 2 unabhängig, dann ρ τ (X 1,X 2 ) = ρ S (X 1,X 2 ) = 0. Die Umkehrung gilt i.a. nicht. Sei T:IR IR eine streng monoton steigende Funktion. Dann gilt: ρ τ (T(X 1 ),T(X 2 )) = ρ τ (X 1,X 2 ) ρ S (T(X 1 ),T(X 2 )) = ρ S (X 1,X 2 ) Beweis: 1) und 2) sind trivial. Beweis von 3) erfolgt mit Hilfe von Copulas, später... 7

5 Tail-Abhängigkeit Definition 1 Sei (X 1,X 2 ) T ein Zufallsvektor mit Randverteilungen F 1 und F 2. Der Koeffizient der oberen Tail-Abhängigkeit von (X 1,X 2 ) T wird folgendermaßen definiert: λ U (X 1,X 2 ) = lim P(X u 1 2 > F2 (u) X 1 > F1 (u)) vorausgesetzt der Limes existiert. Der Koeffizient der unteren Tail-Abhängigkeit von (X 1,X 2 ) T wird folgendermaßen definiert: λ L (X 1,X 2 ) = lim P(X u F2 (u) X 1 F1 (u)) vorausgesetzt der Limes existiert. Wenn λ U > 0 (λ L > 0) heißt es, (X 1,X 2 ) T hat eine obere (untere) Tail-Abhängigkeit. (Siehe Joe 1997, Schmidt und Stadtmüller 2002) Übung 1 Sei X 1 Exp(λ) und X 2 = X 2 1. Bestimmen Sie λ U(X 1,X 2 ), λ L (X 1,X 2 ) und zeigen Sie, dass (X 1,X 2 ) T eine obere und eine untere Tail-Abhängigkeit hat. Berechnen Sie auch den linearen Korrelationskoeffizienten ρ L (X 1,X 2 ). 8

6 Multivariate elliptische Verteilungen a) Die multivariate Normalverteilung Definition 2 Der Zufallsvektor (X 1,X 2,...,X d ) T hat eine multivariate Normalverteilung (oder eine multivariate Gauss sche Verteilung) wenn X d = µ + AZ, wobei Z = (Z 1,Z 2,...,Z k ) T ein Vektor von i.i.d. normalverteilten ZV (Z i N(0,1), i = 1,2,...,k), A IR d k ist eine konstante Matrix und µ IR d ist ein konstanter Vektor. Für so einen Zufallsvektor X gilt: E(X) = µ, cov(x) = Σ = AA T (Σ positiv semidefinit). Notation: X N d (µ,σ). Theorem 1 (Multivariate Normalverteilung: äquiv. Definitionen) 1. X N d (µ,σ) für einen Vektor µ IR d und eine positiv semidefinite Matrix Σ IR d d, dann und nur dann wenn a IR d, a = (a 1,a 2,...,a d ) T, die Zufallsvariable a T X normal verteilt ist. 2. Ein Zufallsvektor X IR d ist multivariat normal verteilt dann und nur dann wenn seine charakteristische Funktion folgendermaßen gegeben ist: φ X (t) = E(exp{it T X}) = exp{it T µ 1 2 tt Σt} für einen Vektor µ IR d und eine positiv semidefinite Matrix Σ IR d d. 9

7 3. Ein Zufallsvektor X IR d mit E(X) = µ und cov(x) = Σ, wobei die Determinante von Σ positiv ist (det(σ) := Σ > 0), ist normal verteilt, d.h. X N d (µ,σ), dann und nur dann wenn seine Dichtefunktion folgendermaßen gegeben ist { } 1 f X (x) = (2π) d Σ exp (x µ)t Σ 1 (x µ). 2 Beweis: (siehe zb. Gut 1995) Theorem 2 (Eigenschaften der multivariaten Normalverteilung) Für X N d (µ,σ) gilt: Lineare Kombinationen: Für B IR k d und b IR k. Es gilt dann BX+b N k (Bµ+b,BΣB T ). Randverteilungen: ( Setze X T = X (1)T,X (2)T) für X (1)T = (X 1,X 2,...,X k ) T und X (2)T = (X k+1,x k+2,...,x d ) T und analog ( ( ) µ T = µ (1)T,µ (2)T) Σ (1,1) Σ und Σ = (1,2) Σ (2,1) Σ (2,2). ( ) ( Es gilt dann X (1) N k µ (1),Σ (1,1) und X (2) N d k µ (2),Σ ). (2,2) 10

8 Bedingte Verteilungen: Wenn Σ regulär, dann ist auch der bedingte Z.Vektor X (2) X (1) = x (1) multivariat normal verteilt X (2) X (1) = x (1) N d k ( µ (2,1),Σ (22,1) ) wobei µ (2,1) = µ (2) +Σ (2,1) ( Σ (1,1) ) 1 ( x (1) µ (1) ) und Σ (22,1) = Σ (2,2) Σ (2,1) (Σ (1,1) ) 1Σ (1,2). Quadratische Formen: Wenn Σ regulär, dann gilt D 2 = (X µ) T Σ 1 (X µ) χ 2 d. Die Zufallsvariable D heißt Mahalanobis Distanz. Faltung: Seien X N d (µ,σ) und Y N d ( µ, Σ) zwei unabhängige Zufallsvektoren. Es gilt dann X +Y N d (µ+ µ,σ+ Σ). 11

9 b) Varianz-gemischte Normalverteilungen Definition 3 Ein Zufallsvektor X IR d hat eine multivariate Varianzgemischte Normalverteilung wenn X d = µ+waz wobei: Z N k (0,I), W 0 ist eine von Z unabhängige positive Zufallsvariable, µ IR d ist ein konstanter Vektor, A IR d k ist eine konstante Matrix, und I ist die Einheitsmatrix. Unter der Bedingung W = w ist X normalverteilt: X N d (µ,w 2 Σ), wobei Σ = AA T. E(X) = µ und cov(x) = E(W 2 AZZ T A T ) = E(W 2 )Σ falls E(W 2 ) < Beispiel 4 Die multivariate t α -Verteilung Sei Y IG(α, β) (Inverse Gamma-Verteilung) mit Dichtefunktion: f α,β (x) = βα Γ(α) x (α+1) exp( β/x) x > 0,α > 0,β > 0 Dann gilt: E(Y) = β α 1 für α > 1, var(y) = β 2 (α 1) 2 (α 2) für α > 2 Sei W 2 IG(α/2,α/2). Dann ist die Verteilung von X = µ + WAZ eine multivariate t α Verteilung mit α Freiheitsgraden: X t d (α,µ,σ). cov(x) = E(W 2 )Σ = α α 2 Σ 12

10 c) Sphärische Verteilungen Definition 4 Ein Zufallsvektor X = (X 1,X 2,...,X d ) T hat eine sphärische Verteilung wenn für jede orthogonale Matrix U IR d d die Gleichung UX d = X gilt. Theorem 3 Die folgenden Aussagen sind äquivalent. 1. Der Zufallsvektor X IR d hat eine sphärische Verteilung. 2. Es existiert eine Funktion ψ: IR IR, sodass die charakteristische Funktion von X folgendermaßen gegeben wird: φ X (t) = ψ(t T t) = ψ(t 2 1 +t t2 d ) 3. Für jeden Vektor a IR d gilt a t X d = a X 1 wobei a 2 = a 2 1 +a a2 d. 4. X lässt sich als X d = RS repräsentieren, wobei der Zufallsvektor S IR d gleichmäßig verteilt auf der Einheitskugel S d 1, S d 1 = {x IR d : x = 1}, ist, und R 0 eine von S unabhängige ZV ist. Notation einer sphärischen Verteilung: X S d (ψ) 13

11 Beispiel 5 Die standard Normalverteilung ist eine sphärische Verteilungen. Sei X N d (0,I). Dann X S d (ψ) mit ψ = exp( x/2). Tatsächlich: φ X (t) = exp{it T tt It} = exp{ t T t/2} = ψ(t T t). Sei X = RS die stochastische Darstellung von X N d (0,I). Es gilt X 2 d = R 2 χ 2 d ; Simulation einer sphärischen Verteilung: (i) Simuliere s aus einer gleichmäßig verteilten Zufallsvektor in S d 1 (zb. in dem y aus einer multivariaten Standard Normalverteilung Y N d (0,I) simuliert und s = y/ y gesetzt wird). (ii) Simuliere r aus R. (iii) Setze x = rs. 14

12 d) Elliptische Verteilungen Definition 5 Ein Zufallsvektor X IR d hat eine elliptische Verteilung wenn X d = µ+ay, wobei Y S k (ψ), µ IR d ist ein konstanter Vektor und A IR d k ist eine konstante Matrix. Die charakteristische Funktion: φ X (t) = E(exp{it T X}) = E(exp{it T (µ+ay)}) = exp{it T µ}e(exp{i(a T t) T Y}) wobei Σ = AA T. = exp{it T µ}ψ(t T Σt), Notation elliptische Verteilungen: X E d (µ,σ,ψ) µ heißt Positionsparameter (location parameter), Σ heißt Dispersionsparameter (dispersion parameter), ψ heißt charakteristischer Generator der elliptischen Verteilung. Falls A IR d d regulär, dann gilt folgende Relation zwischen elliptischen und sphärischen Verteilungen: X E d (µ,σ,ψ) A 1 (X µ) S d (ψ), A IR d d,aa T = Σ 15

13 Theorem 4 ( Stochastische Darstellung der elliptischen Verteilung) Sei X IR d ein d-dimensinaler Zufallsvektor. X E d (µ,σ,ψ) dann und nur dann wenn X d = µ+ras, wobei S IR k ist ein auf der Einheitskugel S k 1 gleichverteilter Zufallsvektor, R 0 ist eine von S unahängige nicht negative Zufallsvariable, A IR d k ist eine konstante Matrix (Σ = AA T ) und µ IR d ist ein konstanter Vektor. Simulation einer elliptischen Verteilung: (i) Simuliere s aus einer gleichmäßig verteilten Zufallsvektor in S d 1 (zb. in dem y aus einer multivariaten Standard Normalverteilung Y N d (0,I) simuliert und s = y/ y gesetzt wird). (ii) Simuliere r aus R. (iii) Setze x = µ+ras. 16

14 Beispiel 6 (Multivariate Normalverteilung) Sei X N(µ,Σ). Es existiert eine Matrix A IR d k, sodass X d = µ+az wobei Z N k (0,I) und AA T = Σ. Weiters gilt Z = RS wobei S ein gleichmäßig verteilter Zufallsvektor in S k 1 ist und R 2 χ 2 k. Daraus folgt X d = µ+ras und daher X E d (µ,σ,ψ) mit ψ(x) = exp{ x/2}. Beispiel 7 (Multivariate normal variance mixture) Sei Z N d (0,I) ein normal-verteilter Zufallsvektor. Z ist sphärischverteilt mit stochastischer Darstellung Z d = VS wobei V 2 = Z 2 χ 2 d. Sei X = µ+w AZ eine Varianz-gemischte Normalverteilung. Dann gilt X = d µ + VWAS wobei V 2 χ 2 d und VW eine nicht-negative von S unabhängige ZV ist. D.h., X ist elliptisch verteilt mit R = VW. 17

15 Theorem 5 (Eigenschaften der elliptischen Verteilung) Sei X E k (µ,σ,ψ). X hat folgende Eigenschaften: Lineare Kombinationen: Für B IR k d und b IR k gilt: Randverteilungen: ( Setze X T = X (1)T,X (2)T) für BX +b E k (Bµ+b,BΣB T,ψ). X (1)T = (X 1,X 2,...,X n ) T und X (2)T = (X n+1,x n+2,...,x k ) T und analog ( ( ) µ T = µ (1)T,µ (2)T) Σ (1,1) Σ sowie Σ = (1,2) Σ (2,1) Σ (2,2). Es gilt dann ) ) X 1 N n (µ (1),Σ (1,1),ψ und X 2 N k n (µ (2),Σ (2,2),ψ. 18

16 Bedingte Verteilungen: Wenn Σ regulär, dann ist auch die bedingte Verteilung X (2) X (1) = x (1) elliptisch verteilt: X (2) X (1) = x (1) N k n ( µ (2,1),Σ (22,1), ψ ) wobei µ (2,1) = µ (2) +Σ (2,1) ( Σ (1,1) ) 1 ( x (1) µ (1) ) und Σ (22,1) = Σ (2,2) Σ (2,1) (Σ (1,1) ) 1Σ (1,2). Typischerwise sind ψ und ψ unterschiedlich (siehe Fang, Katz und Ng 1987). 19

17 Quadratische Formen: Wenn Σ regulär, dann gilt D 2 = (X µ) T Σ 1 (X µ) R 2. wobei R die nicht-negative ZV aus der stochastischen Darstellung ) Y = RS der spherischen Verteilung Y mit S U (S (d 1) und X = µ+ay ist. Die Zufallsvariable D heißt Mahalanobis Distanz. Faltung: Seien X E k (µ,σ,ψ) und Y E k ( µ,σ, ψ) zwei unabhängige Zufallsvektoren. Es gilt dann X +Y E k (µ+ µ,σ, ψ) wobei ψ = ψ ψ. Achtung: Σ muss i.a. dieselbe für X und Y sein. Anmerkung: Aus X E k (µ,i k,ψ) folgt nicht, dass die Komponenten von X unabhängig sind. Die Komponenten von X sind dann und nur dann unabhängig wenn X multivariat normalverteilt mit der Einheitsmatrix als Kovarianzmatrix ist. 20