Statistische Grundlagen (I)

Transkript

1 Statistische Grundlagen (I) Eindimensionale (stetige) Zufallsvariable: N Definition: X : t (mit Ω als Ergebnismenge des zugrunde liegenden Zufallseeriments) N Wahrscheinlichkeitsdichtefunktion: f() mit f() m 0 c und kumulierte Verteilungsfunktion: F()= f(t)dt = Pr(X [ ) 0 [ F() [ 1 ; F( )=0, F() =1 ; f() =df()/d f()d = 1 N Erwartungswert: = E(X)= f()d, Schätzung durch ˆ = = 1 n n i=1 i Varianz: = Var(X)= ( ) f()d, Schätzung durch ˆ = 1 n 1 n i=1 ( i ) Standardabweichung: Literatur: = Var(X) = E((X ) ) N Gallant, A.R. (1997), An Introduction to Econometric Theory, Princeton: Princeton Univ. Press. N McCabe, B., Tremayne, A. (1993), Elements of Modern Asymtotic Theory with Statistical Alications, Manchester: Manchester University Press. N Mittelhammer, R.C. (1996), Mathematical Statistics for Economics and Business, NY: Sringer. Statistische Grundlagen Jens Krüger Statistische Grundlagen (II) Zweidimensionale (stetige) Zufallsvariable: N Definition: (X, Y) : t N Dichtefunktion: f(, y), wobei f(, y) m 0, y ; Randdichten: f ()= f(, y)dy und f(, y) bedingte Dichten: f( y)= und f y (y) Verteilungsfunktion: y F(, y)= f(, y)ddy = 1 fy (y)= f(, y)d f(, y) f(y )= f () f(t, s)dtds = Pr(X [, Y [ y) N Erwartungswerte: = E(X)= f ()d und y = E(Y)= yfy (y)dy Varianzen: = Var(X)= ( ) f ()d und Kovarianz: Korrelation: y = Var(Y)= (y y ) f y (y)dy y = Cov(X, Y)= ( )(y y )f(, y)ddy = Cov(Y, X)= y y = Cor(X, Y)= y /( y )=Cor(Y, X)= y c [ 1, 1] N Erwartungsvektor, Kovarianzmatri = y, Korrelationsmatri R = y y 1 y y 1 Statistische Grundlagen Jens Krüger 014

2 Statistische Grundlagen (III) Zweidimensionale (stetige) Zufallsvariable: (Fortsetzung) N Unabhängigkeit von X und Y: F(, y)=f() $ F(y) f(, y)=f () $ f y (y) E(X $ Y)=E(X) $ E(Y) da E(XY)= y $ f(, y)ddy = y $ f ()f y (y)ddy = f ()d $ yfy (y)dy = E(X) $ E(Y) Cov(X, Y)=0 Cor(X, Y)=0 da Cov(X, Y)=E((X )(Y y )) = E(XY Y y X + y ) = E(XY) E(Y) y E(X)+ y = E(XY) y = E(XY) E(X) E(Y) [Verschiebungssatz für die Varianz als Sezialfall: Var(X)=Cov(X, X)=E(X ) E(X) ] Unabhängigkeit imliziert Unkorreliertheit (aber nicht umgekehrt!) N Gesetz der iterierten Erwartungen (Law of Iterated Eectations, LIE): E(Y)=E X [E(Y X)] Beweis: E X [E(Y X)] = [ yf(y )dy ]f ()d = f(,y) y f () dy f ()d = = yf(, y)dyd = y f(, y)ddy = yfy (y)dy = E(Y) Statistische Grundlagen Jens Krüger Statistische Grundlagen (IV) k-dimensionaler (stetiger) Zufallsvektor: N Definition: X =(X 1,..., X k ) : t k N Dichtefunktion: f() mit =( 1,..., k ) ; f() m 0 ; f()d 1 d k = 1 es eistieren Randdichten für jedes Verteilungsfunktion: F()= k i und ein System bedingter Dichten 1 f(t1,..., t k )dt 1 dt k = Pr(X [ ) N Erwartungsvektor: = E(X) ( 1,..., k ) =(E(X 1 ),..., E(X k )) (als k 1-Vektor) Kovarianzmatri: = Var(X) = Korrelationsmatri: R = Cor(X)= 1 1 1k 1 k k1 k k 1 1 1k 1 1 k k1 k 1 = E[(X )(X ) ] = E(XX ) (beide symmetrisch und ositiv semidefinit) Statistische Grundlagen Jens Krüger 014 4

3 Statistische Grundlagen (V) Lineare Transformationen von Zufallsvektoren: N Notationswechsel: ist ein Zufallsvektor mit Erwartungsvektor und Kovarianzmatri N Erwartungswerte: E(a )=E(a a k k )=a 1 E( 1 ) a k E( k )=a a k k = a = a E() E(A)=E a 1 a m = E a 1 a m = a 1 a m E() E() = a 1 a m = a 1 a m = A E(A + b)=e(a)+e(b)=a + b (der Erwartungswert ist ein linearer Oerator) N Kovarianzmatrizen: a i ( : i-te Zeile von A) Var(a )=E[(a a )(a a ) ] k k = E[a ( )( ) a] = a a = i=1 j=1 a i a j ij Var(A)=E[(A A )(A A ) ] = E[A( )( ) A ] = A A Var(A + b)=e[(a + b A b)(a + b A b) ] = A A N Sezialfall: für skalare Zufallsvariablen gilt E(aX + b) =a E(X)+b und Var(aX + b)=a Var(X) Statistische Grundlagen Jens Krüger Statistische Grundlagen (VI) Einige Wahrscheinlichkeitsverteilungen: N univariate Normalverteilung: i N(, ) f() =( ) 1/ e( 1 ( ) ) N k (k)-verteilung: 1,..., k i NID(0, 1) i=1 i i (k) N t(k)-verteilung: i N(0, 1) unabhängig von y i (k) N F(k, l)-verteilung: i (k) unabhängig von y i (l) y/k i t(k) /k y/l i F(k, l) N multivariate Normalverteilung: iid-fall: i i NID(, ) i = 1,..., k mit Dichte f()=( ) k/ e( 1 k i=1 (i ) ) allgemein: =( 1,..., k ) i N(, ) mit f()=( ) k/ det( ) 1/ e( 1 ( ) 1 ( )) N wichtige Beziehungen: Invarianz bzgl. linearer Transformationen: i N(, ) A + b i N(A + b, A A ) für k 1-Vektor und Σ mit vollem Rang k: i N(, ) ( ) 1 ( ) i (k) Statistische Grundlagen Jens Krüger 014 6

4 Statistische Grundlagen (VII) Asymtotische Grundbegriffe: N Konvergenzmodi: Sequenz von Zufallsvektoren 1,..., n t 0 für n dmit 0 zufällig oder deterministisch Konvergenz in Wahrscheinlichkeit: lim Pr( nd n 0 > )=0 > 0 n t 0 fast sichere Konvergenz (w1): Pr( nd lim n 0 = 0)=1 n as t 0 Konvergenz im r-ten Mittel: lim E( nd n 0 r )=0 rm n t 0 Konvergenz in Verteilung: lim F nd n ()=F 0 () d n t 0 Bemerkung: z als Norm, wie die Euklidische Norm i=1 z i oder die su-norm su i z i as Beziehungen: n t 0 u n t 0 u n t d 0 ; rm n t 0 u n t 0 u d n t 0 N Bemerkungen: Konvergenz im r-ten Mittel erfordert die Eistenz des Erwartungswertes Konvergenz in Verteilung imliziert Konvergenz in Wahrscheinlichkeit nur bei Konvergenz zu einer degenerierten Zufallsvariablen mit Varianz = 0 N Cramér-Wold-Device: n t d 0 d n t 0 Statistische Grundlagen Jens Krüger k Statistische Grundlagen (VIII) Asymtotische Grundbegriffe: (Fortsetzung) N Gesetz der großen Zahlen (Law of Large Numbers, LLN): Gegeben bestimmte Regularitätsbedingungen hinsichtlich Abhängigkeit, Heterogenität und Eistenz von Erwartungswerten (Momenten) für eine Sequenz von ZV gilt as n t (schwaches Gesetz der großen Zahlen) bzw. n t (starkes Gesetz), n wobei n = 1 n i=1 i und = E( n )<. Beisiele: Kolmogorov-LLN für iid-zufallsvariablen und Markov-LLN für inid-zv N Zentraler Grenzwertsatz (Central Limit Theorem, CLT): Gegeben bestimmte Regularitätsbedingungen hinsichtlich Abhängigkeit, Heterogenität und Eistenz von Erwartungswerten (Momenten) für eine Sequenz von ZV gilt n ( n ) d t N(0, ), n wobei n = 1 n i=1 i und = E( n )<, = Var( n ( n )) <. Beisiele: Lindeberg-Levy-CLT für iid-zufallsvariablen und Liaounov-CLT für inid-zv n n Statistische Grundlagen Jens Krüger 014 8

5 Statistische Grundlagen (IX) Asymtotische Grundbegriffe: (Fortsetzung) N Slutzky-Theorem: für stetige Funktionen g($), die nicht selbst von n abhängen: n t 0 g( n ) t g( 0 ) N Stetiges Maing-Theorem (Continuous Maing Theorem, CMT): Wenn n t d 0 für alle Punkte an denen F() stetig ist, dann gilt g( n ) t d g( 0 ) (wobei 0 deterministisch oder stochastisch sein kann) für alle stetigen Funktionen N Anwendungen: g($), die nicht selbst von n abhängen. n (k 1) mit n t c und yn (k 1) mit y n t d folgt, dass n + y n t c + d X n (k k) mit X n t C und yn (k 1) mit y n t d folgt, dass 1 Xn y n t C 1 d n (k 1) mit n t d 0 und y n (k 1) mit ( n y n ) t 0 folgt, dass y d n t 0 n (k 1) mit n t c und yn (k 1) mit y n t d y 0 folgt, dass n + y d n t c + y 0 und n y n d t c y 0 Statistische Grundlagen Jens Krüger Statistische Grundlagen (X) Multivariate Delta-Methode: N Theorem: Sei n =( 1n,..., kn ) (n = 1,, 3,...) eine Folge von k-dimensionalen Zufallsvektoren, d die asymtotisch multivariat normalverteilt ist, n ( n ) t N(0, ). Sei f() =(f 1 (),..., f m ()) eine differenzierbare Abbildung des k in den m, deren artielle Ableitungen im Punkt =( 1,..., k ) nicht sämtlich verschwinden. d Dann gilt n (f( n ) f( )) t N(0, D D ) mit. D = Øf() = J( ) Ø N Beisiel 1: n ( n ) t d N(0, ) n (A n + b A b) t d N(0, A A ) [es gilt hier ebenfalls i N(, ) A + b i N(A + b, A A )] = N Beisiel : n ( 1n 1 n ) d t N( 0 0, 1 1 ) 1 n ( 1n n ( 1 ) e( 1n ) e( 1 ) d t N( 0 0, e 1 ( 1 1 ) e 1 ( 1 1 ) e 1 ) $ 1 Statistische Grundlagen Jens Krüger

6 Statistische Grundlagen (XI) Verteilungstransformation: N Change-of-Variables: Sei =( 1,..., k ) ein stetiger Zufallsvektor mit Dichte f. () Sei y ein transformierter Zufallsvektor y =(y 1,..., y k ) =(g, wobei die Eistenz 1 (),..., g k ()) der inversen Transformation =( 1,..., k ) =(h vorausgesetzt wird. 1 (y),..., h k (y)) Die Abbildungen g i, h i (i = 1,..., k) sind stetig und die artiellen Ableitungen Øh i /Øy j (i, j = 1,..., k) eistieren und sind ebenfalls stetig. Sofern die Jacobi-Determinante der inversen Transformationen det J(y)=det Øh 1 (y)/øy 1 Øh 1 (y)/øy k Øh k (y)/øy 1 Øh k (y)/øy k von Null verschieden ist, gilt für die Dichtefunktion des Zufallsvektors y: f y (y)=f (h 1 (y),..., h k (y)) $ det J(y). Statistische Grundlagen Jens Krüger Statistische Grundlagen (XII) Verteilungstransformation: (Fortsetzung) N Intuition für den skalaren Fall: Funktion y = g() mit inverser Transformation = h(y) F y (y)=f (h(y)) N Fallunterscheidung: F y (y)=f y (y)=f (h(y)) $ h (y) Fall h ($) m 0: F y (y)=pr(y [ y)=pr(h(y) [ h(y)) = Pr(X [ )=F ()=F (h(y)) f y (y)=f (h(y)) $ h (y) Fall h ($) [ 0: F y (y)=pr(y [ y)=pr(h(y) m h(y)) = 1 Pr(X [ )=1 F ()=1 F (h(y)) f y (y)= f (h(y)) $ h (y) [0 zusammen ergibt sich: f y (y)=f (h(y)) $ h (y) Statistische Grundlagen Jens Krüger 014 1

7 Statistische Grundlagen (XIII) Verteilungstransformation: (Fortsetzung) N Beisiel 1 (univariate Zufallsvariable): i N(, ) mit f ()=( ) 1/ e( 1 (( )/ ) ) wird transformiert in y durch y = g()=( )/ (die inverse Abbildung ist folglich = h(y)=y + ) f y (y) =f (h(y)) $ y i N(0, 1) dh(y) dy N Beisiel (multivariate Zufallsvariable): =( ) 1/ e 1 y + $ =( ) 1/ e( 1 y ) i N(0, I) mit f ()=( ) k/ e( 1 ) wird transformiert in y durch y = g()=a + (die inverse Abbildung ist folglich = h(y)=(a ) 1 (y ) ) f y (y) = f (h(y)) $ det Øh(y) Øy =( ) k/ e( 1 (y ) A 1 (A ) 1 (y )) $ det(a 1 ) =( ) k/ det( ) 1/ e( 1 (y ) 1 (y )) mit h A A und det( )=det(a) y i N(, ) Statistische Grundlagen Jens Krüger Statistische Grundlagen (XIV) Statistikbefehle in R: N Berechnungen: Mittelwerte durch mean(), mit na.rm=t wenn fehlende Werte (NA) auftreten [Anwendung von mean() auf eine Matri berechnet den Mittelwert aller Matrielemente! Zeilen- und Saltenmittelwerte können über den Befehl aly() erzeugt werden] Kovarianzmatrizen durch var() Standardabweichungen durch sd() [ergibt einen Vektor, wie bei sqrt(diag(var(a)))] Korrelationsmatrizen durch cor() N Signifikanztest für Korrelation durch cor.test() [Varianten für Pearson, Searman, Kendall] N Berechnung eines t-tests durch t.test() oder des Wilcoon-Tests durch wilco.test() N Verteilungen: Dichtefunktion dnorm(), Verteilungsfunktion norm(), Quantile qnorm(), Ziehung von Zufallszahlen rnorm() [auch verfügbar für unif, t, f, chisq, lnorm, gamma, beta,...] N Ziehung von Zufallsstichroben (mit oder ohne Zurücklegen) aus einem Vektor mit samle() N Histogramme mit hist() N Bolots mit bolot() Statistische Grundlagen Jens Krüger