KAPIEL 6 Grenzwersäze für Zeireihen In diesem Kapiel sellen wir wichige Grenzwersäze für saionäre Zeireihen {X n } in diskreer Zei zusammen. Sei µ = E(X ) und ρ(k) = E(X 1 µ)(x 1+k µ) = Cov (X 1, X 1+k ), k N, die Auokovarianzfunkion, sowie σ 2 = Var (X ) = ρ(0). Wir wollen unersuchen, uner welchen Bedingungen das arihmeische Miel gegen den Erwarungswer konvergier, X = 1 X µ = E(X 1 ) sochasisch oder f.s., wenn, und wann die mi skaliere Differenz asympoisch normalvereil is: (X µ) d N(0, η 2 ). Es wird sicherlich u.a. eingehen, wie sich die Varianz für große verhäl. Im i.i.d. Fall is Var (X ) = σ 2 / mi σ 2 = Var (X 1 ) und Var ( 1/2 i=1 X i) = σ 2. Im allgemeinen Fall ha man ( ) 1 Var X i = 1 EY s Y i=1 zu berachen, also bis auf den Fakor 1/ die Summe über alle Elemene der symmerischen Marix (Cov (Y s, Y )) s,. Die Elemene der k-en Nebendiagonale haben die Indizes (1, k + 1), (2, k + 2),..., ( k, ), den gemeinsamen Wer ρ(k) und summieren sich zu 89 s=1
k Cov (Y, Y +k ) = ( k)ρ(k). Summaion über alle Diagonalen liefer also: ( ) 1 Var X = 1 E(Y 2 ) + 2 1 k Cov (Y, Y +k ) k=1 = 1 1 ( ) k E(Y 2 ) + 2 ρ(k) k=1 1 = σ 2 + 2 (1 k/ )ρ(k). k=1 Ob dieser Ausdruck konvergier, häng vom Abklingverhalen der Auokovarianzen ab. Gil so is der Limes σ 2 + 2 k ρ(k). ρ(k) <, k 1. Ein Gesez der großen Zahl Saz 6.1. {X } sei saionär mi µ = E(X ) und Auokovarianzfunkion γ(k), k Z. (i) Gil γ(k) 0, für k, so folg d.h. Var (X ) 0,, P,L 2 X 0, (ii) Gil für. dann folg darüberhinaus + k= γ(k) <, Var ( X ) = E(X µ) 2 + k= γ(k), wenn. 90
Beweis. Wie oben schon berechne, gil Var (X ) = 1 Cov (X i, X j ) i=1 j=1 = ( ) k γ(k) k < γ(k). k < Es sei an dieser Selle an folgende Aussage aus der Analysis über Cesaro-Miel erinner: Is {a n } eine reelle Zahlenfolge mi lim n a n = 0, so folg lim n n 1 n i=1 a i = 0. Somi erhalen wir aus γ(k) 0, für k, 1 γ(k) = 2 lim γ( ) = 0, k < also lim Var (X ) = 0. Ferner is k γ(k) eine uner (ii) konvergene Majorane für Var (X ) = k < (1 k / )γ(k). Mihin konvergier dieser Ausdruck und es folg: lim Var (X ) = + k= γ(k). 2. Zenrale Grenzwersäze für lineare Prozesse 2.1. m-abhängige Zeireihen. Beispiel 6.1. Berache den Prozess X = α 1 ɛ 1 + α 0 ɛ, mi i.i.d. Innovaionen {ɛ } mi σ 2 = Var (ɛ 1 ). Dann sind aufeinander folgende Beobachungen abhängig, da Cov (X, X +1 ) = Cov (α 1 ɛ 1 + α 0 ɛ, α 1 ɛ + α 0 ɛ +1 ) = α 0 α 1 σ 2. Da jedoch X eine Funkion von (ɛ 1, ɛ ) und X 2 eine Funkion von (ɛ 3, ɛ 2 ) is, sind X und X 2 unabhängig. 91
Allgemein heiß eine Zeireihe {X } m-abhängig, wenn (X 1,..., X n ) und (X r, X r+1,... ) unabhängig sind, sofern n r > m. Die im Beispiel berachee Zeireihe is 1-abhängig. Saz 6.2. {X } sei eine saionäre m-abhängige Zeireihe mi µ = E(X 1 ) und E X 1 3 <. Dann folg n(xn µ) d N(0, η 2 ), für n, mi m η 2 = Var (X 1 ) + 2 Cov (X 1, X 1+k ) k=1 2.2. Lineare Prozesse. Is {X } ein Gausscher Prozess mi Auokovarianzfunkion γ(k) und E(X ) = µ, dann is nach den Rechnungen des obigen Beweises Var ( X n ) = ( 1 k ) γ(k) n und somi gil k <n n(xn µ) N 0, k <n ( 1 k ) n γ(k). Falls die Auokovarianzen absolu summierbar sind, d.h. k γ(k) <, so ergib sich nvar (X n ) η 2 = k γ(k), n. Daher erwaren wir, dass auch für nich normalvereile Zeireihen uner gewissen Zusazbedingungen ein zenraler Grenzwersazsaz der Form n(xn µ) d N(0, η 2 ), für n, gil. Ohne Beweis formulieren wir das folgende Resula für lineare Prozesse. Saz 6.3. {X } sei ein linearer Prozess der Form X = µ + + j= ψ j Z j, mi Z i.i.d. ( 0, σ 2 ), wobei ψ j <, und j 92 ψ j 0 j
gele. Dann folg n(xn µ) d N(0, η 2 ), für n, wobei die asympoische Varianz durch gegeben is. η 2 = + ( + ) 2 γ(k) = σ 2 ψ j k= j= 3. Zenraler Grenzwersaz uner Mischungsbedingungen Grenzwersäze gelen nich nur bei speziellen Srukurannahmen - wie exemplarisch im lezen Abschni berache - sondern auch uner allgemeinen qualiaiven Annahmen an die Abhängigkeissrukur, die durch sog. Mischungskoeffizienen beschrieben werden. 3.1. Mischungsbedingungen. {Y } sei ein srik saionärer Prozess in diskreer Zei definier auf einem Wahrscheinlichkeisraum (Ω, A, P ). O.E. sei Y n die Beobachung eines zufälligen Phänomens nach n Zeieinheien. Wir wollen den Grad der Abhängigkei zwischen Ereignissen A und B beschreiben, die aus der Zeireihe (meßbar) abgeleie sind und einen zeilichen Absand von k Zeieinheien haben. Sind allgemein B und C Uner-σ-Algebren von A, so definieren wir den α-mischungskoeffizienen (sarker Mischungskoeffizien) durch α = α(b, C) = sup P (B C) P (B)P (C), B B,C C also die supremale Differenz zwischen gemeinsamer Wahrscheinlichkei und der Approximaion durch die Produkvereilung. Es gib noch eine Reihe schwächerer Mischungskoeffizienen, die wir hier jedoch nich berachen wollen. Berache die σ-algebren B = σ(x s : s ), und C (k) = σ(x s : s + k) aller Ereignisse mi Zeiabsand k, vom Zeipunk aus gesehen. Definiere den α-mischungskoeffizien (zum Absand k) durch α(k) = sup α(b, C (k)), k N. 93
Definiion 6.1. Eine Zeireihe {Y } heiß sark mischend oder α-mischend, wenn lim α(k) = 0. k Wie wir sehen werden, reich in aller Regel das Abklingen der Abhängigkei im Sinne dieser Definiion nich aus. Vielmehr benöig man in der Regel, dass α(k) hinreichend schnell gegen 0 konvergier. Is g B -messbar, also eine Funkion von (X, X 1,... ), und h C (k)-messbar, also eine Funkion von (X +k, X +k+1,... ), so gil nach Definiion des Mischungskoeffizienen α(σ(g), σ(h)) α(b, C (k)). Der Grad der Abhängigkei wächs also nich uner messbaren Abbildungen. Insbesondere is mi {X n } auch Y n = f n (X n ) α-mischend und die Mischungskoeffizienen von {Y n } klingen nich langsamer ab als die von {X n }. Is eine Zeireihe sark mischend, so mach man nur einen rech kleinen Fehler, wenn man sa der gemeinsamen Vereilung die Produkvereilung nimm, also bspw. E(Y Y +k ) durch E(Y )E(Y +k ) ersez. Die folgenden Lemmaa quanifizieren dies. Lemma 6.1. (Ibragimov und Linnik, 1956). Seien η σ(y s : s ), und ξ σ(y s : s + k), mi Eη 2+δ und Eξ 2+δ für ein δ > 0. Gil zudem E η 2+δ < c 1 und E ξ 2+δ < c 2, dann exisier eine universelle Konsane C, so dass E(ηξ) E(η)E(ξ) Cα(k) δ/(2+δ). Die Konsane kann als C = 4 + 3(c 1/(2+δ) 1 c (1+δ)/(2+δ) 2 + c (1+δ)/(2+δ) 1 c 1/(2+δ) 2 gewähl werden. Lemma 6.2. (Volkonskii und Rozanov, 1959). V 1,..., V L seien sark mischend mi E V j 1 und V i σ(x s : i k s j k ), wobei 1 i 1 < j 1 < i 2 < < i L < j L n. 94
Der minimale Zeiabsand sei w, d.h. es gele i k+1 j k w 1 für k = 1,..., L. Dann gil L L E V k E(V k ) 16(L 1)α(w). k=1 k=1 Lemma 6.3. (Hall und Heyde (1990), Corollary A.2). X und Y seien B- bzw. C-messbare Zufallsvariablen mi E X p < und E Y q <, wobei p, q > 1 mi 1/p + 1/q < 1. Dann gil E(XY ) E(X)E(Y ) 8 X p Y q (α(b, C)) 1 1/p 1/q. Wir berachen nun den folgenden wichigen Spezialfall: {X } sei eine srik saionäre α-mischende Zeireihe, so dass das (2 + δ)-e Momen exisier, d.h. E X 2+δ <. Wir können dann im obigen Lemma p = q = 2+δ wählen, so dass 1/p+1/q = 2/(2+δ) < 1. Dann gil für den k-en Auokovarianzkoeffizienen ρ(k) = E(Y Y +k ) E(Y )E(Y +k ) 8 Y 1 2 2+δα(k) δ/(2+δ). Erfüllen die Mischungskoeffizienen die Bedingung α(k) δ/(2+δ) <, so folg die absolue Summierbarkei der Auokovarianzen: ρ(k) 8 Y 1 2 2+δ α(k) δ/(2+δ) <. k k k Uner diesen rech schwachen Bedingungen gil neben dem Gesez der großen Zahl auch ein zenraler Grenzwersaz. 3.2. Zenraler Grenzwersaz. Saz 6.4. (Zenraler Grenzwersaz uner Mischungsbedingungen). {Y } sei srik saionärer α-mischende Zeireihe mi EY = 0, E Y 2+δ <, für alle, und α(k) δ/(2+δ) <. k 95
Dann gil wenn, wobei 1 η Y d N(0, 1), η 2 = σ 2 + 2 k ρ(k). 4. Schäzung der Auokovarianzen und Auokorrelaionen Ein wei verbreieer nichparamerischer Schäzer für die Auokovarianzfunkion γ(k), k Z, bzw. Auokorrelaionsfunkion ρ(k) = γ(k)/γ(0), k Z, einer saionären Zeireihe is γ n (k) = 1 n k (X X n )(X +k X n ), n für 0 k n 1. Berache die zugehörige Marix γ n (0) γ n (1) γ n (n 1) Γ n =.. γ n (n 1) γ n (n 2) γ n (0) der geschäzen Auokovarianzen. Man ha die Darsellung n Γ n = U n U n, wenn man 0 0 Y 1 Y 2 Y n 0 Y U = 1 Y 2 Y n 0.. 0 Y 1 Y n 0 0 mi Y i := X i X n sez. Dann gil für jeden Vekor x R n : x Γn x = n 1 x UU x = n 1 (U x) (U x) 0 Folglich is Γ n ses nichnegaiv-defini. 96
5. Newey-Wes-Schäzer Wir sudieren nun den Newey-Wes-Schäzer zur konsisenen Schäzung von Kovarianzmarizen S der Form ( 1 S = Var ) X mi einer Zeireihe {X }, X R l, vor. Der Schäzer finde in der Ökonomerie insbesondere Anwendung bei Regressions- und - allgemeiner - GMM-Modellen mi Zeireihendaen. Wir berachen den GMM-Modellrahmen. Gegeben sei also ein ökonomerisches Modell der Form wobei Eh (ϑ 0 ) = 0, = 1,...,, h (ϑ) = h(z ; ϑ), ϑ Θ R p, mi einer Zeireihe {Z } und einer glaen Funkion h. Beispiele sind das lineare Modell mi KQ- oder IV-Schäzung oder allgemeiner der GMM- Ansaz. Berachen wir speziell das lineare Modell: Dor gil h (ϑ 0 ) = ɛ X, ɛ = Y x ϑ 0. Der KQ-Schäzer erfüll Var ( ( ϑ ϑ 0 )) = ( 1 X X ) 1 Var 1 E( ɛ X }{{} ) ( 1 X X ) 1. =h (ϑ 0 ) Hier is also ( 1 S = Var = 1 s=1 ) E(ɛ X ) (Eh (ϑ 0 ))(Eh s (ϑ 0 )) 97
Dieser Ausdruck is zu schäzen. Schreib man die Doppelsumme als Summe über die Haup- und alle 1 Nebendiagonalen der Marix (Eh s (ϑ 0 )h (ϑ 0 ) ) s,, so is S = 1 1 Eh 2 + 2 j=1 =j+1 E(h h j ) Der Newey-Wes-Schäzer is gegeben durch Ŝ = Γ m 0 + w(j, m)[ Γ j + Γ j] mi wobei j=1 Γ j = 1 =j+1 ĥ ĥ j ĥ = h(z ; ϑ ). Die Marizen Γ j sind die naürlichen nichparamerischen Schäzer für die Auokovarianzmarizen zum Lag j. Der Schäzer verwende nur die ersen m Nebendiagonalen, die durch die Gewiche w(j, m) = 1 j m + 1 sukzessive runergewiche werden. Die Gewiche w(j, m) erfüllen die Bedingungen (W1) w(j, m) C w für alle j, m. (W2) für alle 0 j m gil: w(j, m) 1, wenn m. Wir werden sehen, dass man jede Gewichsfunkion verwenden darf, welche diese beiden Bedingungen erfüll. Is die Funkion h(z; ϑ) zweimal seig differenzierbar mi sup E 2 h(z; ϑ 0 ) ϑ ϑ <, so liefer eine aylorenwicklung um ϑ 0 ĥ h = h(z ; ϑ 0 ) ( ϑ ϑ 0 ) + O( ϑ ϑ 0 2 ). ϑ Is also ϑ ein -konsisener Schäzer, d.h. ( ϑ ϑ 0 ) = O P (1), 98
so sind die Schäzungen ĥ gleichmäßig in konsisen mi Rae, d.h. sup ( ĥ h ) = O P (1). Diese leze Bedingung reich für den Beweis der Konsisenz des Newey-Wes-Schäzers aus und mach ihn auch ein wenig übersichlicher. Saz 6.5. (Newey und Wes, 1987). Gele (i) {Z } α-mischend mi und α(j) 2/(2+δ) < j E Z 1 2+δ <. (ii) h = h(z ; ϑ) sei zweimal seig differenzierbar in ϑ mi und E h (ϑ 0 ) 2 <. sup (iii) Es gil die Momene-Bedingung 2 h(z ; ϑ) ϑ ϑ = O P (1) E(h (ϑ 0 )) = Eh(Z ; ϑ 0 ) = 0 (iv) ĥ seien gleichmäßig in -konsisene Schäzungen für h : ( ĥ h ) = O P (1) (v) Die Gewichsfunkion w erfüll die Bedingungen (W1) und (W2). Dann folg Ŝ S P 0,, falls m 0,. Bemerkung 6.1. Schäz man die h mi der Rae γ, so dass sup γ (ĥ h ) = O P (1), 99
so gil die Aussage des Sazes, wenn m 0,. 1/2+γ Beweis. Angenommen, die Aussage sei für Dimension p = 1 schon bewiesen. Es gil genau dann, wenn Zur Abkürzung sezen wir i.f. Nun is Da die eindimensionale Zufallsvariablen Ŝ S P 0, c Ŝ c c S c P 0,. h = h(z ; ϑ 0 ), ĥ = h(z ; ϑ 0 ). ( ) c 1 S c = Var h = c 1 E(h h )c s, = 1 E((c h )(c h )) s, ( ) 1 = Var c h. h c, = c h die Momene-Bedingung E(h c, ) = 0 erfüllenund h c, c h gil, sind die Voraussezungen des Sazes erfüll. Somi is konsisen für Ŝ,c = 1 (c h ) 2 + 2 = c Ŝ c m j=1 =j+1 S,c = c S c. 100 w(j, m)(c h )(c h j )
Also folg Ŝ S P 0 für beliebige Dimension p > 1, wenn wir den Saz für p = 1 zeigen. Wir zeigen zunächs, dass wir S = 1 E(h 2 ) + 2 (Summaion über alle Diagonalen) durch S = 1 E(h 2 ) + 2 m 1 i=1 =j+1 j=1 =j+1 E(h h j ) w(j, m)e(h h j ) (Summaion über Haupdiagonale und die ersen m Nebendiagonalen) approximieren können: S 2 1 S E(h h j ) j=m+1 =j+1 2 m + (w(j, m) 1) E(h h j ) 2 j=1 m w(j, m) 1 1 j=1 + 2 1 j=m+1 =j+1 =j+1 =j+1 Eh h j E(h h j ) Aus der Mischungsbedingung an {Z } folg wegen Eh = 0 Eh h j = C δ α(j) δ/(2+δ) für eine Konsane C δ. Ferner gib es eine Konsane K, so dass α(j) 2/(2+δ) K, j, da j α(j)2/(2+δ) <. Den zweien erm können wir nun wie folg abschäzen: 2. erm = 2 2 0, 1 j=m+1 =j+1 1 j=m+1 101 Eh h j j C δα(j) 2/(2+δ)
da j α(j)2/(2+δ) <, also nach dem Cauchy-Krierium 1 j=m+1 α(j)2/(2+δ) gegen 0 konvergier, wenn m,. Kommen wir zum 1. erm: 1. erm 2 m j=1 w(j, m) 1 j C δα(j) 2/(2+δ) m 2C δ w(j, m) 1 α(j) 2/(2+δ). j=1 Wir wenden den Saz von der dominieren Konvergenz mi dem Zählmaß dµ(k) und der Folge an. Es gil für alle k N (also punkweise) f m (k) = 1(k m) w(k, m) 1 α(k) 2/(2+δ) f m (k) 0, m, da nach Voraussezung w(j, m) 1, wenn m. Ferner is g(k) = α(k) 2/(2+δ) wegen g(k) dµ(k) = k α(k) 2/(2+δ) < eine inegrable Majorane. Dami folg m f m (k) dµ(k) = w(k, m) 1 α(k) 2/(2+δ) 0, wenn m. k=1 Es bleib noch zu zeigen, dass wir in S die h durch ihre Schäzungen ĥ ersezen dürfen. Berachen wir die Differenz: Ŝ S = 1 [ĥ2 h 2 ] + 2 m j=1 =j+1 w(j, m)[ĥĥ j h h j ] Wir zeigen, dass die zweie Doppelsumme o P (1) is, wenn m / 0. Nach Voraussezung gil Somi folg ĥ = ĥ + sup ( ĥ h ) = O P (1). ( ĥ h ) = h + O P (1/ ), 102
und somi ĥ ĥ j = (h + O P (1/ ))(h j + O P (1/ )) = h h j + h O P (1/ ) + h j O P (1/ ) + O P (1/ ) und dami 1 ĥ ĥ j = 1 h h j + O P (1/ ) 1 h + O P (1/ ) 1 h j + O P (1/ ). Aus den Voraussezungen des Sazes folg, dass 1 h d N(0, E(h 2 )),, und somi 1 h = O P (1/ ). Insgesam folg daher ĥ ĥ j = h h j + O P (1/ ). Wegen w(j, m) C w erhalen wir die Abschäzung 2 m m w(j, m)[ĥĥ j h h j ] 2C w [ĥĥ j h h j ] j=1 =j+1 0, =j+1 falls m 0. 103