Empirische Mehoden (MA) SS 011 Übungsbla 3 Willi Muschler willi.muschler@uni-muenser.de Saionariä/Ergodiziä 1. Beanworen Sie folgende Fragen: (a) Was verseh man uner einem sochasischen Prozess, was uner einer Zeireihe? Soluion: Definiion 1 (Sochasischer Prozess): Eine Sequenz (X (ω)) von Zufallsvariablen oder -vekoren, die alle auf demselben Wahrscheinlichkeisraum 1 (Ω,A,P) definier sind, nenn maneinen sochasischen Prozess. Üblicherweise is der Zeiparameer = N oder = Z oder = R. Im Falle reeller Zufallsvariablen is ein sochasischer Prozess also (vereinfach) eine Funkion: X : Ω R, (ω,) X(ω,) := X (ω) fix variabel ω fix X (ω) is eine reelle Zahl X (ω) is eine Sequenz von reellen Zahlen. Pfad, Realisaion, rajekorie ω variabel X (ω) is eine Zufallsvariable X (ω) is ein sochasischer Prozess Ein sochasischer Prozess häng also sowohl vom Zufall als auch von der Zei ab. Im Zeiablauf nehmen die einzelnen Variablen X (ω) dieses sochasischen ProzessesbeobacheeWere(Ausprägungen),diesogenannenRealisaionen(x ) derzufallsvariablen(x (ω)) an.diesequenzausbeobacheen Weren bezeichne man als Zeireihe. Häufig werden die Begriffe Zeireihe und sochasischer Prozess auch synonym verwende. Normalerweise haben wir den Prozess jedoch nich zu allen Zeipunken aus, sondern nur zu N verschiedenen Zeipunken beobache. Der beobachee Pfad, also die Zeireihe, ha dann die Länge und wir bezeichnen ihn mi x 1,...,x. Jede einzelne dieser Zufallsvariablen besiz eine eigene Wahrscheinlichkeisvereilung mi eigenem Erwarungswer und eigener Varianz: E(x ) und var(x ). Ferner läss sich zwischen je zwei dieser Zufallsvariablen eine Kovarianz definieren: cov(x,x +s ), dabei seh s für den zeilichen Absand zwischen diesen beiden Zufallsvariablen. 1 Für Ineressiere: ω Ω sind die Elemene der Ergebnismenge Ω (Menge aller Elemenarereignisse), A is die Ereignisalgebra (meis σ Algebra) und P is das Wahrscheinlichkeismaß auf A.
Emp. Mehoden (MA)/Bla 3 Page of 11 Willi Muschler (b) Warum brauch man für die Arbei mi Zeireihendaen andere saisische Mehoden als für Querschnisdaen? Soluion: Realisaionen X (1) 1 X () 1... X (n) 1 Zei X (1) X ()... X (n) X (1) 3 X () 3... X (n) 3...... X (1) X ()... X (n) Querschnisdaen: Wir ineressieren uns für besimme Momene z.b. für den Erwarungswer µ 1 einer Zufallsvariablen X 1. Diese Momene sind jedoch unbekann. Wir verfügen allerdings über eine Sichprobe X (1) 1,...,X (n) 1 aus X 1, wobei n eine hinreichend große naürliche Zahl is. Die Sichprobe is unabhängig und idenisch vereil (i.i.d.), insbesondere gil also E[X (i) 1 ] = E[X 1 ] = µ 1 für alle i = 1,...,n Wir können somi µ 1 aus den Daen schäzen. Ein guer Schäzer für µ 1 is beispielsweise µ 1 (X (1) 1,...X (n) 1 ) := 1 n n i=1 X (i) 1 (1) Um den Erwarungswer von X 1 zu schäzen, mieln wir also ganz einfach über die Realisaionen aus X 1. Der Schäzer ha wünschenswere Eigenschafen: Er is erwarungsreu und konsisen : E[ µ 1 (X (1) 1,...X (n) 1 )] = µ 1 p lim n µ 1 (X (1) 1,...X (n) 1 ) = µ 1 Zeireihendaen: In der Zeireihenanalyse haben wir nich nur eine Zufallsvariable X 1, sondern wir ineressieren uns für mehrere Zufallsvariablen X 1,...,X. Wiederum kennen wir die Momene nich. Allerdings haben wir nun nich mehr nur einen unbekannen Erwarungswer, sondern im Allgemeinen sind µ für alle = 1,..., unbekann. Eigenlich is dies kein Problem: heoreisch können wir wie oben eine Schäzer sind konsisen, wenn eine Vergrößerung der Sichprobe dazu führ, dass der Schäzer näher am wahren Wer des zu schäzenden Parameers lieg. Im Idealfall unendlich vieler Beobachungen sollen Schäzwer und wahrer Parameer idenisch sein.
Emp. Mehoden (MA)/Bla 3 Page 3 of 11 Willi Muschler Sichprobe der Länge n aus X 1 ziehen und µ 1 wie oben schäzen. Den Vorgang müssen wir lediglich für =,..., wiederholen. Leider is diese Vorgehensweise normalerweise unmöglich, da wir im Allgemeinen nur über einen Pfad verfügen. Wir haben also jede der Zufallsvariablen X 1,...,X jeweils nur einmal (und nich n-mal) beobache. Um den Erwarungswer µ zu schazen, können wir also nich mehr über die Realisaionen in der -en Zeile der obigen abelle mieln (denn wir verfügen nur über eine Realisaion von X ). Dami fäll der Schäzer aus Gleichung (1) weg. DieeinzigenDaendiewirhabensindjeweils einerealisaionvon X 1,...,X. Diese Sichprobe X (1) 1,...,X (1) is nich mehr i.i.d.: DieSichprobenvariablenX (1) 1,...,X (1) sind nich unbeding unabhängig voneinander. Normalerweise is der Zusand morgen X (1) +1 abhängig vom Zusand heue, X (1) für alle = 1,..., 1. Die Sichprobenvariablen X (1) 1,...,X (1) sind nich unbeding idenisch vereil. Um über die Zei anselle von Realisaionen mieln zu können, um also µ (X (1) 1,...,X(1) ) := 1 =1 X (1) () als Schäzer für µ zu verwenden, muss der sochasische Prozess zwei Bedingungen erfüllen: Saionariä und Ergodiziä! Dabei sell die Ergodiziä das erse i, also die unabhängige und die Saionariä das zweie i, also die idenische Vereilung wieder her. (c) Definieren Sie Saionariä und Ergodiziä. Soluion: Definiion (Sarke Saionariä): Sei (X ) ein sochasischer Prozess, und für n N seien die Zeipunke 1,..., n gegeben. Der Prozess (X ) heiß sark saionär, falls für s gil: P(X 1 x 1,...,X n x n ) = P(X 1 +s x 1,...,X n+s x n ) Bemerkungen: Mi dieser Definiion is die gemeinsame Vereilung von X 1,...X n und X 1 +s,...x n+s gleich. Sarke Saionariä is allerdings analyisch schwieriger handhabbar als die schwache Saionariä. Definiion 3 (Schwache Saionariä): Der sochasische Prozess (X ) heiß schwach saionär, falls die beiden ersen Momene exisieren und für alle
Emp. Mehoden (MA)/Bla 3 Page 4 of 11 Willi Muschler und alle passenden j Z E[X ] = µ = µ gil und falls nur von j abhäng. Cov[X,X j ] =: γ j Jeder Zeipunk muss also Informaionen über den gleichen Daengenerierenden Prozess (die gleiche Vereilung) liefern. Bemerkung: Wegen Var[X ] = Cov[X,X ] = γ 0 implizier diese Definiion auch eine im Zeiablauf konsane Varianz. Definiion 4 (Ergodiziä): Sei X (1) 1,X(1),...,X(1) ein Pfad der Länge von einem schwach-saionären sochasischen Prozess (X ) mi Erwarungswer µ. Der Prozess heiß mielwer-ergodisch, wenn für jedes ε > 0 gil 3 ( 1 p lim =1 X (1) ) = µ (3) Bemerkung: Inhallich besag diese Bedingung, dass wir den Erwarungswer konsisen schäzen können, wenn die Länge des Pfades (d. h. die Anzahl der Zeipunke, zu denen wir den Prozess beobache haben) zunimm. Bei Ergodiziä =1 X(1) geh es also darum, ob das empirische Miel (über die Zei) 1 gegen den Erwarungswer µ konvergier. Also, ob das Gesez der großen Zahlen auch für eine Folge abhängiger Zufallsvariablen gil. Eine wichige Vorraussezung is das sogenanne eingeschränke Gedächnis: Zeilich wei auseinander liegende Beobachungen dürfen nich zu sark zusammenhängen. Jeder Zeipunk solle ausreichend viele eigensändige Informaionen liefern und nich nur die gleichen Informaionen wie der vorherige. Auf eine Formalisierung dieses Konzeps soll verziche werden, da es für die prakische Anwendung kaum relevan is. (d) Begründen Sie aufgrund der folgenden Realisaionen, welche der zugrunde liegenden Zeireihen ( ) Z, (U ) Z, (V ) Z bzw. (W ) Z saionär sein können. 3 Konvergenz nach Wahrscheinlichkei, vgl. Übungsbla 5.
Emp. Mehoden (MA)/Bla 3 Page 5 of 11 Willi Muschler 10 0 8 6 15 4 U 10 0 5 0 0 50 100 150 00 0 50 100 150 00 400 4 00 V 0 W 0 00 4 0 50 100 150 00 0 50 100 150 00 Soluion: Der Prozess ( ) Z schein saionär zu sein. DerProzess(U ) Z schein nich saionärzusein,dennerhaeinenlinearen rend. Der Prozess (V ) Z schein nich saionär zu sein, denn die Varianz wächs im Zeiablauf. Der Prozess (W ) Z schein nich saionär zu sein, denn er ha einen nichlinearen rend. Als rend bezeichne man dabei eine langfrisige Bewegung, um die der Prozess herum flukuier. (e) Sei (Z ) Z ein sochasischer Prozess mi Z = ε für alle Z, wobei ε N(µ,σ ). (1) Is (Z ) saionär? () Is (Z ) ergodisch? Was bedeuen die Ergebnisse aus (i) und (ii) für die Schäzung von µ und σ? Soluion: (1) Der Prozess is schwach saionär, denn für alle,s Z gil: Konsaner Erwarungswer E(Z ) = E(ε) = µ. Zeiunabhängige Kovarianzfunkion Cov(Z,Z +s ) = Cov(ε,ε) = Var(ε) = σ. () Sei Z (1) 1,Z(1),...,Z(1) ein Pfad der Länge von (Z ). Der Prozess wäre
Emp. Mehoden (MA)/Bla 3 Page 6 of 11 Willi Muschler mielwer-ergodisch, wenn p lim ( 1 =1 Z (1) ) = µ Der Erwarungswer läss sich also konsisen schäzen, wenn die Länge des Pfades zunimm. Bei uns is jedoch: 1 =1 Z (1) = 1 ε = ε =1 Die Schäzung von µ erfolg somi immer allein aufgrund einer einzelnen Realisaion der Zufallsvariablen ε und zwar unabhängig von der Länge des Pfades. Ein längerer Pfad liefer überhaup keine weieren eigensändigen Informaionen. Der Prozess is also nich mielwer-ergodisch, da der Wahrscheinlichkeislimes nich exisier. Die Saionariä alleine reich nich aus um µ und σ erwarungsreu und konsisen zu schäzen. Der Prozess ha nämlich ein unendlich langes Gedächnis (er is nich ergodisch), denn die Realisaion zu jedem Zeipunk is gleich der Realisaion zum Zeipunk 1. Die Realisaionen sind somi vollsändig voneinander abhängig. Den Erwarungswer des Prozesses aufgrund von Z (1) 1,...,Z (1) zu schäzen is daher das gleiche wie der Versuch den Erwarungswer der Zufallsvariablen ε aufgrund einer einzelnen Realisaion zu schäzen das funkionier nich! Sochasische Prozesse. Sei (Z ) Z ein sochasischer Prozess, gegeben durch Z iid N(0,1) für alle Z. (a) Zeigen Sie, dass (Z ) ein Whie-Noise-Prozess WN(0,1) is. Is (Z ) saionär? Soluion: Ein Prozess Z heiß Whie-Noise, wenn E(Z ) = 0,Var(Z ) = Cov(Z,Z ) = γ 0 = σ,cov(z,z +s ) = γ s = 0 für s 0 Ein Whie-Noise Prozess is somi immer saionär. Hier gil: E(Z ) = 0 Var(Z ) = γ 0 = 1 Cov(Z,Z +s ) = γ s = 0, denn Z is i.i.d. Alle Bedingungen sind somi erfüll.
Emp. Mehoden (MA)/Bla 3 Page 7 of 11 Willi Muschler iid (b) Prüfen Sie, ob folgende Prozesse saionär sind (ε N(0,σ )): ε < 1990 (1) X = Wie heiß ein solcher Prozess? ε +c 1990,c 0 () X = X 1 +ε Wie heiß ein solcher Prozess? (3) X = ε +θε 1 Wie heiß ein solcher Prozess? Soluion: (1) Nich saionär, da kein konsaner Erwarungswer: E(ε ) = 0 < 1990 E(X ) E(ε +c) = c 1990,c 0 Man sprich in der Ökonomerie auch von einem Srukurbruch. () Nich saionär, da X = X 0 +Z 1 + +Z = X 0 + Z i i=1 E(X ) = E(X 0 ) Var(X ) = Var(X 0 )+Var( Z i ) = Var(X 0 )+ = Var(X 0 )+σ i=1 Var(Z i ) = Var(X 0 )+ i=1 i=1 σ Keine konsane Varianz! Dies is ein sogenanner Random-Walk und er bilde den wichigsen Prooypen nich-saionärer Prozesse. Hierauf beruhen viele saisische ess!
Emp. Mehoden (MA)/Bla 3 Page 8 of 11 Willi Muschler (3) Der Prozess is saionär, da E(X ) = E(ε )+φe(ε 1 ) = 0 γ 0 = Var(X ) = Var(ε )+Var(φε 1 ) = σ +φ σ = (1+φ )σ γ 1 = Cov(X,X 1 ) = E(X X 1 ) E(X ) E(X }{{} 1 ) = E(X }{{} X 1 ) =0 =0 = E([ε +φε 1 ][ε 1 +φε ]) = E(ε ε 1 ) +φe(ε }{{} 1)+φE(ε ε ) +φ E(ε }{{} 1 ε ) }{{} =0 =0 =0 = φe(ε 1 ) = φσ γ = Cov(X,X ) = E(X X ) E(X ) E(X }{{} ) = E(X }{{} X ) =0 =0 = E([ε +φε 1 ][ε +φε 3 ]) = E(ε ε ) +φe(ε }{{} 1 ε ) +φe(ε }{{} ε 3 ) +φ E(ε }{{} 1 ε 3 ) }{{} =0 =0 =0 =0 = 0 γ 3 = 0. Dies is der Moving-Average Prozess erser Ordnung, kurz: MA(1)-Prozess. Das Besondere is, dass bei MA(n)-Prozessen die Auokovarianzfunkion ab der Ordnung n den Wer Null annim. Im obigen Fall gib es nur die Auokovarianz γ 1. Der Prozess wird deshalb auch Prozess mi kurzem Gedächnis ( shor memory ) bzw. kurzer Abhängigkei ( shor range dependence ) genann. (c) (Schwer und ricky!) Ein weierer sochasischer Prozess (X ) Z sei definier durch Z falls gerade, X := (Z 1 1)/ falls ungerade. Zeigen Sie, dass (X ) zwar WN(0,1), aber nich IID is. Hinweis: Für die San-
Emp. Mehoden (MA)/Bla 3 Page 9 of 11 Willi Muschler dardnormalvereile Variable Z gil folgendes für alle Z: Erwarungswer = 0: E(Z ) = 0 (4) Varianz = 1: Var(Z ) = E(Z ) [E(Z )] = E(Z ) = 1 (5) E(Z 3 Schiefe = 0: ) [Var(Z )] = E(Z) 3 3/ 1 E(Z 4 Kurosis = 3: ) [Var(Z )] = E(Z 4) 4/ 1 = 0 (6) = 3 (7) Soluion: Der Prozess is Whie-Noise, denn nach Aufgabeneil (a) gil für alle geraden Were von : E(X ) = E(Z ) = 0 und Var(X ) = Var(Z ) = 1. Für ungerade Were von gil: ( ) Z E(X ) = E 1 1 = 1 E(Z 1) 1 = 1 (1 1) = 0 }{{} vgl. (5) ( ) Z Var(X ) = Var 1 1 = 1 Var(Z 1) = 1 E(Z 4 1) }{{} vgl. (7) [E(Z 1) ] }{{} vgl. (5) = 1 [3 1] = 1 Nun bleib noch zu zeigen, dass (X ) nich auokorrelier is: Für ein gerades und j = 1 is Cov(X,X +1 ) = E(X X +1 ) E(X ) E(X }{{} +1 ) = E(X }{{} X +1 ) =0 =0 ( ) Z 3 = E Z = 1 [E(Z) E(Z 3 )] = 1 E(Z }{{} ) 3 = 0 }{{} =0 vgl. (6) Offensichlich is die Kovarianz ebenfalls 0 für j > 1 (Ausprobieren!). Somi is (X ) ein Whie-Noise-Prozess. Allerdings sind die einzelnen Beobachungen nich unabhängig. Dies zeigen wir, durch einen Widerspruchsbeweis: BeiUnabhängigkeiwärebeispielsweise E(X +1 X ) = E(X +1 ) = 0füralle Z. Für ein gerades gil jedoch E(X +1 X = x ) = E [ Z 1 Z = x ] = x 1 0 = E(X +1 ) Wir haben somi gezeig, dass der Prozess zwar Whie-Noise, aber nich IID is.
Emp. Mehoden (MA)/Bla 3 Page 10 of 11 Willi Muschler 3. (Schwer!) Geben Sie eine obere Grenze für den Parameer α im Modell X = 0.5X 1 +αx +Z mi Z WN(0,σ ) an, uner der der Prozess saionär is. Soluion: (1 0.5L αl ) = (1 λ 1 L)(1 λ L) = 1 (λ 1 +λ ) L+λ }{{} 1 λ }{{} =0.5 = α Die Saionariäsbedinung besag nun, dass die Nullsellen des charakerisischen Polynoms außerhalb des Einheiskreises liegen müssen, d.h. folgende Bedingungen gelen: λ 1 1 > 1 und λ 1 > 1 1 < λ 1 < 1 und 1 < λ < 1 (8) Es gil nun also folgendes Gleichungssysem zu lösen: L λ 1 +λ = 0.5 λ 1 λ = α Ineinander einsezen und Beachen von (8) ergib: λ 1 = 0.5+ α λ 1 < 1 α 0.5 < λ 1 α 0.5 < λ 1 < 1 α < 0.5 Die Obergrenze für α is somi 0.5. Für Were darüber is der Prozess nich saionär. Empirische Aufgabe
Emp. Mehoden (MA)/Bla 3 Page 11 of 11 Willi Muschler 4. Öffnen Sie das in der lezen Übung erselle workfile. In diesem befinden sich Daen des jährlichen Wirschafswachsums g und der Arbeislosenrae ur. Das Okunsche Gesez beschreib die Korrelaion zwischen Produkionswachsum und Arbeislosigkei in einer Volkswirschaf. Dabei gil, dass ein Produkionswachsum über einem naürlichen Niveau g zu einer Abnahme der Arbeislosigkei führ. Formal gil es folgenden Zusammenhang zu unersuchen: ur ur 1 = γ(g g ) (a) Welches Vorzeichen erwaren Sie für γ? Soluion: Die Haupaussage des Gesezes beseh darin, dass ein über eine besimme Rae hinausgehendes Wachsum (normales Produkionswachsum oder Beschäfigungsschwelle genann) mi einem Rückgang der Arbeislosenquoe einhergeh. Is das Wirschafswachsum niedriger als das normale Produkionswachsum g, seig die Arbeislosenquoe. Wir erwaren also ein negaives Vorzeichen. (b) Schäzen Sie das Okun schen Gesez. Wie hoch is lau ihrer Schäzung das normale Produkionswachsum g in Deuschland gewesen? Besiz γ das erwaree Vorzeichen? Soluion: Zunächs muss man die Gleichung in eine schäzbare Form bringen: ur ur 1 = d(ur ) = γg + γ g }{{}}{{}}{{} +u }{{} (9) y β 0 β 1 x Die Schäzung liefer: β 0 = 0.6556 und β 1 = 0.37747. Die Ergebnisse sind saisisch signifikan und auch der F-es lehn ab. Berachung des Residuenplos gib aber schon Hinweise auf eine Fehlspezifikaion (Dies ignorieren wir ers mal.). Dami is g = β 0 γ =.756131 und γ = β 1 = 0.37747 ha das erwaree Vorzeichen. (c) Was halen Sie als Ökonomeriker von der Validiä der Schäzung? Soluion: Die Validiä der Schäzung leide vor allem uner dem Endogeniäsbias. Es kann hier nich von Exogeniä des Wirschafswachsums ausgegangen werden, da es Rückkopplungen von der Arbeislosigkei auf das Wirschafswachsum und umgekehr gib (Simulane Kausaliä). Ökonomerisch heiß dies, dass die Annahme E(u i X) = 0 verlez is. Der Regressor is also korrelier mi dem Sörerm. Der OLS Schäzer is sysemaisch verzerr, man kann den direken Einfluss NICH erwarungsreu messen!