Zeitreihenökonometrie

Transkript

1 Zeireihenökonomerie Kapiel 4 Schäzung univariaer Zeireihenmodelle

2 Y = c+ α Y + + α Y + ε + βε + + β ε p p q q Problem: Direke Schäzung der Parameer α,, αp und β,, βq über OLS nich möglich, da die Residuen mi i=,...,n nich bekann sind. ε i ( ) Es exisieren verschiedene Mehoden zur Schäzung von ARMA Modellen Momenenmehode (Yule-Walker Gleichungen) Kleinse-Quadrae Schäzungen (OLS) Condiional Leas Squares (CLS) Uncondiional Leas Squares (UCLS) Maximum-Likelihood Schäzungen (ML) => Voraussezung: Modellordnung (p,q) des ARMA-Prozesses is bekann!!!!

3 Momenenmehode Die Idee der Momenenmehode beseh darin, so viele empirische Momene mi den heoreischen Momenen gleichzusezen, wie es Parameer zu schäzen gib, und die resulierenden Gleichungen nach den unbekannen Parameern aufzulösen. Für reine AR-Prozessen liefer die Momenenmehode opimale Schäzer. Für reine MA- Prozesse oder gemische ARMA-Prozesse sind diese Schäzer jedoch i.a. nich opimal. Die Were dienen dann of als Sarwere für ieraive Mehoden. Ein Beispielverfahren is die Yule-Walker Gleichung, bei der die Schäzer der AR- Koeffizienen ieraiv aus den empirischen Auokorrelaionsfunkionen berechne werden. 3

4 Momenenmehode Für AR(p)-Prozesse sind die YULE-WALKER-Schäzer opimal in dem Sinne, dass Sie für T die kleinse Varianz besizen. Grund: AR(p)-Modelle sind linear in den Koeffizienen und YULE-WALKER-Schäzer sind dami im Wesenlichen KQ-Schäzer. Im Prinzip können die YULE-WALKER-Schäzer auch für MA(q)- und ARMA(p,q)-Prozesse mi q > 0 angewende werden. Die YULE-WALKER-Schäzer sind dann jedoch nich mehr in dem oben beschriebenen Sinne opimal. Bereis die Anwendung auf den MA()-Prozess zeig, dass dies zu einem nichlinearen Gleichungssysem für die beiden Parameer führ, das u.u. keine oder mehrere Lösungen ha. 4

5 Kleinse-Quadrae Schäzungen (OLS) von ARMA Modellen Y = c+ α Y + + α Y + ε + βε + + β ε p p q q Ziel: Minimierung der Quadrasumme der Residuen N i= ε i min Beispiel: ARMA(,) Y = α Y + ε + βε ε = Y αy βε ε Besimmung der unbekannen : Vernachlässigung der Sarwere (CLS) Schäzung geeigneer Sarwere (UCLS) 5

6 Condiional Leas Squares Schäzung (CLS) Iniialisierung: Y = ε = 0 für 0 Es gehen aber die ersen p-beobachungen verloren!!! ε = Y αy βε für 0 Berechne rekursiv: ε = Y ( ) ( ) ε = Y αy βε = Y αy βy = Y Y β + α ( ) ε = Y αy βε = Y αy β Y Y β + α Minimiere die nichlineare Funkion: min α, β N i= ε i 6

7 Uncondiional Leas Squares Schäzung (UCLS) ARMA(p,q)-Prozess laue bei der ersen Beobachung wie folg: Y = c + αy α Y + + ε + βε p p β ε q q+ Y0, Y,..., Y p+ ε,..., 0 ε q + Y j Die Were und sind aber unbekann. Bei der UCLS Mehode wird für die nich beobacheen -Were jeweils der Mielwer eingesez und die nich beobacheen Sörgrößen werden jeweils ihrem Erwarungswer Null gleichgesez. Die Kleins-Quadra-Schäzung is auf Grund dieser Annahmen möglich. Die geschäzen Parameer können bei sehr großem Sichprobenumfang analog zum bekannen Regressionsmodell geese werden. Sie sind asympoisch unverzerr, konsisen und asympoisch normalvereil. ε k 7

8 Maximum Likelihood Schäzung (ML) Das Sandardverfahren zur Parameerschäzung bei reinen MA-Modellen und gemischen und ARMA-Modellen is die Maximum-Likelihood-Mehode. Bei dieser Mehode werden diejenigen Parameer gewähl, die den Wer der gemeinsamen Diche an der Selle der Sichprobe (die vorliegende Zeireihe) maximieren. Der ML-Schäzer des Parameervekors bei einer gegebenen Sichprobe is der Vekor, der die Wahrscheinlichkei(sdiche) genau diese Sichprobe zu erhalen, maximier. Probleme: Fehlende Erwarungsreue des ML-Schäzers Hoher numerischer Rechenaufwand 8 Vereilungsannahme

9 Idee der Maximum Likelihood Schäzung Zusammenfassung aller Modellparameer im Vekor Vereilungsannahmen bezgl. der Sichprobenvariablen Berechnung der gemeinsamen Dichefunkion Berachung der Dichefunkion als Funkion im unbekannen Parameervekor ( θ ) = Y, ( ),...,,,..., ; Y Y θ ( ) θ L f y y y ( ) Maximiere log L θ bezgl. Y,..., YT (,,..., ) f y y y Y, Y,..., Y θ = α α β β σ [ c... p... q ] 9

10 Maximum Likelihood Schäzung (ML) Die ML Mehode geh von der Likelihood Funkion aus, die die Wahrscheinlichkei, die { } T vorliegende Zeireihe zu beobachen, als Funkion eines Vekors von den θ Parameern beschreib. Y = Ziel is es, den Vekor an Parameern zu schäzen, der den naürlichen Logarihmus der Likelihood Funkion maximier. θ Wichig: Die Dichefunkion einer normalvereilen Zufallsvariable y is definier als: ( y μ) ( ) fy y μσ, = exp πσ σ 0

11 Sidesep: Bedinge Wahrscheinlichkeien Wie groß is die Wahrscheinlichkei beim Würfeln eine zu erhalen, wenn man schon weiß, dass eine gerade Zahl gewürfel wurde? Wahrscheinlichkei eine gerade Zahl zu erhalen: Wahrscheinlichkei eine zu würfeln: Gemeinsame Wahrscheinlichkei eine und eine gerade Zahl zu erhalen: Die Wahrscheinlichkei eine zu erhalen, wenn eine gerade Zahl gewürfel wurde, kann mi Hilfe der folgenden Gleichung besimm werden (bedinge Wahrscheinlichkei): ( A B ) 6 P = ( B ) 6 P = ( ) = P A P ( ) ( A B ) P B A = = 6 = P ( A ) 3 Bayes Formel

12 Sidesep: Bedinge Wahrscheinlichkeien II Die einfache gemeinsame Wahrscheinlichkei von Ereignissen läss sich wie folg berechnen: P Bei 3 Ereignissen sind die gemeinsame Wahrscheinlichkei so aus: P ( A B) = P( A) P( B A) ( ) ( A B C) = P( A B) P( C A B) ( ) Sez man jez man die Gleichung () in Gleichung () ein und nimm an, dass die bedinge Wahrscheinlichkei von C nur von B abhäng, erhäl man: P ( A B C) = P( A) P( B A) P( C B)

13 AR()-Prozess Für den Prozess mi iid Y ( 0, ) ε ~ N σ = c + Y α + ε soll eine ML-Schäzung des Parameervekors erfolgen. θ = ( c, α, σ ) Die Likelihood-Funkion beschreib für einen gegebenen Parameervekor { } T Y = θ = die Wahrscheinlichkei dafür, dass die vorliegende Zeireihe realisier wurde. ( c, α, σ ) 3

14 Exake Likelihood Besimmung Beginn mi der ersen Realisaion des Zeireihenprozesses. Wir wissen: E E c = μ = α σ Y μ = α ( Y ) ( ) Auf Grund der Normalvereilung der Sörgröße is auch normalvereil. Die Dichefunkion der normalvereilen Zufallsvariable laue: Y ( y c/ ( α) ) fy ( y ) ; θ = exp /( ) /( ) πσ α σ α ε Y Y { } T Y = 4

15 Für die zweie Beobachung gil: Y = c + α Y + ε Die bedinge Wahrscheinlichkei von bei gegebenen is wegen der ε Normalvereilung von auch normalvereil ( Y Y = y) ~ N( c+α y, σ ) Y = y Y mi zugehöriger Dichefunkion f ( y y, θ ) = exp Y Y πσ ( y c α y ) σ Y Y Für die beiden Zufallsvariablen und kann die gemeinsame Dichefunkion mi Hilfe der bedingen Vereilung berechne werden: (,, θ ) = (, θ ) (, θ ) f y y f y y f y Y, Y Y Y Y 5

16 Y Y,,..., Y In einem AR()-Prozess nehmen die Zufallsvariablen nur durch die Zufallsvariable Y Einfluss auf Y. Die bedinge Diche für Y is definier als: ( y c α y ) f ( y ) ( ),...,,..., ; ; exp YY Y y y θ f y YY y θ = = πσ σ Die gemeinsame Diche für die ersen beobacheen Realisaionen von läss sich nun rekursiv besimmen (,,..., ; θ ) = ( ; θ) (,,..., ; θ) f y y y f y y f y y y Y, Y,..., Y YY Y, Y,..., Y Y 6 Und als gemeinsame Diche bzw. Likelihood Funkion L der gesamen Zeireihe formulieren: (,,..., T; θ ) Y ( ; θ) ( ; θ) L y y y = f y f y y YY T =

17 Die logarihmiere Likelihood Funkion des AR-Prozesses läss sich schreiben als: ( θ ) = Y ( θ) + Y Y ( θ) ln L ln f y ; ln f y y ; T = Sez man die Were der Dichefunkionen ein, so enseh folgendes Ergebnis: ( α ) c Y ( α ) ln L( θ) = ln ( π) ln T / ln π T / ln σ ( ) T σ ( Y c αy ) ( ) ( ) ( ) ( ) α σ = σ erse Beobachung 7

18 Die Maximierung der logarihmieren Likelihood Funkion für eine gegebene Zeireihe c,α σ mi Hilfe der unbekannen Parameer und liefer die Maximum-Likelihood- Schäzer dieser drei Größen. Dieses ensprich einem nichlinearen Opimierungsproblem, so dass eine analyische Darsellung wie bei der linearen Regression nich möglich is. Numerische Verfahren (Newon-Raphson-Algorihmus, Bernd-Hall-Hall-Hausmann- Algorihmus) werden hier angewende. 8

19 Bedinge Maximum-Likelihood-Besimmung Bei der bedingen ML-Besimmung wird die erse Beobachung nich als Zufallsvariable berache, sondern als deerminisisch gegeben angesehen. Der erse Teil der Likelihood enfäll und die logarihmiere Likelihood Funkion vereinfach sich zu folgender Gleichung: ( θ) ( ) ( π) ( ) ( σ ) ( Y c αy ) T = σ lnl = T /ln T /ln 9

20 Die Maximierung dieser reduzieren Form bezüglich der Parameer und erfolg durch die Minimierung der Summe: T ( Y c αy ) = σ Als Ergebnis aus dem Opimierungsproblem erhäl man die bekannen KQ- Schäzer für die Parameer und α. c c α Als ML-Schäzer für die Varianz erhäl man: σˆ = T = ( Y cˆ αˆ Y ) T 0

21 Die Bedinge ML-Schäzung beim AR()-Prozess is für jeden Wer von zulässig, wohingegen bei der exaken Mehode das beragsmäßig kleiner sein muss als eins, ansonsen sind die Formeln für den Erwarungswer und die Varianz der ersen Y Zufallsvariable hinfällig. Das bedinge Verfahren liefer ses konsisene Schäzer. In der Regel werden AR()- und AR(p)-Prozesse mi Kleins-Quadra-Verfahren geschäz. α α

22 Berachung MA()-Prozess Y iid ε ε ~ N ( 0, σ ) = c + + βε Ziel is eine ML-Schäzung des Parameervekors θ = ( c, β, σ ) ε Für ein gegebenes is wie folg vereil: Y ε ~ N(c +βε, σ ) Y Die bedinge Diche beräg somi: ( y c βε ) fy ( ) ε y ε ; θ = exp πσ σ

23 Wir reffen die Annahme, dass die Sörgröße in Zeipunk =0 ihrem Erwarungswer ensprich o ( ε ) 0 ε = E = o Daraus folg: Y ε ~ N c, 0 ε = y c ( σ ) Die bedinge Diche für Y kann wie folg geschrieben werden: f ( y y ε0 θ) ( y c βε ),( = 0), = exp πσ σ YY, ε0 3

24 Man kann jez auch den Wer für die Sörgröße in Periode besimmen: ε = Y c βε Auf diese Ar können wir uner der Annahme ε = 0 die ganze Folge { ε ε ε },,..., T aus der beobacheen Zeireihe ableien ε = y c βε o 4

25 Die bedinge Wahrscheinlichkei kann jez für jede Realisaion mi folgender Gleichung dargesell werden: ( Y c βε ) f ( )( y,,...,, ( 0 0 ); ) ( ),,...,, 0 0 y y y f y ; exp YY Y Y ε ε = θ = Y ε ε θ = = πσ σ Die Likelihood Funkion der gesamen Zeireihe is somi das Produk dieser bedingen Dichen T ( T, T,..., 0 0 ; ) ( )( ( 0 0 ); ) ( )(,...,, ( 0 0) ) ( ) ( ) ( ) L θ = f y y y ε = θ = f y ε = θ f y y y ε = θ ; YT, YT,..., Y ε0= 0 Y ε0= 0 YT YT,..., Y ε 0= 0 = 5

26 Mi den ensprechenden Weren eingesez, laue die bedinge Likelihood Funkion: ln L ( ) = T ( ) T θ ln π ln ( σ ) T = ε σ Hierbei kann die Folge der ieraiv berechne werden: ε ( ) ( ) ( ) y c y c... ( y c) ( ) = o ε β β β ε Dieses Verfahren sez voraus, dass β < und somi der Einfluss der Annahme ε = 0 rasch an Bedeuung verlier. Die bedinge ML Schäzung is dann eine gue Annäherung an die exake ML Schäzung. o 6

27 Die Parameer und werden nun so gewähl, dass die bedinge Log-Likelihood Funkion maximier wird. Die Maximierung sell wieder ein nichlineares Opimierungsproblem dar und muss mi Hilfe von numerischen Mehoden gelös werden. Eine Verallgemeinerung auf den MA(q)-Prozess is leich möglich, jedoch werden hier die ersen q Were gleich Null gesez und daraus dann ieraiv ε,...,ε T c berechne. β ε,..., 0 ε q + 7

28 ARMA(p,q)-Prozess Für den sochasischen Prozess 8 Y = c + α Y... β ε iid ~ N ( 0, σ ) ( c, α,..., α, β... β σ ) ε α pyp + ε + βε + + mi soll ein ML-Schäzung des Parameervekors θ = p q, erfolgen. Bedinger Likelihood Ansaz Die Approximaion an die Likelihood Funkion erfolge bei:. AR(p)-Prozessen durch die Bedingungen an die Anfangswere. MA(q)-Prozessen durch die Annahmen bezüglich der Sörgrößen 3. ARMA(p,q)-Prozesse sowohl auf als auch auf q q Y0, Y,..., Y p + ε0,..., ε q + Y0, Y,..., Y p + ε ε q 0,..., +

29 Wir können anhand dieser Annahmen die Sörgröße für jeden Zeipunk wie folg besimmen: ε = Y c α Y... β ε Die bedinge Likelihood Funkion kann dann miels der durch Rekursion gewonnenen ε Were für besimm werden.... α py p βε q q ln L ( ) = T ( ) T θ ln π ln ( σ ) T = ε σ Analog zur Bedingung beim MA()-Prozess gil beim ARMA(p,q)-Prozess, 9 β q β L ( ) < dass das Polynom inverierbar sein muss, d.h. alle Wurzeln der Gleichung q + β z β q z = 0 müssen außerhalb des Einheiskreises liegen. Wenn diese Bedingung erfüll is, sell die bedinge Mehode eine gue Approximaion für die exake Likelihood Funkion dar.