10 ARIMA-Modelle für nicht-stationäre Zeitreihen

Transkript

1 10 ARIMA-Modelle für nicht-stationäre Zeitreihen In diesem Abschnitt untersuchen wir einige praktische Aspekte bei der Wahl eines geeigneten Modells für eine beobachtete Zeitreihe X 1,...,X n. Falls die Reihe ein stationäres Verhalten zeigt (Grafik) und die Autokovarianzen schnell genug abklingen, so legt man i.a. ein ARMA(p, q)-modell zugrunde. Falls nicht, versucht man, durch geeignete Transformation (z.b. Differenzenbildung) zu einer ARMA(p, q)-reihe zu kommen. Definition (ARIMA(p, d, q)-reihe ) Für d N 0 heißt {X n } n Z eine ARIMA(p, d, q)-reihe, falls die Zeitreihe {Y n } n Z mit Y n =(1 B) d X n,n Z, eine kausale ARMA(p, q)-reihe bildet. [ ] AutoRegressive Integrierte Moving Average-Zeitreihe. D.h., eine ARIMA(p, d, q)-reihe genügt der Differenzengleichung (10.1) a (B) X n = a(b)(1 B) d X n = b(b) e n, n Z, mit {e n } D WN(0,σ ), dem Backward-Shift-Operator B und Polynomen a (z) = a(z)(1 z) d = (1 a 1 z a p z p )(1 z) d, a p 0, b(z) = 1+b 1 z + + b q z q, b q 0, wobei a(z) 0 für z 1 (Kausalität). Das Polynom a ( ) besitzt also eine d-fache Nullstelle bei z = 1. Bemerkung a) Bei d 1 kann ein polynomialer Trend der Ordnung d 1 zu {X n } addiert werden, ohne die Gleichungen (10.1) zu verletzen. Daher gilt : {X n } ist stationär d =0. b) EX n und Cov(X n,x m ) sind durch (10.1) nicht eindeutig festgelegt. c) Für eine Vorhersage werden zusätzliche Bedingungen an {X n } benötigt (s.u.). 61

2 Beispiel {X n } ist ARIMA(1, 1, 0)-Reihe, falls für α < 1 gilt : (1 αb)(1 B) X n = e n, d.h. Y n = (1 B)X n = α j e n j, n Z, j=0 wobei {e n } D WN(0,σ ). Folglich : X n = X 0 + n Y j, n N, sowie X n = X 0 j=1 n 1 Y j, n N. j=0 Typisch für ARIMA-Zeitreihen : Es gibt langsam abklingende positive (oder oszillierende) Autokovarianzen. Ferner : Es werden nur spezielle Nicht-Stationaritäten modelliert. Wichtig : Identifikation der Modellordnungen ( p, q und d ). Oft gelingt eine angemessene Modellierung erst nach vorheriger Transformation, z.b. Box- Cox (1964)-Transformationen : 1 f λ (X j ) = {X λ j 1}, X j 0 (λ>0) bzw. ln X j, X j > 0 (λ =0). Identifikation : Sei {X j } trendbereinigte, ggf. transformierte Zeitreihe, für die ein ARMA(p, q)-modell angepasst werden soll. Man beachte : Es besteht die Gefahr der Überanpassung ( Overfitting ), z.b. können 100 beobachtete Werte (etwa) einer Zeitreihe Y j = a + b j + ε j (j =1,...,100) perfekt durch ein Polynom 99-sten Grades angepasst werden, das aber offenbar das Modell weit verfehlt. Daher : Anpassungskriterien, die Overfitting verhindern sollen. FPE-Kriterium (Akaike, 1969) [ Minimiere Final Prediction Error ] : FPE : (Geschätzter) 1-Schritt-Vorhersagefehler einer von {X 1,...,X n } unabhängigen Realisation, etwa {Y 1,...,Y n }, derselben Zeitreihe. Sei z.b. {X 1,...,X n } Abschnitt einer kausalen AR(p)-Reihe und {Y 1,...,Y n } unabhängig von {X 1,...,X n } mit derselben Struktur ; ferner seien â 1,...,â p die 6

3 ML-Schätzer von a 1,...,a p, basierend auf X 1,...X n. Betrachte den (geschätzten) 1-Schritt-Vorhersagefehler E ( Y n+1 â 1 Y n â p Y n+1 p ). Mit X (n) =(X 1,...,X n ),Y (n,p) =(Y n,...,y n+1 p ),a=(a 1,...,a p ), â =(â 1,...,â p ) erhält man : E ( Y n+1 â Y (n,p)) = E ( Yn+1 a Y (n,p) (â a) Y (n,p)) Kausalität = σ + E ( E { (â a) Y (n,p) Y (n,p) (â a) X (n) }) X (n),y (n,p) = unabhängig σ + E{(â a) Γ p (â a) } mit Γ p = (( γ(j k) )) j,k=1,...,p. Bei {e n } D IID(0,σ ) gilt (vgl. Brockwell & Davis (1991), Theorem 8.1.1) : D ( ) n (â a) N 0,σ Γ 1 p und daher n (â a) Γ p (â a) D σ X p, d.h. E ( (â a) Γ p (â a) ) σ p n, also E ( ) ( Y n+1 â 1 Y n â p Y n+1 p σ 1+ p ). n Ersetzt man σ durch die ML-Schätzung ˆσ und beachtet ( vgl. Brockwell & Davis (1991), 8.9 ) n ˆσ D σ X n p, d.h. n ˆσ so motiviert dies den Ansatz : FPE := n ( ˆσ 1+ p ) n p n Allgemeiner anwendbar ist das n p Minimiere = ˆσ n + p n p. asymptotisch erwartungstreu, AIC-Kriterium (Akaike 1973) [ Akaike s Information Criterion ] : Es basiert auf der Kullback-Leibler-Information (dem Kullback-Leibler-Index) einer W-Dichte f( ; ϑ) bzgl. einer anderen f( ; ϑ 0 ), d.h. auf I(ϑ ϑ 0 ) := log ( f(x; ϑ) ) { ( )} f(x; ϑ 0 ) dx = E ϑ0 log f(x; ϑ). Die Jensen sche Ungleichung liefert für die Kullback-Leibler-Diskrepanz d(ϑ ϑ 0 ):= I(ϑ ϑ 0 ) I(ϑ 0 ϑ 0 ): 63

4 f(x, ϑ) d(ϑ ϑ 0 ) log f(x, ϑ 0 ) f(x, ϑ 0) dx = 0, wobei = genau dann gilt, wenn P X ϑ = P X ϑ 0. Seien {X 1,...,X n } Abschnitt einer kausalen ARMA(p, q)-reihe und {Y 1,...,Y n } unabhängig von {X 1,...,X n } mit derselben Struktur. Analog zum FPE betrachtet man die (geschätzte) Kullback-Leibler-Information (10.) E a,b;σ { logf(y ;â, ˆb, ˆσ ) }, wobei X =(X 1,...,X n ), Y =(Y 1,...,Y n ), â, ˆb, ˆσ die Schätzer für die entsprechende Gauß sche ARMA(p, q)-reihe bezeichnen ( vgl. (9.13) (9.14) ). Mit S(a, b) = S X (a, b) aus 9 erhält man für die log-likelihoodfunktion : (â, logl Y ˆb, ) (â, ˆσ = logl X ˆb, ) ˆσ + 1ˆσ S (â, Y ˆb) n [ 1 beachte : n S (â, ] X ˆb) = ˆσ, folglich { ( logf Y ;â, ˆb, )} ˆσ E a,b,σ = E a,b,σ { loglx (â,ˆb, ˆσ )} + E a,b,σ Man kann zeigen, dass Normalapprox. E a,b,σ S Y (â, ˆb) σ (n + p + q) { SY (â, ˆb) ˆσ } n. (â, sowie S Y ˆb) asymptotisch unabhängig ist von ˆσ. Daher : { (â, SY ˆb) } ( ) (10.3) E a,b,σ n σ (n + p + q) E ˆσ a,b,σ n 1ˆσ = ( B&D σ (n + p + q) σ n p q n AICC ( â, ˆb ) ( := logl X â, ˆb; S X(â, ˆb) ) + n ) 1 n = (p + q +1)n n p q (p + q +1)n n p q ist asymptotisch erwartungstreuer Schätzer der (geschätzten) Kullback-Leibler-Information in (10.), falls a, b, σ bzw. p, q die zutreffenden Parameterwerte sind. Wähle daher p, q derart, dass AICC(â,ˆb) minimiert wird. [ ] Akaike s Information Criterion Corrected 64

5 Das Akaike Information Criterion AIC ( â, ˆb ) ( := logl X â, ˆb; S X(â, ˆb) ) +(p + q +1)n n benutzt eine andere Approximation in (10.3), kann aber ansonsten entsprechend verwendet werden. Weitere Modelldiagnose : Da die gewichteten Innovationen W j = ( X j ˆX )/ j rj 1 mit r j 1 = E ( X j ˆX ) / j σ (j =1,...,n) paarweise orthogonal sind, mit EW j =0,EWj = σ, also den Abschnitt einer WN(0,σ )-Reihe bilden, sollten sich auch die (so genannten) Residuen (10.4) Ŵ j = X j ˆX j (â, ˆb) r j 1 (â,ˆb), j =1,,..., näherungsweise wie ein weißes Rauschen WN(0, ˆσ ) verhalten. Eine andere mögliche Wahl der Residuen ist : ê j = ˆb 1 (B)â(B) X j, j =1,...,n, wobei â(z) :=1 â 1 z â p z p, ˆb(z) =1+ˆb 1 z + + ˆb q z q und X j := 0, falls j 0. Zu Tests auf Vorliegen eines weißen Rauschens vgl. Brockwell & Davis (1991), 9.4. Vorhersage von ARIMA-Zeitreihen : I.A. sind die E.W. EX j und. Momente EX j X j+k einer ARIMA(p, d, q)- Reihe nicht durch die Modellgleichungen (10.1) eindeutig festgelegt. Sei z.b. {Y j } j=1,,... eine zentrierte, kausale ARMA(p, q)-reihe und j X j = X 0 + Y l (j =1,,...) l=1 mit einer quadratintegrierbaren ZV. X 0, so bildet {X j } j=0,1,... eine ARIMA(p, 1,q)- Reihe mit E.W. EX j = EX 0 und Autokovarianzen, die von Var(X 0 ) und den Kovarianzen Cov(X 0,Y j ) abhängen. Beste lineare Vorhersage : Sei M n =[{X 0,X 1,...,X n }]=[{X 0,Y 1,...,Y n }], so ergibt sich : ˆX n+1 = P Mn (X 0 + Y Y n+1 ) = X n + P Mn Y n+1, 65

6 wobei letztere Projektion von EX 0 Y j (j =1,...,n+ 1) und EX0 abhängt. Sind X 0 und die {Y j } unkorreliert, so gilt : P [{X0,Y 1,...,Y n+1 }] Y n+1 = P [{Y1,...,Y n}] Y n+1, d.h., es genügt die Kenntnis der acv.f. von {Y j } für die Vorhersage von {X j }. Allgemeiner Fall : Die beobachtete Zeitreihe {X j } j=1,,... genüge der Differenzengleichung (10.5) (1 B) d X j = Y j, j =1,,..., wobei {Y j } eine kausale ARMA(p, q)-reihe sei und B der Backward-Shift-Operator. Annahme : {X 1 d,x d,...,x 0 } und {Y 1,Y,...} sind orthogonal, d.h. paarweise unkorreliert. Es seien n + d Werte, etwa X 1 d,x d,...,x n von {Y j } beobachtet worden. von {X j }, d.h. n Werte Y 1,...,Y n Gesucht : P Mn X n+h = P [{X1 d,...,x n}] X n+h (h =1,,...). Setze P n Y n+h := P [{Y1,...,Y n}] Y n+h, Ŷ n+1 = P n Y n+1. Da M n =[{X 1 d,...,x 0 ; Y 1,...,Y n }] und [{X 1 d,...,x 0 }] [{Y 1,...,Y n }], erhält man : (10.6) P Mn Y n+h = P M0 Y n+h + P n Y n+h = P n Y n+h. Eine Anwendung von (10.6) auf die Gleichung (10.5) liefert : (10.7) P Mn X n+h (10.5) = P Mn (Y n+h (10.6) = P n Y n+h d j+1 d j+1 ( d j ( ) d )( 1) j X n+h j j ) ( 1) j P Mn X n+h j. Da die Vorhersagen P n Y n+h der ARMA(p, q)-reihe {Y j } gemäß 7 rekursiv bestimmt werden können, lassen sich die Vorhersagen P Mn X n+1,p Mn X n+,... also gemäß (10.7) ebenfalls rekursiv berechnen. Man beachte : P Mn X n+1 j = X n+1 j (j =1,...,d). Mit X k+1 = P M k X k+1 liefern (10.5) und (10.7) : X k+1 X k+1 = Y k+1 Ŷk+1, k =0, 1,

7 Folglich für n>r=max(p, q) und h 1 ( vgl. (7.8)/(7.13) ) : p q ( (10.8) P n Y n+h = a j P n Y n+h j + d n+h 1,j Xn+h j Xn+h j). j=1 j=h Mit a (z) =(1 z) d a(z) =1 a 1 z a p+d zp+d liefern (10.6) (10.8) : p+d q ( (10.9) P Mn X n+h = a j P Mn X n+h j + d n+h 1,j Xn+h j Xn+h j), j=1 j=h analog zu (7.8)/(7.13) für die h-schritt-vorhersagen von ARMA(p, q)-reihen. Zum Vorhersagefehler : vgl. Brockwell & Davis (1991), Formeln (9.5.6) und (9.5.7). Abschließend noch einige Bemerkungen zu SARIMA-(saisonale ARIMA-)Zeitreihen : Statt des klassischen Modells X j = m j + s j + Y j, j Z mit deterministischen Trendund Saisonkomponenten m j und s j betrachtet man die trendbereinigte Zeitreihe mit zufälliger Saisonkomponente, z.b. Monatsdaten über verschiedene Jahre erhoben : Monat X 1 X... X 1 Jahr X 13 X X 4 3 X 15 X 6... X r X 1+1(r 1) X +1(r 1)... X 1+1(r 1) Modellierung, z.b. für Monat k = 1,...,1 : X k+1j A 1 X k+1(j 1) a P X k+1(j P ) (10.10) = U k+1j + B 1 U k+1(j 1) + + B Q U k+1(j Q) mit {U k+1j } D j Z WN(0,σU ), d.h., man modelliert dasselbe ARMA(P, Q)-Modell für die Zwischenjahreswerte. Man beachte, dass i.a. EU j U j+h 0, falls h 1. Mit A(z) =1 A 1 z A P z P, B(z) =1+B 1 z + + B Q z Q, Backward-Shift-Operator B 1 gilt : (10.10 ) A(B 1 ) X j = B(B 1 ) U j, j Z, wobei {U k+1j } D WN(0,σ U ). 67 z C, und dem

8 Zur Modellierung der Abhängikeiten der 1 verschiedenen Zwischenjahresreihen wähle man z.b. ein ARMA(p, q)-modell für die Folge {U j } j Z, d.h. (10.11) a(b) U j = b(b) e j, j Z, mit a(z) =1 a 1 z a p z p,b(z) =1+b 1 z + + b q z q, {e j } D WN(0,σ). Man beachte, dass i.a. EU j U j+h 0 j, h aber EU j U j+1h klein. Eine Kombination von (10.10) und (10.11) und Zulassen vorheriger Differenzenbildung liefert : Definition 10.. (SARIMA (p, d, q) (P, D, Q) s -Reihe ) Für d, D N 0 heißt {X j } j Z saisonale ARIMA (p, d, q) (P, D, Q) s -Reihe ) mit Periode s, falls die Reihe {Y j } j Z mit Y j =(1 B 1 ) d (1 B s ) D X j eine kausale ARMA(p, q)- Reihe bildet, d.h. a(b 1 )A(B s ) Y j = b(b 1 )B(B s ) e j, j Z, wobei {e j } D WN(0,σ ) und a(z) =1 a 1 z a p z p, a p 0, A(z) = 1 A 1 z A P z P, A P 0, b(z) =1+b 1 z + + b q z q, b q 0, B(z) = 1+B 1 z B Q z Q, B Q 0. Bemerkung 10.. a) {Y j } kausal = a(z) 0 A(z) ( z 1) ; b) In Anwendungen : D 1 und P, Q 3. Schritte zur Anpassung eines SARIMA-Modells : 1) Finde d, D so, dass die differenzierte Reihe Y j = (1 B) d (1 B s ) D X j, j Z, ein stationäres Verhalten zeigt (s.o.). ) Finde P, Q so, dass die geschätzten Autokorrelationen ˆρ(sh), h = 1,,..., von {Y j } zum Lag h zu denen einer ARMA(P, Q)-Reihe vergleichbar sind. 3) Finde p, q so, dass ˆρ(1),...,ˆρ(s 1) zu den Autokorrelationen einer ARMA(p, q)- Reihe vergleichbar sind. Zu weiteren Einzelheiten und Beispielen vgl. Brockwell & Davis (1991),