Definition und Beispiele. Lineare Prozesse. Kausalität und Invertierbarkeit. Berechnung der Autokovarianzfunktion. Prognosen in ARMA-Modellen

Transkript

1 Kap. 2: ARMA-Prozesse Definition und Beispiele Lineare Prozesse Kausalität und Invertierbarkeit Berechnung der Autokovarianzfunktion Prognosen in ARMA-Modellen Wold-Darstellung

2 2.1 Definition und Beispiele Definition 2.1. (ARMA-Prozess) Ein SP {y t } heisst autoregressiver Moving Average (ARMA)-Prozess der Ordnung (p, q), falls er stationär ist und die Gleichung y t φ 1 y t 1... φ p y t p = ɛ t + θ 1 ɛ t θ q ɛ t q erfüllt mit {ɛ t } W R(0, σ 2 ) und φ p 0 θ q. Definierende Gleichung heisst eine stochastische Differenzengleichung. Erweiterung: ARMA-Prozess mit Mittelwert µ, falls {y t µ} ARMA. Fragen: wann sind solche Prozesse stationär? wie bestimmt man die ACF? wie schätzt man die Parameter? ( später) Warum überhaupt ARMA? In einem gewissen Sinn lassen sich alle stationären Prozesse beliebig gut durch ARMA-Prozesse approximieren. C. Kleiber: Analyse ökonomischer Zeitreihen Kap. 2-1 U Basel, FS 2009

3 2.1 Definition und Beispiele Beispiele: (a) MA(1) schon bekannt (b) AR(1) ist nicht notwendig stationär: für φ = 1 ergibt sich Random Walk! Für φ < 1 lässt sich Prozess y t = φy t 1 + ɛ t formal umschreiben in y t = φ j ɛ t j Die ACF ist dann γ y (h) = σ2 φ h 1 φ 2, h Z Für φ > 1 lässt sich Prozess formal umschreiben in y t = j=1 ( ) j 1 ɛ t+j φ C. Kleiber: Analyse ökonomischer Zeitreihen Kap. 2-2 U Basel, FS 2009

4 2.1 Definition und Beispiele φ = ACF Time Lag C. Kleiber: Analyse ökonomischer Zeitreihen Kap. 2-3 U Basel, FS 2009

5 2.1 Definition und Beispiele φ = ACF Time Lag C. Kleiber: Analyse ökonomischer Zeitreihen Kap. 2-4 U Basel, FS 2009

6 2.1 Definition und Beispiele φ = ACF Time Lag C. Kleiber: Analyse ökonomischer Zeitreihen Kap. 2-5 U Basel, FS 2009

7 2.1 Definition und Beispiele φ = ACF Time Lag C. Kleiber: Analyse ökonomischer Zeitreihen Kap. 2-6 U Basel, FS 2009

8 2.2 Lineare Prozesse Definition 2.2. Ein SP {y t } heisst ein linearer Prozess, falls er folgende Darstellung besitzt: y t = j= ψ j ɛ t j =: ψ(l)ɛ t mit {ɛ t } W R(0, σ 2 ) und j= ψ j <. Nenne ψ(l) einen linearen Filter. Bem.: Die technische Bedingung j= ψ j < definiert letztlich Prozesse mit kurzem Gedächtnis. Es gibt auch stationäre Prozesse mit langem Gedächtnis, für die diese Bedingung verletzt ist. Gesucht: einfache Modelle für lineare Prozesse parametrisiere {ψ j }. Bei ARMA-Modellen hängen die ψ j nur von endlich vielen Parametern ab. Berechnung der ACF eines allgemeinen linearen Prozesses: Satz 2.3. Sei {y t } SP mit ACF γ y. Falls j= ψ j <, ist auch x t = ψ(l)y t stationär mit ACF γ x (h) = ψ j ψ k γ y (h + k j), h Z. j= k= C. Kleiber: Analyse ökonomischer Zeitreihen Kap. 2-7 U Basel, FS 2009

9 2.2 Lineare Prozesse Bem.: Es gibt eine riesige Literatur zur Konstruktion von Filtern auch zu Schäden, die durch unsachgemässes Filtern angerichtet werden! Beispiele: Falls {y t } W R(0, σ 2 ), gilt γ x (h) = σ 2 j= ψ j ψ j+h. Daraus lassen sich die schon bekannten ACFs für MA(1) und AR(1) herleiten. Ausserdem gilt für den MA(q)-Prozess y t = ɛ t + θ 1 ɛ t θ q ɛ t q offenbar für h q und γ y (h) = 0 sonst. q h γ y (h) = σ 2 θ j θ j+ h. C. Kleiber: Analyse ökonomischer Zeitreihen Kap. 2-8 U Basel, FS 2009

10 2.2 Lineare Prozesse Definition 2.4. Ein SP {y t } heisst ein MA( )-Prozess, falls y t = ψ j ɛ t j mit {ɛ t } W R(0, σ 2 ) und ψ j <. Beispiele: (a) Ein MA(q)-Prozess ist ein MA( )-Prozess mit ψ j = 0, j q + 1. (b) Ein stationärer AR(1)-Prozess ist ein MA( )-Prozess mit ψ j = φ j. Nächstes Problem: Wie sehen diese Darstellungen für allgemeine ARMA-Prozesse aus, wann und wie kann man sie berechnen? C. Kleiber: Analyse ökonomischer Zeitreihen Kap. 2-9 U Basel, FS 2009

11 2.3 Kausalität und Invertierbarkeit Wann gibt es eine MA( )-Darstellung eines ARMA-Prozesses? Definition 2.5. (Kausalität) Ein ARMA-Prozess φ(l)y t = θ(l)ɛ t heisst kausal bzgl. {ɛ t }, falls eine Folge {ψ j } existiert mit ψ j <, so dass y t = ψ j ɛ t j, ψ 0 = 1. Der schon bekannte AR(1)-Prozess mit φ < 1 ist demnach kausal bzgl. des verwendeten Weissen Rauschens. Der AR(1)-Prozess mit φ > 1 ist kausal nur bzgl. eines anderen Weissen Rauschens (zur Konstruktion siehe Neusser, p. 27). Aber wie erkennt man direkt an den Koeffizienten, ob ein Prozess kausal ist, und wie bestimmen sich die ψ j? Satz 2.6. Ein ARMA-Prozess φ(l)y t = θ(l)ɛ t, dessen Polynome keine gemeinsamen Nullstellen haben, ist kausal bzgl. {ɛ t } genau dann wenn φ(z) 0 für alle z 1. Weiter gilt ψ(z) = θ(z) φ(z) C. Kleiber: Analyse ökonomischer Zeitreihen Kap U Basel, FS 2009

12 2.3 Kausalität und Invertierbarkeit Beispiele: (a) AR(1): y t = 0.8y t 1 + ɛ t (b) AR(2): (1 + 4L 2 )y t = ɛ t (c) ARMA(2,1): (1 0.75L L 2 )y t = (1 0.5L)ɛ t (d) ARMA(1,1): φ(l) = 1 + L, θ(l) = 1 + L ist nach Kürzen ein Weisses Rauschen aber dies ist nicht die einzige Lösung der Gleichung. ( Sonderfall bei z = 1!) Bem.: (a) Kann man die Polynome nicht kürzen und existiert ein z = 1 mit φ(z) = 0, dann ist der Prozess instationär und insofern kein ARMA-Prozess in unserem Sinn. Der Prozess hat eine Einheitswurzel (unit root) (b) In der empirischen Makroökonomie nennt man die Funktion j ψ j die Impulsantwortfunktion (impulse response function) des Prozesses. Wird i.d.r. graphisch dargestellt, ist aber wichtiger bei multivariaten Zeitreihen als im univariaten Fall. C. Kleiber: Analyse ökonomischer Zeitreihen Kap U Basel, FS 2009

13 2.3 Kausalität und Invertierbarkeit Beispiel: Die MA( )-Darstellung eines ARMA-Prozesses lässt sich berechnen aus der Identität ψ(z) = χ(z)θ(z) wobei χ(z) = 1/φ(z) (Potenzreihenentwicklung). Betrachte bspw. den ARMA(1,1)-Prozess y t φy t 1 = ɛ t + θɛ t 1, dann gilt y t = χ(l)θ(l)ɛ t = ψ(l)ɛ t = (1 + φl + φ 2 L )(1 + θl)ɛ t Dies liefert ψ 0 = 1 und ψ j = (φ + θ)φ j 1, also ist y t = ɛ t + (φ + θ) φ j 1 ɛ t j j=1 Beachte: ψ j <. C. Kleiber: Analyse ökonomischer Zeitreihen Kap U Basel, FS 2009

14 2.3 Kausalität und Invertierbarkeit Definition 2.7. (Invertierbarkeit) Ein ARMA-Prozess φ(l)y t = θ(l)ɛ t heisst invertierbar bzgl. {ɛ t }, falls eine Folge {π j } existiert mit π j <, so dass ɛ t = π j y t j. Aber wie erkennt man direkt an den Koeffizienten, ob ein Prozess invertierbar ist, und wie bestimmen sich die π j? Satz 2.8. Ein ARMA-Prozess φ(l)y t = θ(l)ɛ t, dessen Polynome keine gemeinsamen Nullstellen haben, ist invertierbar bzgl. {ɛ t } genau dann wenn θ(z) 0 für alle z 1. Weiter gilt π(z) = φ(z) θ(z) Beispiel: MA(1) Die Prozesse y t = ɛ t + 0.5ɛ t 1 und y t = ɛ t + 2ɛ t 1 sind beide stationär, aber nur der erste ist invertierbar mit AR(1)-Darstellung ɛ t = ( 0.5)j y t j. C. Kleiber: Analyse ökonomischer Zeitreihen Kap U Basel, FS 2009

15 2.3 Kausalität und Invertierbarkeit Bem.: der Idealfall ist demnach φ(z)θ(z) 0 für z 1. Dann gibt es beide Darstellungen y t = ψ j ɛ t j und ɛ t = π j y t j. Man kann diese Situation ggf. durch Wechsel des Weissen Rauschens erreichen. Satz 2.9. Jeder q-korrelierte Prozess (d.h. die ACF bricht nach Lag q ab) ist ein MA(q)- Prozess. C. Kleiber: Analyse ökonomischer Zeitreihen Kap U Basel, FS 2009

16 2.4 Berechnung der Autokovarianzfunktion Es gibt mehrere Verfahren zur Berechnung der ACF: Methode 1: Bestimme die MA( )-Darstellung und daraus mit der allg. Form der ACF für solche Prozesse die gesuchte ACF. Im ARMA(1,1)-Beispiel von oben ergibt sich γ(0) = σ 2 ψ 2 j = σ 2 [ 1 + (θ + φ) 2 φ 2j ] γ(1) = σ 2 ψ j+1 ψ j = σ [θ 2 + φ + (θ + φ) 2 φ γ(h) = φ h 1 γ(1), h 2 ] φ 2j C. Kleiber: Analyse ökonomischer Zeitreihen Kap U Basel, FS 2009

17 2.4 Berechnung der Autokovarianzfunktion Methode 2: Löse analytisch die Gleichungen γ(h) φ 1 γ(h 1)... φ p γ(h p) = σ 2 θ h+j ψ j, h < max{p, q + 1} γ(h) φ 1 γ(h 1)... φ p γ(h p) = 0, h max{p, q + 1} Die zweite Gleichung ist eine homogene lineare Differenzengleichung p-ter Ordnung (mit konstanten Koeffizienten). Dafür gibt es allgemeine Lösungsmethoden ( Mathe 2!). Falls alle Nullstellen z 1,..., z p des AR-Polynoms verschieden sind, gilt γ(h) = c 1 z1 h c p zp h Die Konstanten c 1,..., c p werden aus den Anfangswerten (Lösungen des 1. Gleichungssystems) bestimmt. Beispiele: (a) AR(1) (b) ARMA(1,1) C. Kleiber: Analyse ökonomischer Zeitreihen Kap U Basel, FS 2009

18 2.4 Berechnung der Autokovarianzfunktion Methode 3: gleicher Ansatz wie Methode 2, aber umgekehrte Reihenfolge Löse zuerst Gleichungssystem (1. Gleichung), dann Rekursion mit 2. Gleichung. Diese Methode ist gut zur Automatisierung geeignet. Beispiele: (a) AR(1) (b) ARMA(1,1) R-Tipp: die Funktion ARMAacf() berechnet die theoretische ACF eines ARMA-Prozesses für vorgegebene Parameter (nach Methode 3). Bsp.: ARMA(1,1) mit φ = 0.8 und θ = 0.2 ergibt sich über R> plot(0:10, ARMAacf(ar = 0.8, ma = 0.2, lag.max = 10), type = "h", + ylim = c(-1, 1), ylab = "ACF") R> abline(h = 0, col = "grey") C. Kleiber: Analyse ökonomischer Zeitreihen Kap U Basel, FS 2009

19 2.5 Prognosen in ARMA-Modellen Es gibt zwei Typen von Prognosen in Zeitreihenmodellen: Prognosen basierend auf unendlicher Vergangenheit (einfachere Formeln) Prognosen basierend auf endlicher Vergangenheit (realistischer) Wir behandeln nur den einfacheren Fall einer unendlichen Vergangenheit, d.h. die zur Verfügung stehende Information sei I t := {y t, y t 1, y t 2,...}. Terminologie: gesucht ist ỹ t+l t für l > 0 ( l-schritt-prognose zum Zeitpunkt t ). l heisst auch Prognosehorizont Qualität einer Prognose ỹ t+l t wird gemessen durch mittleren quadratischen Fehler (MSE) MSE(ỹ t+l t ) := E(ỹ t+l t y t+l ) 2 = E(y t+l E t y t+l ) 2 + E[ỹ t+l t E t (y t+l )] 2 C. Kleiber: Analyse ökonomischer Zeitreihen Kap U Basel, FS 2009

20 2.5 Prognosen in ARMA-Modellen Prognose ỹ t+l t ist wenn {ɛ t } u.i.v. damit optimal bzgl. MSE, falls ỹ t+l t = E t (y t+l ) =: ŷ t+l t Damit entsteht die optimale Prognose im ARMA-Modell durch Fortschreiben der Modellgleichung: ŷ t+l t = φ 1 ŷ t+l 1 t +φ 2 ŷ t+l 2 t +...+φ p ŷ t+l p t +ˆɛ t+l t +θ 1ˆɛ t+l 1 t +...+θ qˆɛ t+l q t ŷ t+h t = { ŷ t+h t, falls h > 0, y t+h, falls h 0, ˆɛ t+h t = { 0, falls h > 0, ɛ t+h, falls h 0 Beispiele: (a) AR(1): ŷ t+l t = φ l y t E(y t ) = 0 ( mean reversion ) bei φ < 1 (b) MA(1): ŷ t+1 t = θɛ t, und ŷ t+l t = 0 für l 2 C. Kleiber: Analyse ökonomischer Zeitreihen Kap U Basel, FS 2009

21 2.5 Prognosen in ARMA-Modellen Wie misst man die Genauigkeit einer Prognose? Prognosefehler ist y t+l ŷ t+l t. Varianz dieses Fehlers ist E t (y t+l ŷ t+l t ) 2 = Var t (y t+l ŷ t+l t ) Für alles weitere ist die MA( )-Darstellung nützlich: Es ist y t+l = ψ jɛ t+l j, also und damit Beispiele: y t+l ŷ t+l t = l 1 ψ j ɛ t+l j l 1 E t (y t+l ŷ t+l t ) 2 = σ 2 (a) AR(1) ergibt bei l Schritten: σ 2 l 1 φ2 j (b) MA(1) ergibt bei l Schritten: σ 2 bei l = 1, σ 2 (1 + θ 2 ) ab l = 2 (!) ψ 2 j C. Kleiber: Analyse ökonomischer Zeitreihen Kap U Basel, FS 2009

22 2.5 Prognosen in ARMA-Modellen Interpretation: optimale Prognosen sind unverzerrt optimale 1-Schritt-Prognosen sind Weisses Rauschen optimale l-schritt-prognosen sind MA(h), h l 1 für die Varianz des Prognosefehlers gilt mit wachsendem Prognosehorizont l l 1 Var(y t+l ŷ t+l t ) = σ 2 ψj 2 σ 2 ψj 2 = Var(y t ) C. Kleiber: Analyse ökonomischer Zeitreihen Kap U Basel, FS 2009

23 2.6 Beste lineare Prognosen und die Wold-Darstellung Bedingter Erwartungswert liefert beste Prognose (bzgl MSE). In der Regel nichtlinear und nicht einfach zu berechnen. Alternative: suche nur beste lineare Prognose, d.h. löse für das Problem ˆP T y T +l = a 0 + a 1 y T + + a T y 1 E(y T +l ˆP T y T +l ) 2 min! (geht auch für unendliche Vergangenheit). ARMA-Prozesse sind lineare Modelle für den (bedingten) Erwartungswert, insofern sind beste lineare und beste Prognose identisch. C. Kleiber: Analyse ökonomischer Zeitreihen Kap U Basel, FS 2009

24 2.6 Beste lineare Prognosen und die Wold-Darstellung Satz (H. Wold, 1938) Jeder schwach stationäre Prozess {y t } mit Ey t = 0 lässt sich in der Form y t = ψ j u t j + v t, darstellen, es gilt dabei ψ 0 = 1, j ψ2 j < u t W R(0, σu) 2 mit u t = y t ˆP t 1 y t und σu 2 = E(y t ˆP t 1 y t ) 2. E(u t v s ) = 0 für alle s, t der Prozess {v t } ist rein deterministisch Nenne die u t die Innovationen. C. Kleiber: Analyse ökonomischer Zeitreihen Kap U Basel, FS 2009

25 2.6 Beste lineare Prognosen und die Wold-Darstellung Bem.: die u t definieren ein schwaches Weisses Rauschen (Unkorreliertheit, keine Unabhängigkeit!) die u t sind die 1-Schritt-Prognosefehler der besten linearen Prognose rein deterministisch bedeutet, dass der Prozess perfekt prognostizierbar ist. Bsp.: Für den Prozess y t = A cos(ωt) + B sin(ωt), ω (0, π), mit E(A) = E(B) = 0 = Cov(A, B) gilt y t = (2 cos ω)y t 1 y t 2 = ˆP t 1 y t also ist hier y t ˆP t 1 y t = 0 und damit perfekte Prognose möglich! Dieser Fall ist für eine allgemeine Prognosetheorie wichtig, tritt aber bei ARMA-Prozessen nicht auf. ARMA-Prozesse sind rein indeterministisch. C. Kleiber: Analyse ökonomischer Zeitreihen Kap U Basel, FS 2009