3. ARMA-Modelle. Jetzt: Wichtigste Modellklasse für stationäre Prozesse

Transkript

1 3. ARMA-Modelle Jetzt: Wichtigste Modellklasse für stationäre Prozesse Definition 3.1: (ARMA(p, q)-prozess) Gegeben sei das Weiße Rauschen {ɛ t } t Z WR(0, σ 2 ). Der Prozess {X t } t Z heißt AutoRegressiver-Moving-Average-Prozess der Ordnung (p, q) (in Zeichen: ARMA(p, q)-prozess), falls er die stochastische Differenzengleichung X t = c + φ 1 X t φ p X t p + ɛ t + θ 1 ɛ t θ q ɛ t q mit c, φ 1,..., φ p, θ 1,..., θ q R, φ p, θ q 0 erfüllt. 41

2 Bedeutung von ARMA-Prozessen: Jeder stationäre Prozess kann beliebig genau durch einen ARMA-Prozess approximiert werden Für jede Autokovarianzfunktion γ mit lim h γ(h) = 0 und jede natürliche Zahl k N existiert ein ARMA-Prozess {X t } t Z mit der Eigenschaft γ X (h) = γ(h) für alle h = 0, 1,..., k (Approximierbarkeit beliebiger Autokovarianzfunktionen durch einen ARMA-Prozess) 42

3 3.1 Der Lag-Operator Jetzt: Instrument zur Analyse von ARMA(p, q)-prozessen Definition 3.2: (Lag-Operator) Es sei {X t } t Z ein beliebiger stochastischer Prozess. Der Lag- Operator L verschiebt den Zeitindex des Prozesses um eine Periode in die Vergangenheit: L{X t } {X t 1 }. 43

4 Bemerkungen und Rechenregeln: (I) Meist schreibt man anstelle von L{X t } = {X t 1 } vereinfachend LX t = X t 1 L angewendet auf den konstanten Prozess X t = c für alle t Z mit c R ergibt LX t = Lc = c Die n-fache Anwendung von L ergibt L }.{{.. L} X t = L n X t = X t n n-mal 44

5 Bemerkungen und Rechenregeln: (II) Die Umkehrung des Lag-Operators ist der Lead-Operator L 1, der den Prozess um 1 Periode in die Zukunft verschiebt L 1 X t = X t+1 Wegen L 1 LX t = X t setzt man L 0 X t 1X t = X t (hier bezeichnet 1 den Identitätsoperator) Für beliebige ganze Zahlen m, n Z gilt L m L n X t = L m+n X t = X t m n 45

6 Bemerkungen und Rechenregeln: (III) Für beliebige reelle Zahlen a, b R, beliebige ganze Zahlen m, n Z sowie für beliebige stochastische Prozesse {X t }, {Y t } gilt (al m + bl n ) (X t + Y t ) = ax t m + bx t n + ay t m + by t n Polynome im Lag-Operator L Beispiele für Polynome in L: (I) A(L) = a 0 + a 1 L + a 2 L a p L p (mit den Konstanten a 0, a 1,..., a p R) 46

7 Beispiele für Polynome in L: (II) A(L) = 1 0.5L sowie B(L) = 1 + 4L 2 Hieraus ergibt sich z.b. C(L) = A(L)B(L) = (1 0.5L)(1 + 4L 2 ) = 1 0.5L + 4L 2 2L 3 (es gelten die üblichen Rechenregeln für Polynome) 47

8 Beispiele für Polynome in L: (III) Mit den beiden Polynomen Φ(L) = 1 φ 1 L... φ p L p Θ(L) = 1 + θ 1 L θ q L q lässt sich der ARMA(p, q)-prozess aus Definition 3.1 (vgl. Folie 41) darstellen als Φ(L)X t = c + Θ(L)ɛ t Zur Behandlung verschiedener Sachverhalte werden die Lag- Polynome Φ und Θ häufig als Polynome im komplexwertigen Argument z C betrachtet (d.h. als Φ(z) bzw. Θ(z)) Dieser mathematische Kunstgriff wird als z-transformation bezeichnet 48

9 3.2 Spezial- und Grenzfälle Jetzt: Zwei spezielle ARMA(p, q)-prozesse und ein Grenzprozess Der MA(q)-Prozess Ausgangssituation: Betrachte den ARMA(0, q)-prozess X t = c + ɛ t + θ 1 ɛ t θ q ɛ t q mit {ɛ t } t Z WR(0, σ 2 ) 49

10 Bemerkungen: Dieser Prozess heißt Moving-Average-Prozess der Ordnung q (in Zeichen: MA(q)-Prozess) Mit dem Lag-Polynom Θ(L) = 1 + θ 1 L θ q L q lässt sich der MA(q)-Prozess schreiben als X t = c + Θ(L)ɛ t Oft wird die Konstante c = 0 gewählt: X t = ɛ t + θ 1 ɛ t θ q ɛ t q = Θ(L)ɛ t Frage: Ist der MA(q)-Prozess (schwach) stationär? 50

11 Dazu: Berechnung von E(X t ), V ar(x t ), Cov(X t+h, X t ) Für den Erwartungswert gilt: E[X t ] = E [ ] c + ɛ t + θ 1 ɛ t θ q ɛ t q = E(c) + E(ɛ t ) + θ 1 E(ɛ t 1 ) θ q E(ɛ t q ) = c θ θ q 0 = c 51

12 Mit θ 0 1 gilt für die Kovarianz Cov(X t+h, X t ): Cov(X t+h, X t ) = (Herleitung: Übung) σ 2 q h i=0 q h σ 2 i=0 0, für h > q θ i θ i+h, für 0 h q θ i θ i+ h, für q h < 0 0, für h < q 52

13 Offensichtlich: Der Erwartungswert und sämtliche Kovarianzen sind unabhängig von t Jeder MA(q)-Prozess ist (schwach) stationär Satz 3.3: (Stationarität und Momente des MA(q)-Prozesses) Es sei {X t } t Z ein beliebiger MA(q)-Prozess der Form X t = c + θ 0 ɛ t + θ 1 ɛ t θ q ɛ t q mit c, θ 1, θ 2,..., θ q R, θ 0 = 1, θ q 0 und {ɛ t } t Z WR(0, σ 2 ). Es gelten die folgenden Aussagen für alle t Z: 53

14 1. {X t } t Z ist (schwach) stationär. 2. E(X t ) = c. 3. V ar(x t ) = σ 2 ( 1 + θ θ θ2 q ) = σ 2 q i=0 θ 2 i. 4. Die Autokovarianzfunktion lautet γ X (h) = σ 2 q h i=0 0, für h > q θ i θ i+h, für 0 h q. γ X ( h), für h < 0 54

15 1. Die Autokorrelationsfunktion lautet ρ X (h) = γ X(h) γ X (0) = q h i=0 θ i θ i+h 0, für h > q q / θi 2 i=0, für 0 h q. ρ X ( h), für h < 0 Bemerkung: Bei einem MA(q)-Prozess verschwinden die Kovarianzen bzw. Korrelationen zwischen X t und X s, falls t und s mehr als q Perioden auseinanderliegen (Prozess mit kurzem Gedächtnis) 55

16 Beispiel: (MA(1)-Prozess) X t = ɛ t 0.8ɛ t 1 mit {ɛ t } GWR(0, 1) E(X t ) = 0, V ar(x t ) = γ X (0) = 1 [1 + ( 0.8) 2] = 1.64 ρ X (h) = 0, für h > , für h = 1 1, für h = 0 ρ X ( h), für h < 0 56

17 Trajektorie und ACF des MA(1)-Prozesses X t = ɛ t 0.8ɛ t 1 mit ɛ t GWR(0, 1) für t = 0, 1,...,

18 4 Trajektorie eines MA(1)-Prozesses t Theoretische und geschätzte ACF'en eines MA(1)-Prozesses h

19 Abschließend: Charakterisierungseigenschaft des MA(q)-Prozesses 59

20 Satz 3.4: (MA(q)-Charakterisierung) Es sei {X t } t Z ein beliebiger (schwach) stationärer Prozess mit E(X t ) = 0 für alle t Z und Autokovarianzfunktion γ X (h) = 0, für h > q γ X (q) 0 γ X (h) beliebig, für h = q, für 0 h < q γ X ( h), für h < 0 Dann ist {X t } t Z ein MA(q)-Prozess, d.h. es gibt einen Prozess {ɛ t } t Z WR(0, σ 2 ) sowie Koeffizienten θ 1,..., θ q R, so dass X t = ɛ t + θ 1 ɛ t θ q ɛ t q.. 60

21 3.2.2 Der MA( )-Prozess Ausgangssituation: (I) Betrachte den MA(q)-Prozess mit {ɛ t } t Z WR(0, σ 2 ) X t = c + ɛ t + θ 1 ɛ t θ q ɛ t q Mit θ 0 1 lässt sich der Prozess schreiben als X t = c + q j=0 θ j ɛ t j 61

22 Ausgangssituation: (II) Betrachte nun den Grenzprozess für q : X t = c + j=0 θ j ɛ t j = c + θ 0 ɛ t + θ 1 ɛ t 1 + θ 2 ɛ t Dieser Prozess heißt Moving-Average-Prozess unendlicher Ordnung (in Zeichen: MA( )-Prozess) Es gilt: Ein MA( )-Prozess ist (schwach) stationär, falls j=0 θ 2 j < (quadratisch summierbare Koeffizientenfolge) 62

23 Bemerkungen: Ein stärkere Bedingung als die quadratisch summierbare Koeffizientenfolge ist die absolute Summierbarkeit der Koeffizientenfolge: j=0 θ j < Für die Koeffizientenfolge {θ j } j N0 gilt also: Falls j=0 θ j <, so ist auch j=0 θ 2 j < und somit ist der MA( )-Prozess (schwach) stationär Aus der quadratischen Summierbarkeit der Koeffizientenfolge folgt nicht die absolute Summierbarkeit 63

24 Satz 3.5: (Momente eines stationären MA( )-Prozesses) Es sei {X t } t Z ein stationärer MA( )-Prozess mit absolut summierbarer Koeffizientenfolge. Dann gelten die folgenden Aussagen für alle t Z: 1. E(X t ) = c. 2. V ar(x t ) = γ X (0) = σ 2 ( 1 + θ θ ) = σ 2 j=0 θ 2 j. 3. Die Autokovarianzfunktion für h > 0 lautet γ X (h) = σ 2 j=0 θ j θ j+h 64

25 4. Die Autokorrelationsfunktion für h 0 lautet ρ X (h) = γ X(h) γ X (0) = θ j θ j+h j=0 θj 2 j=0 5. Wegen der absoluten Summierbarkeit der Koeffizientenfolge {θ j } j N0 ist auch die Folge der Autokovarianzen {γ X (h)} h N0 absolut summierbar: h=0 γ X (h) <. 65

26 3.2.3 Der AR(p)- und der AR(1)-Prozess Ausgangssituation: Betrachte den ARMA(p, 0)-Prozess mit {ɛ t } t Z WR(0, σ 2 ) X t = c + φ 1 X t φ p X t p + ɛ t 66

27 Bemerkungen: Der Prozess heißt autoregressiver Prozess der Ordnung p (in Zeichen: AR(p)-Prozess) Mit dem Lag-Polynom Φ(L) = 1 φ 1 L... φ p L p lässt sich der AR(p)-Prozess schreiben als Φ(L)X t = c + ɛ t Jetzt: Wir betrachten den AR(1)-Prozess X t = c + φx t 1 + ɛ t (mit φ 0) Wann ist der AR(1)-Prozess (schwach) stationär? 67

28 Bemerkungen: Der AR(1)-Prozess {X t } t Z genügt der stochastischen Differenzengleichung 1. Ordnung X t = c + φx t 1 + ɛ t Man kann zeigen, dass (a) für φ 1 kein (schwach) stationärer Prozess {X t } t Z existiert, der die Differenzengleichung erfüllt (b) für φ < 1 ein eindeutiger (schwach) stationärer Prozess {X t } t Z existiert, der die Differenzengleichung erfüllt 68

29 Jetzt: Charakterisierung des AR(1)-Prozesses bei φ < 1 Es gilt für die Darstellung von {X t } t Z : X t = c + φx t 1 + ɛ t = (c + ɛ t ) + φx t 1 = (c + ɛ t ) + φ(c + φx t 2 + ɛ t 1 ) = (c + ɛ t ) + φ(c + ɛ t 1 ) + φ 2 X t 2 = (c + ɛ t ) + φ(c + ɛ t 1 ) + φ 2 (c + φx t 3 + ɛ t 2 ) = (c + ɛ t ) + φ(c + ɛ t 1 ) + φ 2 (c + ɛ t 2 ) + φ 3 X t 3 69

30 .. = (c + ɛ t ) + φ(c + ɛ t 1 ) + φ 2 (c + ɛ t 2 ) + φ 3 (c + ɛ t 3 ) +... = c + φc + φ 2 c + φ 3 c ɛ t + φɛ t 1 + φ 2 ɛ t 2 + φ 3 ɛ t = c j=0 φ j + j=0 φ j ɛ t j = c 1 φ + j=0 φ j ɛ t j Wegen φ < 1 gilt j=0 φ j = j=0 φ j = 1 1 φ < 70

31 Zentrales Ergebnis: Bei φ < 1 hat der AR(1)-Prozess {X t } t Z die MA( )-Darstellung X t = c 1 φ + ɛ t + φɛ t 1 + φ 2 ɛ t mit absolut summierbarer Koeffizientenfolge (vgl. Folien 62, 63) θ j = φ j für alle j N 0 71

32 Folgerung: Bei φ < 1 ist der AR(1)-Prozess (schwach) stationär (vgl. Folien 32, 33) X t = c + φx t 1 + ɛ t Der Satz 3.5 auf den Folien 64, 65 ist bei φ < 1 auf den AR(1)-Prozess {X t } t Z anwendbar 72

33 Satz 3.6: (Momente eines stationären AR(1)-Prozesses) Es sei X t = c + φx t 1 + ɛ t mit {ɛ t } t Z WR(0, σ 2 ) ein AR(1)- Prozess mit φ < 1. Dann ist {X t } t Z (schwach) stationär und es gelten die folgenden Aussagen für alle t Z: 1. E(X t ) = c 1 φ. 2. V ar(x t ) = γ X (0) = σ2 1 φ Die Autokovarianzfunktion für h > 0 lautet φ h γ X (h) = σ 2 1 φ 2. 73

34 4. Die Autokorrelationsfunktion für h 0 lautet ρ X (h) = φ h. 5. Wegen der absoluten Summierbarkeit der Koeffizientenfolge {φ j } j N0 ist auch die Folge der Autokovarianzen {γ X (h)} h N0 absolut summierbar und es gilt h=0 γ X (h) = σ 2 (1 φ )(1 φ 2 ) <. (Beweis: Übung) 74

35 Beispiel: (AR(1)-Prozess) X t = 0.8X t 1 + ɛ t mit {ɛ t } GWR(0, 1) E(X t ) = 0/(1 0.8) = 0 V ar(x t ) = γ X (0) = 1/( ) = ρ X (h) = 0.8 h, für h > 0 1, für h = 0 ρ X ( h), für h < 0 75

36 Trajektorie und ACF des AR(1)-Prozesses X t = 0.8X t 1 + ɛ t mit ɛ t GWR(0, 1) für t = 0, 1,...,

37 4 Trajektorie eines AR(1)-Prozesses t Theoretische und geschätzte ACF'en eines AR(1)-Prozesses h

38 3.3 Kausalität und Invertierbarkeit Vorbemerkungen zur Kausalität: Betrachte den Prozess {X t } und das Weiße Rauschen {ɛ t } Fasse {X t } als Zustand und {ɛ t } als Impuls oder Ursache auf Unter welchen Bedingungen kann man den heutigen Zustand X t als Ergebnis vergangener Ursachen ɛ t, ɛ t 1, ɛ t 2,... darstellen? 78

39 Beispiele: Falls {X t } MA(q), so gilt per Definition X t = c + ɛ t + θ 1 ɛ t θ q ɛ t q Falls {X t } AR(1), so gilt mit φ < 1 X t = c 1 φ + φ0 ɛ t + φ 1 ɛ t 1 + φ 2 ɛ t (MA( )-Darstellung eines stationären AR(1)-Prozesses) Frage: Wann hat ein allgemeiner ARMA(p, q)-prozess gemäß Definition 3.1 (vgl. Folie 41) eine MA( )-Darstellung? 79

40 Zunächst: Wir betrachten die Lag-Polynome Φ(L) = 1 φ 1 L... φ p L p Θ(L) = 1 + θ 1 L θ q L q und den ARMA(p, q)-prozess {X t } mit Φ(L)X t = Θ(L)ɛ t, wobei {ɛ t } WR(0, σ 2 ) Die Konstante c aus der Definition 3.1 wird ohne Beschränkung der Allgemeinheit gleich 0 gesetzt 80

41 Definition 3.7: (Kausalität) Ein ARMA(p, q)-prozess {X t } mit Φ(L)X t = Θ(L)ɛ t heißt kausal bezüglich {ɛ t }, falls eine absolut summierbare Koeffizientenfolge {ψ j } j N0 mit j=0 ψ j < existiert, so dass mit ψ 0 = 1. X t = ψ 0 ɛ t + ψ 1 ɛ t 1 + ψ 2 ɛ t = j=0 ψ j ɛ t j Bemerkung: Ein kausaler ARMA(p, q)-prozess hat eine MA( )-Darstellung mit absolut summierbarer Koeffizientenfolge, der Prozess ist also (schwach) stationär 81

42 Frage: Unter welchen Bedingungen lässt sich ein ARMA(p, q)-prozess als MA( )-Prozess mit absolut summierbarer Koeffizientenfolge darstellen? (d.h. wann ist {X t } ARMA(p, q) kausal bzgl. {ɛ t }?) 82

43 Satz 3.8: (Kausalitätsbedingung) Es sei {X t } ein ARMA(p, q)-prozess mit Φ(L)X t = Θ(L)ɛ t, wobei die z-transformierten der Lag-Polynome Φ(z) und Θ(z) keine gemeinsamen Nullstellen haben. {X t } ist genau dann kausal bezüglich {ɛ t }, wenn Φ(z) 0 für z 1, d.h. falls die Nullstellen der Gleichung Φ(z) = 0 außerhalb des Einheitskreises liegen. Die Koeffizienten {ψ j } sind dabei durch die folgende Beziehung eindeutig bestimmt: Ψ(z) = j=0 ψ j z j = Θ(z) Φ(z). (Beweis: Brockwell and Davis, 1991) 83

44 Bemerkungen: (I) Die Kausalitätsbedingung aus Satz 3.8 impliziert: Der ARMA(p, q)-prozess Φ(L)X t = Θ(L)ɛ t ist dann (schwach) stationär, falls die z-transformierten Φ(z) und Θ(z) keine gemeinsamen Nullstellen haben und die Nullstellen des AR- Polynoms Φ(z) außerhalb des Einheitskreises liegen Die (schwache) Stationarität des ARMA(p, q)-prozesses Φ(L)X t = Θ(L)ɛ t hängt also entscheidend vom AR-Polynom Φ(L) = 1 φ 1 L... φ p L p und somit von den AR-Parametern φ 1,..., φ p ab 84

45 Die Überprüfung der (schwachen) Stationarität eines ARMA(p, q)-prozesses erfordert also die Nullstellenberechnung von Polynomen (vgl. Übung) Haben die AR- und MA-Polynome Φ(L) und Θ(L) des ARMA(p, q)-prozesses keine gemeinsamen Nullstellen und ist Φ(z) = 0 für ein z mit z = 1 (Nullstelle auf dem Einheitskreis), so ist der durch Φ(L)X t = Θ(L)ɛ t definierte ARMA(p, q)-prozess nicht (schwach) stationär (Einheitswurzel-Prozess, Unit-Root-process ) 85

46 Beispiel (Einheitswurzelprozess): (I) Betrachte den ARMA(1, 0)-Prozess (Random Walk) X t = X t 1 + ɛ t Die AR- und MA-Polynome lauten Φ(L) = 1 L und Θ(L) = 1 Die z-transformierten lauten Φ(z) = 1 z und Θ(z) = 1 und es gilt Φ(z) = 0 für z = 1 und Θ(z) 0 für alle z C 86

47 Beispiel (Einheitswurzelprozess): (II) Daraus folgt Φ(z) und Θ(z) haben keine gemeisame Nullstelle und Φ(z) hat die Nullstelle z = 1 auf dem Einheitskreis Der Random Walk X t = X t 1 + ɛ t ist ein Einheitswurzel-Prozess und nicht stationär 87

48 Beispiel (Einheitswurzelprozess): (III) MA( )-Darstellung des Random-Walks: X t = X t 1 + ɛ t = X t 2 + ɛ t 1 + ɛ t = X t 3 + ɛ t 2 + ɛ t 1 + ɛ t. = ɛ t j j=0. 88

49 Beispiel (Einheitswurzelprozess): (IV) Für die Koeffizientenfolge der MA( )-Darstellung gilt und somit j=0 θ j = 1 für j = 0, 1, 2,... θ 2 j = θ j = j=0 j=0 1 = Die Koeffizientenfolge {θ j } j N0 des Random Walk ist weder absolut noch quadratisch summierbar Dass der Random Walk tatsächlich nicht stationär ist, erkennt man auch dann, wenn man den Prozess zum Zeitpunkt t = 0 starten lässt 89

50 Beispiel (Einheitswurzelprozess): (V) Dann hat {X t } t N0 die MA-Darstellung X t = t j=0 mit {ɛ t } t N0 WR(0, σ 2 ) ɛ t j = ɛ 0 + ɛ ɛ t Für die Varianz von {X t } t N0 gilt dann V ar(x t ) = V ar(ɛ t + ɛ t ɛ 0 ) = = (t + 1) σ 2 t j=0 V ar(ɛ j ) Die Varianz von {X t } steigt in t 90

51 Trajektorie eines Random Walk X t = X t 1 +ɛ t mit ɛ t GWR(0, 1) für t = 0, 1,...,

52 12 Trajektorie eines Random Walk t

53 Frage: Wie gewinnt man für einen kausalen ARMA(p, q)-prozess gemäß Satz 3.8 auf Folie 83 die Koeffizienten {ψ j } j N0 der MA( )-Darstellung aus der Beziehung Ψ(z) = j=0 ψ j z j = Θ(z) Φ(z)? 93

54 Antwort: (I) Durch einen rekursiven Koeffizientenvergleich nach Ausschreiben der Beziehung Ψ(z) Φ(z) = Θ(z) als (ψ 0 + ψ 1 z + ψ 2 z )(1 φ 1 z φ 2 z 2... φ p z p ) = 1 + θ 1 z + θ 2 z θ q z q und Ausmultiplizieren der linken Seiten zu ψ 0 + ψ 1 z + ψ 2 z 2 ψ 0 φ 1 z ψ 0 φ 2 z 2 ψ 1 φ 1 z = ψ 0 + (ψ 1 ψ 0 φ 1 )z + (ψ 2 ψ 0 φ 2 ψ 1 φ 1 )z = 1 + θ 1 z + θ 2 z θ q z q 94

55 Antwort: (II) Gleichsetzen der Koeffizienten von z j liefert: Für j = 0: ψ 0 = 1 Für j = 1: ψ 1 ψ 0 φ 1 = θ 1 ψ 1 = θ 1 + φ 1 Für j = 2: ψ 2 ψ 0 φ 2 ψ 1 φ 1 = θ 2 ψ 2 = θ 2 + φ 2 + (θ 1 + φ 1 )φ

56 Bemerkungen: (I) Die Koeffizienten {ψ j } j N0 eines kausalen ARMA(p, q)-prozesses geben die Wirkung von {ɛ t j } auf X t an (dynamische Multiplikatoren einer einmaligen Änderung) Da j=0 ψ j <, folgt lim j ψ j = 0 und damit lim j X t ɛ t j = lim j ψ j = 0, d.h. bei einem kausalen (und stationären) ARMA(p, q)-prozess stirbt der Effekt einer einmaligen ɛ t j -Veränderung aus je weiter diese in der Vergangenheit liegt 96

57 Bemerkungen: (II) Fasst man die Koeffizientenfolge {ψ j } j N0 als eine Funktion der Zeit auf, so spricht man von der Impulsantwortfunktion (grafische Darstellung von ψ j gegen j = 0, 1, 2,...) Der Effekt einer permanenten Änderung aller ɛ i für i = t j, t j + 1,..., t auf X t ist gegeben durch j i=0 ψ j Für den permanenten Effekt gilt j i=0 ψ i j i=0 ψ i i=0 ψ i < d.h. der kumulierte Effekt eines kausalen (und stationären) ARMA(p, q)-prozesses ist endlich 97

58 Jetzt folgende Problemstellung: Bei einem ARMA(p, q)-prozess der Form Φ(L)X t = Θ(L)ɛ t kann man die Realisationen von {X t } beobachten, die Realisationen von {ɛ t } jedoch nicht Kann man die Impulse {ɛ t } aus den heutigen und vergangenen Zuständen {X t } rekonstruieren? Invertierbarkeit 98

59 Definition 3.9: (Invertierbarkeit) Ein ARMA(p, q)-prozess {X t } mit Φ(L)X t = Θ(L)ɛ t heißt invertierbar bezüglich {ɛ t }, falls eine absolut summierbare Koeffizientenfolge {π j } j N0 mit j=0 π j < existiert, so dass ɛ t = π 0 X t + π 1 X t 1 + π 2 X t = j=0 π j X t j. 99

60 Satz 3.10: (Invertierbarkeitsbedingung) Es sei {X t } ein ARMA(p, q)-prozess mit Φ(L)X t = Θ(L)ɛ t, wobei die z-transformierten der Lag-Polynome Φ(z) und Θ(z) keine gemeinsamen Nullstellen haben. {X t } ist genau dann invertierbar bezüglich {ɛ t }, wenn Θ(z) 0 für z 1, d.h. falls die Nullstellen der Gleichung Θ(z) = 0 außerhalb des Einheitskreises liegen. Die Koeffizienten {π j } sind dabei durch die folgende Beziehung eindeutig bestimmt: Π(z) = j=0 π j z j = Φ(z) Θ(z). (Beweis: Brockwell and Davis, 1991) 100

61 Bemerkungen: Ein invertierbarer ARMA(p, q)-prozess kat eine AR( )- Darstellung mit absolut summierbarer Koeffizientenfolge {π j } Die Koeffizienten {π j } j N0 aus der AR( )-Darstellung gewinnt man nach Satz 3.10 aus der Beziehung Π(z) Θ(z) = Φ(z) durch Koeffizientenvergleich analog zur Koeffizientenbestimmung bei kausalen ARMA(p, q)-prozessen (vgl. Folien 94, 95) 101

62 3.4 Lineare Prozesse und Filter Motivation: Betrachte den MA(q)-Prozess X t = ɛ t + θ 1 ɛ t θ q ɛ t q = mit θ 0 1 und {ɛ t } WR(0, σ 2 ) q j=0 θ j ɛ t j Offensichtlich ist {X t } ein gewogener Durchschnitt von WR(0, σ 2 )-Prozessen 102

63 Verallgemeinerung: Erzeuge einen Prozess {X t } t Z als gewogenen Durchschnitt anderer stationärer Prozesse In die Durchschnittsbildung dürfen unendlich viele vergangene und zukünftige Werte einfließen Hier zunächst: Lineare Prozesse 103

64 Definition 3.11: (Linearer Prozess und Filter) Der Prozess {X t } t Z heißt linearer Prozess, falls er die folgende Darstellung besitzt: X t = + j= ψ j ɛ t j = (... + ψ 2 L 2 + ψ 1 L 1 + ψ 0 + ψ 1 L + ψ 2 L ) ɛ t = Ψ(L)ɛ t mit {ɛ t } WR(0, σ 2 ) und absolut summierbarer Koeffizientenfolge {ψ j } j Z, d.h. + j= ψ j <. Das Lag-Polynom Ψ(L) heißt (linearer) Filter. 104

65 Bemerkungen: Oft wird die verstärkende Zusatzannahme getroffen, dass die {ɛ t } einen WR(0, σ 2 )-Prozess mit unabhängig und identisch verteilten ZV en bilden Die Bedingung + j= ψ j < stellt sicher, dass durch die Durchschnittsbildung tatsächlich ein wohldefinierter stochastischer Prozess erzeugt wird 105

66 Jetzt: Betrachte anstelle von {ɛ t } WR(0, σ 2 ) in Definition 3.11 einen allgemeinen (schwach) stationären Prozess {Y t } t Z (allgemeine Filtration mit linearem Filter) Frage: Was kann man über die Kovarianzfunktion des gefilterten Prozesses {X t } t Z sagen? 106

67 Satz 3.12: (Kovarianzfunktion des gefilterten Prozesses) Es sei {Y t } t Z ein (schwach) stationärer Prozess mit E(Y t ) = 0 für alle t Z und Autokovarianzfunktion γ Y (h) für h Z. Falls + j= ψ j <, dann ist der gefilterte Prozess X t = + j= ψ j Y t j = Ψ(L)Y t ebenfalls (schwach) stationär mit E(X t ) = 0 für alle t Z und Autokovarianzfunktion für alle h Z. γ X (h) = j= k= ψ j ψ k γ Y (h + k j) (Beweis: Neusser, 2006) 107

68 Beispiel: Es sei {Y t } WR(0, σ 2 ) Betrachte bei absolut summierbarer Koeffizientenfolge {ψ j } j Z den gefilterten Prozess X t = + j= ψ j Y t j Die Autokovarianzfunktion des gefilterten Prozesses für h 0 lautet γ X (h) = σ 2 (Beweis: Übungsaufgabe) j= ψ j ψ j+h 108

69 Diverse Filter: (I) Veränderung gegenüber der Vorperiode: (Differenzenfilter) Ψ(L) = 1 L Veränderung gegenüber dem Vorjahresquartal: (bei Quartalsdaten) Ψ(L) = 1 L 4 109

70 Diverse Filter: (II) Elimination von Saisonschwankungen: Ψ(L) = ( 1 + L + L 2 + L 3) /4 oder Ψ(L) = 0.125L L L L 2 (bei Quartalsdaten) 110

71 Bemerkungen: Anwendung eines Filters führt zu systematischen Veränderungen der dynamischen Eigenschaften einer Zeitreihe Auswirkungen auf die Autokovarianzfunktion Dies kann zu falschen Schlussfolgerungen führen (Beispiel: Kuznets-Filter, vgl. Neusser, 2006) Wichtiger Filter in der Makroökonomik: Hodrick-Prescott-Filter zur Analyse realer Konjunkturzyklen (vgl. Neusser, 2006) 111

72 3.5 Die Autokovarianzfunktion eines ARMA(p, q)- Prozesses Vorbemerkungen: (I) Die Autokovarianzfunktion eines ARMA(p, q)-prozesses fasst die äußeren, direkt beobachtbaren Eigenschaften des Prozesses zusammen Die Parameter eines ARMA(p, q)-prozesses spiegeln die interne Struktur des Prozesses wider 112

73 Vorbemerkungen: (II) Zu jedem (schwach) stationären ARMA(p, q)-prozess existiert eine zugehörige Autokovarianzfunktion Allerdings können verschiedene ARMA(p, q)-prozesse dieselbe Autokovarianzfunktion aufweisen Identifikationsproblem (Beispiel: MA(1)-Prozess, vgl. Übung) 113

74 Jetzt: Zwei Verfahren zur Berechnung der Autokovarianzfunktion eines ARMA(p, q)-prozesses Voraussetzung für alle Verfahren: Der ARMA(p, q)-prozess Φ(L)X t = Θ(L)ɛ t mit {ɛ t } WR(0, σ 2 ) ist kausal bzgl. {ɛ t }, d.h. er hat eine MA( )-Darstellung X t = j=0 ψ j ɛ t j mit j=0 ψ j < 114

75 1. Verfahren: (I) Wir fassen den ARMA(p, q)-prozess {X t } als gefilterten Prozess von {ɛ t } auf Gemäß Folie 108 ist die Autokovarianzfunktion für h 0 gegeben durch γ X (h) = σ 2 j=0 ψ j ψ j+h (vgl. auch Satz 3.5 auf den Folien 64, 65) 115

76 1. Verfahren: (II) Die Koeffizienten {ψ j } j N0 können durch rekursiven Koeffizientenvergleich aus der Beziehung gewonnen werden (vgl. Folien 94, 95) Ψ(z) = j=0 ψ j z j = Θ(z) Φ(z) 116

77 1. Verfahren: (III) Formalisiert man dieses Vorgehen, so führt dies zu folgendem Gleichungssystem: ψ j ψ j j k=1 p k=1 φ k ψ j k = θ j für 0 j < max{p, q + 1} φ k ψ j k = 0 für j max{p, q + 1} Dieses Gleichungssystem kann rekursiv gelöst werden: ψ 0 = θ 0 = 1 ψ 1 = θ 1 + ψ 0 φ 1 = θ 1 + φ 1 ψ 2 = θ 2 + ψ 0 φ 2 + ψ 1 φ 1 = θ 2 + φ 2 + φ 1 θ 1 + φ

78 Alternative Vorgehensweise: Betrachte den 2. Teil des GLS als homogene (lineare) Differenzengleichung der Ordnung p Betrachte den 1. Teil des GLS als Anfangswerte für deren Lösung Löse die Differenzengleichung und setze die ψ j in die Formel der Autokovarianzfunktion ein 118

79 Beispiel: (I) Betrachte den ARMA(2, 1)-Prozess X t = 1.3X t 1 0.4X t 2 + ɛ t + 0.4ɛ t 1 mit den Lag-Polynomen Φ(L) = 1 1.3L + 0.4L 2 Θ(L) = L Für j max{2, 1 + 1} = 2 liefert der 2. Teil des obigen GLS die folgende Differenzengleichung 2. Ordnung: bzw. ausgeschrieben ψ j 2 k=1 φ k ψ j k = 0 ψ j 1.3ψ j ψ j 2 = 0 119

80 Beispiel: (II) Mit den beiden Anfangsbedingungen aus dem 1. Teil des GLS ψ 0 = θ 0 = 1 ψ 1 = θ 1 + ψ 0 φ 1 = θ 1 + φ 1 = = 1.7 erhält man die folgende Lösung der Differenzengleichung: ψ j = 4 (0.8) j 3 (0.5) j (Nachweis: Übung) 120

81 Beispiel: (III) Einsetzen dieser Lösung in die Formel für die Autokovarianzfunktion auf Folie 108 ergibt für h 0: γ X (h) = σ 2 [ (0.8)h 8 (0.5) h ] Für die Autokorrelationsfunktion ergibt sich für h 0: (Nachweis: Übung) ρ X (h) = γ X(h) γ X (0) = (0.8)h (0.5)h 121

82 Autokorrelationsfunktion des ARMA(2, 1)-Prozesses X t = 1.3X t 1 0.4X t 2 + ɛ t + 0.4ɛ t 1 mit ɛ t WR(0, σ 2 ) Autokorrelationsfunktion eines ARMA(2,1)-Prozesses h 122

83 2. Verfahren: (I) Betrachte den ARMA(p, q)-prozess X t φ 1 X t 1... φ p X t p = ɛ t + θ 1 ɛ t θ q ɛ t q Multiplikation der Gleichung mit X t h liefert X t X t h φ 1 X t 1 X t h... φ p X t p X t h = ɛ t X t h + θ 1 ɛ t 1 X t h θ q ɛ t q X t h Bildung der Erwartungswerte liefert E(X t X t h ) φ 1 E(X t 1 X t h )... φ p E(X t p X t h ) = E(ɛ t X t h ) + θ 1 E(ɛ t 1 X t h ) θ q E(ɛ t q X t h ) 123

84 2. Verfahren: (II) Wegen E(X t ) = 0 für alle t Z folgt E(X t X t h ) = Cov(X t, X t h ) = γ X (h) E(X t 1 X t h ) = Cov(X t 1, X t h ) = γ X (h 1)... E(X t p X t h ) = Cov(X t p, X t h ) = γ X (h p) und somit γ X (h) φ 1 γ X (h 1)... φ p γ X (h p) = E(ɛ t X t h ) + θ 1 E(ɛ t 1 X t h ) θ q E(ɛ t q X t h ) 124

85 2. Verfahren: (III) Ist nun h > q, so gilt für alle j = 0,..., q E(ɛ t j X t h ) = Cov(ɛ t j, X t h ) = 0, da X t h nur von ɛ t h, ɛ t h 1,... abhängt Folglich gilt für alle h q + 1 γ X (h) φ 1 γ X (h 1)... φ p γ X (h p) = 0 (Yule-Walker-Gleichungen) Für h q + 1 genügen die Autokovarianzen γ X (h),..., γ X (h p) einer Differenzengleichung der Ordnung p 125

86 2. Verfahren: (IV) Die Yule-Walker-Differenzengleichung kann unter Verwendung bestimmter Anfangsbedingungen für γ X (0),..., γ X (q) mit Standardtechniken gelöst werden (vgl. Neusser, 2006) Für h q gilt die Yule-Walker-Gleichung aufgrund der Korrelation zwischen θ h ɛ t h und X t h nicht 126