6. Statistische Schätzung von ARIMA Modellen

Transkript

1 6. Statistische Schätzung von ARIMA Modellen Vorschau: ARIMA Modelle Modellidentifikation verschiedene Schätzverfahren Modelldiagnostik Fallstudien Zeitreihenanalyse 1

2 6.1 ARIMA Modelle Bisher: ARMA(p,q)-Modelle: φ(b)y t = θ(b)z t Jetzt: ARIMA(p, d, q)-modelle: Autoregressive Integrated Moving Average Prozess: φ(b)(1 B) d Y t = θ(b)z t wobei die charakteristischen Polynome φ(.) und θ(.) nur Lösungen ausserhalb des Einheitskreises besitzen. d-te Differenz ist stationärer ARMA(p,q)-Prozess. Zeitreihenanalyse 2

3 Beispiel: ARIMA(1,1,0) 5 Realisationen mit α = 0.7: x Zeitreihenanalyse 3

4 Anpassung von ARIMA-Modellen 1. Identifikation der Ordnung 2. Schätzung der Modellparameter 3. Diagnostische Checks des angepassten Modells Zeitreihenanalyse 4

5 6.2 Identifikation Visuelle Checks auf Stationarität Geht das Korrelogramm rasch gegen Null? evtl. Differenzenbildung Inspektion von Autokorrelations- und partieller Autokorrelationsfunktion Suche nach characteristischen cut-offs. Vergleich der AIC-Werte für realistische Modelle AIC = 2l(ˆθ ML ) + 2 Anzahl der Parameter z.b. Funktion ar() Zeitreihenanalyse 5

6 Das partielle Autokorrelogramm Schätze sequentiell AR(p)-Modelle, der letzte Koeffizient α p ist der p-te partielle Autokorrelationskoeffizient. Idee: AR(p)-Prozess hat characteristischen cut-off der partiellen Autokorrelationen Berechnung über empirische Yule-Walker-Gleichungen: p r k = ˆα l,p r k l : k = 1, 2,..., p l=1 wobei ˆα l,p die Schätzung des l-ten Koeffizienten α l unter Annahme eines AR(p)-Prozesses ist. Zeitreihenanalyse 6

7 Das partielle Autokorrelogramm II Die Yule-Walker-Gleichungen p r k = ˆα l,p r k l : k = 1, 2,..., p l=1 lassen sich in Matrixschreibweise kompakt darstellen: r = R ˆα wobei r = (r 1,..., r p ), R = (r i j ) (Dimension p p) und ˆα = ˆα 1,p,..., ˆα p,p. Es folgt: ˆα = R 1 r partieller Autokorrelationskoeffizient a p = ˆα p,p Zeitreihenanalyse 7

8 Das partielle Autokorrelogramm III Funktion pacf() Unter H 0 : AR(p)-Prozess sind die partiellen Autokorrelationen a k für k > p asymptotisch N(0, 1/n)-verteilt Konfidenzintervalle Suche nach characteristischen cut-off der partiellen Autokorrelationen nach lag p für AR(p)-Prozess Zeitreihenanalyse 8

9 6.3 Schätzung von ARIMA-Modellen Betrachte leicht verallgemeinertes Modell Y t µ = p α i (Y t i µ) + Z t + q β j Z t j i=1 j=1 mit p + q + 2 unbekannten Parametern µ = E(Y t ), σ 2 = V ar(z t ), α 1,..., α p und β 1,..., β q. naive Ansätze KQ-Methode ML-Methode unter Annahme von Normalverteilung Zeitreihenanalyse 9

10 Beispiel: AR(1)-Prozess; naiver Schätzansatz Y t µ = α(y t 1 µ) + Z t mit Z t N(0, σ 2 ) Schätzung der Parameter durch ˆµ = ȳ ˆα = r 1 ˆσ 2 = n ( ((y t ˆµ) ˆα(y t 1 ˆµ)) 2 )/(n 1) t=2 Zeitreihenanalyse 10

11 Beispiel: AR(1)-Prozess; KQ-Methode Schätze µ und α durch Minimierung der Summe der quadrierten Residuen n S(µ, α) = ((y t µ) α(y t 1 µ)) 2 Beachte: t=2 Summe beginnt mit t = 2, da für t = 1 die notwendige Information y 0 nicht vorliegt. Implizit wird das Residuum für t = 1 also gleich Null gesetzt bedingte KQ-Methode Zeitreihenanalyse 11

12 Beispiel: AR(1)-Prozess; KQ-Schätzer ˆµ = ˆα = ( n 1 t=2 ) y t ˆα (y n ˆαy 1 ) /(n 1) n (y t ˆµ)(y t 1 ˆµ)/ t=2 n (y t 1 ˆµ) 2 t=2 woraus sich in Analogie zum linearen Modell ein Schätzer für σ 2 konstruieren läßt: ˆσ 2 = ( n ((y t ˆµ) ˆα(y t 1 ˆµ)) 2 )/(n 3) t=2 Ähnlich wie die naiven Schätzer! Zeitreihenanalyse 12

13 Beispiel: AR(1)-Prozess; ML-Ansatz p(y 1,..., y n ) = p(y 1 ) n p(y t y t 1 ) t=2 }{{} bed. Likelihood L c Damit folgt unter Normalverteilungsannahme für die bedingte Log-Likelihood L c = n 1 2 log σ 2 1 2σ 2 n ((y t µ) α(y t 1 µ)) 2 } t=2 {{} S(µ,α) Man erhält also für ˆµ und ˆα die KQ-Schätzer! Zeitreihenanalyse 13

14 Beispiel: AR(1)-Prozess; ML-Schätzer II Für ˆσ 2 erhält man im bed. ML-Ansatz n ˆσ 2 = ( ((y t ˆµ) ˆα(y t 1 ˆµ)) 2 )/(n 1) t=2 Bei einem vollen ML-Ansatz muss auch noch der Beitrag von y 1 zur Likelihood berücksichtigt werden. Bei Annahme von Stationarität gilt: y 1 N(µ, σ 2 /(1 α 2 )), daher ist der Beitrag von y 1 zur Log-Likelihood gleich 1 2 log σ log(1 α2 ) (1 α 2 )(y 1 µ) 2 /(2σ 2 ) Zeitreihenanalyse 14

15 Beispiel: AR(1)-Prozess; ML-Schätzer III Die Gesamt-Likelihood ergibt sich also zu L c = n 2 log σ log(1 α2 ) ( 1 2σ 2 (1 α 2 )(y 1 µ) 2 + ) n ((y t µ) α(y t 1 µ)) 2 t=2 numerische Methoden zur Maximierung Zeitreihenanalyse 15

16 Beispiel: Hormon-Daten, Annahme eines AR(1)-Prozesses Methode ˆα ˆµ ˆσ 2 KQ (s.e.) (0.1186) (0.1567) ML (s.e.) (0.1161) (0.1466) Diese Schätzungen sind zu vergleichen mit den naiven Schätzern r 1 = , ȳ = 2.4 und ˆσ 2 = Zeitreihenanalyse 16

17 Die allgemeine Likelihood bei ARMA(p,q)-Prozessen basiert auf Log-likelihood der multivariaten Normalverteilung N(µ, Σ) mit µ = µ1 und Σ = σ 2 V (α, β) = σ 2 V : L = 1 2 log Σ 1 2 (y µ)t Σ 1 (y µ) = 1 2 {n log σ2 + log V + (y µ) T V 1 (y µ)/σ 2 } Die Form von V (α, β) ist durch die Wahl des ARMA-Modells bestimmt, z.b. beim AR(1): V = 1 1 α 2(α i j ) i,j Zeitreihenanalyse 17

18 Profile Likelihood Eine reduzierte Form der Likelihood ergibt sich durch profiling : Berechne für festes α and β ˆµ(α, β) = ( 1 T V 1 (α, β)y ) / ( 1 T V 1 (α, β)1 ) ˆσ 2 (α, β) = n 1 (y ˆµ(α, β)1) T V 1 (α, β) (y ˆµ(α, β)1) die ML-Schätzer bzgl. L und setze die Schätzer dann in obige Likelihood ein. Die sich ergebene Profile-Log-Likelihood ( reduced log likelihood ) hängt dann nur noch von α und β ab und hat die Form L 0 (α, β) = 1 2 ( n log σ 2 (α, β) + log V (α, β) ) Zeitreihenanalyse 18

19 Diagnostische Checks: Berechnung von Residuen Generelles Vorgehen: Die Residuen erhält man durch Auflösen der geschätzten Modellgleichung nach den Variablen Z 1,..., Z n. Am einfachsten bei AR(p)-Prozessen: p z t = (y t ˆµ) ˆα j (y t j ˆµ) j=1 t = p + 1,..., n mit Modifikationen für t = 1,..., p Zeitreihenanalyse 19

20 Rekursive Berechnung bei MA(q)-Prozessen z 1 = (y 1 ˆµ) z 2 = (y 2 ˆµ) + ˆβ 1 z 1. z t = q (y t ˆµ) + ˆβ j z t j j=1 t = q , n Zeitreihenanalyse 20

21 Residuen bei ARMA(p,q)-Prozessen z t = (y t ˆµ) p ˆα i (y t i ˆµ) q ˆβ j z t j, i=1 j=1 t = p , n mit Modifikationen für t <= p. Die Residuen sollten nun approximativ weisses Rauschen sein. Berechnung von Korrelogramm, kumulativem Periodogramm, und entsprechenden Tests Funktion tsdiag() Zeitreihenanalyse 21

22 Beispiel Hormon-Daten, AR(1)-Modell Standardized Residuals Time ACF of Residuals ACF Lag p values for Ljung Box statistic p value lag Zeitreihenanalyse 22

23 Weitere Residualchecks trial overfitting: Annahme ein ARMA(p, q)-modell ist korrekt identifiziert. Erhöhen der Ordnung des MA- bzw AR- Teils um jeweils eine Einheit ergibt eine Verbesserung der maximierten Log-Likelihood, die (mal dem Faktor 2) χ 2 1- verteilt sein sollte ( LQ-Test). spectral checking: Vergleich des theoretischen Spektrums des identifizierten ARMA(p, q)-modells mit dem empirisch geschätzten Spektrum. Zeitreihenanalyse 23

24 Fallstudien Hormon-Daten, dritte Zeitreihe Luchszeitreihe data(lynx) Zeitreihenanalyse 24