6. Schätzung stationärer ARMA-Modelle

Transkript

1 6. Schätzung stationärer ARMA-Modelle Problemstellung: Statistische Anpassung eines stationären ARMA(p, q)-prozesses an eine Stichprobe von t = 1,..., T Prozessbeobachtungen Es bezeichne x 1,..., x T die realisierte Stichprobe (Trajektorie, Zeitreihe) der zufälligen Stichprobe X 1,..., X T (Prozessvariablen) (vgl. Kapitel 4) 181

2 6.1 Die Box-Jenkins Methodologie Vorwissen: Jeder datenerzeugende stationäre Prozess kann beliebig genau durch einen ARMA(p, q)-prozess approximiert werden (vgl. Kapitel 3, Folie 42) Zu klärende Aspekte: Wahl der Prozessordnungen p und q Schätzung aller Prozessparameter 182

3 Box-Jenkins Methodologie: (vgl. Box & Jenkins, 1976) 1. Modellidentifikation 2. Parameterschätzung 3. Modelldiagnose 4. Prognose 183

4 1. Modellidentifikation: (I) Überprüfung der Zeitreihe x 1,..., x T auf Stationarität Visuelle Inspektion der Daten Anwendung statistischer Stationaritätstests (vgl. Kapitel 7) Ggf. Datentransformation zur Erreichung der Stationarität 1. Differenzen: x t x t = (1 L)x t = x t x t 1 1. Differenzen der logarithmierten Daten: x t log(x t ) = log(x t ) log(x t 1 ) = log ( xt x t 1 ) 184

5 1. Modellidentifikation: (II) Bestimmung der Ordnungen p und q Berechnung der geschätzten ACF/PACF Visueller Vergleich der geschätzten ACF/PACF mit potenziellen theoretischen ACF/PACF (vgl. Tabelle auf Folie 175; Abb. auf Folien ) Statistische Selektionsverfahren für p und q (vgl. Abschnitt 6.3) 185

6 2. Parameterschätzung: KQ-Schätzung, Maximum-Likelihood Schätzung (vgl. Abschnitt 6.2) 3. Modelldiagnose: Überprüfung, ob Autokorrelation in den Residuen des geschätzten Modells vorliegt (Anwendung des Ljung-Box Tests, vgl. Folie ) Autokorrelationsfreie Residuen Gut spezifiziertes Modell (Analyse der Parametersignifikanzen) Autokorrelierte Residuen Respezifikation des Modells (iteratives Vorgehen) 186

7 4. Prognose: Benutzung der geschätzten Parameterwerte des gut spezifizierten Modells zur Prognose zukünftiger Prozesswerte (kein Gegenstand der VL) 187

8 6.2 Die Schätzung eines ARMA(p, q)-modells Jetzt: Schätzung der Parameter c, φ 1,..., φ p, θ 1,..., θ q und σ 2 eines stationären ARMA(p, q)-prozesses X t = c + φ 1 X t φ p X t p + ɛ t + θ 1 ɛ t θ q ɛ t q Bemerkungen: Es gibt verschiedene Schätztechniken (KQ-, ML-Schätzung; vgl. VL FS) Für einen AR(p)-Prozess gibt es den Yule-Walker-Schätzer (vgl. Neusser, 2006) 188

9 Zunächst: (I) Beispiel einer KQ-Schätzung des AR(p)-Modells X t = c + φ 1 X t φ p X t p + ɛ t Fasse dafür den Prozess als Regressionsmodell auf mit X t als abhängiger Variable X t 1,..., X t p als Regressoren ɛ t als Störterm 189

10 Zunächst: (II) Modell in Martixschreibweise: X p+1 X p+2. X T = 1 X p X p 1 X 1 1 X p+1 X p X X T 1 X T 2 X T p c φ 1 φ 2. φ p + ɛ p+1 ɛ p+2. ɛ T y = Xβ + u KQ-Schätzer β KQ für β = [ c φ 1 φ 2 φ p ] ist β KQ = (X X) 1 Xy 190

11 Zunächst: (III) σ 2 wird mittels der KQ-Residuen û = y X β KQ geschätzt durch (vgl. VL Ökonometrie I) ˆσ 2 = û û T p Probleme: (I) Die bekannten Optimalitätseigenschaften der KQ-Schätzung erfordern diverse Voraussetzungen an das lineare Regressionsmodell (vgl. Vorlesungen Ökonometrie I + II) 191

12 Probleme: (II) Einige dieser Voraussetzungen sind hier verletzt: Die Regressoren sind mit dem Störterm korreliert Abhängigkeit der KQ-Schätzung von den Startwerten X 1,..., X p Dennoch: In AR(p)-Modellen sind die KQ-Schätzer für die Modellparameter konsistent und asymptotisch effizient (vgl. Neusser, 2006, S ) 192

13 Jetzt: Schätzung eines allgemeinen ARMA(p, q)-modells X t = c + φ 1 X t φ p X t p + ɛ t + θ 1 ɛ t θ q ɛ t q Sammle alle Modellparameter im ([p + q + 2] 1) Vektor β = [ c φ 1 φ p θ 1 θ q σ 2 ] Problem: KQ-Methode nicht ohne weiteres anwendbar, da die Regressoren ɛ t, ɛ t 1,..., ɛ t q des MA(q)-Teils nicht direkt beobachtbar sind 193

14 Ausweg: Schätze die Modellparameter mit der (bedingten) Maximum- Likelihood-Methode (vgl. VL Fortgeschrittene Statistik) ML-Methode: (I) Benötigen Verteilungsannahme der Stichprobenvariablen X 1,..., X T Berechnung der gemeinsamen Dichtefunktion f X1,...,X T (x 1,..., x T ) 194

15 ML-Methode: (II) Betrachte die gemeinsame Dichtefunktion als eine Funktion im unbekannten Parametervektor β bzw. L(β) = f X1,...,X T (x 1,..., x T ) L (β) = log[f X1,...,X T (x 1,..., x T )] (Likelihood-Funktion bzw. Log-Likelihood-Funktion) Maximiere L (β) bzgl. β Maximum-Likelihood-Schätzer 195

16 ML-Methode: (III) ML-Schätzer haben günstige statistische Eigenschaften: Konsistenz Asymptotische Normalität Asymptotische Effizienz Robustheit gegenüber Abweichungen von der NV (Quasi-ML-Schätzungen) 196

17 Verteilungsannahme: Betrachte einen Gaußschen ARMA(p, q)-prozess X t = c + φ 1 X t φ p X t p + ɛ t + θ 1 ɛ t θ q ɛ t q mit ɛ t GWR(0, σ 2 ) Log-Likelihood-Funktion: (I) Berechnung der exakten Log-Likelihood-Fkt. unmöglich Stattdessen Berechnung der Log-Likelihood-Funktion unter Berücksichtigung gegebener Startwerte x 0 [ x 0 x 1 x p+1 ], ɛ 0 [ ɛ 0 ɛ 1 ɛ q+1 ] Bedingte Log-Likelihood-Funktion 197

18 Log-Likelihood-Funktion: (II) Die bedingte Log-Likelihood-Funktion ist gegeben durch L (β x 0, ɛ 0 ) = T 2 log(2π) T 2 log(σ2 ) T t=1 ɛ 2 t 2σ 2 Bemerkungen: (I) Die bedingte Log-Likelihood-Funktion L (β x 0, ɛ 0 ) ist eine komplizierte nichtlineare Funktion im Parametervektor β Es existieren keine analytisch geschlossenen Formeln für die bedingten ML-Schätzfunktionen Numerische Optimierung von L (β x 0, ɛ 0 ) 198

19 Bemerkungen: (II) Exakte und bedingte ML-Schätzer haben qualitativ ähnliche Eigenschaften EViews verfügt über derartige numerische Optimierungsverfahren 199

20 6.3 Die Schätzung der Ordnungen p und q Frage: Wie sollen die Ordnungen p und q des anzupassenden ARMA- Modells gewählt werden? 2 Fehlermöglichkeiten: p und q werden zu groß gewählt (Overfitting) p und/oder q werden zu klein gewählt (Underfitting) 200

21 Konsequenzen: Sowohl beim Overfitting als auch beim Underfitting ist der ML-Schätzer i.a. nicht mehr konsistent für die Modellparameter Korrekte Bestimmung der Ordnungen p und q ist zentral Bestimmungsmöglichkeiten: Visuelle Inspektion der empirischen ACF und PACF (Box-Jenkins-Ansatz, in praxi meist schwierig) Automatische Selektionsverfahren 201

22 Idee der Selektionsverfahren: (I) Minimierung eines Informationskriteriums Prinzipielle Konstruktion der Kriterien: Mit steigenden Ordnungen p und q nimmt die Anpassung des ARMA-Modells zu (bzw. nicht ab) Die Anpassung des Modells wird gemessen durch die geschätzte Varianz der Residuen ˆσ 2 p,q Um die Tendenz zum Overfitting zu korrigieren, wird das Anpassungsmaß ˆσ p,q 2 um einen Term ergänzt, der höhere Wahlen von p und q bestraft 202

23 Idee der Selektionsverfahren: (I) Die bekanntesten Informationskriterien lauten: AIC(p, q) = log (ˆσ p,q 2 ) + (p + q) 2 T (Akaike-Informationskriterium) SIC(p, q) = log (ˆσ p,q 2 ) log(t ) + (p + q) T (Schwarz-Informationskriterium) HQIC(p, q) = log (ˆσ p,q 2 ) 2 log[log(t )] + (p + q) T (Hannan-Quinn-Informationskriterium) In praxi werden die Ordnungen p und q so gewählt, dass sie eines der 3 Informationskriterien minimieren 203

24 Bemerkungen: In praxi wird meistens das AIC-Kriterium verwendet, obwohl es tendenziell zum Overfitting führt SIC und HQIC liefern konsistente Schätzungen der Ordnungen p und q 204

25 6.4 Modellierung eines stochastischen Prozesses Jetzt: Anpassung eines ARMA(p, q)-prozesses an eine erhobene Zeitreihe in 4 Schritten 1. Transformationen zur Erreichung der Stationarität: (I) Ökonomische Zeitreihen sind oft nicht stationär (vgl. Kapitel 7) Daten sind in stationäre Zeitreihen zu transformieren 205

26 1. Transformationen zur Erreichung der Stationarität: (II) Mögliche Datentransformation: Übergang zu Differenzen Y t = (1 L) d X t für d = 1, 2,... (Differenzenfilter der Ordnung d) Bereinigung von {X t } um einen deterministischen Trend (vgl. Kapitel 7) Übergang zu logarithmierten Werten bzw. zu Differenzen der logarithmierten Werte Y t = (1 L) log(x t ) = log(x t ) log(x t 1 ) (Wachstumsrate) 206

27 2. Wahl der Ordnungen p und q: Inspektion von ACF und PACF Anwendung von Selektionskriterien (vgl. Abschnitt 6.3) 3. Schätzung des Modells: ML-Schätzung des spezifizierten ARMA(p, q)-modells 207

28 4. Prüfung auf Plausibilität: Sind die Parameterschätungen plausibel? Folgen die Residuen einem Weißen Rauschen? Gibt es Strukturbrüche Ggf. Respezifikation des Modells und erneute Anpassung Beispiel: Deutsches BIP zwischen 1970:Q1 und 2007:Q4 208

29 120 BIP (preisbereinigt, Quartalsdaten) Zeit.08 BIP Wachstumsrate

30 Schritt 1: Daten weisen offensichtlich einen steigenden Trend auf ein Saisonmuster auf Übergang zu saisonalen Differenzen in Logarithmen X t = (1 L 4 ) log(bip t ) = log(bip t ) log(bip t 4 ) (Wachstumsrate gegenüber Vorjahresquartal) 210

31 Schritt 2: Visuelle Inspektion von ACF und PACF (vgl. Abbildung auf Folie 212) ACF langsam monoton abklingend AR-Modell PACF hat signifikante Werte bis h = 4 AR(4)-Modell 211

32 1.0 Geschätzte ACF h Geschätzte PACF h

33 Schritt 2 (Fortsetzung): Selektionskriterien: AIC-Werte für alternative ARMA(p, q)-modelle p / q q = 0 q = 1 q = 2 q = 3 q = 4 q = 5 p = p = p = p = p = p = ARMA(4, 3)-Modell 213

34 SIC-Werte für alternative ARMA(p, q)-modelle p / q q = 0 q = 1 q = 2 q = 3 q = 4 q = 5 p = p = p = p = p = p = ARMA(1, 3)-Modell 214

35 Schritt 3: (I) Schätzung des AR(4)-Modells Dependent Variable: BIP_WACHSTUM Method: Least Squares Date: 22/05/08 Time: 16:10 Sample (adjusted): 1972Q1 2007Q4 Included observations: 144 after adjustments Convergence achieved after 3 iterations Variable Coefficient Std. Error t-statistic Prob. C AR(1) AR(2) AR(3) AR(4) R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criterion Sum squared resid Schwarz criterion Log likelihood F-statistic Durbin-Watson stat Prob(F-statistic) Inverted AR Roots i i i i 215

36 Schritt 3: (II) Hauptergebnisse: Parameter φ 2 und φ 3 nicht signifikant Varianz der Residuen: ˆσ 2 = ( ) 2 =

37 Schritt 3: (III) Schätzung des ARMA(1, 3)-Modells Dependent Variable: BIP_WACHSTUM Method: Least Squares Date: 21/05/08 Time: 23:14 Sample (adjusted): 1971Q2 2007Q4 Included observations: 147 after adjustments Convergence achieved after 10 iterations Backcast: 1970Q3 1971Q1 Variable Coefficient Std. Error t-statistic Prob. C AR(1) MA(1) MA(2) MA(3) R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criterion Sum squared resid Schwarz criterion Log likelihood F-statistic Durbin-Watson stat Prob(F-statistic) Inverted AR Roots -.10 Inverted MA Roots i i

38 Schritt 3: (IV) Hauptergebnisse: Parameter φ 1 nicht signifikant Varianz der Residuen: ˆσ 2 = ( ) 2 = Bessere Anpassung als AR(4)-Modell 218

39 Schritt 4: (ARMA(1, 3)-Modell) (I) Parameterwerte plausibel Eigenschaften des geschätzten ARMA(1, 3)-Modells (I) (vgl. Abbildung 18, Folie 221) Kehrwert der Nullstelle des AR-Polynoms innerhalb des Einheitskreises AR-Nullstelle außerhalb des Einheitskreises Geschätztes ARMA(1, 3)-Modell ist stationär 219

40 Schritt 4: (II) Eigenschaften des geschätzten ARMA(1, 3)-Modells (II) (vgl. Abbildung 18, Folie 221) Kehrwert der Nullstellen des MA-Polynoms innerhalb des Einheitskreises MA-Nullstellen außerhalb des Einheitskreises Geschätztes ARMA(1, 3)-Modell ist invertierbar 220

41 Kehrwerte der Nullstellen der AR/MA Polynome AR-Nullstellen MA-Nullstellen Inverse Roots of AR/MA Polynomial(s) Specification: BIP_WACHSTUM C AR(1) MA(1) MA(2) MA(3) Date: 21/05/08 Time: 23:59 Sample: 1970Q1 2007Q4 Included observations: 147 AR Root(s) Modulus Cycle No root lies outside the unit circle. ARMA model is stationary. MA Root(s) Modulus Cycle ± i No root lies outside the unit circle. ARMA model is invertible.

42 Schritt 4: (II) Residualanalyse (I) 1.0 Geschätzte ACF der Residuen h 222

43 Schritt 4: (III) Residualanalyse (II) Keine signifikanten Autokorrelationen bis zum Lag h = 30 Ljung-Box-Test auf Autokorrelation in den Residuen: (vgl. Folien ) Lag Q-Statistik p-wert

44 Schritt 4: (IV) Schlussfolgerung: Residuen folgen annähernd einem Weißen Rauschen Korrelation in den Daten wird vom ARMA(1, 3)-Modell gut erfasst 224