Aktienkurs der Wiener Börsekammer (Jänner 1968-Oktober 24) Forecasts und Evaluation 1. Daten...2 2. Dynamische Forecasts...4 2.1 Exponential Smoothing...4 2.1.1 Double Exponential Smoothing...4 2.1.2 Holt-Winters...5 2.2 ARIMA Modelle...6 2.2.1 ARIMA(1,1,1)...7 2.2.2 ARIMA(8,1,8)...7 2.2.3 ARIMA(8,2,8)...9 2.3 MSE-Evaluation der dynamischen Forecasts...1 3. One-Step-Forecasts auf das Testing-Set...11 3.1 Forecasts...11 3.2 Evaluation...12 4. ARIMA-GARCH...14-1 -
1. Daten Bei den Daten handelt es sich um Monatsdaten des Aktienkurses der Wiener Börsekammer vom Jänner 1968 bis Oktober 24. Wir wollen versuchen verschiedene modellfreie und modellunterstellende Forecasts zu erarbeiten, und diese mithilfe verschiedener Varianten der Evaluation vergleichen. Ziel ist es ein Modell zu finden, dass ein deutlich besseres Forecast- Ergebnis als ein Random Walk bringt. Um einen Eindruck von den Daten zu erhalten sehen wir uns erst einmal einen Plot der Zeitreihe an. 9 8 7 6 5 4 3 2 1 197 1975 198 1985 199 1995 2 KURS 8 7 6 5 4 3 2 1 9 8 7 6 5 4 197 1975 198 1985 199 1995 KURS 2 21 22 23 24 KURS Wie sofort zu sehen ist zeigt die Zeitreihe sehr unterschiedliches Verhalten über den Zeitraum 1968 bis 24. Bis Mitte der achtziger Jahre kam es kaum zu größeren Veränderungen oder Schwankungen des Indexes. Ab Mitte der Achtziger kommt es dann zu einem klaren Aufwärtstrend, der zwar wohl bis heute anhält aber zwischenzeitlich auch von starken Kurseinbrüchen unterbrochen wurde. Zudem sieht es so aus, als würde insgesamt ein Trend über die Zeit vorliegen. Um unsere verschiedenen Forecasts vergleichen zu können spalten wir den Datensatz in zwei Teile auf, wobei die Periode von Jänner 1968 bis Dezember 1999 als Estimation Set, und jene von Jänner 2 bis Oktober 24 als Testing Set dienen soll. Wir werden im Gegensatz zu der in der Literatur oft empfohlenen Variante mit den nicht logarithmierten Daten arbeiten. - 2 -
1.1 Unit Root Test Da die Zeitreihe einen Trend aufzuweisen scheint, führen wir, um dies möglicherweise auch statistisch signifikant bestätigen zu können, einen Dickey Fuller Test durch. Augmented Dickey-Fuller test statistic -1.1712836894.687913631799 Test critical values: 1% level -3.44725886121 5% level -2.86888776335 1% level -2.577579482 Die Ho-Hypothese einer Unit-Root kann nicht verworfen werden. Wir werden uns also als nächstes die ersten Differenzen der Zeitreihe genauer ansehen. 12 8 4-4 -8-12 197 1975 198 1985 199 1995 D(KURS) Die differenzierte Zeitreihe sieht nun relativ stationär aus. Was hier noch deutlicher zu erkennen ist ist die starke Veränderung Mitte der achtziger Jahre. Trotzdem führen wir auch auf die ersten Differenzen einen Dickey Fuller Test durch: Augmented Dickey-Fuller test statistic -16.93342. Test critical values: 1% level -3.447259 5% level -2.868888 1% level -2.57751 Die Hypothese einer Unit-Root wird hier signifikant auf dem 1% Niveau verworfen. Wir werden also hauptsächlich mit den ersten Differenzen der Zeitreihe arbeiten. - 3 -
2. Dynamische Forecasts Zuerst werden wir mit Exponential Smoothing und ARIMA-Modellen dynamische Forecasts erstellen, also jeweils eine Modellspezifikation innerhalb des Estimation-Sets durchführen, die jeweiligen Parameter einmal schätzen und mit diesen dann Forecasts über das gesamte Testing-Set erzeugen, wobei jeweils nur die geschätzten Werte für die Schätzung der weiteren Werte herangezogen werden, also keine Informationen aus dem Testing-Set in den Forecast eingehen. 2.1 Exponential Smoothing Da der Dickey-Fuller-Test einen integrierten Prozess der Ordnung eins ausweist, werden wir auf eine Schätzung mit Single Exponential Smoothing verzichten. 2.1.1 Double Exponential Smoothing L = α x + (1 α ) L t t t 1 T = α L + (1 α ) T t t t 1 Das Programmpaket Eviews empfiehlt uns für den Smoothing-Parameter Alpha einen Wert nahe eins, was bedeuten würde, dass kaum geglättet wird. Dies ist jedoch für den Forecast wenig interessant, da dann ohnehin nur der letzte Wert in die Fortschreibung eingeht. Deshalb fixieren wir den Wert von Alpha auf,1 bzw.,3. 9 8 7 6 5 4 3 2 1 197 1975 198 1985 199 1995 2 KURSDOUBLE1 KURSDOUBLE3 KURS - 4 -
Was bei den Forecasts mit Double Exponential Smoothing auffällt ist, dass sie je nach gewähltem α natürlich sehr unterschiedlich ausfallen können. Bei einem α von,1 entsteht ein Forecast mit sehr leichtem Abwärtstrend, welcher bei einem α von,3 schon relativ stark ist. Leider ist dieses Ergebnis wenig befriedigend, da die Zeitreihe eher einen Aufwärtstrend besitzt. 2.1.2 Holt-Winters L = αx + (1 α)( L + T ) t t t 1 t 1 T = γ( L L ) + (1 γ) T t t t 1 t 1 9 8 7 6 5 4 3 2 1 197 1975 198 1985 199 1995 2 KURS HWINTERS3 HWINTERS1 Das Bild bei den Holt Winters Forecasts gestaltet sich relativ ähnlich. Hier ist es das α von,1 das einen sehr starken Abwärtstrend hervorruft und jenes von,3 das einen Forecast mit sehr geringem Abwärtstrend ergibt. Stärkeres Glätten führt hiermit zu einem stärkerem negativen Trend, wobei dies bei Double Exponential Smoothing nicht der Fall war. Auch wenn die Parameter jeweils von Eviews geschätzt werden ergeben sich keine besseren Ergebnisse. Ein Abwärtstrend wird immer prognostiziert, was der wahren Entwicklung in jedem Fall entgegenläuft. Wir werden also versuchen im nächsten Schritt ARIMA Modelle zuschätzen um zu sehen ob wir mit Modellen die einen Datengenerierungsprozess unterstellen bessere Prognosen erstellen können. - 5 -
2.2 ARIMA Modelle Um ein geeignetes Modell zu finden, also die Anzahl der AR und MA Terme unseres Modells zu spezifizieren, sehen wir uns zu Beginn das Korrelogramm der differenzierten (I(1)) Zeitreihe an. Aus dem Korrelogramm der ersten Differenzen ist es leider nicht gleich ersichtlich wie viel AR und MA Termen in unser Modell einbezogen werden sollten. Weder können wir einen Abbruch noch ein geometrisches Ausklingen beobachten. Wir haben also als nächsten Schritt einfach ARIMA-Modelle von ARIMA(1,1,1) bis ARIMA(8,1,8) geschätzt, um das AIC zu Vergleichen und dadurch ein optimales Modell zu finden. Alle Modelle Bewegen sich in etwa bei einem AIC von 8,8. Dennoch weist den kleinsten AIC Wert das ARIMA(8,1,8) auf. Trotzdem werden wir zusätzlich auch Forecasts mit dem kleineren ARIMA(1,1,1) durchführen, da auch kleinere Modelle erfahrungsgemäß gute Forecast-Ergebnisse liefern. - 6 -
2.2.1 ARIMA(1,1,1) Variable Coefficient Std. Error t-statistic Prob. C.979468 1.21566.8579.429 AR(1).3313.333648.99296.3214 MA(1) -.195419.346816 -.563468.5734 R-squared.2318 Mean dependent var.979843 Adjusted R-squared.15148 S.D. dependent var 19.88483 S.E. of regression 19.73364 Akaike info criterion 8.81349 Sum squared resid 147588.9 Schwarz criterion 8.841334 Log likelihood -1679.777 F-statistic 3.93139 Durbin-Watson stat 2.1 Prob(F-statistic).2447 Inverted AR Roots.33 Inverted MA Roots.2 Das Modell weist insignifikante Koeffizienten und ein sehr niedriges R^2 aus. 2.2.2 ARIMA(8,1,8) Variable Coefficient Std. Error t-statistic Prob. C 1.3279.318733 4.16618. AR(1).97326.175713.553893.58 AR(2) -.22247.8336-2.679188.77 AR(3) -.19499.8299-2.3748.181 AR(4).335851.96283 3.488153.5 AR(5) -.28667.98929 -.289771.7722 AR(6).2943.77889.268879.7882 AR(7).727646.77926 9.337689. AR(8) -.81.159522 -.521.996 MA(1).51861.167372.39856.7569 MA(2).226689.84419 2.6853.76 MA(3).235917.82294 2.866754.44 MA(4) -.268561.1761-2.665316.8 MA(5).21294.11265.21277.8336 MA(6) -.18737.81148-2.34892.217 MA(7) -.71315.82412-8.653427. MA(8) -.33741.16195-2.845.379-7 -
R-squared.13313 Mean dependent var.997867 Adjusted R-squared.94359 S.D. dependent var 2.6787 S.E. of regression 19.9762 Akaike info criterion 8.781278 Sum squared resid 13569.4 Schwarz criterion 8.959299 Log likelihood -1629.49 F-statistic 3.435456 Durbin-Watson stat 1.999328 Prob(F-statistic).1 Inverted AR Roots.96.54 -.78i.54+.78i. -.13 -.99i -.13+.99i -.85+.35i -.85 -.35i Inverted MA Roots 1..58+.81i.58 -.81i -.12+.99i -.12 -.99i -.62 -.68+.31i -.68 -.31i Hier erhalten wir ein höheres R^2, was aber eher an einen höheren Anzahl von AR und MA Termen liegen wird. Und auch hier stellen wir Insignifikanz von vielen Koeffizienten fest. Dies stellt für uns jedoch kein Kriterium für einen guten Forecast dar. 9 8 7 6 5 4 2 21 22 23 24 ARIMA818FORECAST ARIMA828FORECAST ARMA111FORECAST KURS Wie an den Forecasts der beiden ARIMA Modelle zu sehen ist, weisen beide einen positiven Trend auf, was auf den ersten Blick immerhin einen Fortschritt gegenüber den modellfreien Forecasts bedeutet. Allerdings entstehen dadurch auch größere Abweichungen zu Beginn des Testing Sets. - 8 -
2.2.3 ARIMA(8,2,8) Da es angeblich beim Prognostizieren manchmal gute Ergebnisse bringt, wenn öfter differenziert wird als beim Dickey-Fuller Test empfohlen, verwenden wir zusätzlich ein ARIMA(8,2,8). Variable Coefficient Std. Error t-statistic Prob. C.16114.28952.556582.5782 AR(1) -.59676.5866-1.213.317 AR(2) -.33389.643141 -.513711.678 AR(3) -.231955.551573 -.42534.6743 AR(4) -.13461.448558 -.395.7643 AR(5) -.76932.51186 -.15299.886 AR(6) -.184111.389979 -.47215.6371 AR(7) -.96.326296 -.277661.7814 AR(8) -.19959.157493-1.26678.261 MA(1) -.411599.535445 -.76874.4426 MA(2) -.229489.562677 -.47852.6836 MA(3) -.17846.561335 -.192124.8478 MA(4) -.7828.521821 -.149876.889 MA(5) -.23927.481363 -.4976.964 MA(6) -.128859.49311 -.261319.794 MA(7) -.511.362641 -.14637.8882 MA(8) -.767.34151 -.2694.8362 R-squared.493936 Mean dependent var -.1963 Adjusted R-squared.471255 S.D. dependent var 26.35591 S.E. of regression 19.16466 Akaike info criterion 8.78842 Sum squared resid 13112.4 Schwarz criterion 8.966777 Log likelihood -1626.431 F-statistic 21.77777 Durbin-Watson stat 1.924229 Prob(F-statistic). - 9 -
2.3 MSE-Evaluation der dynamischen Forecasts Kurzfristig (3 Monate) Mittelfristig (1 Jahr) Langfristig (ca. 5 Jahre) Single (Alpha=.1) Single (Alpha=.3) Double (Alpha=.1) 299.2967 2778.655 751223.1 255.8135 2414.41 536133.4 239.4995 25.737 841932.6 Double (Alpha=.3) Hold-Winters (Alpha=.1) Hold-Winters (Alpha=.3) 432.9397 2199.177 842126. 6839.88 35728.51 2786311. 32.978 29192.39 2779775. ARIMA (1,1,1) 338.6494 2497.246 536216.2 ARIMA (8,1,8) 929.9485 5278.777 429279.9 ARIMA(8,2,8) 748.6348 2248.168 52831.1 Bei kurz- und mittelfristigen Prognosen ist die modellfreie Methode des Double Exponential Smoothing mit einer starken Glättung am besten. Im langfristigen Vergleich erweisen sich die modellgestützten Prognosen und insbesondere das ARIMA(8,1,8) als überlegen. - 1 -
3. One-Step-Forecasts auf das Testing-Set 3.1 Forecasts Interessanter wird ein Vergleich der Qualität der einzelnen Modelle, wenn nur ein Monat prognostiziert wird. Nach der Beobachtung des neuen Wertes werden jeweils neue Schätzungen durchgeführt, um die neue Schätzung der Koeffizienten zu erhalten. Wir spezifizieren die Modelle einmalig auf unserem Estimation Set und führen dann einen Monatsforecast durch. Hiernach wird die Stichprobe um den beobachteten Wert erweitert und die Parameter des Modells neu geschätzt um den nächsten Forecast zu erstellen. Es handelt sich je Modell um 58 Schätzungen, wobei jede einen Forecast erzeugt. Wird der gesamte Zeitraum geplotet, können kaum unterschiede der einzelnen Forecasts erkannt werden, jedoch ist zu sehen, dass alle Forecasts meist etwas zeitversetzt dem Kurs, ähnlich einem Random Walk, hinterher sind. 9 8 7 6 5 4 2 21 22 23 24 ARIMA818FOR ARIMA111FOR ARIMA828FOR KURS GARCHFOR Nimmt man einen bestimmten Zeitraum aus dem Testing Set heraus sieht man dennoch, dass es sich durchaus um recht unterschiedliche Monatsprognosen handelt. - 11 -
58 56 54 52 5 48 46 44 42 22:1 23:1 23:4 23:7 KURS ARIMA818FOR ARIMA111FOR ARIMA828FOR GARCHFOR 3.2 Evaluation Es gibt eine Reihe unterschiedlicher Möglichkeiten Forecasts zu evaluieren. Die einfachste Möglichkeit ist es die arithmetischen Mittel der quadrierten Abweichungen (MSE) und der absoluten Abweichungen (MAE) vom Kurs zu vergleichen. Außerdem führen wir zusätzlich die Mittel der absoluten prozentuellen Abweichungen (MAPE) an, welche jedoch als nicht sehr zuverlässig gelten. 3.2.1 MAE, MSE, MAPE MAE MSE MAPE ARIMA(8,1,8) 17,162 548,341,36 ARIMA(1,1,1) 16,348 486,22,292 ARIMA(8,2,8) 16,959 56,216,36 ARIMA-GARCH (,1,1/1) 17,319 541,136,311 RW 16,612 495,359,297 Wie zu sehen ist gewinnt in allen Fällen das ARIMA(1,1,1) Modell. Was allerdings anzumerken ist, ist das es nur knapp den Random Walk schlagen kann. Alle anderen Modelle bleiben hinter dem - 12 -
Random Walk zurück. Weiters fällt auf, dass die Werte des ARIMA Modells zweiter Differenzen unter jenen des ARIMA(8,1,8) bleiben. In dieser Tabelle ist auch schon ein IMA-GARCH Modell angeführt, welches der Inhalt der folgenden Kapitel sein wird. Anzumerken ist nur, dass die Prognosewerte auf den Kurs schlechter sind als bei den anderen Vorgestellten. 3.2.2 Andere Evaluationsmöglichkeiten Eine weitere Methode ist das Nachzählen, in wie vielen Fällen ein bestimmtes Modell bessere Ergebnisse (weniger Abweichung) aufgewiesen hat als ein anderes. In der folgenden Tabelle sehen wir die Relationen in Prozent. ARIMA(8,1,8) ARIMA(8,2,8) ARIMA(1,1,1) RW ARIMA(8,1,8) * 41,4 % 39,7 % 43,1 % ARIMA(8,2,8) * 43,1 % 43,1 % ARIMA(1,1,1) * 56,9 % RW * Auch in dieser Vergleichsvariante siegt das ARIMA(1,1,1) wieder knapp vor dem Random Walk. Es prognostiziert in 56,9 % der Fälle besser als der Random Walk. Allerdings müssen die 6,9 % Vorsprung wohl nicht unbedingt auf die bessere Güte des Modells schließen lassen sondern sind möglicherweise einfach zufällig durch die Wahl des Estimation- und Testing Sets entstanden. Als nächste Vergleichsvariante dividieren wir die MAE des ARIMA(1,1,1) durch jene des Random Walks und erstellen einen Graph. 5 4 3 2 1 2 1 2 2 2 3 2 4-13 - ( ( ( A R M A 1 1 F O R - K U R S ) ^ 2 ) ^ ( 1 / 2 ) ) / R W M A E 1
Immer wenn der Graph unter dem Wert von 1 liegt liefert das ARIMA Modell die besseren Prognosen, ansonsten der Random walk. Die Höhe des Ausschlags nach oben oder unten ist durch die Division in diesem Falle natürlich verzerrt zugunsten des Random Walks. Ein Ausschlag der nahe bei Null liegt, entspricht also einem sehr schlechten Forecast des Random Walks gegenüber dem ARIMA-Modell. Was deutlich zu sehen ist, ist das der Random Walk vor allem am Beginn des Testing Sets deutlich besser abschneidet. Dies rührt daher, dass die Kursveränderungen hier am geringsten sind. In der Periode von Ende 21 bis Mitte 23 siegt eindeutig das ARIMA Modell und am Ende scheint es bis auf einen guten Treffer des Random Walks beinahe ausgeglichen. Alles in allem muss allerdings festgestellt werden, dass unsere Level Forecasts nicht besonders überzeugend sind, da unser bestes Modell einerseits den Random Walk nur sehr kapp schlagen kann und anderseits selbst eigentlich eher als Referenzmodell verwendet werden könnte, da es sich ja um ein sehr einfaches ARIMA(1,1,1) Modell handelt. Als nächsten Schritt wollen wir versuchen, die Volatilität der Kurse anhand eines Garch Modells zu prognostizieren. 4. ARIMA-GARCH Neben dem Standard Garch-Modell versuchten wir zu erklären. X t auch durch verschiedene ARIMA Prozesse X t = µ + ε E( ε ε ) h α α ε βh t 2 2 t t 1 = t = + 1 t 1+ t 1 Nach verschiedenen Spezifikationsversuchen ergab ein IMA-GARCH mit einem ARIMA Teil der Ordnung (,1,1) das beste AIC. X = µ + φε + ε t t 1 t Um Schätzungen bezüglich der Volatilität auch evaluieren zu können, ohne tatsächlich die Volatilität des Kurses zu kennen, verwendeten wir als Maß für die Volatilität die quadrierten Kursveränderungen jedes Monats in Bezug auf den jeweils nächsten Monat. - 14 -
( p ) t pt 1 2 12 1 8 6 4 2 197 1975 198 1985 199 1995 2 (KURS-KURS(-1))^2 Durch unseren One-Step-Forecast mit stets erneuerten Schätzungen (wie bereits oben erklärt) des Varianzteils unseres Modells erhielten wir folgende Werte: 4 3 2 1 2 21 22 23 24 (KURS-KURS(-1))^2 VOLATILITYFOR Rein optisch scheint der Fit unseres Forecasts für die Volatilität relativ gut zu passen. Die hohe Skalierung von bis zu 4 Indexpunkte erklärt sich dadurch, dass die Abweichungen in einigen Monaten bis an 6 Indexpunkte heranreicht. Zum Vergleichen wählten wir die Summe der quadrierten Abweichungen und den RW als Benchmark (hier definiert als (KURS(-1)-Kurs(-2))^2). MSE(IMA-GARCH) = 5175377.9694 > 46898351.392 = MSE(RW) Leider weist das Modell keinen geringeren Wert auf. - 15 -