QUANTITATIVE STATISTICAL METHODS: REGRESSION AND FORECASTING JOHANNES LEDOLTER VIENNA UNIVERSITY OF ECONOMICS AND BUSINESS ADMINISTRATION SPRING 2013 ZEITREIHEN 1 Viele Beobachtungen in den Wirtschaftswissenschaften werden in Form von Zeitreihen erhoben. Beispiele: Tägliche Beobachtungen von Aktienkursen: Lenzing AG Monatliche Verkaufszahlen: Ersatzteile. Umsatz einer Wiener Buchhandlung Arbeitslosenrate/Beschäftigung: US Arbeitslosenrate Quartalsdaten von Wirtschaftsindikatoren Jährliche Daten von Geburten, Erstinskribanten, Einkommen: Abschlüsse an der WU. Insgesamt. Prozent der Männer. Fragestellungen bei Zeitreihen: Fragestellung 1: Beschreibung des Trendes. Trendkomponenten. Gibt es eine Zunahme/Abnahme? Ist der Trend stabil, oder ändert sich der Trend über die Zeit? Fragestellung 2: Beschreibung der Saisonalität (Saisonmuster) 1 Copyright: Johannes Ledolter, 2013 1
Bei Daten wie Arbeitslosenrate, Beschäftigung, Verkaufsdaten (Weihnachtsgeschäft; Badehosen im Sommer; Skis im Winter). Aussagen über den Trend sollte von der Saisonalität nicht beeinflusst werden. Deshalb Saisonbereinigung (Seasonal Adjustment). Fragestellung 3: Vorhersagen (Prognosen; Forecasting). Wie geht es weiter? In der nächsten Periode? In den nächsten sechs (zwölf) Perioden? Vorhersagen und Vorhersageintervalle. Zeitreihe von Beobachtungen: Daten werden zu periodischen Zeitpunkten (Monat, Quartal, Jahr) erhoben. Beobachtungen: y 1, y 2,..., y t-1, y t, y t+1..., y n Zeitindex t; Anzahl der Beobachtungen n Grafische Zeitreihen Darstellung (time series plots): Siehe Beispiele: Streudiagramm der Beobachtungen (y) vs. Zeit (x), mit Verbindung von aufeinander folgenden Beobachtungen Vorhersagen (allgemein): y 1, y 2,..., y n y n+1, y n+2,..., y n+r historische Daten zukünftige Beobachtungen y n (r) y n (r) ± c Vorhersage für künftige Beobachtung y n+r (95%) Vorhersageintervall für y n+r n: Vorhersage Zeitpunkt r: Vorhersage Horizont 2
Beipiele: y 2003/9 (3): Vorhersage für 2003/12 (Dez 2003), auf Basis der Beobachtungen bis (einschliesslich) 2003/9. Vorhersage drei Perioden voraus. Vorhersagen für Oktober 2003: y 2003/8 (2): Vorhersage für 2003/10 (Okt 2003), auf Basis der Beobachtungen bis (einschliesslich) 2003/8. Vorhersage zwei Perioden voraus. y 2003/9 (1): Vorhersage für 2003/10 (Okt 2003), auf Basis der Beobachtungen bis (einschliesslich) 2003/9. Vorhersage eine Periode voraus. Hier zusätzliche Information von September 2003. Methoden zur Bestimmung von y n (r) und c 3
Beispiele (Zeitreihendarstellung): 0.8 Anteil 0.7 Magisterium: Anteil Maenner 0.6 1981 1986 Jahr 1991 1996 Anteil 1300 1200 1100 1000 900 800 700 600 500 400 Magisterium: Insgesamt (Maenner und Frauen) 1981 1986 Jahr 1991 1996 350 Verkauf von Ersatzteilen Einheiten 250 150 10 20 30 Zeit (Woche) 40 50 4
Umsatz einer Innenstadtbuchhandlung 1700 Dezember 1200 Umsatz 700 200 1990 1991 1992 1993 1994 Jahr 1995 1996 1997 Monatliche US Arbeitslosigkeit 8 7 Arbeitslosigkeit (rohe Daten) 6 5 4 Jahr 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 Aktien Kurse: Lenzing AG 2002 90 SchlussKursLenzing 80 70 Jan Marz Mai Juli Sep Nov Zeit 5
Fragestellung 1: Beschreibung des Trends nicht-saisonaler Zeitreihen Methode 1a: Beschreibung des Trends durch einfache grafische Darstellung Gibt es eine Zunahme/Abnahme? Ist der Trend stabil, oder ändert sich Trend über Zeit? Beispiele: Magisteriumsabschlüsse: Steigender Trend bei Insgesamt. Fallender Trend bei Männer Anteil. Trend ist relativ stabil. Verkauf von Ersatzteilen: Trendkomponente nicht stabil. Anfangs fast keine Aenderung. In der zweiten Hälfte steigender (linear) Trend. Methode 1b: Beschreibung des Trends durch Gleitende Durchschnitte (moving average) MA t (Ordnung 2m+1) = [y t-m + + y t-1 + y t + y t+1 + + y t+m ] / (2m+1) Durchschnitt von (2m + 1) Beobachtungen: Beobachtung zum Zeitpunkt t, m Beobachtungen unmittelbar vor Zeitpunkt t; und m Beobachtungen unmittelbar nach Zeitpunkt t; (2m+1) nennt man die Ordnung des moving averages; auch die Länge des Fensters (window length). Durchschnitt bewirkt ein Glätten der Beobachtungen; die Variation der Beobachtungen wird dadurch verringert und der Trend kommt besser zum Vorschein. Je grösser die Ordnung (window) m, umso grösser der Glättungseffekt und umso mehr kommt der Trend zum Vorschein. Jedoch ein zu grosses m bringt die Gefahr dass relevante Trendeigenschaften gemittelt werden, und dadurch verschwinden. 6
Beispiel: Absatz von Ersatzteilen: MA(5) und MA(7) MA t (5) = [y t-2 + y t-1 + y t + y t+1 + y t+2 ] / 5 MA t (7) = [y t-3 + y t-2 + y t-1 + y t + y t+1 + y t+2 + y t+3 ] / 5 Zei Ersatzteile MA(5) MA(7) t 1 206 * * 2 245 * * 3 185 193.40 * 4 169 187.60 193.00 =(206+245+185+169+162+177+207)/7=193.00 5 162 180.00 194.43 =(245+185+169+162+177+207+216)/7=194.43 6 177 186.20 187.00 7 207 191.00 193.43 45 255 286.80 289.00 46 312 290.00 288.86 47 296 290.20 291.29 48 307 300.80 291.29 =(255+312+296+307+281+308+280)/7=291.29 49 281 294.40 304.14 =(312+296+307+281+308+280+345)/7=304.14 50 308 304.20 * 51 280 * * 52 345 * * Zeichnung der Beobachtungen und gleitender Durchschnitte, MA(7). Trend ist nicht stabil. Trend ändert sich über die Zeit. Anfangs ist der Trend relativ flach. Später ansteigend. 7
350 Einheiten 250 MA(Ordnung 7) - f ett 150 10 20 30 40 50 Zeit (Woche) 8
Fragestellung 2: Vorhersage nicht-saisonaler Zeitreihen Methode 2a: Vorhersage mittles Regression auf die Zeit Funktioniert nur bei stabilen Trends Beispiel 1 : WU Absolventen mit Magisterium. Trend ist relativ stabil. Regression auf Zeit ein annähernd vernünftiges Modell. y t = a + bzeit t + Fehler wobei Zeit die Variable mit (1977, 1978,, 1997) Regressionsschätzung am Beispiel der WU Absolventen The regression equation is Absolventen = - 93341 + 47.4 Zeit Predictor Coef SE Coef T P Constant -93341 4890-19.09 0.000 Zeit 47.360 2.461 19.24 0.000 S = 68.29 R-Sq = 95.1% R-Sq(adj) = 94.9% Geschätzte Gerade mit Zeit = 1995: Absolventen = - 93341 + 47.4(1995) = 1141.78 Vorhersagen: Extrapolation der Geraden: 1998: 93341 + 47.4(1998) = 1283.90 1999: 93341 + 47.4(1999) = 1331.30 2000: 93341 + 47.4(2000) = 1378.70 2001: 93341 + 47.4(2001) = 1426.10 2002: 93341 + 47.4(2002) = 1473.50 9
Trendregression: WU Absolventen 1500 WU Absolventen Vorhersagen Absolv enten 1000 Geschaetzte Regression 500 1977 1982 1987 1992 1997 2002 Jahr Beispiel 2: Bei der Ersatzteil Zeitreihe ist der Trend nicht stabil. Deshalb ist die Trendregression für Ersatzteile ungeeignet. 350 Einheiten 250 Ersatzteile Regression auf Zeit R-Quadrat = 56.6 150 10 20 30 40 50 Zeit (Woche) 10
Methode 2b: Vorhersage mittles Autoregressiver Modelle der Ordnung p: AR(p) Regression der Beobachtung zum Zeitpunkt t, y t, auf die vorhergehenden p Beobachtungen y t-1, y t-2,,y t-p y t = a + b 1 y t-1 + b 2 y t-2 + + b p y t-p + Fehler Beispiel: AR(3) y t = a + b 1 y t-1 + b 2 y t-2 + b 3 y t-3 + Fehler Vorhersagen: y n (1) = a + b 1 y n + b 2 y n-1 + b 3 y n-2 y n (2) = a + b 1 y n (1) + b 2 y n + b 3 y n-1 y n (3) = a + b 1 y n (2) + b 2 y n (1) + b 3 y n etc. Nur die Werte der letzten p Beobachtungen sind für die Vorhersagen zukünftiger Werte relevant. Falls p = 3, spielen nur die Werte der letzten drei Beobachtungen eien Rolle. Die früheren Werte gehen nicht in die Vorhersagen ein (jedoch schon in die Schätzwerte der Koeffizienten). Vorhersagen von AR Modellen sind wesentlich adaptiver als die Vorhersagen von Trendregressionen. Man verwendet autoregressive Modelle wenn sich die Trends über die Zeit hinweg ändern (wie bei unserer Ersatzteil Zeitreihe). Beispiel: Ersatzteile. AR(3) The regression equation is Ersatzteile = 17.5 + 0.542 Lag1 + 0.201 Lag2 + 0.197 Lag3 49 cases used 3 cases contain missing values 11
Predictor Coef SE Coef T P Constant 17.55 24.51 0.72 0.478 Lag1 0.5416 0.1491 3.63 0.001 Lag2 0.2011 0.1654 1.22 0.230 Lag3 0.1970 0.1529 1.29 0.204 S = 29.49 R-Sq = 64.1% R-Sq(adj) = 61.7% Vorhersagen: Die letzten 3 Beobachtungen sind:, 308, 280, 345 (letzte Beobachtung) y 52 (1) = 17.5 + 0.542(345) + 0.201(280) + 0.197(308)= 321.4 y 52 (2) = 17.5 + 0.542(321.4) + 0.201(345) + 0.197(280) = 316.2 y 52 (3) = 17.5 + 0.542(316.2) + 0.201(321.4) + 0.197(345) = 321.5 etc. Methode 2c: Glättungsverfahren nach Holt Die wohl meist verwendete Methode zur Vorhersage von Zeitreihen mit Trend, aber ohne Saisonalität. Funktioniert in Praxis ausgezeichnet. L n T n Niveau zum Vorhersage Zeitpunkt n Trendkomponente zum Vorhersage Zeitpunkt n Lineare Trend Vorhersage: y n (r) = L n + rt n L n ist das geschätzte Niveau ( level ) der Reihe zum Zeitpunkt n, und T n ist die Trendkomponente zum Zeitpunkt n. Das Niveau L n ist ein Durchschnitt der letzten (paar) Werte. Wie viele Beobachtungen in den Schätzwert eingehen sollen und wie diese Beobachtungen nach ihrem Alter gewichtet werden sollen, hängt jedoch von der Reihe ab. 12
Das selbe gilt für die Trendkomponente T n. Sie wird durch die Änderung von aufeinanderfolgenden Beobachtungen geschätzt. Wie viele Beobachtungen in die Kalkulation eingehen hängt wieder von den Daten ab. Die neueste Information (y n ) und die alte Information (Information zum Zeitpunkt n-1) wird mittels updates gewichtet: L n = 1 y n + (1-1 )[L n-1 +T n-1 ] T n = 2 [L n - L n-1 ] + (1-2 )T n-1 wobei 1, 2 zwei Glättungskonstanten, jeweils zwischen 0 und 1. Glättungskonstante gross: bedeutet Betonung der neuesten Information. Falls 1 = 1 und 2 = 1: L n = y n und T n = L n - L n-1 = y n - y n-1. Die Vorhersagen ergeben sich aus der Regression durch die letzten zwei Beobachtungen: y n (1) = y n + (y n - y n-1 ) y n (2) = y n + 2(y n - y n-1 ), etc. Glättungskonstante klein: bedeutet dass alle Beobachtungen ähnlich gewichtet werden. Initialisierung der Rekursionen: L 2 = y 2 ; T 2 = y 2 - y 1 Dann berechnen wir L 3 und T 3, L 4 und T 4,, bis zu L n und T n Mit den letzten Werten berechnen wir die Vorhersagen: y n (r) = L n + rt n Schätzung der Glättungskonstanten durch Minimierung der Quadrate der historischen (ein-stufigen) Vorhersagefehler. 13
Beispiel: Ersatzteile mit 1 = 0.20 and 2 = 0.20. Vorhersagen passen sich dem letzten Teil der Daten an. Funktioniert besser als Regression auf Zeit die einen stabilen Trend voraussetzt. Holt's Exponentielle Glaettung 400 Vorhersagen Actual Forecast Einheiten 300 200 Ersatzteile Actual Forecast Smoothing Constant Alpha1(level): 0.2 Alpha2(trend): 0.2 MAPE: MAD: MSD: 10.6 22.9 822.3 0 10 20 30 40 50 Zeit (Woche) 14
Fragestellung 3: Saisonbereinigung (Seasonal Adjustment) Bei der Interpretation von Wirtschaftsdaten spielt die Trendkomponente eine grosse Rolle. Saisonalität ist in diesem Fall ein Störfaktor der bei der Interpretation des Trends nicht berücksichtigt werden soll. Beispiel: Arbeitslosenrate. Im Winter immer hoch. Arbeitslosenrate im Jänner immer wesentlich höher als im Dezember (egal ob Wirtschaft gut oder schlecht). Ein Zuwachs von 3.5% im Dezember auf 4.3% im Jänner bedeutet nicht unbedingt dass sich die Arbeitslosenrate wesentlich verschlechtert hat; dieser Zuwachs könnte allein (oder zum Teil) durch die Saisonalität erklärt werden. Deshalb: Saisonbereinigung der Daten. In Österreich vom Wirtschaftsforschungsinstitut (WIFO) und Statistischem Zentralamt ausgeführt. Computerverfahren wie das US Census X12-ARIMA Programm. Diese Verfahren verwenden gleitende Durchschnitte. Gleitende Durchschnitte (mit einem Fenster das der Saisonlänge entspricht) lassen die Saisonalität verschwinden. Beispiel 1: Trimester (Saisonlänge 3). Gleitender Durchschnitt der Ordnung 3 mittelt Beobachtungen von jedem der drei Trimestern. y t+1, y t, y t-1 (Trimester in Reihenfolge 3, 2, 1). Der gleitende Durchschnitt wird dem mittleren Zeitpunkt (hier t) zugewiesen; MA t (3) = (y t+1 + y t + y t-1 )/3. y t+2, y t+1, y t (Trimester in Reihenfolge 1, 3, 2, da ja Trimester 1 auf 3 folgt). Der gleitende Durchschnitt wird dem mittleren Zeitpunkt (hier t+1) zugewiesen; MA t+1 (3) = (y t+2 + y t+1 + y t )/3. y t+3, y t+2, y t+1 (Trimester in Reihenfolge 2, 1, 3). Der gleitende Durchschnitt wird dem mittleren Zeitpunkt (hier t+2) zugewiesen; MA t+2 (3) = (y t+3 + y t+2 + y t+1 )/3. 15
Beispiel 2: Monatsdaten (Saisonlänge 12). Fenster der Länge 12. Jedes Monat kommt im gleitenden Durchschnitt vor; allerdings ist die Zuordnung problematisch. y t+6, y t+5,, y t+1, y t, y t-1,, y t-5 : Der gleitende Durchschnitt wird dem mittleren Zeitpunkt (hier t+0.5) zugewiesen; MA t+0.5 (12) = (y t+6 + y t+5 + + y t+1 + y t + y t-1 + + y t-5 )/12. y t+5,, y t+1, y t, y t-1,, y t-6 : Der gleitende Durchschnitt wird dem mittleren Zeitpunkt (hier t-0.5) zugewiesen; MA t-0.5 (12) = (y t+5 + + y t+1 + y t + y t-1 + + y t-6 )/12. Weiters berechnen wir den gleitenden Durchschnitt zweier aufeinanderfolgenden Durchschnitte. Das führt zu dem 2x12 centered moving average, MA t (2x12)= [MA t+0.5 (12) + MA t-0.5 (12)]/2 = [(1/2)y t+6 + y t+5 + + y t+1 + y t + y t-1 + + y t-5 + (1/2)y t+6 ]/12. Dieser gleitende Durchschnitt wird dann dem mittleren Zeitpunkt t zugewiesen. Moving average lässt die Saisonalität verschwinden. Im Census X12 Programm viele Verfeinerungen. Auch Schätzung der Saisonalität. Programme sind adaptiv; d.h., erlauben dass sich Trend und Saisonmuster über die Zeit ändern. 16
Beispiel: US Arbeitslosenraten Monatliche US Arbeitslosigkeit (roh und saisonbereinigt) 8 7 saisonbereinigt (fett) 6 5 4 Jahr 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 Weiterführende Literatur: Abraham, B. und Ledolter, J.: Statistical Methods for Forecasting. Wiley, 1983 Armstrong, J.S. (editor): Principles of Forecasting. Kluwer Academic Publishers, 2001. This book includes summaries and references to commonly-used forecast methods and covers both quantitative and qualitative (judgmental) forecast procedures. Much useful information can be found on the website http://wwwmarketing.wharton.upenn.edu/forecast/ sitemap.html. It lists relevant books and articles, and provides links to two important forecasting journals, the Journal of Forecasting and the International Journal of Forecasting.] Box, G.E.P. und Jenkins, G.M.: Time Series, Forecasting and Control (2 nd edition), Holden-Day, 1976 (3 rd edition mit G.C. Reinsel, 1994, Prentice Hall). Newbold, P. und Bos, T.: Introductory Business Forecasting (2 nd edition). South-Western Publishing Co., 1994 17