Zeitreihenanalyse Fallbeispiele aus der Meteorologie

Transkript

1 Zeitreihenanalyse Fallbeispiele aus der Meteorologie Diplomarbeit in der Studienrichtung Technische Mathematik zur Erlangung des akademischen Grades Diplom-Ingenieurin eingereicht an der Fakultät für Mathematik, Informatik und Physik der Universität Innsbruck von Dorothea Huber Betreuer der Diplomarbeit: Univ.-Prof. Dr. Norbert Netzer Innsbruck, August 2009

2 Inhaltsverzeichnis 1 Einleitung Problemstellung Überblick Deskriptive Zeitreihenanalyse Definitionen Das additive Komponentenmodell Box-Cox-Transformationen Das standardisierende Komponentenmodell Schätzen von Trend und saisonaler Komponente Trendtest nach Mann Schätzen der saisonalen Komponente Schätzen der saisonalbedingten Standardabweichung Praktischer Teil Graphische Darstellung Trendtest nach Mann Additives Komponentenmodell Standardisierendes Komponentenmodell Bestimmtheitsmaß ARMA-Prozesse Grundlagen-Definitionen Stationäre und invertierbare Arma-Prozesse Schätzer für µ, γ(h) und ρ(h) Prognose mit ARMA-Modellen Parameterschätzung für ARMA-Prozesse Berechnung der Startwerte Hannan-Rissanen Algorithmus Maximum-Likelihood-Schätzer Identifikation des Modells Identifikation von p und q anhand der Autokorrelation und der partiellen Autokorrelation Informationskriterien Nichtstationäre Zeitreihen Der ARIMA-Prozess Der SARIMA-Prozess

3 Inhaltsverzeichnis 3.8 Praktischer Teil ARMA-Modelle für das additive Komponentenmodell ARMA-Modelle für das standardisierende Komponentenmodell Modellüberprüfung Bivariate Zeitreihenanalyse Erwartungswert und Korrelation von bivariaten Prozessen Unabhängigkeit von zwei Zeitreihenvariablen Richtung des linearen Zusammenhangs zweier Variablen Bivariate ARMA-Prozesse Parameterschätzung bivariater Autoregressiver Prozesse Identifikation des autoregressiven Modells Transferfunktionenmodell Verfahren zur Identifikation von Transferfunktionenmodellen Vorhersage aufgrund eines Transferfunktionenmodells Praktischer Teil Tageshöchsttemperatur Tagestemperaturunterschied Nachttemperaturunterschied Nachttiefsttemperatur Überprüfung des Modells Tagesgang der Temperatur Tagesgang der Temperatur mit dem Transferfunktionenmodell Temperaturkurve Anhang 79 Literaturverzeichnis 80 3

4 1 Einleitung Die Zeitreihenanalyse findet in sehr vielen Wissensgebieten Anwendung. Der zeitliche Ablauf gewisser Ereignisse wird festgehalten, analysiert und es wird versucht daraus eine Prognose der zukünftigen Entwicklung zu erstellen. So werden beispielsweise in der Medizin Fieberkurven angefertigt, daraus werden unter anderem Rückschlüsse auf den Krankheitsverlauf gezogen. Seismologen registrieren ständig die Erschütterungen der Erdkruste, um so Frühwarnungen für Erdbeben geben zu können [Hartung]. 1.1 Problemstellung In dieser Diplomarbeit wird versucht anhand von meteorologischen Zeitreihen die Lufttemperatur (in 2 m Höhe) für den nächsten Tag und für die nächsten Stunden vorherzusagen. Dazu wurden Daten der Wetterstationen Nummer und in Innsbruck verwendet. Als Kennwerte für die Temperatur wurde die Tageshöchsttemperatur, der Tagestemperaturunterschied (diurnal temperature range, DTR), der Nachttemperaturunterschied (NTR) und die Nachttiefsttemperatur gewählt. Die Vorhersage dieser Kennwerte kann entweder univariat erfolgen oder unter Miteinbeziehung von einer zweiten Zeitreihe. Für die bivariate Zeitreihenanalyse wurden die Bewölkung und die Globalstrahlung gewählt. 1.2 Überblick Es soll hier ein Überblick über die einzelnen Kapitel bzw. Schritte der Problemlösung gegeben werden. Das zweite Kapitel beschäftigt sich mit der deskriptive Zeitreihenanalyse. Die Zeitreihe wird als sogenanntes Komponentenmodell betrachtet. Hierbei wird davon ausgegangen, dass sich die Zeitreihe aus einer Trendkomponente, einer zyklischen Komponente, einer saisonalen Komponente und einer irregulären Komponente zusammensetzt. Die Komponenten werden im Wesentlichen mit den Methoden der linearen Regression geschätzt. Die Zeitreihen der maximalen Tagestemperatur, des Tagestemperaturunterschieds, des Nachttemperaturunterschieds, der minimalen Nachttemperatur sowie der mittleren Globalstrahlung pro Tag werden durch zwei verschiedene Komponentenmodelle beschrieben. 4

5 1 Einleitung Das dritte Kapitel beschäftigt sich mit der sogenannten stochastischen Zeitreiheanalyse. Die 1970 vorgestellte Methode von Box und Jenkins betrachtet die irreguläre Komponente vom Zeitreihenmodell als stochastischen Prozess. Die autoregressiven Prozesse (AR) erklären sich aus sich selbst heraus, die moving average Prozesse (MA) beziehen sich auf einem Fehlerprozess. Möglich ist natürlich auch eine Kombination der beiden, ein sogenannter ARMA-Prozess. Soll ein solcher Prozess an eine Zeitreihe angepasst werden, so müssen nicht nur die Prozessparameter geschätzt werden sondern auch das geeignete Modell identifiziert werden. Für die Modellidentifikation werden zwei Methoden behandelt: die graphische Methode mittels Autokorrelations- und partieller Autokorrelationsfunktion und die Identifikation mit sogenannten Informationskriterien. Die dazugehörigen Prozessparameter werden mit der Maximum- Likelihood-Schätzung ermittelt. Für die Prognose von Zeitreihen wird das Innovationen-Algorithmus vorgestellt. Für nichtstationäre Zeitreihen wurde von Box und Jenkins eine Erweiterung des ARMA-Modells zum SARIMA-Modell entwickelt. Dabei wird der polynomiale Trend durch Differenzenbildung eliminiert und die Saisonalität durch ein ARMA-Modell beschrieben. Im praktischen Teil werden für die irregulären Komponenten der Zeitreihen aus den Komponentenmodellen ARMA-Modelle identifiziert und ihre Prognosefähigkeit durch Vergleich mit den tatsächlichen Zeitreihenwerten getestet. Das vierte Kapitel befasst sich mit der bivariaten Zeitreihenanalyse. Hierbei soll zunächst die statistische Abhängigkeit nachgewiesen und die Richtung des linearen Zusammenhangs ermittelt werden. Die zwei behandelten bivariaten Zeitreihenmodelle sind der bivariate autoregressive Prozess (falls sich die Zeitreihen gegenseitig beeinflussen) und das Transferfunktionenmodell. Dieses beschreibt den linearen Zusammenhang von zwei Zeitreihen, wobei eine Zeitreihe als Input oder unabhängige Variable und die andere als Output oder abhängige Variable angesehen wird. Auch dieses Verfahren wurde bereits 1970 von Box und Jenkins entwickelt. Im praktischen Teil wird das Transferfunktionenmodell zur Vorhersage der Tageshöchsttemperatur, des DTR und des NTR angewandt. Als Input werden die mittlere Globalstrahlung, die mittlere Tages- oder Nachtbewölkung herangezogen. Im fünften Kapitel wird versucht die Temperatur der nächsten Stunden mit Hilfe des Transferfunktionenmodells vorherzusagen. Dabei wird zunächst untersucht, ob die drei Zeitreihen der Windgeschwindigkeit, des Bewölkungsgrades und der Globalstrahlung als Input des Transferfunktionenmodells geeignet sind. Ein signifikanter Zusammenhang kann nur zwischen der Temperatur und der Globalstrahlung festgestellt werden. Als nächstes wird der Temperaturgang von wolkenlosen bis fast wolkenlosen Tagen mit dem Temperaturgang von fast bedeckten bis bedeckten Tagen graphisch verglichen. Hierbei können vor allem Unterschiede bezüglich des Zeitpunkts der Nachttiefsttemperatur beobachtet werden. 5

6 2 Deskriptive Zeitreihenanalyse Ziel der deskriptive Zeitreihenanalyse ist die Darstellung der Zeitreihe als sogenanntes Komponentenmodell. Hierbei wird davon ausgegangen, dass sich die Zeitreihe aus einer Trendkomponente, einer zyklischen Komponente, einer saisonalen Komponente und einer irregulären Komponente zusammensetzt. Je nachdem wie die Komponenten miteinander verknüpft sind, spricht man von einem additiven, multiplikativen oder gemischten Komponentenmodell. Nachdem Trend und saisonale Komponente geschätzt wurden, wird die irreguläre Komponente aus dem Modell extrahiert, diese soll (schwach) stationär sein, damit sie im nächsten Kapitel mit den Methoden von Box und Jenkins weiter untersucht werden kann. Die meisten meteorologische Zeitreihen, wie Temperatur oder Globalstrahlung, weisen starke Schwankungen im Jahresverlauf auf. Zusätzlich kann aber auch eine Varianzinhomogenität beobachtet werden (vgl. dazu grafische Darstellungen im praktischen Teil). Aus diesem Grund muss beim additiven Komponentenmodell eine varianzstabilisierende Transformation der Zeitreihe durchgeführt werden oder man betrachtet ein alternatives Modell. Bei diesem wird die Zeitreihe aufgrund der saisonalen Komponente und der saisonalen Varianz standardisiert [Wilks]. Die Komponenten beider Zeitreihenmodelle werden mit den Methoden der linearen Regression geschätzt. Die saisonale Komponenten und die saisonale Standardabweichung der Zeitreihe werden als trigonometrische Polynome geschätzt. 2.1 Definitionen Definition 1. Eine Zeitreihe ist eine Folge von zeitlich geordneten Beobachtungen. Wenn die Menge der Beobachtungen diskret ist, spricht man von einer diskreten Zeitreihe. Werden hingegen die Beobachtungen über einen Zeitintervall kontinuierlich verzeichnet, spricht man von einer stetigen Zeitreihe. Die Beobachtungen einer diskreten Zeitreihe, die zu den Zeitpunkten t 1, t 2,... t n gemacht werden, werden mit y(t 1 ), y(t 2 ),..., y(t n ) bezeichnet. Bei diskreten Zeitreihen mit äquidistanten Zeitpunkten verwendet man folgende Notation: y = (y 1, y 2,..., y n ) wobei y t die Beobachtung zum Zeitpunkt t und n die Länge der Zeitreihe ist [Box, Jenkins]. Definition 2. In der Theorie der deskriptiven Methoden der Zeitreihenanalyse wird davon ausgegangen, dass sich eine Zeitreihe in einem Trend, einer zyklischen Komponente, einer saisona- 6

7 2 Deskriptive Zeitreihenanalyse len Komponente und in einer irregulären Komponenten darstellen lässt. Dieser Zugang ist nicht immer der beste, aber sehr nützlich, wenn die Variation der Zeitreihe stark von einem Trend oder Saisonalität beeinflusst wird [Chatfield]. Trend (T): Ist die langfristige Veränderung der Zeitreihe in der Zeit, wobei langfristig von der Art der Zeitreihe abhängt [Chatfield]. Saisonale Komponente (S): Der Verlauf der saisonalen Komponente ist wellenförmig. Sie entsteht durch einen periodischen Zeiteinfluss auf die Beobachtungswerte. Ein solcher periodischer Einfluss ist zum Beispiel der Einfluss der Jahreszeiten [Hartung]. Zyklische Komponente (Z): Ist ebenfalls eine wellenförmige Komponente, die aber keine von Außen vorgegebene Periode hat. Die beobachtete Periode kann aber geschätzt werden. Ein Beispiel für eine zyklische Komponente ist der 7-jährige Wirtschaftszyklus [Chatfield]. Irreguläre Komponente (R): Nachdem Trend, zyklische Komponente und Saisonalität von der Zeitreihe eliminiert wurden, bleiben die Residuen, die zufällig sein können oder als selbsterklärendes Modell dargestellt werden können [Chatfield]. Die Zeitreihe der Residuen soll stationär sein [Brockwell, Davis. 2002]. Glatte Komponente (G): Trend und zyklische Komponente können als glatte Komponente zusammengefasst werden [Hartung]. 2.2 Das additive Komponentenmodell Falls die Komponenten als additiv miteinander verknüpft angenommen werden, spricht man vom additiven Komponentenmodell y t = T t + Z t + S t + R t, = G t + S t + R t für t = 1,..., n (2.1) In Fällen von Varianzheterogenität oder falls sich die saisonale Komponente und die irreguläre Komponente proportional zum Trend verändern, wird jedoch zunächst eine varianzstabilisierende Transformation der Zeitreihe, eine sogenannte Box-Cox-Transformation, durchgeführt [Brockwell, Davis. 2002] Box-Cox-Transformationen Zu den varianzstabilisierenden Transformationen gehören die Box-Cox-Transformationen, welche aus [Pengfei Li] entnommen wurden. Die ursprüngliche Form der Box-Cox-Transformation, 7

8 2 Deskriptive Zeitreihenanalyse die 1964 von Box und Cox veröffentlicht wurde, war { y λ 1 y(λ) = λ, wenn λ 0; log(y), wenn λ = 0. (2.2) Eine Erweiterung davon erlaubt auch negative Daten zu transformieren. y(λ) = { (y+λ2 ) λ 1 1 λ 1, wenn λ 1 0; log(y + λ 2 ), wenn λ 1 = 0. (2.3) Wobei λ = (λ 1, λ 2 ) ist. In der Praxis wird λ 2 so gewählt, dass y + λ 2 > 0 ist. Ziel der Box-Cox-Transformation ist die Zeitreihe so umzuformen, dass sie annähernd normalverteilt ist, d.h. y(λ) N(Xβ, σ 2 I n ). Wobei X die Datenmatrix der unabhängigen Variablen ist, neben der Zeit können auch andere exogene Variablen auftreten. β ist der Parametervektor der linearen Regression und σ 2 ist die Varianz. Die in dieser Diplomarbeit betrachteten Zeitreihen haben keinen signifikanten Trend und die saisonale Komponente wird als trigonometrisches Polynom dargestellt (vgl. Ausführungen im Abschnitt 2.5). Die Datenmatrix X ist somit X = 1 cos(2πt 1 /365) sin(2πt 1 /365)... 1 cos(2πt n /365) sin(2πt n /365) (2.4) Schätzen des Parameters λ Für die Schätzung des Parameters λ wird angenommen, dass y(λ) N(Xβ, σ 2 I n ) ist. Die dazugehörige Dichte für y(λ) ist ( f(y(λ)) = (2πσ 2 ) n 2 exp 1 ) 2σ 2 (y(λ) Xβ) (y(λ) Xβ) (2.5) Sei J(λ, y) die Funktionaldeterminate oder Jacobi-Determinante der Transformation von y zu y(λ), dann ist die Dichtefunktion für y und somit die Likelihoodfunktion für das ganze Modell ( L(λ, β, σ 2 y, X) = f(y) = (2πσ 2 ) n 2 exp 1 ) 2σ 2 (y(λ) Xβ) (y(λ) Xβ) J(λ, y) Um davon das Maximum-Likelihood zu erhalten können noch ein paar Vereinfachungen durchgeführt werden. Für fixes λ entspricht die obige Likelihoodfunktion der Likelihoodfunktion einer multiplen linearen Regression. Die Schätzer für β und σ 2 sind (2.6) β(λ) = (X X) 1 X y(λ) (2.7) σ 2 (λ) = y(λ) (I n X(X X) 1 X )y(λ) n (2.8) 8

9 2 Deskriptive Zeitreihenanalyse Die Jacobi-Determinante J(λ, y) der Box-Cox-Transformation ist y 1 (λ) y y 1 1 (λ) y 1 (λ) y n y y 2 (λ) y J(λ, y) = y 1 2 (λ) y n y 0 2 (λ)... = y y n(λ) y y n(λ) y n y n(λ) y n = n i=1 y λ 1 i (2.9) Somit erhält man folgende Vereinfachung des Logarithmus der Likelihoodfunktion (2.5): l(λ y, X, β(λ), σ 2 (λ)) = C n 2 log( σ 2 (λ)) + (λ 1) n log(y i ) (2.10) Sei g der geometrische Mittelwert der ursprünglichen Zeitreihe g = ( n i=1 y i) 1/n. Die Box- Cox-Transformation wird leicht modifiziert, sodass y(λ, g) = yλ 1 g λ 1. Dann ist ( ) l(λ y, X) = C n n 2 log(s2 λ ) + yi λ 1 log g λ 1 i=1 ( ) = C n n n 2 log(s2 λ ) + log(yi λ 1 ) n log ( y i ) 1 n (λ 1) = C n 2 log(s2 λ ) i=1 i=1 i=1 Die Likelihoodfunktion wird maximiert indem man das λ findet welches die Quadratsumme der Residuen minimiert. s 2 λ = y(λ, g) (I n X(X X) 1 X )y(λ, g) n 2.3 Das standardisierende Komponentenmodell Bei einer saisonal bedingte Varianzinhomogenität können die Daten der Zeitreihe auch standardisiert werden, sodass man von folgendem Komponentenmodell ausgeht y t = T t + S t + σ t R t, für t = 1,..., n (2.11) Wobei σ t die Standardabweichung zum Zeitpunkt t ist, sie ist erfahrungsgemäß im Sommer höher als im Winter [Wilks]. 9

10 2 Deskriptive Zeitreihenanalyse 2.4 Schätzen von Trend und saisonaler Komponente Es gibt verschiedene Methoden den Trend und die saisonale Komponente zu schätzen. Für kurze Zeitreihen genügt es oft einen linearen Trend anzunehmen. Denkbar sind aber auch polynomiale Trends oder logarithmische Trends. Für längere Zeitreihen im Bereich der Wirtschaft ist es oft sinnvoll von Wachstumsfunktionen mit einer Sättigungsgrenze auszugehen [Hartung]. Die Trends werden dann mit den Methoden der Regression geschätzt. Da bei den in dieser Diplomarbeit betrachteten Zeitreihen kein Trend erkennbar ist (vgl. Ausführung unten), wird lediglich ein Signifikanztest für einen linearen Trend nach Mann [Hartung] angegeben Trendtest nach Mann Satz 1. Die Prüfgröße für den approximativen Trendtest nach Mann lautet: C = n 1 n t=1 j=t+1 sgn(y j y t ) (2.12) wobei sgn die Signum-Funktion bezeichnet (dh. sgn(y j y t ) ist gleich 1 falls y j y t > 0, gleich 1, falls y j y t < 0 und gleich 0 falls y j y t = 0 ist). Die Größe C C = C/ (n(n 1)(2n + 5)/18) (2.13) ist approximativ standardnormalverteilt. Getestet wird H0: kein Trend gegen H1: Trend, dh. die Nullhypothese kann mit einer Irrtumswahrscheinlichkeit von 5% verworfen werden, falls C > 1, 96 (2.14) ist [Hartung] Schätzen der saisonalen Komponente Die trendbereinigten Zeitreihe d t = y t T t setzt sich näherungsweise aus saisonaler und irregulärer Komponente zusammen, d.h. d t S t + R t. Um die saisonale Komponente zu schätzen wird laut [Hartung] das arithmetische Mittel gebildet, da wegen der Konstanz der Saisonsfigur die Größen d t, d t+p, d t+2p... um einen festen Wert schwanken: d t = 1 n t 1 n t j=0 d t+jp für t = 1,..., p (2.15) 10

11 2 Deskriptive Zeitreihenanalyse wobei p die Länge der Periode und n t die Anzahl der Perioden ist. Falls die Zeitreihe noch nicht mittelwertbereinigt ist, normiert man die Größen d 1,..., d t noch wie folgt: ŝ t = d t 1 p p d j für t = 1,..., p (2.16) j=1 So kann ŝ t = ŝ t+p = ŝ t+2p =... als Schätzer für die Saisonskomponenten S t = S t+p = S t+2p =... angewandt werden, da die irreguläre Komponente um Null schwankt. Die Zeitreihe d t ŝ t ist dann trend- und saisonbereinigt. Bemerkung 1. Falls man nicht von einer starren Saisonsfigur ausgehen möchte, ist es sinnvoll die saisonale Komponenten als trigonometrisches Polynom erster Ordnung darzustellen [Wilks]. Bei einer Periode von 365 Tagen erhält man folgende Darstellung ŝ(t) = α cos ( 2πt 365 ) + β sin ( 2πt 365 ) Die Konstanten α und β findet man durch Minimieren der Summe der Quadratfehler. (2.17) α = β = n ( ) 2πt ŝ(t) cos 365 n ( ) 2πt ŝ(t) sin 365 t=1 t=1 (2.18) Schätzen der saisonalbedingten Standardabweichung Für das standardisierende Komponentenmodell soll auch noch die periodische Standardabweichung σ t geschätzt werden. Ein Schätzer dafür ist die empirische Standardabweichung ˆσ t = 1 n t 1 (y(t + ip) y(t)) für t = 1,..., p (2.19) n t 1 wobei y(t) = 1 n t 1 n t j=0 i=0 y t+jp (2.20) ist. Dabei ist p die Länge der Periode (365 Tage) und n t die Anzahl der Perioden. Auch hier kann die Standardabweichung ˆσ t für t = 1,..., p als trigonometrisches Polynom dargestellt werden. 11

12 2 Deskriptive Zeitreihenanalyse 2.5 Praktischer Teil Für diese Diplomarbeit wurden Daten der Wetterstationen Nummer und in Innsbruck verwendet. Die gemessenen Daten, wie Luftemperatur, Bodentemperatur, Niederschlagsmenge, Windrichtung und Windgeschwindigkeit, relative Luftfeuchte, Sonnenscheindauer sowie Globalstrahlung, liegen in 10-Minuten-Intervallen vor. Die beobachteten Daten, wie Stärke und Art der Bewölkung, des Niederschlags und des Nebels, werden hingegen jede Stunde, mit Ausnahme einiger Nachtstunden verzeichnet. Die Globalstrahlung wird in Millivolt mv angegeben. Und die betrachtete Lufttemperatur (in 2 m Höhe) ist in Zehntel-Grad Celsius angeführt. Als relevante Bewölkung wird die Menge der tiefen Wolken angenommen. Die Stärke der Bewölkung wird als Gesamtbedeckung des Himmels in Achteln angegeben. 0/8 wolkenlos 1/8 fast wolkenlos 2/8 leicht bewölkt 3/8 4/8 wolkig 5/8 6/8 stark bewölkt 7/8 fast bedeckt 8/8 bedeckt Für die Unterscheidung zwischen Tag und Nacht wurde der effektive Sonnenaufgang und Sonnenuntergang gewählt. Die Zeitreihen der maximalen Tagestemperatur (y T max ), des Tagestemperaturunterschieds (y DT R ), des Nachttemperaturunterschieds (y NT R ), der minimalen Nachttemperatur (y T min ) und der mittleren Globalstrahlung pro Tag (y Glo ) werden im Zeitraum vom 3.Juni 2003 bis am 31.Mai 2008 betrachtet. Somit sind die Zeitreihen 1825 Tage lang, also 5 Perioden zu 365 Tagen. Die fünf Zeitreihen sollen zum einen als additives Komponentenmodell und zum anderen als standardisierendes Modell dargestellt werden. Ziel ist es eine stationäre und somit varianzhomogene irreguläre Komponente der Zeitreihen zu extrahieren, damit diese im nächsten Kapitel mit der Methode von Box-Jenkins weiter untersucht werden kann. Die Berechnungen und die grafischen Darstellungen wurden mit der Software R durchgeführt Graphische Darstellung Der erste und wichtigste Schritt in der Zeitreihenanalyse ist die graphische Darstellung der Zeitreihen [Chatfield]. Diese Graphen geben einen ersten Einblick in Bezug auf Trend und Saisonalität. Bei den fünf Zeitreihen im Zeitraum vom 3.Juni 2003 bis am 31.Mai 2008 ist aus der 12

13 2 Deskriptive Zeitreihenanalyse Abbildung 2.1: Tageshöchsttemperatur Grafik kein Trend erkennbar. Sie sind nämlich mit 5 Jahren für meteorologische Verhältnisse ziemlich kurz. Alle fünf Zeitreihen weisen allerdings saisonale Schwankungen auf. Zudem ist die Varianz nicht homogen. In den Sommermonaten ist die Standardabweichung beispielsweise größere als in den Wintermonaten. Das Minimum der Tageshöchsttemperatur lag bei -7,3 Grad Celsius, das Maximum bei 36,2 und die mittlere Tageshöchsttemperatur bei 15,2 Grad Celsius. Der Tagestemperaturunterschied lag zwischen einem Minimum von 0,6 und einem Maximum von 24,2 Grad Celsius, der Mittelwert war 10 Grad Celsius. Der Nachttemperaturunterschied lag hingegen zwischen 0,3 und 19,8 Grad Celsius mit einem Durchschnitt von 8,3 Grad. Die Nachttiefsttemperatur schwankte zwischen -17,3 und 22,1 Grad Celsius. Der Durchschnitt war bei 4 Grad Celsius. Die mittlere Globalstrahlung pro Tag wurde zwischen 0,58 und 64 mv gemessen. Der Durchschnitt lag bei 21 mv Trendtest nach Mann Da für die fünf Zeitreihen kein Trend zu erkennen ist, wird der Trendtest nach Mann durchgeführt. Die Prüfgröße C lautet C = n 1 n t=1 j=t+1 sgn(y j y t ) C = C/ (n(n 1)(2n + 5)/18). 13

14 2 Deskriptive Zeitreihenanalyse Abbildung 2.2: mittlere Globalstrahlung C ist annähernd standardnormalverteilt. Die Ergebnisse des Trendtests nach Mann für y T max, y DT R, y NT R, y T min und y Glo sind: C (y T max ) = C (y DT R ) = C (y NT R ) = C (y T min ) = C (y Glo ) = Die Nullhypothese, H 0 : kein Trend, kann zu einem Konfidenzintervall von 95% nicht verworfen werden, da die Testgrößen C 1, 96 sind. Bei keiner Zeitreihe wird ein linearer Trend angenommen, dh. die Komponente T t wird nur mit dem Mittelwert der Zeitreihe angegeben Additives Komponentenmodell Bevor man für die fünf Zeitreihen den Trend und die saisonale Komponente des additiven Zeitreihenmodells y t = T t + S t + R t, für t = 1,..., n schätzt, müssen varianzstabilisierende Transformationen durchgeführt werden, damit die erhaltene irreguläre Komponente stationär ist. 14

15 2 Deskriptive Zeitreihenanalyse Abbildung 2.3: Tagestemperaturunterschied Box-Cox-Transformation Für die Zeitreihen wird deshalb eine Box-Cox-Transformation durchgeführt. { (y+λ2 ) λ 1 1 y(λ) = λ 1, if λ 1 0; log(y + λ 2 ), if λ 1 = 0. Der Parameter λ 2 wird so gewählt, dass alle Werte der Zeitreihe größer als Null sind. Für die Maximum-Likelihood-Schätzung des Parameters λ 1 muss zunächst festgelegt werden welche Verteilung die transformierte Zeitreihe y(λ) haben soll. Da laut Mann bei keiner Zeitreihe ein signifikanter linearer Trend gefunden wurde, wird die Trendkomponente als Konstanten c gewählt. Die saisonale Komponente wird hingegen als trigonometrisches Polynom angenommen. Die Box-Cox-transformierte Zeitreihe soll also y(λ) N(c + α cos(2πt/365) + β sin(2πt/365), σ 2 I n ) (2.21) sein. Es sollen nun die λ geschätzt werden, welche die Likelihood-Funktion ( L(λ, η, σ 2 y, t) = (2πσ 2 ) n 2 exp 1 ) 2σ 2 (y(λ) Xη) (y(λ) Xη) J(λ, y) maximieren. Wobei η = (c, α, β) ist und 1 cos(2πt 1 /365) sin(2πt 1 /365) X =... (2.22) 1 cos(2πt n /365) sin(2πt n /365) 15

16 2 Deskriptive Zeitreihenanalyse Abbildung 2.4: Nachttemperaturunterschied Die mit dem Software-Programm R ermittelten λs und die dazugehörigen Box-Cox-Transformationen sind: y DT R (λ) = y0.71 DT R y NT R (λ) = y0.71 NT R y Global (λ) = y0.42 Global Für y T max wurde ein λ von 0.95 gefunden, da aber im Konfidenzintervall auch 1 enthalten ist, was keiner Transformation entspricht, wird für y T max keine Transformation durchgeführt. Bei y T min würde das λ = 1.43 sein. Da dieser aber die Varianz der Zeitreihe erhöhen würde, wird auch hier keine Transformation vorgenommen. Trend und saisonale Komponente Als Trend der transformierten Zeitreihen wird deren Mittelwert angenommen. Die saisonale Komponente wird als trigonometrisches Polynom geschätzt. Somit sind die additiven Komponentenmodelle der Box-Cox-transformierten Zeitreihen: y T max,t = cos(2πt/365) sin(2πt/365) + R tmax1,t y DT R,t (λ) = cos(2πt/365) sin(2πt/365) + R dtr1,t y NT R,t (λ) = cos(2πt/365) 0.41 sin(2πt/365) + R ntr1,t 16

17 2 Deskriptive Zeitreihenanalyse Abbildung 2.5: Box-Cox-transformierte Globalstrahlung y T min,t = cos(2πt/365) sin(2πt/365) + R tmin1,t y Glo,t (λ) = cos(2πt/365) sin(2πt/365) + R glo1,t Standardisierendes Komponentenmodell Für das standardisierende Modell y t = T t + S t + σ t R t, für t = 1,..., n sollen nicht nur Trend und Saisonalität geschätzt werden, sondern auch die Standardabweichung. Auch diese wird als trigonometrisches Polynom dargestellt. Für die fünf betrachteten Zeitreihen wurden folgendes standardisierendes Modell gefunden: y T max,t = cos(2πt/365) sin(2πt/365) + ( cos(2πt/365) 0.94 sin(2πt/365)) R tmax2,t y DT R,t = cos(2πt/365) sin(2πt/365) + ( cos(2πt/365) 0.87 sin(2πt/365)) R dtr2,t y NT R,t = cos(2πt/365) 1.58 sin(2πt/365) + ( cos(2πt/365) 1.47 sin(2πt/365)) R ntr2,t y T min,t = cos(2πt/365) sin(2πt/365) + ( cos(2πt/365) 6.39 sin(2πt/365)) R tmin2,t y Glo,t = cos(2πt/365) sin(2πt/365) + ( cos(2πt/365) sin(2πt/365)) R glo2,t 17

18 2 Deskriptive Zeitreihenanalyse Bestimmtheitsmaß Als Maß für die Anpassungsgüte des geschätzten Komponentenmodells kann das Bestimmtheitsmaß B angewandt werden [Hartung], für lineare Regressionsmodelle ist es wie folgt definiert: n t=1 B = 1 (y t T t S t ) 2 n n t=1 (y t y) 2 mit y = y t (2.23) Es drückt den Anteil der durch das Modell erklärten Varianz aus. Im Falle des additiven Modells wird anstelle von y t die Box-Cox-transformierte Zeitreihe y(λ) gesetzt, T t und S t sind dann Trend und Saisonalität der Box-Cox-transformierten Zeitreihe. Für die betrachteten Zeitreihen ist das Bestimmtheitsmaß Bestimmtheitsmaß B additives Modell standardisierendes mit Box-Cox-Tr. Modell max. Tagestemp DTR NTR min. Nachttemp Globalstr Das Bestimmtheitsmaß ist sehr niedrig, vor allem bei den beiden Temperaturunterschieden. t=1 18

19 3 ARMA-Prozesse Möchte man die Temperatur vom nächsten Tag vorhersagen, so kann man in Anlehnung an das vorige Kapitel die aus den vergangenen Jahren ermittelte durchschnittliche Temperatur für den betreffenden Tag vorhersagen. Sinnvoll ist aber auch die Temperatur der letzen Tage in die Prognose miteinzubeziehen. Denn es zeigt sich, dass die Residuen oder Resttemperaturen, die nicht durch Trend und Saisonalität erklärt werden, nicht paarweise unabhängig sind. Sie sind korreliert und die Korrelation hängt nur vom Zeitabstand der Beobachtungen ab. Man spricht von sogenannten autoregressiven Prozessen (AR). Die moving average Prozesse (MA) beziehen sich hingegen auf einen Fehlerprozess. Man sollte also bei der Prognose zukünftiger Zeireihenwerte die Prognosefehler der Vergangenheit miteinbeziehen. Möglich ist natürlich auch eine Kombination der beiden Prozesse, ein sogenannter ARMA-Prozess. Aus den Autokorrelationen und partiellen Autokorrelationen zu verschiedenen Zeitabständen (lags) können erste Vermutungen über das Prozessmodell (AR, MA oder ARMA) und dessen Ordnung (wieviele vergangene Beobachtungen oder Fehler miteinbezogen werden sollen) ausgedrückt werden. Außerdem muss auch noch bestimmt werden, wie die Beobachtungen und Fehler gewichtet werden sollen (Parameterschätzung). Für die Modellidentifikation werden zwei Methoden behandelt: die graphische Methode mittels Autokorrelations- und partieller Autokorrelationsfunktion und die Identifikation mit sogenannten Informationskriterien. Die dazugehörigen Prozessparameter werden mit der Maximum-Likelihood-Schätzung numerisch ermittelt. Für die Berechnung der Startwerte wird die Hannan-Rissanen Methode vorgestellt. Als Prognosemethode für Zeitreihen wird der Innovationen-Algorithmus beschrieben. Die ARMA-Modelle werden auf stochastische Prozesse angewandt, deshalb müssen die Zeitreihen zunächst von Trend und Saisonalität bereinigt werden bevor die Methoden von Box und Jenkins verwendet werden können. Dies kann entweder mit dem Komponentenmodell aus dem vorigen Kapitel erfolgen oder man beschreibt die Zeitreihe durch ein SARIMA-Modell. Falls nicht anders erwähnt wird den Darstellungen [Brockwell, Davis. 1991] und [Brockwell, Davis. 2002] gefolgt. Im zweiten Teil werden dann die fünf Zeitreihen mit dem Verfahren von Box-Jenkins weiter untersucht. 19

20 3 ARMA-Prozesse 3.1 Grundlagen-Definitionen Der Grundgedanke von Box und Jenkins war die Zeitreihe als einen stochatischen Prozess zu betrachten. Definition 3. Unter einem stochastischen Prozess ist eine Menge von Zufallsvariablen {X t t T } zu verstehen, die von einer Indexmenge T abhängt, welche als Parameterraum des Prozesses bezeichnet wird. In der Zeitreihenanalyse bedeutet T immer eine Menge von Zeitpunkten. Um die Theorie von Box-Jenkins zu verwenden muss sichergestellt werden, dass die zu untersuchenden Zeitreihen, bzw. die irreguläre Komponente stationär ist. Definition 4. Sei {X t } eine Zeitreihe mit E(X 2 t ) <. Die Erwartungswertfunktion von {X t } ist µ X (t) = E(X t ) (3.1) Die Kovarianzfunktion von {X t } ist γ X (r, s) = Cov(X r, X s ) = E[(X r µ X (r))(x s µ X (s))] (3.2) für alle r und s. Definition 5. Die Zeitreihe {X t } ist (schwach) stationär, wenn 1. µ X (t) ist unabhängig von der Zeit t und 2. γ X (t + h, t) ist unabhängig von t für alle h Bemerkung 2. Eine Zeitreihe ist streng stationär, falls (X 1,..., X n ) und (X 1+h,..., X n+h ) für alle h und alle n > 0 dieselbe Verteilung haben. Im folgenden wird für stationär immer schwach stationär gemeint. Definition 6. Sei {X t } eine stationäre Zeitreihe. Die Autokovarianzfunktion von {X t } zum lag h ist γ X (h) = Cov(X t+h, X t ). (3.3) Dabei ist γ X ( h) = γ X (h). Die Autokorrelationsfunktion von {X t } zum lag h ist ρ X (h) = γ X(h) γ X (0) = Corr(X t+h, X t ). (3.4) Definition 7. Der stationäre Prozess {Z t } ist ein weißes Rauschen, oder white noise, mit Erwartungswert 0 und Varianz σ 2 {Z t } W N(0, σ 2 ) (3.5) 20

21 3 ARMA-Prozesse falls gilt: γ Z (h) = { σ 2, wenn h = 0 0, wenn h 0 (3.6) Falls die Zufallsvariablen Z t paarweise unabhängig und identisch verteilt sind, mit Erwartungswert 0 und Varianz σ 2, dann verwendet man die Notation {Z t } IID(0, σ 2 ) (3.7) Definition 8. Der stochastische Prozess {X t, t = 0, ±1, ±2,...} ist ein ARMA(p,q)-Prozess, falls {X t } stationär ist und für jedes t gilt X t φ 1 X t 1... φ p X t p = Z t + θ 1 Z t θ q Z t q (3.8) wobei {Z t } W N(0, σ 2 ). Ein stochastischer Prozess {X t } ist ein ARMA(p,q)-Prozess mit Erwartungswert µ falls {X t µ} ein ARMA(p,q)-Prozess ist. Deshalb wird in der weiteren Ausführung o.b.d.a von einem stationären Prozess mit Erwartungswert 0 ausgegangen. Bemerkung 3. Falls q = 0 ist, spricht man von einem reinen autoregressiven Prozess und verwendet die Notation AR(p). Ist hingegen p = 0, so schreibt man MA(q), dies entspricht einem reinen moving-average Prozess. Beispiel 1. Beim AR(2)-Prozess X t = φ 1 X t 1 + φ 2 X t 2 + Z t wird X t durch ein gewogenes Mittel seiner zwei Vorgänger X t 1 und X t 2 und einen zufälligen Rest erklärt. Die meisten meteorologischen Zeitreihen sind ein AR(1) oder AR(2)-Modell [Wilks]. Beispiel 2. Ein MA(2)-Prozess X t = Z t + θ 1 Z t 1 + θ 2 Z t 2 kann als gewogenen Durchschnitt der Ordnung q = 2 eines weißen Rauschens oder Fehlerprozesse interpretiert werden. Bemerkung 4. Die Gleichung (3.8) kann in kompakter Form angegeben werden φ(b)x t = θ(b)z t (3.9) wobei φ und θ Polynome vom Grad p bzw. q sind φ(z) = 1 φ 1 z... φ p z p (3.10) θ(z) = 1 + θ 1 z θ q z q (3.11) und B ist der Backward Shift Operator ist B j X t = X t j, j = 0, ±1, ±2,... (3.12) Die Polynome φ und θ werden als autoregressives und moving average Polynom bezeichnet. 21

22 3 ARMA-Prozesse 3.2 Stationäre und invertierbare Arma-Prozesse Die in diesem Abschnitt behandelten Sätze und Beweise wurden aus [Box, Jenkins] entnommen. Satz 2 (Stationaritätsbedingungen für AR(p)-Prozesse). Ein AR(p)-Prozess X t = φ 1 X t 1 + φ 2 X t φ p X t p + Z t ist stationär oder kausal, dh. es existieren Konstanten {ψ j }, sodass j=0 {ψ j} < und X t = ψ j Z t j j=0 falls die Nullstellen des autoregressiven Polynoms φ(z) = 1 φ 1 z... φ p z p außerhalb des Einheitskreises liegen. Beweis. Es wird zunächst ein AR(1)-Prozess betrachtet (1 φ 1 B)X t = Z t Dieser kann geschrieben werden als X t = φ 1 X t 1 + Z t = φ 1 (φ 1 X t 2 + Z t ) + Z t =... = X t = (1 φ 1 B) 1 Z t φ j 1 Z t j = φ j 1 Bj Z t j=0 j=0 Damit ψ(b) = j=0 φj 1 Bj für B 1 konvergiert, muss φ 1 < 1 sein. Äquivalent dazu muss die Nullstellen von φ(b) = (1 φ 1 B) größer als 1 sein. Für den allgemeinen Fall eines AR(p)-Prozesses werden die Nullstellen des Polynoms berechnet. φ(b) = (1 G 1 B)(1 G 2 B) (1 G p B) Mittels Partialbruchzerlegung erhält man X t = p i=1 K i (1 G i B) Z t Der AR(p)-Prozess ist also stationär, wenn die G i < 1 sind. Satz 3 (Invertierbarkeitsbedingungen füt MA(q)-Prozesse). Ein MA(q)-Prozesse X t = (1 + θ 1 B θ q B q )Z t 22

23 3 ARMA-Prozesse ist invertierbar, dh. es existiert eine Folge {π j } mit j=0 π j < und Z t = π j X t j für alle t j=0 falls die Nullstellen des moving average Polynoms φ(z) = 1 + θ 1 z θ q z q außerhalb des Einheitskreises liegen. Für kausale ARMA(p,q)-Prozesse φ(b)x t j=0 ψ j <, sodass = θ(b)z t existieren also Konstanten {ψ j } mit X t = ψ j Z t j j=0 ist. Die {ψ j } können dann mittels Koeffizientenvergleich der Polynome (1 φ 1 z... φ p z p )(ψ 0 + ψ 1 z +...) = 1 + θ 1 z +... θ q z q ermittelt werden. 1 = ψ 0 θ 1 = ψ 1 ψ 0 φ 1. p θ j = ψ j φ k ψ j k (3.13) k=1 3.3 Schätzer für µ, γ(h) und ρ(h) Satz 4. Der Schätzer für den Erwartungswert µ eines stationären Prozesses ist der Mittelwert: X n = 1 n (X 1 + X X n ) (3.14) Satz 5. Der Schätzer für die Autokovarianz γ(h) und Autokorrelation ρ(h) zum lag h eines stationären Prozesses sind: ˆγ(h) = 1 n n h (X t X n )(X t+ h X n ) (3.15) t=1 ˆρ(h) = ˆγ(h) ˆγ(0) (3.16) 23

24 3 ARMA-Prozesse Bemerkung 5. Der Schätzer für die Autokovarianz ˆγ(h) ist nicht erwartungstreu, dh. er besitzt einen bias. Der alternative Schätzer γ(h) = 1 n h (X t n h X n )(X t+h X n ) t=1 hat zwar einen geringeren bias, dafür aber in der Regel eine größere Varianz [Stier]. Bemerkung 6. Die Stichprobenautokorrelationsfuntion ˆρ k = (ˆρ(1),..., ˆρ(k)) spielt eine wichtige Rolle bei der Auswahl von geeigneten ARMA-Modellen für stochastische Prozesse. Für große n ist ˆρ k annähernd normalverteilt ˆρ k N(ρ k, n 1 W ), wobei ρ k = (ρ(1),..., ρ(k)) und W die Kovarianzmatrix ist. Ihr (i, j)-ter Eintrag ist durch die Bartlett-Formel gegeben. w ij = {ρ(k + i)ρ(k + j) + ρ(k i)ρ(k + j) + 2ρ(i)ρ(j)ρ 2 (k) k= ρ(i)ρ(k)ρ(k + j) 2ρ(j)ρ(k)ρ(k + i)} (3.17) Mit einfachen Umformungen erhält man w ij = {ρ(k + i) + ρ(k i) 2ρ(i)ρ(k)} k=1 {ρ(k + j) + ρ(k j) 2ρ(j)ρ(k)} (3.18) Beispiel 3. Falls {X t } IID(0, σ 2 ) ist ρ(h) = 0 für h > 0. Die Einträge der Kovarianzmatrix W sind dann nach (3.18): w ij = = w ij = {ρ(k + i) +ρ(k i) 2 ρ(i) ρ(k) } {ρ(k + j) +ρ(k j) 2 ρ(j) ρ(k) } }{{}}{{}}{{}}{{}}{{}}{{} =0 =0 =0 =0 =0 =0 ρ(k i)ρ(k j) k=1 k=1 { 1, wenn i = j 0, sonst Für große Stichproben sind die geschätzten Autokorrelationen von {X t } IID(0, σ 2 ) annähernd normalverteilt mit einer Varianz von n 1. 24

25 3 ARMA-Prozesse 3.4 Prognose mit ARMA-Modellen Der beste lineare Prädiktor (im Sinne von minimalem quadratischen Abstand) von X n+1 aufgrund der Beobachtungen {X 1,..., X n } ist die Projektion von X n+1 auf den abgeschlossenen linearen Untervektorraum H n := sp{x 1,..., X n }. Der Einschritt-Prädiktor ˆX n+1 ist also: { 0, wenn n = 0; ˆX n+1 = P sp{x1,...,x n}x n+1, wenn n > 1. (3.19) Da ˆX n+1 H n, kann der Einschritt-Prädiktor als Linearkombination von X 1,..., X n geschrieben werden. Mit dem Gram-Schmidtschen Orthogonalisierungsverfahren kann H n auch als H n := sp{x 1 ˆX 1, X 2 ˆX 2,..., X n ˆX n } (3.20) geschrieben werden, mit ˆX 1 = 0, sodass ˆX n+1 = n θ nj (X n+1 j ˆX n+1 j ) (3.21) j=1 Die Koeffizienten θ n1,..., θ nn können mit Hilfe der Autokovarianzfunktion κ(i, j) = E(X i X j ) = X i, X j (3.22) berechnet werden. Satz 6 (Der Innovationen Algorithmus). Falls der Erwartungswert von {X t } null ist und die (n n) Matrix [κ(i, j)] n i,j=1 nicht singulär ist für alle n = 1, 2..., dann ist der Einschritt- Prädiktor ˆX n+1, n 0 ˆX n+1 = { 0, wenn n = 0, n j=1 θ nj(x n+1 j ˆX n+1 j ), wenn n 1, (3.23) Der mittlere quadratische Fehler v n = X n+1 ˆX n+1 2, n 1 und die Koeffizienten θ nj können mit der folgenden Rekursion berechnet werden v 0 = κ(1, 1), k 1 θ n,n k = v 1 k κ(n + 1, k + 1) θ k,k j θ n,n j v j, k = 0, 1,..., n 1, j=0 n 1 v n = κ(n + 1, n + 1) θn,n jv 2 j. (3.24) j=0 Man löst die Rekursion in der Reihenfolge v 0, θ 11, v 1, θ 22, θ 21, v 2,

26 3 ARMA-Prozesse Beweis. {X 1 ˆX 1, X 2 ˆX 2,..., X n ˆX n } mit ˆX1 := 0 ist orthogonal. So kann ˆX n+1 folgendermaßen berechnet werden ˆX n+1 = n θ nj (X n+1 j ˆX n+1 j ) j=1 Wird der Skalarprodukt von ˆX n+1 und X k+1 ˆX k+1 gebildet, erhält man für 0 k < n ˆX n+1, X k+1 ˆX n k+1 = θ nj (X n+1 j ˆX n+1 j ), X k+1 ˆX k+1 j=1 = θ n,n k (X n+1 n+k ˆX n+1 n+k ), X k+1 ˆX k+1 = θ n,n k X k+1 ˆX k+1 2 = θ n,n k v k Da für k = 0,..., n 1 (X n+1 ˆX n+1 ) (X k+1 ˆX k+1 ) sind die Koeffizienten θ n,n k θ n,n k = v 1 k X n+1, X k+1 ˆX k+1 ( = v 1 k X n+1, X k+1 X n+1, ˆX ) k+1 k = v 1 k κ(n + 1, k + 1) X n+1, θ kj (X k+1 j ˆX k+1 j ) = v 1 k θ n,n k = v 1 k j=1 k 1 κ(n + 1, k + 1) θ k,k j X n+1, X j+1 ˆX j+1 }{{} j=0 k 1 κ(n + 1, k + 1) θ k,k j θ n,n j v j j=0 v j θ n,n j Laut Projektionssatz ist v n = X n+1 ˆX n+1 2 = X n+1 2 ˆX n 1 n+1 2 = κ(n + 1, n + 1) θn,n k 2 v k k=0 Dieser Satz kann auf die Prognose von ARMA-Prozessen angewandt werden. Dabei wird der ARMA-Prozess φ(b)x t = θ(b)z t, {Z t } W N(0, σ 2 ), (3.25) 26

27 3 ARMA-Prozesse leicht umgeformt zu W t = { σ 1 X t, t = 1,..., m, σ 1 φ(b)x t, t > m, (3.26) wobei m = max(p, q) ist. Sei θ 0 := 1 und θ j := 0 für j > q. Es wird angenommen, dass p 1 und q 1, falls dies nicht zutrifft werden die entsprechenden Koeffizienten null gesetzt. Die Autokovarianzen κ(i, j) = E(W i W j ) sind dann 1. für 1 i, j m κ(i, j) = E(W i W j ) = E(σ 1 X i, σ 1 X j ) = σ 2 γ X (i j) 2. für i m < j 2m κ(i, j) = E(W i W j ) = E(σ 1 X i, σ 1 φ(b)x j ) = σ 2 E[X i, (X j φ 1 X j 1... φ p X j p )] = σ 2 E[γ(j i) φ 1 γ(j i 1)... φ p γ(j i p)] 3. für i, j > m κ(i, j) = E(W i W j ) = E[σ 1 φ(b)x i, σ 1 φ(b)x j ] = σ 2 E[θ(B)Z i, θ(b)z j ] = σ 2 E[θ 0 Z i + θ 1 Z i θ q Z i q, θ 0 Z j + θ 1 Z j θ q Z j q ] = q σ 2 σ 2 θ r θ r+ i j r=0 Zusammenfassend σ 2 γ X (i j), 1 i, j m, σ κ(i, j) = 2 [γ X (i j) p r=1 φ rγ X (r i j )], min(i, j) m < max(i, j) 2m q r=0 θ rθ r+ i j, min(i, j) > m 0, sonst. (3.27) Mit den Innovationen-Algorithmus können nun die Einschritt-Prädiktoren berechnet werden Ŵ n+1 = { n j=1 θ nj(w n+1 j Ŵn+1 j), 1 n < m, q j=1 θ nj(w n+1 j Ŵn+1 j), n m, (3.28) Die Koeffizienten θ nj und der mittlere quadratische Fehler r n = E(W n+1 Ŵn+1) 2 können rekursiv aus (3.24) berechnet werden, wobei ˆX 1 = Ŵ1 = 0 gewählt wird. Aus der Linearität der Projektion folgt { σ 1 ˆXt, t = 1,..., m, Ŵ t = σ 1 [ ˆX t φ 1 X t 1... φ p X t p ], t > m (3.29) 27

28 3 ARMA-Prozesse und X t ˆX t = σ(w t Ŵt) (3.30) Somit sind die Einschritt-Prädiktoren für ein ARMA-Prozess { n j=1 ˆX n+1 = θ nj(x n+1 j ˆX n+1 j ), 1 n < m φ 1 X n φ p X n+1 p + q j=1 θ nj(x n+1 j ˆX n+1 j ), n m und (3.31) E(X n+1 ˆX n+1 ) 2 = σ 2 E(W n+1 Ŵn+1) 2 = σ 2 r n (3.32) Beispiel 4. (Vorhersage eines ARMA(1,1)-Prozesses) Der kausale ARMA(1,1)-Prozess X t 0.8X t 1 = Z t + 0.5Z t 1 Z t = W N{0, 1} (3.33) wird als AR( )-Prozess dargestellt X t = ψ j Z t j Z t = W N{0, 1} (3.34) j=0 Die ψ j können mittels Koeffizientenvergleich der Polynome φ(z) = 1 φ 1 z und θ(z) = 1+θ 1 z ermittelt werden. (1 + θ 1 z) = (1 φ 1 z)(ψ 0 + ψ 1 z + ψ 2 z ) ψ 0 = 1 ψ 1 = θ 1 + ψ 0 φ 1 = θ 1 + φ 1 = = 1.3 ψ 2 = θ 1 φ 1 + φ 2 1 = = Die Autokovarianzen des ARMA(1,1)-Prozesses zu den verschieden lags findet man indem man beide Seiten der Gleichung (3.33) mit X t k für k = 0, 1,... multipliziert und anschließend den Erwartungswert bildet. X t 0.8X t 1 = Z t + 0.5Z t 1 E[X t X t ] 0.8E[X t X t 1 ] = E[X t (Z t + 0.5EZ t 1 )] = E[(ψ 0 Z t + ψ 1 Z t )(Z t + 0.5Z t 1 )] γ(0) 0.8γ(1) = σ 2 (ψ ψ 1 ) = 1.65 E[X t 1 X t ] 0.8E[X t 1 X t 1 ] = E[X t 1 (Z t + 0.5EZ t 1 )] = E[(ψ 0 Z t 1 + ψ 1 Z t )(Z t + 0.5Z t 1 )] γ(1) 0.8γ(0) = 0.5σ 2 ψ 0 =

29 3 ARMA-Prozesse Für den lag k 2 gilt E[X t k X t ] 0.8E[X t k X t 1 ] = E[X t k Z t ] + 0.5E[X t k Z t 1 ] γ(k) 0.8γ(k 1) = 0 Die Autokovarianzen γ(0) und γ(1) können nun mit einem Gleichungssystem gelöst werden ( γ(0) γ(1) ) = ( ) 1 ( ) = ( ) Die Einträge der Kovarianzmatrix des ARMA(1,1)-Prozesses mit m = max(p, q) = 1 sind laut (3.27) σ 2 γ(i j), i = j = 1, σ 2 [γ(i j) φ 1 γ(1 i j )], min(i, j) = 1, max(i, j) = 2 κ(i, j) = 1 r=0 θ (3.35) rθ r+ i j, i, j > 1 0, sonst. Setzt man nun die bekannten Größen ein, sind die Kovarianzeinträge κ(1, 1) = σ 2 γ(0) = κ(1, 2) = κ(2, 1) = σ 2 (γ(1) φ 1 γ(0)) = 0.50 κ(i, j) = 1 + θ1 2 = 1.25 für i = j > 1 κ(i, j) = θ 0 θ 1 = θ 1 = 0.5 für i j = 1, min(i, j) > 1 κ(i, j) = 0 sonst Aus dem Innovationen-Algorithmus (3.24) folgen dann die v j und θ nj v 0 = κ(1, 1) = θ 11 = v0 1 (κ(2, 1)) = v 1 = κ(2, 2) θ11v 2 0 = θ 22 = v0 1 (κ(3, 1)) = 0 θ 21 = v1 1 11θ 22 v 0 ) = v 2 = κ(3, 3) θ22v 2 0 θ21v 2 1 = θ 33 = v0 1 κ(4, 1) = 0 θ 32 = v1 1 11θ 33 v 0 ) = 0 θ 31 = v2 1 22θ 33 v 0 θ 21 θ 32 ) = v2 1 κ(4, 3) = 0.5v 1 2 = v 3 = κ(4, 4) θ33v 2 0 θ32v 2 1 θ31v 2 2 =

30 3 ARMA-Prozesse Die Einschritt-Prädiktoren sind laut (3.31), mit X 1 = 0 ˆX n+1 = φ 1 X n + θ n1 (X n X n ) = 0.8X n + θ n1 (X n X n ) und E(X n+1 ˆX n+1 ) 2 = v n (3.36) Bemerkung 7. Anhand des Beispiels sieht man, dass θ n1 gegen θ 1 und v n gegen σ 2 konvergieren. Dies gilt im Allgemeinen, falls {X t } invertierbar ist, für n, E(X n ˆX n Z n ) 2 0 θ nj θ j, j = 1,..., q r n 1 Deshalb wird oft auch folgender Vorhersagealgorithmus (mit ˆX1 = 0) verwendet (vgl. [Stier] und [Hartung]) q ˆX n+1 = φ 1 X n φ p X n+1 p + θ j (X n+1 j ˆX n+1 j ) (3.37) j=1 h-schritt-prognose von ARMA(p,q)-Prozessen Die Mehrschrittprognose eines ARMA(p,q)-Prozesses ist analog zur Einschrittprognose (3.31). Die von den n Beobachtungen X 1,..., X n ausgehende h-schrittprognose P n X n+h wird rekursiv (P n X n+1, P n X n+2, P n X n+3,...) berechnet, wobei die fehlenden Werte X n+1,..., X n+h 1 durch die Prognosen P n X n+1, P n X n+2,... ersetzt werden. Die h-schrittprognose P n X n+h wird also rekursiv mit P n X n+h = { n+h 1 j=h θ n+h 1,j (X n+h j ˆX n+h j ), 1 h m n p i=1 φ ip n X n+h i + n+h 1 j=h θ n+h 1,j (X n+h j ˆX n+h j ), h > m n berechnet. 3.5 Parameterschätzung für ARMA-Prozesse Die Schätzung der Parameter φ 1,..., φ p und θ 1,..., θ q bei bekannter Ordnung p und q gliedert sich im Wesentlichen in zwei Schritten. Zunächst werden die Startwerte mittels Minimie- 30

31 3 ARMA-Prozesse rung der Summe der Quadratfehler berechnet und im zweiten Schritt wird eine Maximum- Likelihood-Schätzung durchgeführt Berechnung der Startwerte Für die Berechnung der Startwerte existieren eine Reihe von Schätzverfahren. Am einfachsten lassen sich die Parameter von reinen AR-Prozessen angeben, hier verwendet man die sogenannten Yule-Walker-Gleichungen. Für reine MA-Prozesse wird beispielsweise der Innovationen-Algorithmus verwendet, wobei die Autokorrelationen κi, j durch die empirischen Autokorrelationen ersetzt werden. Bei gemischten ARMA(p,q)-Modellen wird hingegen der Hannan-Rissanen Algorithmus angewendet Hannan-Rissanen Algorithmus Ein reines Autoregressiv-Modell AR(p) hat die Form einer linearen Regression mit den Koeffizienten φ 1,..., φ p. Daher ist es naheliegend eine einfache Regressionsanalyse mit der Methode der kleinsten Quadrate anzuwenden. Aber auch im Fall eines ARMA(p, q)-prozesses, wo X t nicht nur von X t 1,..., X t p sondern auch von Z t 1,..., Z t q abhängt, ist es möglich die Methode der kleinsten Quadrate anzuwenden. Hier werden die unbeobachteten Z t 1,..., Z t q durch die geschätzen Ẑt 1,..., Ẑt q ersetzt. Die Paramater φ und θ werden dann durch die einfache Regressionsanalyse mit der abhängigen Variablen X t und den unabhängigen Variablen X t 1,..., X t p, Ẑt 1,..., Ẑt q bestimmt. 1.Schritt. Für die Zeitreihe wird ein AR(m)-Modell mit m > max(p, q) gewählt. Zunächst werden die Parameter ( ˆφ m1,..., ˆφ mm ) mittels Yule-Walker-Gleichungen geschätzt. Für ein AR(m)-Modell X t = φ m1 X t φ mm X t m + Z t ergeben sich folgende Kovarianzen zum lag 0. X t = φ m1 X t φ mm X t m + Z t X t X t = φ m1 X t 1 X t φ mm X t m X t + X t Z t E(X t X t ) = φ m1 E(X t 1 X t ) φ mm E(X t m X t ) + E(Z t X t ) m γ(0) = φ mj γ(j) + σ 2 j=1 Denn E(Z t X t ) = E[Z t j=0 ψ jz t j ] = ψ 0 E[Z t Z t ] = σ 2, da {Z t } weißes Rauschen und ψ 0 = 1 (vgl.(3.13)) ist. 31

32 3 ARMA-Prozesse Die Kovarianzen zum lag k > 0 sind X t = φ m1 X t φ mm X t m + Z t X t X t k = φ m1 X t 1 X t k φ mm X t m X t k + Z t X t k E(X t X t k ) = φ m1 E(X t 1 X t k ) φ mm E(X t m X t k ) + E(Z t ψ j Z t k j ) m γ(k) = φ mj γ(k j) j=1 Somit sind die Autokorrelationen zum lag k j=0 ρ(0) = 1 m ρ(k) = φ mj ρ(k j) für k > 0 j=1 Und die empirischen Yule-Walker-Gleichungen ˆρ(0) = 1 m ˆρ(k) = φ mj ˆρ(k j) j=1 Um die Parameter φ m1,... φ mm zu schätzen wird das Gleichungssystem mit den empirisch ermittelten Autokorrelationen ˆρ(1) ˆρ(2). ˆρ(m) = 1 ˆρ(1) ˆρ(2)... ˆρ(m 1) ˆρ(1) 1 ˆρ(1)... ˆρ(m 2).... } ˆρ(m 1) ˆρ(m 2) ˆρ(m 3) {{... 1 } R(m) φ m1 φ m2. φ mm gelöst. Die Matrix R(m) invertierbar, da für stationäre Prozesse gilt ρ(h) 0 für h. Somit hat die Matrix vollen Rang. φ m1 φ m2. φ mm = R 1 (m) ˆρ(1) ˆρ(2). ˆρ(m) 32

33 3 ARMA-Prozesse Nun können die Residuen Ẑ t = X t ˆφ m1 X t 1... ˆφ mm X t m, t = m + 1,..., n (3.38) gebildet werden. 2.Schritt. Nachdem die Residuen Ẑt für t = m + 1,..., n berechnet wurden, wird der Parametervektor β = (φ 1,..., φ p, θ 1,..., θ q ) mittels Regressionsanlyse mit der abhängigen Variablen X t und den unabhängigen Variablen (X t 1,..., X t p, Ẑt 1,..., Ẑt q) für t = m + 1,..., n geschätzt. Dabei wird die Summe der Quadratfehler minimiert: S(β) = n t=m+1+q Dies ergibt den Hannan-Rissanen-Schätzer (X t φ 1 X t 1... φ p X t p θ 1 Ẑ t 1... θ q Ẑ t q ) 2 (3.39) ˆβ = (Z Z) 1 Z X n (3.40) mit X n = (X m+1+q,..., X n ) und Z ist die (n m q) (p + q) Matrix Z = X m+q X m+q 1 X m+q+1 p Ẑ m+q Ẑ m+q 1 Ẑ m+1 X m+q+1 X m+q1 X m+q+2 p Ẑ m+q+1 Ẑ m+q1 Ẑ m X n 1 X n 2 X n p Ẑ n 1 Ẑ n 2 Ẑ n q (Falls p = 0, enthält Z nur die letzten q Spalten.) Der Hannan-Rissanen-Schätzer für die Varianz des weißen Rauschens ist ˆσ 2 HR = S( ˆβ) n m q Bemerkung 8. Hannan und Rissanen haben einen dritten Schritt zur Verbesserung des Schätzers vorgesehen. In den meisten Software-Programmen wird aber Maximum-Likelihood für den entgültigen Schätzer verwendet Maximum-Likelihood-Schätzer Es wird angenommen, dass die Zeitreihe {X t } normalverteilt mit Erwartungswert 0 und Kovarianzmatrix Γ n = E(X n X n) ist, wobei X n = (X 1,..., X n ) ist und Γ n als nicht singulär angenommen wird. Die Likelihoodfunktion von X n ist ( L(Γ n ) = (2π) n/2 (det Γ n ) 1/2 exp 1 ) 2 X nγ 1 n X n (3.41) 33

34 3 ARMA-Prozesse Aus den Innovationen-Algorithmus wissen wir, dass ˆX n = B(X n ˆX n ) (3.42) wobei B die n n-matrix θ 1, B = θ 2,2 θ 2, θ n 1,n 1 θ n 1,n 2 θ n 1,n (3.43) ist. Es gilt X n = X n ˆX n + ˆX n = X n ˆX n + B(X n ˆX n ) = (B + I)(X n ˆX n ) = C(X n ˆX n ) (3.44) Die n n- Diagonalmatrix D = diag(v 0, v 1,... v n 1 ) (3.45) ist die Kovarianzmatrix von (X n ˆX n ), daher gilt Γ n = E[X n X n] = E[C(X n ˆX n )(X n ˆX n ) C ] = CE[(X n ˆX n )(X n ˆX n ) ]C = CDC (3.46) Aus (3.44) und (3.46) folgt X nγ 1 n X n = (X n ˆX n ) C (CDC ) 1 C(X n ˆX n ) n = (X n ˆX n ) D 1 (X n ˆX n ) = (X j ˆX j ) 2 /v j 1 (3.47) j=1 C ist eine untere Dreiecksmatrix mit Diagonaleinträgen 1 und D eine Diagonalmatrix. Die Determinante ist deshalb det Γ n = (det C) 2 (det D) = v 0 v 1 v n 1 (3.48) Aus diesen Gründen kann die Likelihoodfunktion (3.41) als L(Γ n ) = (2π) n/2 (v 0 v 1 v n 1 ) 1/2 exp 1 n (X j 2 ˆX j ) 2 /v j 1 (3.49) j=1 34