Künstliche Neuronale Netze zur Prognose von Zeitreihen

Transkript

1 Westfälische Wilhelms-Universität Münster Diplomarbeit Künstliche Neuronale Netze zur Prognose von Zeitreihen Dominik Eisenbach Themensteller: Prof. Dr. Wolfram-M. Lippe Institut für Informatik Westfälische Wilhelms-Universität Münster Abgabetermin:

2 Inhaltsverzeichnis 1 Einführung Motivation Ziel und Aufbau Statistische Zeitreihenanalyse Zeitreihen Komponentenmodelle Bestimmung der Trendkomponente Bestimmung der Saisonkomponente Stochastische Prozesse Stationäre Prozesse Die Differenzenmethode Lineare Modelle Zeitreihenprognosen mit statistischen Modellen Künstliche Neuronale Netze Überblick Aufbau und Bestandteile Künstlicher Neuronaler Netze Lernvorgang Prognose von Zeitreihen mittels Künstlicher Neuronaler Netze Multi-Layer Perceptrons Radiale-Basisfunktionen-Netze Rekurrente Netze Time-Delay-Netze Vor- und Nachteile der Verwendung von KNN zur Zeitreihen-Prognose Weitere Prognose-Methoden des Soft Computing Überblick Fuzzy-Systeme Evolutionäre Algorithmen Anwendungen von KNN zur Prognose von Zeitreihen Angewandte Methodik zur Literaturrecherche Anwendungsfelder Zur Prognose verwendete Datengrundlage Art der Eingabedaten Vergangenheitstiefe der Eingabedaten und Prognose-Horizont.. 41 II

3 5.3.3 Vorverarbeitung der Eingabedaten Zur Prognose verwendete Datensätze Aufbau der verwendeten Netze Verwendete Netz-Typen Topologie der Netze Struktur der Verbindungen zwischen den Neuronen Verwendete Aktivierungsfunktionen Lernvorgang der Künstlichen Neuronalen Netze Verwendete Lernverfahren Verwendete Lern-Typen Eingesetzte Zielfunktionen Erfolgsmessung der Prognosen Verwendete Gütefunktionen Vergleiche mit anderen Modellen Zusammenhänge zwischen den einzelnen Kriterien Methodik Untersuchung der erwarteten Abhängigkeiten Abhängigkeiten von den Anwendungsfeldern Abhängigkeiten von der verwendeten Datengrundlage Abhängigkeiten vom Aufbau der Netze Untersuchung der nicht erwarteten Abhängigkeiten Abhängigkeiten von der verwendeten Datengrundlage Abhängigkeiten vom Aufbau der Netze Abhängigkeiten vom Lernvorgang Untersuchung der wünschenswerten Abhängigkeiten Abhängigkeiten von den Anwendungsfeldern Abhängigkeiten von der verwendeten Datengrundlage Abhängigkeiten vom Aufbau der Netze Abhängigkeiten vom Lernvorgang Klassifizierung der Erkenntnisse Zusammenfassung und Ausblick 90 Literaturverzeichnis 92 Zur Analyse verwendete Artikel 94 Anhang A: Bei der Literaturanalyse erhobene Daten 99 Anhang B: Durch Data-Mining ermittelte Regeln 112 III

4 1 EINFÜHRUNG 1 Einführung 1.1 Motivation Zeitabhängige Größen sind überall anzutreffen. Sowohl die Frequenz unseres Herzschlags als auch auch Aktienkurse sind Beispiele für Größen, die sich mit dem Zeitablauf ändern. Durch die Beobachtung derartiger Variablen werden Zeitreihen gebildet, die den vielfältigsten Bereichen entstammen können. Bei einigen dieser Beobachtungen ist die zukünftige Entwicklung der jeweiligen Zeitreihen von besonderem Interesse. Wäre diese bekannt, könnten daraus in vielen Fällen Vorteile für den Einzelnen, wie beispielsweise monetäre Gewinne an der Börse, oder sogar für eine große Gruppe von Menschen, wie etwa bei Sturmwarnungen, abgeleitet werden. Auch bei Unternehmen liegt es auf der Hand, dass diese beispielsweise von Informationen über die zukünftige Entwicklung des Produkt-Absatzes direkt profitieren. Aus diesem Grund ist es nicht verwunderlich, dass die Menschen schon seit Urzeiten versuchen, auf die verschiedensten Arten den weiteren Verlauf solcher Größen vorherzusehen. Eine sichere Prognose über die Zukunft ist zwar in der Regel nicht möglich, jedoch können durch die Anwendung unterschiedlichster Methoden die Entwicklungen zumindest einigermaßen genau vorausgesagt werden. Bei mathematischen Prognosen werden hierfür die bekannten Werte einer Zeitreihe genutzt, um aus den darin liegenden Informationen Rückschlüsse auf die zukünftige Entwicklung der Reihe zu ziehen. Dieser Ansatz liegt auch den Künstlichen Neuronalen Netzen (KNN) zugrunde, die seit ebenfalls für die Prognose von Zeitreihen eingesetzt werden. Insbesondere seit 1986 das Backpropagation-Verfahren als allgemeiner Lernalgorithmus für Neuronale Netze eine größere Verbreitung erlangte, 2 wurden diese auch als ernst zu nehmende Konkurrenten der traditionellen statistischen Verfahren wahrgenommen. 3 Im Laufe der Zeit wurden immer mehr auf KNN basierende Prognoseverfahren entwickelt und stetig weiter verfeinert. Es existiert jedoch bis heute keine Methode, die den anderen Methoden in jeder Situation überlegen wäre. 4 Auch ein allgemein gültiges Vorgehen, nach dem aus speziellen Situationen Handlungsanweisungen für die Modellierung eines optimalen Prognose-Modells abgeleitet werden könnten, konnte sich bis heute nicht durchsetzen. Stattdessen werden die einzelnen Methoden oft nahezu willkürlich ausgewählt und die Parameter der jeweiligen Methoden in der Regel jedes Mal neu durch einen mehr oder weniger aufwändigen Trial and Error -Prozess bestimmt wurde von M. J. C. HU erstmals eine Anwendung von WIDROWS Adeline-Netz zur Wettervorhersage veröffentlicht (Vgl. [ZhPH98, S. 36]). 2 Das Backpropagation-Verfahren wurde zwar erstmalig bereits 1969 von A. E. BRYSON und Y. C. HO (1969) beschrieben, seine große Bedeutung erlangte es allerdings erst 1986 durch die Arbeiten von D. RUMMELHART und J. MCCLELLAND (Vgl. [Zabe01, S. 5 f.], [Zell00, S. 30 ff.]). 3 Vgl. [ZhPH98, S. 36]. 4 Vgl. [Zhan03, S. 160]. 1

5 1 EINFÜHRUNG 1.2 Ziel und Aufbau Wie in Kapitel 1.1 beschrieben, existiert beim Einsatz von KNN zur Prognose von Zeitreihen keine einheitliche Vorgehensweise. Im Rahmen dieser Arbeit wird deshalb untersucht, ob zwischen unterschiedlichen Anwendungen und Methoden, sowie den einzelnen Merkmalen der jeweiligen Methoden, Zusammenhänge zu erkennen sind. Aus diesen könnten im günstigsten Fall Handlungsempfehlungen für die Modellierung von Prognose- Modellen abgeleitet und somit zukünftige Prognosen erleichtert werden. Falls dies nicht möglich ist, sollte zumindest deutlich werden, wonach in weiteren Untersuchungen gezielt gesucht werden müsste. Hierfür wurden die letzten fünf Jahrgänge ( ) der internationalen wissenschaftlichen Zeitschriften Neurocomputing, Neural Networks und Journal of Forecasting auf Anwendungen Künstlicher Neuronaler Netze zur Prognose von Zeitreihen untersucht und auf diese Fragestellung hin ausgewertet. Kapitel 1: Problembeschreibung und Zielsetzung Kapitel 2: Statistische Methoden Kapitel 3: Künstliche Neuronale Netze Kapitel 4: Weitere Methoden des Soft Computing Grundlagen Kapitel 5: Erhebung und Klassifikation von Anwendungen Auswertung der Datenerhebung Kapitel 6: Verknüpfung einzelner Kriterien zur Ableitung von Empfehlungen Analyse der Zusammenhänge Kapitel 7: Zusammenfassung und Ausblick Abbildung 1: Aufbau der Arbeit In den Kapiteln 2 bis 4 dieser Arbeit werden zunächst die für die Prognose von Zeitreihen notwendigen Grundlagen beschrieben. Hierfür werden in Kapitel 2 die für die statistische Zeitreihenanalyse üblichen Methoden vorgestellt. Diese dienen bei einigen Anwendungen von KNN als Vergleichsmethoden, die zur Evaluation der jeweiligen Prognose-Modelle hinzugezogen werden. Zusätzlich werden die statistischen Methoden oftmals für die Aufbereitung von Daten angewendet, bevor diese einem KNN vorgelegt werden. In Kapitel 3 werden Künstliche Neuronale Netze als universelle Funktionsapproximatoren vorgestellt. Dabei wird zunächst der generelle Aufbau von KNN und aller wesentlichen Bestandteile allgemein beschrieben. Anhand der zur Prognose von Zeitreihen am häufigsten eingesetzten Netz-Typen wird sodann das jeweilige Vorgehen bei den Prognosen dargestellt. Weiter werden generelle Vor- und Nachteile bei der Verwendung von KNN 2

6 1 EINFÜHRUNG zur Zeitreihen-Prognose diskutiert. Eine grundsätzliche Einordnung von KNN in das Gebiet des Soft Computing findet in Kapitel 4 statt. Neben einer kurzen Einführung in dieses Gebiet werden hier auch zu KNN alternative Soft Computing-Verfahren zur Prognose von Zeitreihen vorgestellt. Der Hauptteil dieser Arbeit beschäftigt sich in den Kapiteln 5 und 6 mit den für diese Arbeit erfassten Prognose-Anwendungen von KNN. In Kapitel 5 wird zunächst die bei der Literaturrecherche angewandte Methodik dargelegt. Im Anschluss daran werden die durch die Recherche erfassten Anwendungen beschrieben und in Anwendungsbereiche aufgeteilt. Weiterhin werden die Eigenschaften der jeweils angewendeten Methoden kategorisiert und die Anwendungen den jeweiligen Kategorien zugeordnet. Während die angewandten Methoden hier jedoch noch ausschließlich auf singuläre Muster untersucht werden, wird dieses Vorgehen in Kapitel 6 auf die verknüpfte Betrachtung einzelner Eigenschaften ausgeweitet. Dabei werden die Ergebnisse dieser Analysen auf potentiell ableitbare Handlungsempfehlungen für die Modellierung von Prognose- Modellen hin untersucht. Abschließend werden die Erkenntnisse in Kapitel 7 noch einmal zusammengefasst, und es werden Möglichkeiten für ein weiteres Vorgehen vorgeschlagen. Zur besseren Übersicht ist in Abbildung 1 der Aufbau dieser Arbeit noch einmal grafisch dargestellt. 3

7 2 STATISTISCHE ZEITREIHENANALYSE 2 Statistische Zeitreihenanalyse 2.1 Zeitreihen Eine Zeitreihe besteht aus einer geordneten Folge von Beobachtungen y t eines Merkmals Y, die über einen Zeitraum hinweg erfolgen. Die Zeitpunkte 5 t = 1,...,n können äquidistant sein, wie beispielsweise bei der stündlichen Stromnachfrage einer Stadt. Oftmals haben sie allerdings unregelmäßige Abstände. So werden beispielsweise bei der Untersuchung von täglichen Schlusskursen einer Aktie weder Wochenenden noch Feiertage, sondern lediglich die Börsentage betrachtet. Bei anderen Zeitreihen sind auch vollkommen unregelmäßige Abstände möglich. Handelt es sich um einen kontinuierlichen Datenstrom, können aus diesem durch Abtasten Zeitreihen gebildet werden. Hier legt dann in der Regel die sogenannte Samplingrate ein konstantes Intervall zwischen zwei Datenpunkten fest. Neben den univariaten gibt es auch multivariate Zeitreihen. Dies bedeutet, dass die einzelnen Datenpunkte aus mehrdimensionalen (allerdings immer gleichartigen) Datentupeln bestehen können. 115,0 110,0 105,0 100,0 95,0 90, Abbildung 2: Monatlicher Preisindex für Pflanzen, Güter für die Gartenpflege Zur Veranschaulichung 115,0 können die einzelnen Beobachtungen in ein Diagramm eingetragen werden, wie es in Abbildung 2 zu sehen ist. Die hier zu Grunde liegende Zeitreihe 110,0 105,0 besteht aus den monatlichen Werten eines Preisindex für die Warengruppe Pflanzen, Gü- 100,0 ter für die Gartenpflege über den Zeitraum von 1991 bis Die zugehörigen Daten 95,0 90,0 sind in Tabelle 1 angegeben. 6 Auch wenn die ursprüngliche Zeitreihe aus diskreten Beobachtungen besteht, wurden die Beobachtungspunkte in der Abbildung zur optischen -10, Aufwertung miteinander verbunden. Schon auf den ersten Blick ist ein positiver Trend in den Daten erkennbar. Hinzu kommt, dass in offenbar regelmäßigen Abständen wiederkehrende Höhen und Tiefen der Daten 10,0 5 Es kann sich 5,0hierbei auch um Zeiträume handeln. Dies ist z. B. der Fall, wenn Mengen pro Zeiteinheit gemessen werden. 6 0,0 Die Werte wurden entnommen aus [FKPT01, S. 526] ,0 4

8 2 STATISTISCHE ZEITREIHENANALYSE auftreten. Diese beiden Eigenschaften der Zeitreihe werden als Trend- und Saisonkomponenten des Komponentenmodells in Kapitel 2.2 genauer untersucht. Jan. Febr. März April Mai Juni Juli Aug. Sept. Okt. Nov. Dez ,7 103,5 102,8 101,6 98,2 101,3 99,2 95,3 94,2 97,1 100,5 102, ,4 106,8 106,3 104,0 105,3 100,9 100,3 99,3 100,7 101,8 105,1 106, ,6 107,8 107,8 106,4 106,5 104,8 104,2 104,1 104,8 106,0 107,8 108, ,5 110,2 109,4 108,0 107,9 106,6 105,1 104,2 105,6 106,9 108,5 109, ,8 111,3 110,3 109,1 108,0 107,2 106,2 105,6 106,2 108,3 109,8 110,9 Tabelle 1: Monatlicher Preisindex für Pflanzen, Güter für die Gartenpflege Zeitreihenanalysen können zur Erreichung unterschiedlicher Ziele durchgeführt werden. 7 Diese Ziele sind z. B. die Bestimmung von Regelmäßigkeiten eines zeitlichen Vorgangs, um diesen beschreiben zu können, die Elimination von seriellen Abhängigkeiten oder Trends in Zeitreihen, um einfache Parameter schätzen zu können, das Erkennen von Veränderungen in Zeitreihen, um ggf. Gegenmaßnahmen einleiten zu können, das Erkennen von bekannten Mustern in Zeitreihen, um bestimmte Ereignisse identifizieren zu können, die Prognose der zukünftigen Entwicklung einer Zeitreihe (sowohl die qualitative Richtung als auch deren quantitatives Ausmaß können hierbei Inhalt der Prognose sein). Um diese Ziele zu erreichen, wird in der Statistik ein Modell konstruiert, mit dem die beobachtete Zeitreihe beschrieben werden kann. Hierfür gibt es zwei grundsätzlich verschiedene Modellformen: Zum einen das deterministische Modell, das in Form des Komponentenmodells in Kapitel 2.2 beschrieben wird und zum anderen das in Kapitel 2.3 erläuterte stochastische Modell. Die Eigenschaften des jeweiligen Modells sollten dabei mit denen der beobachteten Zeitreihe möglichst genau übereinstimmen, so dass die Werte der Reihe auch durch das gefundene Modell hervorgebracht worden sein könnten. 8 Der Modellbildungsprozess lässt sich in vier Phasen einteilen: 9 In der Identifikationsphase wird die Zeitreihe beispielsweise durch grafische Aufbereitung (wie oben geschehen) oder statistische Tests auf ihre Eigenschaften hin untersucht. Aufgrund dieser Eigenschaften und der weitergehenden Zielsetzung wird das grundsätzliche Modell zur Beschreibung der Zeitreihe gewählt. 7 Vgl. beispielsweise [HaEK89, S. 637]. 8 Vgl. [Schi03, S. 568 f.]. 9 Vgl. [Wiki04, Kap. 2]. 5

9 2 STATISTISCHE ZEITREIHENANALYSE In der Schätzphase werden die Parameter des gewählten Modells beispielsweise durch die weiter unten beschriebene Methode der Kleinsten Quadrate (Kapitel 2.2.1) oder die Box-Jenkins-Methode (Kapitel 2.3.3) geschätzt. In der Diagnosephase werden die geschätzten Parameter des Modells über Visualisierung oder statistische Tests überprüft. Liegen verschiedene Modellalternativen vor, so wird hier diejenige ausgewählt, die die Zeitreihe am besten erklärt. In der Einsatzphase wird das spezifizierte Modell verwendet, um das vorher festgelegte Ziel der Zeitreihenanalyse wie beispielsweise die Prognose zukünftiger Werte der Zeitreihe zu erreichen. 2.2 Komponentenmodelle Liegen in den erhobenen Werten Regelmäßigkeiten vor, kann man die daraus resultierende Zeitreihe als Zusammensetzung einzelner Bestandteile beschreiben. Hierfür wird die Zeitreihe beispielsweise auf einen Trend oder auf periodisch wiederkehrende Schwankungen hin untersucht. Diese werden durch verschiedene Methoden quantifiziert, so dass sich die ursprüngliche Zeitreihe in ihre additiv bzw. multiplikativ verknüpften Komponenten zerlegen lässt. 10 Gängige Komponenten einer solchen Zerlegung sind: ein Trend m t, der die langfristige Veränderung des Niveaus der Zeitreihe beschreibt, ein Zyklus k t (oft auch Konjunkturkomponente), der mehrjährige, nicht notwendigerweise regelmäßige Schwankungen, wie beispielsweise die wirtschaftliche Konjunktur, beschreibt, die Saison s t, die Schwankungen mit regelmäßiger Periode beschreibt und der Rest u t, der als übrig bleibende und nicht weiter erklärbare Komponente unregelmäßige Einflüsse oder Störungen enthält. Mit ihren einzelnen Komponenten können Zeitreihen als additives oder multiplikatives Modell zusammengesetzt werden: y t = m t + k t + s t + u t bzw. y t = m t k t s t u t Bei der Aufstellung eines Komponenten-Modells ist allerdings zu beachten, dass nicht in jeder Zeitreihe alle aufgeführten Komponenten zu finden sind und deshalb die Formeln leicht abweichen können. Beispielsweise werden insbesondere dann, wenn der Zeitraum der betrachteten Daten nicht über einen Zyklus hinausgeht, Trend und Zyklus in einer 10 Vgl. [Schi03, S. 130 ff.]. 6

10 2 STATISTISCHE ZEITREIHENANALYSE glatten Komponente g t zusammengefasst. Da dies sehr häufig der Fall ist, wird im Weiteren nicht gesondert auf die Zyklenkomponente eingegangen. Stattdessen werden die Begriffe Trend und glatte Komponente synonym verwendet. Ob überhaupt ein signifikanter Trend in der Zeitreihe vorliegt, kann über statistische Tests überprüft werden. Beispiele für solche Tests finden sich u. a. in [HaEK89, S. 247 ff.]. Der im Modell vorkommende Rest u t kann sehr unterschiedliche Bedeutungen haben. Während hier in manchen Fällen nur zufällige und unwesentliche Schwankungen zusammengefasst werden, liegt bei anderen Zeitreihen gerade in dieser Restkomponente die eigentlich gesuchte Information. Ein Beispiel hierfür ist die Analyse von Arbeitslosenzahlen. Wird hierbei untersucht, wie sich arbeitsmarktpolitische Maßnahmen ausgewirkt haben, sind in erster Linie die von den regelmäßigen Schwankungen befreiten Änderungen von Interesse. Es existieren verschiedene Methoden um die Restkomponente einer Zeitreihe zu bestimmen. Im Folgenden werden einige einfache Möglichkeiten dargestellt, wie die Trend- und Saisonkomponenten bestimmt werden können. Nachdem diese aus der Zeitreihe eliminiert wurden, bleibt als Residuum die gesuchte Restkomponente Bestimmung der Trendkomponente Zur Isolierung der langfristigen Veränderung einer Zeitreihe wird durch eine Regressionsanalyse eine Funktion der Zeit konstruiert. Deren Parameter werden derart geschätzt, dass die Funktion das durchschnittliche Niveau der Zeitreihe möglichst genau abbildet. Schon die Betrachtung des Datenplots einer Zeitreihe gibt schon erste Aufschlüsse darüber, ob es sich um einen positiven oder negativen Trend handelt. Um für die Regression einen geeigneten Funktionstyp zu wählen, ist es jedoch auch wichtig festzustellen, ob der Trend anwachsend, gleichbleibend oder abschwächend verläuft. Es gilt einen Funktionstyp zu finden, der diesem Verlauf möglichst genau entspricht. Beispiele solcher Funktionstypen sind in Tabelle 2 angegeben. Die Parameter dieser Funktionen sind linear und können Nr. Bezeichnung Definition 1 Linear ax + b 2 Logarithmus ln(x) 3 Exponential exp(x) 4 Arkussinus sin 1 (x) 5 Arkustangens tan 1 (x) 6 Logit ln( x (1 x) 7 Reziprok 1 x 8 Quadrat x 2 9 Wurzel x Tabelle 2: Beispiele für Funktionstypen zur Trendbestimmung 11 ) 11 Vgl. [BEPW03, S. 80]. 7

11 2 STATISTISCHE ZEITREIHENANALYSE beispielsweise über die Methode der Kleinsten Quadrate (KQ) geschätzt werden. Hierbei werden die Parameter so bestimmt, dass die Summe der quadrierten Abweichungen jedes Zeitreihenwertes y t von dem zugehörigen Wert der glatten Komponente m t minimiert wird. Es gilt also: n t=1 (y t m t ) 2 min Die einfachste, aber dennoch häufig angewandte Funktion ist die lineare Funktion. Von der Grundfunktion m t = a + b t ausgehend, werden die Parameter a und b mit der KQ- Methode geschätzt. Durch einfache Differenzialrechnung ergibt sich: ,0 110,0 â = y ˆb t ˆb = t y t y t 2 t 2 mit 105,0 n 100,0t=1 t y = 1 n 95,0 t y t, y = 1 n n t=1 y t, t 2 = 1 n n t=1 t 2 = (n+1) (2n+1) 6, t = n 1 n t=1 t = n+1 2 Für die konkreten Parameter der Zeitreihe des Preisindex für Pflanzen, Güter für die 90,0 Gartenpflege 1991 aus Kapitel ergeben sich 1993 somit die 1994 Parameter 1995 a = 100, 4093 und b = 0,1593. Zur Verdeutlichung ist in Abbildung 3 zusätzlich zur ursprünglichen Zeitreihe y t die damit berechnete Trendfunktion m t eingezeichnet. 115,0 110,0 105,0 100,0 95,0 90, Abbildung 3: Monatlicher Preisindex für Pflanzen, Güter für die Gartenpflege mit linearem Trend 10,0 In Abbildung 4 ist die vom Trend bereinigte Zeitreihe zu sehen, die sich als Residualreihe 5,0 durch die Subtraktion des Trends von der ursprünglichen Zeitreihe ergibt (y t m t ). Aus 0,0 den so entstehenden Werten ist das absolute Niveau der ursprünglichen Zeitreihe natürlich nicht mehr ablesbar ,0-10,0 Weitere Methoden, den Trend aus einer Zeitreihe zu eliminieren, fasst man unter Filterung zusammen. Hierzu gehören beispielsweise die Bildung von Differenzen, wie sie in Kapitel ,0 beschrieben wird, oder die Bildung geeigneter Durchschnitte 3,0 1,0-1, ,0 i 12 Vgl. [Kopf04, -5,0 Kap ]. m t = α i y t i 5,0 8

12 90, STATISTISCHE ZEITREIHENANALYSE 10,0 5,0 0,0-5,0-10, Abbildung 4: Trendbereinigter Preisindex für Pflanzen, Güter für die Gartenpflege 5,0 3,0 1,0 über eine festgelegte -1,0 Anzahl von i benachbarten Beobachtungswerten 13, die mit den Faktoren α i gewichtet werden. 14 Beispiele für letztere Methode sind gleitende Durchschnitte -3,0-5,0 und die exponentielle 1991 Glättung Während 1993bei der Bildung 1994 von Differenzen 1995 der Trend aus der Zeitreihe herausgefiltert wird, filtert die Durchschnittsbildung alle Bestandteile aus der Zeitreihe, die nicht Bestandteil des Trends oder der glatten Komponente sind. 5, Bestimmung der Saisonkomponente 0, ,0 Auch zur Bestimmung der Saisonkomponente gibt es viele verschiedene Verfahren. Diese hängen unter -10,0anderem vom grundsätzlichen Verlauf der Komponente ab. Entscheidend für die Modellwahl ist, wie sich die positiven und negativen saisonalen Abweichungen in den Perioden des Beobachtungszeitraums verhalten. Mögliche Modelle sind 10 eine konstante Saisonfigur, bei der die Abweichungen in allen Perioden gleich groß sind, eine Saisonfigur mit variabler Amplitude, deren Ausmaß in allen Perioden proportional zu den Werten der glatten Komponente steht oder eine variable Saisonfigur, falls sich die Struktur der Saisonfigur im Zeitablauf verändert. 15 Eine mögliche Methode für die erste Modellform stellt das Phasendurchschnittsverfahren 16 dar. Hier wird für jede Phase ph der k Phasen pro Periode die durchschnittliche Abweichung d ph von der glatten Komponente ermittelt. Normiert man diese Durchschnitte derart, dass deren Summe 0 ergibt, so erhält man für die einzelnen Phasen jeweils eine Saisonveränderungszahl s ph : s ph := d ph 1 k ph d ph 13 Gibt es in den zugrunde liegenden Daten eine saisonale Komponente, so bietet es sich an für i genau deren Periode zu nehmen. 14 Vgl. [Schi03, S. 133]. 15 Vgl. [HaEK89, S. 641]. 16 Vgl. [Kopf04, Kap ]. 9

13 STATISTISCHE ZEITREIHENANALYSE Das Beispiel 115,0aus Kapitel 2.1 hat als Phasen die zwölf Kalendermonate, deren Saisonveränderungszahlen 110,0 in Tabelle 3 angegeben sind. 105,0 Jan. Febr. März April Mai Juni Juli Aug. Sept. Okt. Nov. Dez ,0 4,1 2,8 1,9 0,6-3,0-0,1-2,3-6,4-7,6-4,9-1,7-0, ,9 4,2 3,5 1,0 2,2-2,4-3,1-4,3-3,1-2,1 1,0 1, ,0 3,2 3,2 3,1 1,5 1,5-0,4-1,1-1,4-0,9 0,2 1,8 2, ,2 3,7 2,8 1,2 1,0-0,5-2,2-3,2-2,0-0,8 0,6 1,5 90, ,6 2,9 1,8 0,4-0,9-1,8-3,0-3,7-3,3-1,3 0,0 0,9 s ph ,6 3,4 2, ,9 0, ,0-2, ,8-3, ,8 0,4 1,3 Tabelle 3: Monatliche Abweichung des Preisindex für Pflanzen, Güter für die Gartenpflege vom linearen Trend Da zur Approximation 10,0 des Trends in Kapitel eine lineare Funktion verwendet wur- 5,0 de, sind diese Zahlen bereits mit den durchschnittlichen Abweichungen vom berechneten Trend identisch. Wird von der trendbereinigten Zeitreihe auch noch diese Saisonkomponente abgezogen, so bleibt nur noch der in Abbildung 5 zu sehende unerklärte Rest u t übrig. 0,0-5,0-10, ,0 3,0 1,0-1,0-3,0-5, Abbildung 5: Unerklärte Komponente u t des Preisindex für Pflanzen, Güter für die Gartenpflege 5,0 0,0 Alternative Ansätze zur Bestimmung der Saisonkomponente sind z. B ,0 das -10,0 Regressionsverfahren, bei dem die Saisonveränderungszahlen durch die KQ- Methode bestimmt werden, 10 die Differenzenmethode zur Elimination der Saisonkomponente, 17 das Berliner Verfahren, bei dem eine harmonische Schwingung mit geschätzten Parametern die Saisonkomponente approximiert und das Phasendurchschnittsverfahren für das multiplikative Komponentenmodell, bei dem die Saisonveränderungszahlen so normiert werden, dass ihr Durchschnitt genau 1 ist Vgl. Kap Vgl. beispielsweise [HaEK89, S. 668 f.], [Kopf04, Kap. 2.6] oder [Schi03, S. 155 ff.]. 10

14 2 STATISTISCHE ZEITREIHENANALYSE 2.3 Stochastische Prozesse Eine zeitlich geordnete Folge von Zufallsvariablen {Y } = Y 1,Y 2,Y 3,...,Y t,... wird als stochastischer Prozess bezeichnet. 19 Es handelt sich dabei also um einen dynamischen Vorgang mit Zufallscharakter. Bei der Zeitreihenanalyse wird unterstellt, dass es sich bei der beobachteten Zeitreihe y 1,y 2,...,y n um eine mögliche (zufällige) Realisierung eines solchen Prozesses handelt. Da dies bedeutet, dass jede einzelne Beobachtung y t durch eine eigene Zufallsvariable Y t generiert wurde, ist es sehr schwierig von den Beobachtungen ausgehend Rückschlüsse auf den stochastischen Prozess zu ziehen. Trotzdem muss versucht werden, aus den Informationen, die aus der beobachteten Zeitreihe gewonnen werden, das Modell eines stochastischen Prozesses derart zu schätzen, dass es sich bei der Zeitreihe um eine endliche Realisierung eben dieses Prozesses handeln könnte. Um die Bestimmung des stochastischen Prozesses zu vereinfachen, wird a priori eine Klasse von möglichen Prozessen 20 vorgegeben. Für die Beschreibung des konkreten Prozesses {Y } ist es in der Regel dann ausreichend, die ersten und zweiten Momente seiner Zufallsvariablen anzugeben: Mittelwertfunktion µ(t) :=E(Y t ) 2. Varianzfunktion σ 2 (t) :=Var(Y t ) 3. Autokovarianzfunktion γ j (t) :=Cov(Y t,y t j ) 4. Autokorrelationsfunktion ρ j (t) := γ j(t) σ(t) σ(t j) Bei j handelt es sich in den Autokovarianz- und Autokorrelationsfunktionen um den Abstand der jeweils betrachteten Zufallsvariablen Y t und Y t j, der auch Zeitlag genannt wird Stationäre Prozesse Oftmals wird eine gewisse zeitliche Stabilität des stochastischen Prozesses gefordert. Dies wird beispielsweise dadurch erreicht, dass jede endliche Folge von Zufallsvariablen Y 1,...,Y m eine identische Wahrscheinlichkeitsverteilung besitzt, wie die um eine beliebige Anzahl von k Zeitpunkten verschobene Folge Y 1+k,...,Y m+k. Daraus folgt, dass die durch den Prozess gebildeten Zeitreihen einen beliebigen Startzeitpunkt haben können, da die Verteilungen vom Zeitindex unabhängig sind. In einem solchen Fall spricht man von einem streng stationären Prozess. 19 Vgl. [Schi03, S. 567]. 20 Dies sind beispielsweise die im folgenden Kapitel beschriebenen stationären Prozesse. 21 Vgl. [Schi03, S.569]. 11

15 2 STATISTISCHE ZEITREIHENANALYSE In der Praxis besteht ein Problem darin, dass eine solche Stationarität nur schwer nachweisbar ist. In der Regel ist allerdings auch schon eine schwache Stationarität ausreichend. Hierfür wird lediglich gefordert, dass die Zufallsvariablen des Prozesses in ihren ersten beiden Momenten übereinstimmen. Das heißt, es soll für alle t und j gelten: µ(t) = µ 2. σ 2 (t) = σ 2 3. γ j (t) = γ j Selbst bei einem streng stationären Prozess müssen die Zufallsvariablen nicht notwendigerweise unabhängig verteilt sein. Im Gegenteil sind es oftmals gerade die bestehenden Abhängigkeiten, die durch die Zeitreihenanalyse aufgedeckt werden sollen. Die Art der Abhängigkeit ist jedoch bei allen Zufallsvariablen eines stationären Prozesses dieselbe und lediglich durch den Grad der Nachbarschaft der betrachteten Variablen bestimmt. Um von einer gegebenen Zeitreihe ausgehend die Momente eines Prozesses schätzen zu können, ist es nicht ausreichend, dass dieser stationär ist. Zusätzlich dürfen die Autokovarianzen γ j nicht zu groß sein und müssen mit steigendem Lag j schnell kleiner werden, damit gilt: 23 γ j < j=0 Ist auch diese Voraussetzung erfüllt, können die Momente eines stationären Prozesses aus den jeweiligen empirischen Momenten der betrachteten Zeitreihe geschätzt werden. 24 Ein Spezialfall der stochastischen Prozesse ist der sogenannte White-Noise-Prozess bzw. das Weiße Rauschen. Dieser Prozess ist deshalb von Interesse, da er vielen anderen Prozessen wie beispielsweise den in Kapitel beschriebenen Moving-Average-Prozessen als Grundbaustein dient. Es handelt sich dabei um einen stationären Prozess {ε}, dessen Varianzfunktion σ 2 (t) zu allen Zeitpunkten t einen konstanten Wert annimmt und dessen Mittelwerte µ(t) und Autokovarianzen γ j (t) für alle t und j ( j 0) konstant 0 sind. Bisweilen wird zusätzlich vorausgesetzt, dass die Zufallsvariablen des Weißen Rauschens unabhängig und identisch verteilt sind Die Differenzenmethode Wie bereits in Kapitel 2.2 erwähnt, eignet sich zur Elimination einer Trend- oder Saisonkomponente jeweils auch die Differenzenmethode. Hierbei handelt es sich um einen linearen Filter, der eine Zeitreihe durch Bildung von Differenzen in eine andere Zeitreihe transformiert. Die gängigste Variante, die auch für die Eliminierung eines linearen 22 Vgl. [HaEK89, S. 678]. 23 Mit dieser Voraussetzung wird sichergestellt, dass der Prozess mittelwertergodisch ist. 24 Vgl. [Schi03, S. 574 f.]. 25 Vgl. [Schi03, S. 577]. 12

16 2 STATISTISCHE ZEITREIHENANALYSE Trends ausreicht, ist der Differenzenfilter 1. Ordnung. Durch diesen werden die Werte y t der neuen Zeitreihe durch die einfache Differenz von jeweils benachbarten Werten der ursprünglichen Zeitreihe gebildet. y t = y t = y t y t 1 für t = 2,...,n Liegt bei den Daten ein polynomer Trend vor, ist es notwendig einen Differenzenfilter höherer Ordnung (entsprechend dem Grad des angenommenen Polynoms) anzuwenden. Allgemein gilt bei einem Differenzenfilter p-ter Ordnung die folgende rekursive Transformation: 26 y t = p y t = p 1 y t p 1 y t 1 für t = p + 1,...,n Um eine Saisonkomponente mit fester Periodenlänge q aus einer Zeitreihe herauszufiltern, werden saisonale Differenzen nach dem folgenden Schema gebildet: 27 y t = y t y t q für t = q + 1,...,n Um sowohl die Trend- als auch die Saisonkomponente einer Zeitreihe zu eliminieren, können der normale und der saisonale Differenzenfilter kombiniert werden. In jedem Fall muss jedoch bei der Weiterbearbeitung der neu gebildeten Zeitreihe beachtet werden, dass diese nun aus weniger Werten als die ursprüngliche Zeitreihe besteht Lineare Modelle Das für die Zeitreihenanalyse gängigste lineare Modell ist das ARIMA-Modell, das von BOX und JENKINS 28 in den 70er Jahren zu einem brauchbaren Modell für Prognosen weiterentwickelt wurde. Dieses wird durch eine Kombination eines Moving-Average- Prozesses und eines Autoregressiven Prozesses einer durch Differenzenbildung stationarisierten Zeitreihe gebildet. Moving-Average-Prozesse Ein stochastischer Prozess {Y } heißt Moving-Average-Prozess der Ordnung q bzw. MA(q)-Prozess, falls gilt: 29 Yt = εt + q α j ε t j j=1 wobei es sich bei {ε} um Weißes Rauschen 30 handelt und die Koeffizienten α 1,...,α q reelle Faktoren sind. Demnach ist ein MA(q)-Prozess ein Prozess, der aus dem gewogenen 26 Vgl. [Kopf04, Kap ]. 27 Vgl. [HaEK89, S. 668 f.]. 28 GEORGE BOX, geb. 1919, engl. Chemiker und Mathematiker, GWILYM M. JENKINS, Vgl. [ScSt99, S. 116]. 30 Vgl. Kapitel

17 2 STATISTISCHE ZEITREIHENANALYSE gleitenden Durchschnitt eines Weißen Rauschens mit der Fenstergröße q gebildet wird. Der so entstandene Prozess {Y } ist schwach stationär und besitzt die folgenden Momente: µ Y = 0 σy 2 = σ ε 2 q αi 2 i=1 σ 2 q j ε α i α i+ j für 0 j q γ j = i=1 0 für j > q 1 für j = 0 ρ j = q j α i α i+ j i=1 q αi 2 i=1 für 1 j q 0 für j > q Autoregressive Prozesse Ein stochastischer Prozess {Y } heißt Autoregressiver Prozess der Ordnung p bzw. AR(p)- Prozess, falls gilt: 31 Yt = εt + p β j Y t j j=1 wobei es sich bei {ε} wieder um Weißes Rauschen 32 handelt und die Koeffizienten β 1,...,β q reelle Faktoren sind. Damit wird jedes Y t des Prozesses als gewichtetes Mittel seiner p Vorgänger mit einem zufälligen Rest ε t gebildet. Damit ein Autoregressiver Prozess stationär ist, müssen dessen Koeffizienten gewissen Anforderungen 33 genügen. Werden diese Anforderungen erfüllt, ergeben sich für den AR(p)-Prozess {Y } die folgenden Momente: µ Y = 0 σ 2 Y = σ 2 ε p β i γ i i=1 γ j = p β i γ j i für j > 0 i=1 1 für j = 0 ρ j = p β i γ j i σ i=1 Y 2 für j > 0 31 Vgl. [ScSt99, S. 121]. 32 Vgl. Kapitel Für die schwache Stationarität des Prozesses müssen die (auch komplexen) Lösungen der Gleichung 1 β 1 z β 2 z 2 β p z p = 0 alle dem Betrag nach größer als 1 sein (vgl. [HaEK89, S. 679]). 14

18 2 STATISTISCHE ZEITREIHENANALYSE Als Spezialfall wird an dieser Stelle der AR(1)-Prozess herausgegriffen, der nach der oben angegebenen Formel wie folgt gebildet wird: Y t = βy t 1 + ε t Damit dieser Prozess stationär ist, muss der Parameter β betragsmäßig kleiner als 1 sein. Ist dagegen β = 1, ergibt sich ein sogenannter Random-Walk, der nicht stationär ist. In vielen Anwendungsgebieten wie beispielsweise bei der Modellierung von Aktienkursen kann auf solche Random-Walks zurückgegriffen werden. In der Zeitreihenanalyse werden sie manchmal auch bei der Bewertung alternativer Modelle als einfache Vergleichsmodelle hinzugezogen. Autoregressive Integrierte Moving-Average-Prozesse Als Grundlage von Autoregressiven Integrierten Moving-Average-Prozessen (ARIMA- Prozessen) dienen ARMA-Prozesse, die eine Kombination von Moving-Average und Autoregressiven Prozessen darstellen. Ein ARMA(p,q)-Prozess wird demnach wie folgt gebildet: 34 Y t = p q β j Y t j + ε t + α j ε t j j=1 j=1 wobei {ε} Weißes Rauschen 35 darstellt und die Koeffizienten β 1,...,β p,α 1,...,α q reelle Faktoren sind. Voraussetzung für die Anwendung eines ARMA-Prozesses ist jedoch, dass es sich bei der beobachteten Zeitreihe um einen schwach stationären Prozess handelt. Da reale Zeitreihen oftmals Instationaritäten wie einen Trend oder saisonale Abhängigkeiten aufweisen, müssen diese durch Differenzenfilter, wie sie in Kapitel beschrieben wurden, in stationäre Prozesse transformiert werden. Dabei muss die Ordnung des Differenzenfilters hinreichend groß 36 gewählt werden, damit die dadurch entstehende Zeitreihe stationär ist. Die Kombination einer Differenzenbildung mit einem ARMA(p,q)-Modell wird als ARIMA(p,d,q)-Modell bezeichnet, wobei mit dem Parameter d die Ordnung des Differenzenfilters angegeben wird. Die Bestimmung der Parameter erfolgt durch die sogenannte Box-Jenkins-Methode 37, bei der in einem iterativen Verfahren die folgenden drei Schritte so lange durchlaufen werden, bis ein zufriedenstellendes Ergebnis erreicht wird: Bei der Modellidentifikation werden mit Hilfe der Autokorrelationen die Dimensionen p, d und q des stochastischen Prozesses bestimmt. Diese Parameter müssen 34 Vgl. [ScSt99, S. 132]. 35 Vgl. Kapitel Bei den meisten nichtstationären Zeitreihen wird spätestens mit den Differenzen dritter Ordnung eine ausreichende Stationarität erreicht (Vgl. [Schi03, S. 599]). 37 Vgl. [BoJe76, S ]. 15

19 2 STATISTISCHE ZEITREIHENANALYSE derart gewählt werden, dass die empirischen Autokorrelationen für die verschiedenen Zeitlags der beobachteten Zeitreihe möglichst genau der theoretischen Autokorrelationsfunktion des modellierten Prozesses entsprechen. Gleiches gilt analog dazu auch für die partiellen Autokorrelationen r k 1 (k). 38 Die übrigen Koeffizienten des Modells werden bei der Parameterschätzung bestimmt. Hierbei handelt es sich um die von den im ersten Schritt bestimmten Dimensionen abhängigen Faktoren β 1,...,β p,α 1,...,α q. Diese können beispielsweise durch die in Kapitel beschriebene Methode der Kleinsten Quadrate oder die Maximum-Likelihood-Methode 39 geschätzt werden. Wurde das Modell adäquat geschätzt, sollte es sich bei den verbleibenden Residuen lediglich um eine Realisation eines Weißen Rauschens handeln. Dies wird bei der Modellüberprüfung durch eine visuelle Residuenanalyse oder durch statistische Tests sichergestellt. 40 Der an dieser Stelle nur kurz skizzierte Vorgang kann sich in der Praxis als sehr komplex erweisen. Insbesondere die Ordnungen des Prozesses lassen sich nicht eindeutig bestimmen, da es sich bei der beobachteten Zeitreihe lediglich um eine einzige Realisation des modellierten Prozesses handelt. Da die auf Anhieb geschätzten Parameter deshalb oft noch nicht zu einer ausreichenden Güte des Modells führen, müssen die einzelnen Schritte ggf. mehrfach durchgeführt werden. Dies führt dazu, dass die Identifikation des geeigneten Modells sehr schwierig sein kann und auch nicht in jedem Fall zufrieden stellende Ergebnisse erreicht werden Zeitreihenprognosen mit statistischen Modellen Unter einer Prognose versteht man die Vorhersage zukünftiger Ereignisse auf Grund von Vergangenheitsinformation 42. Die Anzahl der Werte, die zwischen dem letzten beobachteten und dem zu prognostizierenden Wert der jeweiligen Zeitreihe liegen, wird als Prognosehorizont bezeichnet. Liegt dieser bei eins, wird dies auch als Ein-Schritt-Prognose bezeichnet. Eine Erweiterung auf Mehr-Schritt-Prognosen lässt sich einerseits durch eine entsprechende Anpassung der Modelle oder andererseits durch die iterierte Durchführung von Ein-Schritt-Prognosen erreichen. 38 Vgl. [HaEK89, S. 686]. 39 Weitere Informationen hierzu finden sich beispielsweise bei [Mohr76, S. 157]. 40 Vgl. [Schw94, S. 68 ff.]. 41 Vgl. [Thie98, S. 77]. 42 [ScSt99, S. 191]. 16

20 2 STATISTISCHE ZEITREIHENANALYSE Zur Durchführung einer Prognose eignen sich je nach Anwendung die Modelle, die in den vorausgehenden Abschnitten beschrieben wurden. Um die Unterschiede deutlich zu machen werden hier beispielhaft drei Prognose-Verfahren dargestellt. Komponentenmodell Zur Prognose von zukünftigen Werten einer Zeitreihe mit dem Komponenten-Modell müssen zunächst die einzelnen additiv oder multiplikativ verknüpften Komponenten bestimmt werden. 43 Dies sollte derart geschehen, dass in der Größe u t lediglich unwichtige Störgrößen übrig bleiben. Anhand der gefundenen Funktionen für die glatte Komponente und Saisonschwankungen kann nun der Wert für den Zeitpunkt t + 1 berechnet werden, wobei u t+1 = 0 gesetzt wird. Diese Methode kann beispielsweise angewendet werden, wenn von einem grundsätzlich regelmäßigen Verlauf der Zeitreihe ausgegangen wird und die unerklärte Komponente lediglich durch Messschwierigkeiten entstanden ist. Random-Walk Der in Kapitel beschriebene Random-Walk geht von einem Verlauf der Zeitreihe aus, der vom letzten Wert ausgehend in eine willkürliche Richtung verläuft. 44 Für eine Prognose muss die betrachtete Zeitreihe zunächst über die bereits beschriebenen Verfahren stationarisiert werden. In einem zweiten Schritt wird der Wert der so vorliegenden Zeitreihe für den Zeitpunkt t + 1 aus der Simulation eines Weißen Rauschens gewonnen. 45 Um den prognostizierten Wert auch für die ursprüngliche Zeitreihe zu erhalten, müssen nun noch alle zur Stationarisierung angewandten Transformationen wieder rückgängig gemacht werden. ARIMA-Prognosen Um zukünftige Werte einer Zeitreihe mit einem ARIMA-Modell zu prognostizieren, müssen dessen Parameter zunächst anhand der in Kapitel beschriebenen Box-Jenkins- Methode bestimmt werden. Wurde ein adäquates Modell gefunden, kann unter der Hinzunahme eines Weißen Rauschens über die entsprechende Formel der Wert für y t+1 einfach berechnet werden. 46 Es muss allerdings berücksichtigt werden, dass die Prognose auf der durch Differenzenbildung stationarisierten Zeitreihe durchgeführt wird, so dass die Differenzenbildung zur Gewinnung des eigentlich gesuchten Prognosewertes rückgängig gemacht werden muss. 43 Vgl. Kapitel Ein solches Verhalten wird beispielsweise Aktienkursen bisweilen unterstellt. 45 Ist das empirische Mittel der stationierten Zeitreihenwerte ungleich null, so muss dieses noch zu dem aus dem Weißen Rauschen gewonnenen Wert ε t+1 hinzu addiert werden. 46 Dabei steht y t+1 für eine konkrete Realisation der Zufallsvariable Y t+1. 17