ChangePoint-Analysen - ein Überblick

Transkript

1 ChangePoint-Analysen - ein Überblick

2 Gliederung Motivation Anwendungsgebiete Chow Test Quandt-Andrews Test Fluktuations-Tests Binary Segmentation Recursive circular and binary segmentation algorithm Bayesscher Ansatz Barry und Hartigan Dynamic programming algorithm Minimax TU Dresden, ChangePoint-Analysen - ein Überblick Folie 2 von 25

3 Motivation TU Dresden, ChangePoint-Analysen - ein Überblick Folie 3 von 25

4 Anwendungsgebiete Qualitätssicherung in der Herstellung Wertpapiermarkt Spam Filter Website Tracking durch Webcrawler Einbruchmeldeanlagen Medizinische Diagnostik TU Dresden, ChangePoint-Analysen - ein Überblick Folie 4 von 25

5 Chow Test Gegeben: Datensatz Beschreibung der Beziehung durch lineare Funktion: für TU Dresden, ChangePoint-Analysen - ein Überblick Folie 5 von 25

6 Exkurs zur Begriffsklärung Regressionsanalyse Erklärung einer abhängige Variable durch mehrere unabhängige Variablen Bsp.: TU Dresden, ChangePoint-Analysen - ein Überblick Folie 6 von 25

7 Exkurs zur Begriffsklärung Regressionsanalyse Erklärung einer abhängige Variable durch mehrere unabhängige Variablen Bsp.: Methode der kleinsten Quadrate Parametresierbare Funktion aus passender Funktionsklasse wählen Parameter bestimmen (Minimierung der Summe der quadratischen Abstände der Kurve zu den Datenpunkten) TU Dresden, ChangePoint-Analysen - ein Überblick Folie 7 von 25

8 Exkurs zur Begriffsklärung Regressionsanalyse Erklärung einer abhängige Variable durch mehrere unabhängige Variablen Bsp.: Methode der kleinsten Quadrate Parametresierbare Funktion aus passender Funktionsklasse wählen Parameter bestimmen (Minimierung der Summe der quadratischen Abstände der Kurve zu den Datenpunkten) Residuum Beschreibt Anteil der Variabilität des Modells Grafik erstellt mit APIPRO (Thomas Wagner, Matthias Lehmann) TU Dresden, ChangePoint-Analysen - ein Überblick Folie 8 von 25

9 Chow Test (Forts.) Aufspaltung für bessere Beschreibung des Datensatzes für für Test auf Gleichheit durch Koeffizientenvergleich Problem: Bruchzeitpunkt muss bekannt sein TU Dresden, ChangePoint-Analysen - ein Überblick Folie 9 von 25

10 Quandt-Andrews Test Idee: wenn für den Chow-Test der Bruchzeitpunkt bekannt sein muss dann Chow-Test auf alle Zeitpunkte anwenden Anschließend Auswertung der Chow-Statistik (Anzahl der nicht übereinstimmenden Regressionsparameter) TU Dresden, ChangePoint-Analysen - ein Überblick Folie 10 von 25

11 Quandt-Andrews Test in R USD/EUR Kurs TU Dresden, ChangePoint-Analysen - ein Überblick Folie 11 von 25

12 Quandt-Andrews Test in R Chow-Statistik TU Dresden, ChangePoint-Analysen - ein Überblick Folie 12 von 25

13 Quandt-Andrews Test in R maximaler Wert TU Dresden, ChangePoint-Analysen - ein Überblick Folie 13 von 25

14 Fluktuations-Tests Idee: Brüche an Residuen erkennen Annahme: die Folgepunkte weichen nicht signifikant von Trend ab TU Dresden, ChangePoint-Analysen - ein Überblick Folie 14 von 25

15 Fluktuations-Tests Idee: Brüche an Residuen erkennen Annahme: die Folgepunkte weichen nicht signifikant von Trend ab Berechnung rekursiver Residuen aus 1-Schritt- Prognosefehlern im Zeitverlauf Annahme: Folge der Partialsummen der rekursiven Residuen verhält sich pendelt um 0 Algorithmen: CUSUM, OLS- CUSUM TU Dresden, ChangePoint-Analysen - ein Überblick Folie 15 von 25

16 Binary Segmentation X1,,Xn Zeitreihe als Beobachtungen X1,,Xn aufgefasst Annahme:Daten mit einer gewissen Varianz normal verteilt TU Dresden, ChangePoint-Analysen - ein Überblick Folie 16 von 25

17 Binary Segmentation X1,,Xn Zeitreihe als Beobachtungen X1,,Xn aufgefasst Annahme:Daten mit einer gewissen Varianz normal verteilt Einsatz von Wahrscheinlichkeitsrechnung für den Test auf die Nullhypothese (kein ChangePoint) TU Dresden, ChangePoint-Analysen - ein Überblick Folie 17 von 25

18 Binary Segmentation X1,,Xn Zeitreihe als Beobachtungen X1,,Xn aufgefasst Annahme:Daten mit einer gewissen Varianz normal verteilt Einsatz von Wahrscheinlichkeitsrechnung für den Test auf die Nullhypothese (kein ChangePoint) Bei Überschreitung einer gewissen Wahrscheinlichkeit wird Nullhypothese verworfen TU Dresden, ChangePoint-Analysen - ein Überblick Folie 18 von 25

19 Binary Segmentation X1,,Xn Zeitreihe als Beobachtungen X1,,Xn aufgefasst Annahme:Daten mit einer gewissen Varianz normal verteilt Einsatz von Wahrscheinlichkeitsrechnung für den Test auf die Nullhypothese (kein ChangePoint) Bei Überschreitung einer gewissen Wahrscheinlichkeit wird Nullhypothese verworfen Segmentierung X1,,Xa Xa+1,,Xn TU Dresden, ChangePoint-Analysen - ein Überblick Folie 19 von 25

20 Binary Segmentation X1,,Xn Zeitreihe als Beobachtungen X1,,Xn aufgefasst Annahme:Daten mit einer gewissen Varianz normal verteilt Einsatz von Wahrscheinlichkeitsrechnung für den Test auf die Nullhypothese (kein ChangePoint) Bei Überschreitung einer gewissen Wahrscheinlichkeit wird Nullhypothese verworfen Segmentierung Rekursive Anwendung bis kein ChangePoint mehr gefunden wird X1,,Xa Xa+1,,Xn Nachteil: kleine Brüche in der Mitte eines großen Segments schlecht erkennbar TU Dresden, ChangePoint-Analysen - ein Überblick Folie 20 von 25

21 Recursive circular and binary segmentation algorithm Behebt Nachteile von Binary Segmentation durch Verbinden der Segmentenden zu Kreis Veränderte Wahrscheinlichkeitsberechnung mit weiterem Parameter TU Dresden, ChangePoint-Analysen - ein Überblick Folie 21 von 25

22 Bayesscher Ansatz Regressionsmodell der Form: Matrixnotation: Wahrscheinlichkeit einer Beobachtung in der in der Umgebung von (LikeliHood-Funktion) An einen gegebenen Change-Point gilt: TU Dresden, ChangePoint-Analysen - ein Überblick Folie 22 von 25

23 Barry und Hartigan Annahme Wahrscheinlichkeit eines ChangePoints an der Position i ist unabhängig an allen i Partitionierung in ChangePoint an Position i+1 Initialisierung: die ersten n-1 Elemente mit 0, das n-te mit 1 Benutzung einer Markow Kette für die bei jedem Schritt, an jeder Position i ein Wert ziehen TU Dresden, ChangePoint-Analysen - ein Überblick Folie 23 von 25

24 Dynamic programming algorithm Verwendet dynamischen Programmierung optimale Partitionierung in eine beliebige Anzahl an Segmenten Parameter: minimale Segmentlänge h oder maximale Anzahl an Brüchen m TU Dresden, ChangePoint-Analysen - ein Überblick Folie 24 von 25

25 Minimax Einsatz von Wavelet-Transformation MAXIMIERUNG Umgebung des ChangePoints wird gefunden MINIMIERUNG genauer Punkt wird gefunden TU Dresden, ChangePoint-Analysen - ein Überblick Folie 25 von 25