ChangePoint-Analysen - ein Überblick
Gliederung Motivation Anwendungsgebiete Chow Test Quandt-Andrews Test Fluktuations-Tests Binary Segmentation Recursive circular and binary segmentation algorithm Bayesscher Ansatz Barry und Hartigan Dynamic programming algorithm Minimax TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 2 von 25
Motivation TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 3 von 25
Anwendungsgebiete Qualitätssicherung in der Herstellung Wertpapiermarkt Spam Filter Website Tracking durch Webcrawler Einbruchmeldeanlagen Medizinische Diagnostik TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 4 von 25
Chow Test Gegeben: Datensatz Beschreibung der Beziehung durch lineare Funktion: für TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 5 von 25
Exkurs zur Begriffsklärung Regressionsanalyse Erklärung einer abhängige Variable durch mehrere unabhängige Variablen Bsp.: TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 6 von 25
Exkurs zur Begriffsklärung Regressionsanalyse Erklärung einer abhängige Variable durch mehrere unabhängige Variablen Bsp.: Methode der kleinsten Quadrate Parametresierbare Funktion aus passender Funktionsklasse wählen Parameter bestimmen (Minimierung der Summe der quadratischen Abstände der Kurve zu den Datenpunkten) TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 7 von 25
Exkurs zur Begriffsklärung Regressionsanalyse Erklärung einer abhängige Variable durch mehrere unabhängige Variablen Bsp.: Methode der kleinsten Quadrate Parametresierbare Funktion aus passender Funktionsklasse wählen Parameter bestimmen (Minimierung der Summe der quadratischen Abstände der Kurve zu den Datenpunkten) Residuum Beschreibt Anteil der Variabilität des Modells Grafik erstellt mit APIPRO (Thomas Wagner, Matthias Lehmann) TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 8 von 25
Chow Test (Forts.) Aufspaltung für bessere Beschreibung des Datensatzes für für Test auf Gleichheit durch Koeffizientenvergleich Problem: Bruchzeitpunkt muss bekannt sein TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 9 von 25
Quandt-Andrews Test Idee: wenn für den Chow-Test der Bruchzeitpunkt bekannt sein muss dann Chow-Test auf alle Zeitpunkte anwenden Anschließend Auswertung der Chow-Statistik (Anzahl der nicht übereinstimmenden Regressionsparameter) TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 10 von 25
Quandt-Andrews Test in R USD/EUR Kurs TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 11 von 25
Quandt-Andrews Test in R Chow-Statistik TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 12 von 25
Quandt-Andrews Test in R maximaler Wert TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 13 von 25
Fluktuations-Tests Idee: Brüche an Residuen erkennen Annahme: die Folgepunkte weichen nicht signifikant von Trend ab TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 14 von 25
Fluktuations-Tests Idee: Brüche an Residuen erkennen Annahme: die Folgepunkte weichen nicht signifikant von Trend ab Berechnung rekursiver Residuen aus 1-Schritt- Prognosefehlern im Zeitverlauf Annahme: Folge der Partialsummen der rekursiven Residuen verhält sich pendelt um 0 Algorithmen: CUSUM, OLS- CUSUM TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 15 von 25
Binary Segmentation X1,,Xn Zeitreihe als Beobachtungen X1,,Xn aufgefasst Annahme:Daten mit einer gewissen Varianz normal verteilt TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 16 von 25
Binary Segmentation X1,,Xn Zeitreihe als Beobachtungen X1,,Xn aufgefasst Annahme:Daten mit einer gewissen Varianz normal verteilt Einsatz von Wahrscheinlichkeitsrechnung für den Test auf die Nullhypothese (kein ChangePoint) TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 17 von 25
Binary Segmentation X1,,Xn Zeitreihe als Beobachtungen X1,,Xn aufgefasst Annahme:Daten mit einer gewissen Varianz normal verteilt Einsatz von Wahrscheinlichkeitsrechnung für den Test auf die Nullhypothese (kein ChangePoint) Bei Überschreitung einer gewissen Wahrscheinlichkeit wird Nullhypothese verworfen TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 18 von 25
Binary Segmentation X1,,Xn Zeitreihe als Beobachtungen X1,,Xn aufgefasst Annahme:Daten mit einer gewissen Varianz normal verteilt Einsatz von Wahrscheinlichkeitsrechnung für den Test auf die Nullhypothese (kein ChangePoint) Bei Überschreitung einer gewissen Wahrscheinlichkeit wird Nullhypothese verworfen Segmentierung X1,,Xa Xa+1,,Xn TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 19 von 25
Binary Segmentation X1,,Xn Zeitreihe als Beobachtungen X1,,Xn aufgefasst Annahme:Daten mit einer gewissen Varianz normal verteilt Einsatz von Wahrscheinlichkeitsrechnung für den Test auf die Nullhypothese (kein ChangePoint) Bei Überschreitung einer gewissen Wahrscheinlichkeit wird Nullhypothese verworfen Segmentierung Rekursive Anwendung bis kein ChangePoint mehr gefunden wird X1,,Xa Xa+1,,Xn Nachteil: kleine Brüche in der Mitte eines großen Segments schlecht erkennbar TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 20 von 25
Recursive circular and binary segmentation algorithm Behebt Nachteile von Binary Segmentation durch Verbinden der Segmentenden zu Kreis Veränderte Wahrscheinlichkeitsberechnung mit weiterem Parameter TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 21 von 25
Bayesscher Ansatz Regressionsmodell der Form: Matrixnotation: Wahrscheinlichkeit einer Beobachtung in der in der Umgebung von (LikeliHood-Funktion) An einen gegebenen Change-Point gilt: TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 22 von 25
Barry und Hartigan Annahme Wahrscheinlichkeit eines ChangePoints an der Position i ist unabhängig an allen i Partitionierung in ChangePoint an Position i+1 Initialisierung: die ersten n-1 Elemente mit 0, das n-te mit 1 Benutzung einer Markow Kette für die bei jedem Schritt, an jeder Position i ein Wert ziehen TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 23 von 25
Dynamic programming algorithm Verwendet dynamischen Programmierung optimale Partitionierung in eine beliebige Anzahl an Segmenten Parameter: minimale Segmentlänge h oder maximale Anzahl an Brüchen m TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 24 von 25
Minimax Einsatz von Wavelet-Transformation MAXIMIERUNG Umgebung des ChangePoints wird gefunden MINIMIERUNG genauer Punkt wird gefunden TU Dresden, 08.07.2011 ChangePoint-Analysen - ein Überblick Folie 25 von 25