INTELLIGENTE DATENANALYSE IN MATLAB

Transkript

1 INTELLIGENTE DATENANALYSE IN MATLAB Sequenzanalyse

2 Überblick Sh Schrie der Daenanalyse: Daenvorverarbeiung Problemanalyse Problemlösung Anwendung der Lösung Aggregaion und Selekion von Daen. Inegraion und Säuberung der Daen. Feaure- Erakion. Besimmen von gegeb./gesuchen Größen. Wahl des Performanzmaß/ Zielkrieriums. Modellraum und Modellannahmen. Algorihmen für das Opimieren des Zielkrieriums finden. Implemenieren der Algorihmen. Modell-Selekion & -Anpassung. Training & Evaluaion des Modells auf gegebenen Daen. Vorhersage für neue Daen. 2

3 Überblick Problemsellungen. ll Eigenschafen von Sequenzen. Modellierung von Sequenzen. Sequenzvorhersage. Lernen aus sequenziellen Daen. 3

4 Problemsellungen Eingabe: Sequenz von Daenpunken (Beobachungen, Messpunke) wie bspw. Zeireihen. Tägliche Messung der Temperaur an einem Or. EKG eines Paienen. Enwicklung der Einwohnerzahl eines Landes. Akienkurse an aufeinanderfolgenden Börsenagen. Gesuch: Modell welches Sequenz erklär wie z.b.. f : 1 4

5 Problemsellungen: Beispiel Vorhersage der Preisenwicklung: i 1,8 1,6? 1,4 1,2 1 0,8 0,6 0,4 0,2 0-0,2? Preis (erware) Preis Veränderung (erware) Veränderung 5

6 Problemsellungen: Aufgaben der Sequenzanalyse Beschreibung/Eigenschafen: h Unersuchen der Charakerisika der Sequenz über Kennzahlen und Diagramme. Modellierung und Prognose: Formulierung eines sochasischen Modells und Schäzung der Modellparameer. Vorhersage zukünfiger Were aufgrund des angepassen Modells. Konrolle und Regelung: Opimale Seuerung des daenerzeugenden Prozesses. 6

7 Problemsellungen: Aufgaben der Sequenzanalyse Klassifikaion i sequenzieller Daen: z.b. Klassifikaion von EKG-Zeireihen zur Vorhersage von Herzproblemen. Kernel-Modelle benöigen Kernel (Ähnlichkeisfunkion zwischen Zeireihen). Anomalie-Erkennung: z.b. Erdbeben-/Tsunami-Vorhersage. Clusering (Gruppieren von ähnlichen Zeireihen). Rerieval/Suche: z.b. Query-by-Humming. 7

8 Eigenschafen von Sequenzen: Darsellung und Kenngrößen Sequenz wird durch Paare S, definier. i i gib Posiion innerhalb der Sequenz an. Äquidisane Folge (gleiche Absände ): i 1 i Nich-äquidisane Folge: i i S : i 1... n i S : 1... n Kenngrößen: Mielwer bis Posiion : () 1 ( ) i 1 i n Varianz bis Posiion : 1 () () 2 i i ( ) n 8

9 Eigenschafen von Sequenzen: Korrelaion Korrelaion = lineare Abhängigkei i zwischen verschiedenen Zeipunken/Zeireihen. Empirische Kovarianz: 1 n, y y n 1 c y Empirischer i Korrelaionskoeffizien: r y, c, y y 1 n k k n k 1 Auokovarianzfunkion: c k Auokorrelaionsfunkion: r k k c 2 9

10 Eigenschafen von Sequenzen: Korrelaion Beispiel 10

11 Modellierung von Sequenzen Ki Keine Abhängigkeien: iki Direke Abhängigkeien (Markov-Kee): Erser Ordnung: Zweier Ordnung: Indireke Abhängigkeien gg (Hidden-Markov-Modell): 11

12 Modellierung von Sequenzen: Keine Abhängigkeien Annahmen: Aufenhalsor zum Zeipunk is unabhängig vom Aufenhalsor zu einem vorherigen Zeipunk. Beispiel: Rauschen (Whie Noise) Mielwer: () 0 Varianz: Auokovarianzfunkion: () c 2 2 k 0 12

13 Modellierung von Sequenzen: Direke Abhängigkeien Annahmen: Aufenhalsor zum Zeipunk häng direk von den k Aufenhalsoren zu den Zeipunken k,, 1 ab. Beispiel: Random Walk Mielwer: () 0 Varianz: Bese Prognose: () 2 2 E( ) Var( ) k 2 k k 13

14 Modellierung von Sequenzen: Direke Abhängigkeien Beispiel i für Markov-Kee (1. Ordnung): Random Walk Aufenhalsor zum Zeipunk = Aufenhalsor zum Zeipunk 1 zuzgl. eine zufällige Srecke. Whie Noise 14

15 Modellierung von Sequenzen: Indireke Abhängigkeien Annahmen: Aufenhalsor zum Zeipunk häng direk vom Zusand z zum Zeipunk ab. Zusand z zum Zeipunk häng direk von den k Zusänden zu den Zeipunken k,, 1 ab. Zusände sind unbekann/unbeobache. 15

16 Modellierung von Sequenzen: Indireke Abhängigkeien Beispiel i für HMM (1. Ordnung): Worarenerkennung Zuordnung eines Wors zu Worar (Zusand z). 16

17 Modellierung von Sequenzen: Indireke Abhängigkeien Einsazmöglichkeien i von HMMs: Vorhersagen zukünfiger Beobachungen. z.b. welches Wor wird als nächses eigegeben, Auovervollsändigung. Vorhersagen über zukünfige/vergangene Zusände bzw. wahrscheinlichse Zusandsfolge einer Sequenz. z.b. Spracherkennung (Beobachung = Audiosignale, Zusände = Wörer). Parameerschäzung/Lernen des HMMs. 17

18 Sequenzvorhersage Sequenzvorhersage an den Beispielen i Moving-Average-Prozess (MA). A Auoregressiver Prozess (AR). Auoregressiver Moving-Average-Prozess (ARMA). Grundidee: Sequenz is Linearkombinaion von Weren aus einer Sequenz von Rauschen (Whie Noise). Sequenz Sq von n unabhängigen gg Rauschweren r,...,, 1 r n. Ziel: Fakoren dieser Linearkombinaion aus Daen schäzen. 18

19 Sequenzvorhersage: Moving-Average-Prozess Annahmen: Aufenhalsor zum Zeipunk is das gewichee Miel aus den q +1 Rauschweren zu den Zeipunken q,,: q j j j1 r r 2 mi Rauschweren r i wobei Er ( ) 0 und Var( r ). Ziel: Berechnung der Gewiche j. i r i r 19

20 Sequenzvorhersage: Moving-Average-Prozess Beispiel: i Ein Eisverkäufer möche Verkaufszahlen von Eiscreme vorhersagen. Nur bisherige Verkaufszahlen gegeben. Annahme: Kunden essen nur Eis wenn in den lezen Tagen die Sonne of zu sehen war. Modell: (Unbeobachee) Rauschwere r sind die Sonnensunden pro Tag normier auf Mielwer 0. Beispiel für Modell mi Modellparameern: r 0,8r 0,5r 0, 2r

21 Sequenzvorhersage: Moving-Average-Prozess Berechnung der Gewiche j am Beispiel i eines MA(1)-Prozesses: r r 1 1 Umformung des Prozesses ergib: r r j j 1 j1 r j j 1 j 11 r j 2 r r j1 j 1 1 j 2 r 1 1 r r j j 1 j1 j1 rj α i0 r j 1 j1 1 j2 Idee: Minimieren der Varianz der Rauschfolge 2 Var( r ) mi Mielwer Er ( ) 0: r α * 1 arg min α rj r arg minrjα 2 2 j1 α j1 i ji Opimierungs- krierium 21

22 Sequenzvorhersage: Moving-Average-Prozess Ieraives Lösen des Minimierungsproblems i i mi 0 0 Sarlösung r 0 j 1... und j j j q Taylor-Approimaion der Rauscherme r j in der l-en Ieraion: l 1 ( ) l l T r l j α rj r j α αα Gradien von r j an der Selle l Minimieren der Varianz durch Null-Sezen der 1 Ableiung 2 l l rj ( α ) l minr 0 ( und Besimmen 1 j α α ) l von l+1 j1 j1 α. Wiederholung bis konvergier. 22

23 Sequenzvorhersage: Auoregressiver Prozess Annahmen: Aufenhalsor zum Zeipunk is die Summe aus dem Rauschwer zum Zeipunk und dem gewicheen Miel der p Aufenhalsore zu den Zeipunken p,, 1: r j j j1 p 2 mi Rauschweren r wobei Er ( ) 0 und Var( r ). Ziel: Berechnung der Gewiche β j. r 23

24 Sequenzvorhersage: Auoregressiver Prozess Beispiel: i Ein Eisverkäufer möche Verkaufszahlen von Eiscreme vorhersagen. Nur bisherige Verkaufszahlen gegeben. Annahme: Kunden essen nur Eis wenn sie in den lezen Tagen wenig Eis gegessen haben. Modell: Verkaufszahl is nur abhängig von den vorherigen Verkaufszahlen und einem Rauschwer r (Laune der Kunden). Beispiel für Modell mi Modellparameern: r 0,7 0,6 0,

25 Sequenzvorhersage: Auoregressiver Prozess Berechnung der Gewiche j eines AR-Prozesses: p r j j j1 Idee: Minimieren des mileren quadraischen Fehlers. β * p p arg min i ri i arg min i j j ji j β p 1 ip1 j1 β ip1 j1 Erwarungswer Null & konsane Varianz β * p p p p 2 p 1 p 2 2 arg min β n 1 n 2 n np p 2 β Ay * + Pseudo-Inverse von A y A 25

26 Sequenzvorhersage: Auoregressiver Moving-Average-Prozess Moivaion: i Fas jeder endliche Daensaz gu an MA- oder AR-Modell mi hoher Ordnung anpassbar. Je größer die Ordnung, deso mehr Parameer. Ziel: Modell mi möglichs wenigen Parameern welches zudem reale Bedeuung (Inerpreaion) ha. Idee: Kombinaion von MA- und AR-Modellen zu ARMA(p,q)-Prozess. q r r j j j j j1 j1 p 26

27 Sequenzvorhersage: Auoregressiver Moving-Average-Prozess Überlagerungssaz von ARMA-Prozessen: und y seien zwei unabhängige ARMA-Prozesse der Ordnung (p 1,q 1 ) und (p 2,q 2 ). Summe z = + y is wieder ein ARMA-Prozess der Ordnung (p,q). Für AR-Ordung gil: p p 1 + p 2 Für MA-Ordung gil: q ma(p 1 + q 2, p 2 + q 1 ) Folgerung: Summe zweier MA-Prozesse ergib wieder MA-Prozess. Summe zweier AR-Prozesse ergib ARMA-Prozess. 27

28 Sequenzvorhersage: Auoregressiver Moving-Average-Prozess Beispiel: i Vorhersage der Werbeausgaben b zweier konkurrierender Unernehmen. Nur bisherige Werbeausgaben und y gegeben. Modell: Werbeausgabe is abhängig von der vorherigen Werbeausgabe des Konkurrenen y -1 und einem Rauschwer. Werbeausgabe y is abhängig von der vorherigen Werbeausgabe des Konkurrenen -1 und einem Rauschwer. r y 1 1 y r 1 1 r r r r ARMA(2,1)-Prozess 28

29 Sequenzvorhersage: Auoregressiver Moving-Average-Prozess Berechnung der Gewiche j und j eines ARMA- Prozesses analog zu MA-Prozessen. Erweierungen von ARMA-Prozessen: ARIMA: Is nach d-maligem Anwenden des Differenzen- filers ein saionärer ARMA(p,q) q)-prozess, so bezeichne man den Prozess als ARIMA(p,d,q)-Prozess. ARMAX: Abhängigkeien zwischen den Rauschweren. 29

30 Sequenzvorhersage: Auoregressiver Moving-Average-Prozess Vorhersage miels angepassem ARMA-Prozess (Prognose für +h ):, -1, 1 ensprechen den asächlichen Beobachungen. +h, +1 werden durch ihre Prognosen ersez. Sörerme r, r -1 1, r r 1 ensprechen den Prognosefehlern der 1-Schriprognosen in der Vergangenhei. Sörungen r +h, r +1 werden durch ihren Erwarungswer Null ersez. 30

31 Lernen aus sequenziellen Daen: Problemsellung Gegeben: sequenzielle Trainingsdaen i mi bekannen Zielaribuen (gelabele Daen). Eingabe: Sequenz von Aribu-Belegungen. Ausgabe: Belegung des/der Zielaribu(e) y. Gesuch: Modell f : y. Ansaz: Verwendung von Kernel-Modellen basierend auf Sequenz-Kernel. Quadraische Euklidische Disanz (RBF-Kernel). Dynamic Time Warping (DTW-Kernel). Ediierdisanz. 31

32 Lernen aus sequenziellen Daen: Quadraische Euklidische Disanz Für numerische Aribue. Sequenzen als Vekoren auffassen und quadraischen euklidischen Absand besimmen: 2 RBF (, y) ( i i ) RBF (, y) ep RBF (, y) i 1 D y k D Verschobene/gedehne Moive werden nich berücksichig. 32

33 Lernen aus sequenziellen Daen: Dynamic Time Warping Für numerische Aribue. Zuordungsfunkionen () i [1, ] und () i [1, ]. DTW-Disanz is Minimum des verschobenen (quadraischen euklidischen) Absands: 2 DTW ( y, ) min ( () ()) (, ) ep (, ), i y i DTW y DTW y y i1 D y k D y y 33

34 Lernen aus sequenziellen Daen: Dynamic Time Warping Berechnung mi dynamischer Programmierung, rekursive Definiion: Sei ( i, j) minimale (verschobene) quadriere euklidische Disanz bis zu den Zeipunken i und j: 2 (, i j) ( y ) min ( i1, j1), ( i1, j), (, i j1) Algorihmus: i j DTW(Sequenzen und y) Seze (0,0) 0) 0, i i, j ( i,0), (0, j) FOR i = 1 FOR j = 1 y 2 ( i, j) ( i yj) min ( i 1, j 1), ( i 1, j ), ( i, j 1) RETURN (, ) y 34

35 Lernen aus sequenziellen Daen: Ediierdisanz Für nominale und ordinale Aribue (Sonderform von Dynamic Time Warping). Ediierdisanz is i minimale ii Anzahl an Operaionen (Einfügen, Löschen, Ersezen) um zwei Sequenzen ineinander zu überführen. Berechnung mi dynamischer Programmierung, rekursive Definiion: Sei (, i j) minimale Ediierdisanz zu den Zeipunken i und j: ( i, j) y min ( i1, j1), ( i1, j), ( i, j1) i j 35

36 Zusammenfassung Zahlreiche h Problemsellungen/Anwendungsgebiee ll bi Charakerisierung, Visualisierung, Beschreibung. Lernen von/aus sequenziellen Daen. Modellierung direker Abhängigkeien (Markov-Kee). Modellierung indireker Abhängigkeien i (HMM). Vorhersage univariaer Sequenzen durch sochasische Prozesse (z.b. MA, AR, ARMA usw.) Sequenz-Kernel (z.b. DTW). 36