Mining Concept-Drifting Data Streams using Ensemble Classifiers

Transkript

1 Vortrag m Semnar aus maschnellem Lernen Über das Paper: Mnng Concept-Drftng Data Streams usng Ensemble Classfers Haxun Wang, We Fan, Phlp S. Yu, Jawe Han Vortrag: Robert Deußer

2 Glederung Enführung Ensemble Classfer Idee Fehlerreduzerung durch Ensemble Ensatz Gewchtsanpassung Algorthmus (Instance Based) Ensemble Prunng Ergebnsse Dskusson (Exkurs: Inkrementelle Regellerner) 2

3 Enletung Datenströme, Item-Sets Inkrementelle Lernverfahren (VFDT, ) Blockwese Batch (k-means) Topc Drft Problem: Up-to-date vs. Outdated concepts Herausforderungen bem Lernen n Datenströme (mt Topc Drft): Accuracy Effcency Ease of Use 3

4 (Weghted) Classfer Ensembles Idee: Tranere unterschedlche Classfer und klassfzere Bespele va Abstmmung Her: Tele Datenstrom n Blöcke fester Länge (chunks) Tranere auf jedem Block enen Classfer Be Abstmmung hat jeder Classfer en Gewcht, das umgekehrt proportonal zu senem vermuteten Fehler st 4

5 Fehlerreduzerung durch Ensemble Se C der Classfer, der auf Block S tranert wurde, E k das Ensemble bestehend aus den letzten k tranerten Classfern und G k en Classfer der auf den letzten k Blöcken tranert wurde. Dann hat das (umgekehrt proportonal zum Klassfkatonsfehler gewchtete) Classfer Ensemble E k Fehler <= dem Fehler des Classfers G k Anmerkung: G j mt j < k kann trotzdem genauer sen als E k 5

6 Gewchtsanpassung Gesucht: Gewchte de umgekehrt proportonal zum Klassfkatonsfehler snd Kann Klassfkatonsfehler nur abschätzen Annahme: Aktueller Block S n kommt dem zu klassfzerenden Bespel am nächsten (Problem?) MSE als Maß für den Klassfkatonsfehler: MSE r : MSE für Classfer, der a-pror W-ket zur Klassfkaton nmmt MSE : MSE für Classfer C Das Gewcht von C st dann MSE MSE r w = p( c)(1 = = c 1 S n MSE r ( x, c) (1 S n MSE p( c)) f c 2 ( x)) 2 6

7 Gewchtsanpassung (2) Analog wenn Kosten berückschtgt werden sollen Beneftmatrx: Beneft wenn x, das zu Klasse c gehört als zu Klasse c gehörend klassfzert wrd: x b c c ( ) Dann st Beneft für Classfer C :, b = b Das Gewcht von C st dann: r w = ( x, c) b S n c b c, c ( x) fc ( x) 7

8 Algorthmus Komplextät: O ( p f ( n / p) + Kn) n: Anzahl Elemente m Datenstrom p: Anzahl Parttonen (n/p = Blockgröße) f(s): Aufwand enen Classfer auf s zu traneren (.d.r. super-lnear) 8

9 (Ensemble) Prunng Problem: Alle K Classfer werden zum Klassfzeren konsultert Zel: Ene Telmenge von C (den gelernten Classfern), de ähnlch gut we C st, fnden Ansätze: Fnden ener Telmenge C von C, de klenstmöglchen MSE hat Fnden ener Telmenge C von C de größtmöglchen Abstand (KL-dstance) hat Problem: Aufwand, Cost-senstve Applcatons(?), Topc Drft (be KL-dstance) 9

10 Instance based Prunng (IBP) Es werden n der Regel ncht alle K Classfer benötgt Es genügt ene ausrechend schere Vorhersage zu haben Be ausrechend scherer Vorhersage, werden kene weteren Classfer befragt Setzt ene gewsse Fehlertoleranz der Anwendung voraus Bespel: p ( fraud y) t( y) > cost p(fraud y) > cost / t( y) t(y) = 900$, cost = 90$ Sobald scher st das p(fraud y) > 0.1 wrd Untersuchung veranlasst 10

11 Instance based prunng (2) De gewchtete W-ket nach konsulteren von k Classfern st Mt enem Fehler Entelen des Werteberechs von F k (. ) ([0,1]) n z Körbe (bns), en Bespel x gehört zu bn (, k) wenn Für jeden bn berechnen von ) 1, [ ) ( z z x F k + = = = k k k w x p w x F 1 1 ) (fraud ) ( ) ( ) ( ) ( x F x F x K k k = ε Fehlers aller Bespele : Varanz des : durchschnttlcher Fehler aller Bespele 2,, k k σ µ 11

12 IBP - Klassfkaton Überprüfen ob Klassfkaton scher st ( st bn zu dem y gehört) Algorthmus: 12

13 IBP - Wertebestmmung Durchschnttlcher Fehler und Varanz können bem Traneren des Classfers ermttelt werden Aufwand blebt glech: O ( p f ( n / p) + Kn) 13

14 Ergebnsse Synthetscher DS Bespele glechvertelt n Ene Hyperebene telt den Bespelraum n zwe Tele glech großen Volumens (pos/neg) Um Topc Drft zu smuleren, werden de Dmensonsgewchte der Hyperebene kontnuerlch verändert Parameter: d [0,1] k: We vel Dmensonen ändern hr Gewcht = 20% N: We oft fndet ener Änderung statt, alle N = 1000 Bespele, 10% Chance das sch das Vorzechen der Änderung umdreht t: Größe der Änderung = 0.1 Nose: Be 5% aller Bespele werden de Labels getauscht 14

15 Ergebnsse Synthetscher DS 15

16 Ergebnsse Credt Card Data Aus Real lfe Daten erhalten 5 Mllonen Datensätze, aus dem Zetraum enes Jahres Zwe Datenströme Chronologsch sortert Nach Transaktonswert sortert Parameter: cost (für de Untersuchung ener Transakton): 90$ beneft: Gerettete Summe - Kosten aller Untersuchungen 16

17 Ergebnsse Credt Card Data 17

18 Zusammenfassung Ensemble Classfer haben gegenüber herkömmlchen Classfern de folgenden Vortele 1. Verbesserung der Klassfkatonsgenaugket 2. Modell wrd Effzenter gelernt 3. Lassen sch gut Skaleren / Parallelseren 4. Berückschtgung von Topc Drft Instance based Prunng kann be geegneter Problemstellung den Klassfkatonsaufwand erheblch reduzeren Dskusson & Fragen 18

19 (Exkurs) Inkrementelle Regellerner Dscoverng Decson Rules from Numercal Data Streams Incremental Rule Learnng based on Example Nearness from Numercal Data Streams F. Ferrer-Troyano, J. Agular-Ruz, J. Rquelme Adressert werden ähnlche Zele (effzentes Lernen n Datenströme mt Topc Drft), aber Fokus auf HghSpeed Datenströme Entwckelt für Lernen n Datenströmen Autorenteam hat zwschen 2001 und 2006 ver Papers zu dem Themenkomplex veröffentlcht Algorthmen werden m Detal beschreben, Begründungen für das Funktoneren, den Aufwand etc. werden ncht gegeben. Paper snd aufgrund schlechtem Englsch schwer verständlch 19

20 Zusammenfassung Regeln bestehen aus d Intervallen, ene Regel st dann de Konjunkton aller d Intervallwerte Regeln für verschedene Klassenlabel überlappen ncht Klassfkaton: Wenn Regel das Bespel überdeckt st es klassfzert, ansonsten Votngverfahren Tranng: Jede Klasse wrd durch a Regeln beschreben, wenn neues Bespel ncht abgedeckt wrd, wächst ene Regel um es enzuschlessen (das gerngste Wachstum wrd genommen) Bem ersten Algorthmus wrd das Wachstum von Regeln durch Growth-Bounds engeschränkt Bem zweten Algorthmus werden be Entschedungsgrenzen unsaubere Regeln (überdecken pos/neg Bespele) zugelassen und be Bedarf getrennt 20