Combining with Nearest Neighbor

Transkript

1 Alexnder Schütz Seminr us mschinellem Lernen Combining with Nerest Neighbor

2 Inhlt 1 Klssifiktion nicht bgedeckter Beispiele mithilfe von Rule Stretching Motivtion Definition Algorithmus Experimentelle Evlution Hybride Algorithmen mit instnzbsierter Klssifiktion Motivtion k-nn, Mximum-entropy Modeling Hybride Algorithmen Experimentelle Evlution Anlyse Vergleich der beiden Ansätze

3 Rule Stretching Motivtion 2 bei einer geordneten Regelmenge (decision list): keine Klssifiktionskonflikte ufzulösen erste feuernde Regel führt zur Klssifiktion letzte zu prüfende Regel fungiert ls Defult-Regel Ein Beispiel wird immer bgedeckt bei einer ungeordneten Regelmenge: Strtegien zur Lösung von Klssifiktionskonflikten erforderlich flls keine der Regeln feuert ist eine Strtegie zur Klssifiktion notwendig (zumeist wird die m häufigsten vorkommende Klsse gewählt) Wird ein Beispiel von keiner der Regeln bgedeckt, so kommt es mithilfe einer Strtegie zur Zuweisung einer Klsse

4 Rule Stretching Motivtion 3 Szenrio: Sei H = { R1, R2} eine ungeordnete Regelmenge. Nch der Anwendung der Regeln R1 und R2 zur Klssifiktion der Beispiele bleiben teilweise Beispiele unbgedeckt (hier? ). R1 b b b R2 b b b? Wie wird nun Beispiel? klssifiziert? Neuer Anstz: Rule Stretching

5 Rule Stretching Motivtion 4 Die ungeordneten Regeln der ermittelten Hypothese können so useinndergedehnt werden, dss bislng nicht bgedeckte Beispiele klssifiziert werden. Dies geschieht durch Generlisierung der Regeln. R1 b b b R2 b b b? b R1 b b R2 b b b? Durch welche Regel wird? nun klssifiziert? Vergleich der Accurcy R1

6 Rule Stretching Prinzipieller Abluf 5 1. Ermitteln einer ungeordneten Regelmenge 2. Klssifiktion neuer Beispiele durch die ermittelte Regelmenge 3. Beispiele die von keiner der Regeln bgedeckt werden n ds Rule Stretching System übergeben

7 Rule Stretching Algorithmus 6 Generelle Version des Rule Stretching Algorithmus: Input: Hypothese H, Hintergrundwissen B, Beispielmenge E und ein nicht bgedecktes Beispiel e Output: Klssenlbel c ( ) { } H ' = r ' r H r ' = miniml_generlistion r, e (, ) ' ( ) { } V = r v r H v = coverge r,e ( ) c = clssify V

8 Rule Stretching Definition 7 Definition 1. Ein Atom c ist eine Generlisierung der Atome und b, flls Substitutionen und existieren, sodss cθ = und cθ = b. θ1 θ2 1 2 Definition 2. Eine Generlisierung c zweier Atome und b ist eine lest generl generlistion (lgg), flls für jede ndere Generlisierung c i von und b Substitutionen existieren, sodss. θi c= i i c θ

9 Rule Stretching Algorithmus 8 Ein spezieller Rule Stretching Algorithmus: Input: Hypothese H, Hintergrundwissen B, Beispielmenge E und ein nicht bgedecktes Beispiel e Output: Klssenlbel c ( ) { } H ' = r' r H r' = lgg r, e (, ) ' ( ) { } V = r v r H v = coverge r,e ( ) c = use _ best _ rule V use_best_rule gibt die Klsse mit der besten ccurcy zurück

10 Rule Stretching Experiment 9 Die Experimente wurden mithilfe von Virtul Predict, einem inductive logic progrmming system, durchgeführt. Die für die Studie relevnten Prmeter und ihre Werte sind der folgenden Tbelle zu entnehmen:

11 Rule Stretching Experiment 10 Im Fll, dss zwei oder mehr Regeln ein Beispiel bdecken wird die whrscheinlichste Klsse mithilfe des nive Byes durch Mximierung des folgenden Ausdrucks ermittelt: ( K ) = ( ) ( ) K ( ) P CR R PC P R C P R C ' 1 n 1 n Dbei stellt C eine Klsse und R 1 bis R n die Regeln, die ds betrchtete Beispiel bdecken, dr.

12 Rule Stretching Experiment 11 Rule Stretching und Zuweisung der mjority clss wurde n sieben Problemen getestet: Anteil der nicht durch die Bsishypothese bgedeckten Beispiele

13 Rule Stretching Experiment 12 Es ergeben sich folgende Resultte (Mß: ccurcy):

14 Rule Stretching Experiment 13 Test: Sei ccrs i die durch Rule Stretching erreichte ccurcy bei Problem i, sowie entsprechend ccmc i die ccurcy bei Zuweisung der mjority clss Nullhypothese: P(ccRS i ccmc i ) = P(ccRS i > ccmc i ) = 0,5 Bei llen sieben durchgeführten Experimenten zeigt sich ccrs i > ccmc i. Unter der Annhme, dss der Erfolg beider Algorithmen priori gleichwhrscheinlich ist, ergibt sich bei sieben Durchläufen eine Whrscheinlichkeit von 0,0078, ds einer der Algorithmen in jedem der Durchläufe besser bschneidet ls der ndere. Dies erlubt eine Ablehnung der Nullypothese zum Niveu von 1%.

15 Rule Stretching Fzit 14 Die Experimente hben gezeigt: Rule Stretching zeigt eine signifiknt bessere Performnce bei der Zuweisung einer Klsse zu einem durch die Bsishypothese nicht klssifizierten Beispiel ls die Zuweisung der mjority clss Möglichkeiten zur Modifiktion des Algorithmus: use_best_rule durch Nive Byes ersetzen oder durch Klssifizierungskomponente von CN2

16 Motivtion (lzy lerner vs. eger lerner) 15 Instnzbsiertes Lernen (lzy lerner) Abstrhiert nicht von den Triningsbeispielen sondern hält diese im Speicher vor Um eine neue Instnz zu klssifizieren werden im Speicher die ähnlichsten Instnzen in der loklen Nchbrschft gesucht und der neuen Instnz die m häufigsten uftretende Klsse zugewiesen Eger lerner Hoher Aufwnd für die Abstrktion der Triningsinstnzen Ermitteln einer geeigneten Repräsenttion wie Entscheidungsbäume oder Regelmengen Klssifiktionsphse mit recht geringem Aufwnd

17 Motivtion (lzy lerner vs. eger lerner) 16 Neuer Anstz: Kombintion us rechenufwändigem eger lerning in der Lernphse mit rechenintensiver instnzbsierter Klssifiktion. Die Stndrd-Klssifiktionskomponente des eger lerners wird dbei durch eine instnzbsierte Klssifiktion (hier: k-nn clssifier) ersetzt. Es werden hierzu drei hybride Algorithmen konstruiert: mximum-entropy modeling mit k-nn Regellerner mit k-nn (in zwei Versionen)

18 Instnzbsiertes Lernen 17 relevnte Aspekte instnzbsierter Lerner : Abstndsberechnung: MVDM (Modified Vlue Distnce Metric) feture weighting Klssifiktion mithilfe k-nn

19 Instnzbsiertes Lernen 18 Abstndsberechnung Berechnung mittels MVDM: MVDM ermittelt nhnd der Triningsdten den Abstnd zweier Feturewerte v 1 und v 2 : δ j = ( v, v ) P( C v ) P( C v ) 1 2 i 1 i 2 i= 1 wobei j die Anzhl der Klssen drstellt. Mit dieser Gleichung wird für jedes Feture ds in den Inputdten vorkommt eine Mtrix mit den Distnzen der Werte des betrchteten Fetures erstellt.

20 Instnzbsiertes Lernen 19 Annhme: Es gibt 2 Fetures, wobei ds erste Feture in den Triningsdten 4 Werte nnimmt, ds zweite 3. Die durch MVDM berechneten Mtrizen hben die folgende Form: ( v0 1, v1) δ ( v1, v 2 ) δ ( v1, v 3 ) δ ( v 1, v 4 ) ( v 2, v 1 ) ( v0 2, v2) ( v 2, v 3) ( v 2, v 4) ( v 3, v 1) ( v 3, v 2 ) ( v0 3, v3) ( v 3, v 4 ) ( v, v ) ( v, v ) ( v, v ) ( v0, v ) δ δ δ δ δ δ δ δ δ δ δ δ δ δ δ δ ( v0 1, v1) δ ( v 1, v 2 ) δ ( v 1, v 3 ) ( v 2, v 1 ) ( v0 2, v2) δ ( v 2, v 3 ) ( v, v ) δ ( v, v ) ( v0, v ) δ δ δ δ δ δ δ δ δ für Feture 1 für Feture 2

21 Mximum-entropy Modeling 20 Mximum-entropy Modeling (MAXENT) Sttistisches Modellieren: konstruieren eines stochstischen Modells (eine Verteilung), um ds Verhlten eines zufälligen Prozesses vorherzusgen Prinzip des Mximum-entropy Modelings: Modelliere lles ws beknnt ist Treffe keinerlei Annhmen über unbeknnte Zusmmenhänge Es ist ein Modell zu suchen, ds lle beknnten Fkten enthält, nsonsten jedoch lle nicht weiter spezifizierten Ereignisse ls gleichwhrscheinlich betrchtet

22 Mximum-entropy Modeling 21 Beispiel: Ermitteln eines Modells zur Übersetzung des Englischen Wortes in ins Frnzösische. p(f) stellt hierbei die Whrscheinlichkeit dr, dss ein Experte die Phrse f ls Übersetzung für in wählen würde. Wir finden herus, dss ein Übersetzer immer eine der folgenden frnzösischen Phrsen wählt: {dns, en, à, u cours de, pendnt}. Drus ergibt sich die erste Bedingung für ds Modell: ( ) ( ) ( ) ( ) ( ) p dns + p en + p à + p u _ cours _ de + p pendnt = 1 Es könnten nun verschiedenste Annhmen getroffen werden, bei denen obige Gleichung gilt. Beispielsweise p ( à) = p ( pendnt) = 1/2 oder p( dns ) = 1. Dies würde jedoch ds Prinzip des MAXENT verletzen, d wir lediglich wissen, dss der Experte eine der obigen Phrsen wählt.

23 Mximum-entropy Modeling 22 Beschränkt mn sich uf die Fkten und nimmt sonst eine Gleichverteilung der Ereignisse n, so ergibt sich folgendes Modell: p( dns) p( en) p( à) ( ) p ( pendnt) = 1/5 = 1/5 = 1/5 p u _ cours _ de = 1/5 = 1/5

24 Mximum-entropy Modeling 23 Würde mn ferner feststellen, dss der Experte in 30% der Fälle entweder dns oder en ls Übersetzung für in wählt, ergeben sich folgende Bedingungen: p( dns) + p( en) = 3/10 ( ) ( ) ( ) ( ) ( ) p dns + p en + p à + p u _ cours _ de + p pendnt = 1 Und somit folgendes Modell: p( dns) p( en) p( à) ( ) p ( pendnt) = 3/20 = 3/20 = 7/30 p u _ cours _ de = 7/30 = 7/30

25 Mximum-entropy Modeling 24 Es können stets weitere Fkten in die Constrints ufgenommen werden. Beispielsweise wird beobchtet, dss der Experte in der Hälfte der Fälle dns oder à wählt: p ( dns) + p ( en) = 3/10 ( ) ( ) ( ) ( ) ( ) p ( dns) + p ( à) = 1/2 p dns + p en + p à + p u _ cours _ de + p pendnt = 1 Auch für diese Bedingungen knn wieder ein p ermittelt werden, welches sowohl die Constrints, ls uch die Prinzipien des Mximum-entropy Modelings erfüllt. Je mehr Bedingungen ufgenommen werden, desto komplexer wird uch die Whl von p.

26 Hybride Algorithmen: MAXENT-H 25 k-nn und Mximum-entropy Modeling Beobchtung: Die durch MAXENT erzeugte Mtrix und die der MVDM des k-nn sind strukturgleich (Mtrix bedingter Whrscheinlichkeiten P C v ) ( i j) Prinzipieller Abluf: 1. Trining MAXENT 2. Ersetzen der Mtrix der MVDM durch die von MAXENT erzeugte Mtrix 3. Klssifiktion mit k-nn

27 Hybride Algorithmen: MAXENT-H 26 Durch diese Konstruktion knn eine Schwchstelle der MVDM des k-nn behoben werden: Empfindlichkeit hinsichtlich selten uftretender Dten: kommen v 1, v 2 mit v 1 v 2 bei der gleichen Klsse vor berechnet MVDM eine Distnz von 0 kommen v 1, v 2 mit v 1 v 2 bei verschiedenen Klssen vor wird ihr Abstnd hoch geschätzt Die durch MAXENT durchgeführte Schätzung der Whrscheinlichkeiten können MVDM eventuell glätten.

28 Hybride Algorithmen: k-nn und RULES 27 k-nn und Rule Lerning Zwei verschiedene Versionen eines hybriden Algorithmus, der Regellernlgorithmen mit k-nn kombiniert Regelmenge ermittelt durch RIPPER Anstz für Relisierung: Konvertierung der Regeln Für jede Instnz, d.h. sowohl die Instnzen us den Trinings-, ls uch die us den Testdten, werden die Regeln in binäre Fetures konvertiert, die ngeben, ob eine Regel feuert oder nicht.

29 Hybride Algorithmen: k-nn und RULES 28 Beispiel: R1: if (füße = 4) nd (mteril = holz) nd (lehne = true) then STUHL R2: if (füße = 4) nd (mteril = holz) nd (lehne = flse) then TISCH R3: if (füße = 4) nd (mteril = holz) then SCHRANK Betrchtete Instnz: <füße=4,mteril=holz,lehne=true,frbe=rot> Die Regeln R1 und R3 feuern (1, 0, 1)

30 Hybride Algorithmen: RULES-R-H 29 RULES-R-H erste Version des hybriden Algorithmus (mittleres R steht für replce ) ursprüngliche Fetures der Instnzen werden durch die binären Regel-Fetures ersetzt (vgl. Bsp.: <R1 = 1, R2 = 0, R3 = 1>) der originl Feture spce wird in einen neuen trnsformiert Prinzipieller Abluf: 1. Alle Trinings- und Testinstnzen in dieses binäre Formt konvertieren und dem instnzbsierten Lerner übergeben 2. hybrider Algorithmus verwendet die k-nn Klssifiktion um neue Beispiele zu klssifizieren

31 Hybride Algorithmen: RULES-R-H 30 Aus Sicht des k-nn knn die Ersetzung der originl Fetures der Instnzen durch die Regel-Fetures ls ein Kompressions- und Filterungsschritt betrchtet werden: Entfernen von Noise und irrelevnten Informtionen Gruppieren intergierender Feture-Werte In den Hybriden werden Regeln ls binäre (ktiv/inktiv) Fetures repräsentiert, wobei mehr ls eine Regel für eine Instnz ktiv sein knn. Verschiedene Regeln nsttt nur einer können n der Klssifiktion beteiligt sein.

32 Hybride Algorithmen: RULES-A-H 31 RULES-A-H zweite Version des hybriden Algorithmus (mittleres A steht für dding ) die binären Regel-Fetures werden den ursprünglichen Fetures der Instnzen hinzugefügt (vgl. Bsp.: <füsse = 4,, R2 = 0, R3 = 1>) k-nn Klssifizierer mit zusätzlichen Fetures Prinzipieller Abluf: 1. Alle Trinings- und Testinstnzen werden um die binären feuer- Muster ergänzt und dem instnzbsierten Lerner übergeben 2. hybrider Algorithmus verwendet die k-nn Klssifiktion um neue Beispiele zu klssifizieren

33 Hybride Algorithmen: RULES-A-H 32 beim RULES-A-H Algorithmus können die Regel-Fetures nicht ls Kompressions- und Filterungsschritt betrchtet werden jedoch werden durch Hinzufügen der zusätzlichen Fetures die Abstndsberechnungen des k-nn modifiziert Gewichtung der zusätzlichen Fetures um deren Einfluss uf die Berechnungen zu vergrößern

34 Experiment Die drei prent-algorithmen und die drei hybriden Algorithmen werden uf 29 Dtensätze ngewendet 2. Es werden 10-fold cross vlidtion Experimente durchgeführt und die mittlere ccurcy und Stndrdbweichung gemessen 3. Zur Überprüfung der Performnceunterschiede uf Signifiknz werden prweise t-tests zwischen den Ergebnissen vorgenommen k-nn und RULES bieten eine Reihe von Prmetern. Um diese zu setzen wird eine Wrpper-bsierende Methode zur utomtischen Ermittlung eingesetzt.

35 Experiment 34 Mittlere ccurcy und Stndrdbweichung der 10-fold CV Experimente

36 Anlyse 35 Vergleich der Performnce der prent-algorithmen nhnd eines prweisen t-tests (mittlere ccurcy, Stndrdbweichung): k-nn weißt hier meist eine bessere Performnce uf ls die nderen beiden Algorithmen MAXENT schneidet leicht besser b ls RULES

37 Anlyse 36 Vergleich der drei hybriden Algorithmen mit ihren prent-algorithmen nhnd eines prweisen t-tests (mittlere ccurcy, Stndrdbweichung): bei einer mit k-nn vergleichbren Leistung übertrifft MAXENT-H den MAXENT-Algorithmus uf 12 Dtensätzen RULES-R-H weist eine deutlich schlechtere Performnce ls k-nn uf, jedoch eine ähnliche wie RULES RULES-A-H ht bei 4 Dtensätzen eine signifiknt höhere ccurcy ls k-nn und bei 16 verglichen mit RULES

38 Anlyse 37 Weshlb schneidet RULES-R-H hier so viel schlechter b ls RULES-A-H? Der Grund liegt evtl. in der utomtischen Ermittlung der Prmeter: in 70% der Experimente wurde für k ein Wert von 1 gewählt, ws gleichbedeutend dmit ist, dss der potentielle Vorteil der Verwendung der k-nn Klssifiktion nicht zum trgen kommt bei RULES-A-H wurde k = 1 in lediglich 23% der Experimente gewählt

39 Anlyse 38 Wie verändert sich bei der Bildung der hybriden Algorithmen die Zusmmensetzung des Fehlers? Die drei hybriden Algorithmen mchen einen geringeren systemtischen Fehler ls ihre prent-algorithmen

40 Fzit 39 Die Experimente hben gezeigt: MAXENT-H und RULES-A-H: Verbesserung der Klssifiktions-Performnce hinsichtlich der mittleren ccurcy und der Stndrdbweichung Bei llen hybriden Algorithmen: Verringerung des systemtischen Fehlers

41 Combining with Nerest Neighbor Rule Stretching / Hybride Algorithmen mit instnzbsierter Klssifiktion 40 b R1 R1? R1 b? b b b b b b b k = 1 k = 3 k = 7 k = 13 Generlisierung: Vergrößerung des Einflussbereichs der Regel zusätzliche Beispiele werden bgedeckt Vergrößerung von k: zusätzliche Beispiele werden bei der Klssifiktion berücksichtigt weiter entfernte Beispiele fließen ein (gemessen n der Distnz)

42 Vielen Dnk für Ihre Aufmerksmkeit! 41