Thunderbird-Plugin zur Erkennung anhangverdächtiger s

Transkript

1 Masterarbeit Vortrag Thunderbird-Plugin zur Erkennung anhangverdächtiger s Marco Ghiglieri Prof. Dr. Johannes Fürnkranz Knowledge Engineering Masterarbeit Marco Ghiglieri 1

2 Agenda Motivation Algorithmen Einfacher Algorithmus Erweiterter Algorithmus Naive Bayes Paul Graham Evaluierung Fazit/Ausblick Knowledge Engineering Masterarbeit Marco Ghiglieri 2

3 Motivation s pro Tag * saubere s pro Tag Attachments pro Tag davon vergessen *Quelle: Knowledge Engineering Masterarbeit Marco Ghiglieri 3

4 Situation 80mal/Sekunde Gemalt von Jane Elsemüller Knowledge Engineering Masterarbeit Marco Ghiglieri 4

5 Situation 80mal/Sekunde Sie haben den Anhang vergessen! Einige Stunden später... Gemalt von Jane Elsemüller Knowledge Engineering Masterarbeit Marco Ghiglieri 5

6 Problemstellung Mozilla Thunderbird-Plugin Erkennen von s, die womöglich ein Attachment haben sollten. Viele richtige Klassifikationen Knowledge Engineering Masterarbeit Marco Ghiglieri 6

7 Spam- und Attachment Erkennung Spam Unerwünschte s Klassifikation einfacher Zweiklassenproblem Benutzerspezifische & allgemeine Merkmale Header und Text Böswillig Attachments Erwünschte s Klassifikation schwierig Zweiklassenproblem Benutzerspezifische Merkmale Nur Text Vergesslichkeit Ähnliches Klassifikationsproblem Knowledge Engineering Masterarbeit Marco Ghiglieri 7

8 Einfacher Algorithmus Einleitung 1:... im Anhang sind die Urlaubsbilder... 2:...im Anhang meine Bewerbungsunterlagen... 3:...als Anlage die neuesten Zahlen... Klassifikation mit bestimmten Worten words=[anhang,anlage] Knowledge Engineering Masterarbeit Marco Ghiglieri 8

9 Einfacher Algorithmus words = [anhang, anlage] for each token in if (lowercase of token) in words: showalert() return Gmail attachment reminder Umgesetzt in einigen Thunderbird-Plugins Attachment Reminder (Mozilla-ID: 5759) Check and Send (Mozilla-ID: 2281) Zu finden unter: oder (für xxxx die vierstellige Nummer einsetzen) Knowledge Engineering Masterarbeit Marco Ghiglieri 9

10 Einfacher Algorithmus Beispiel Als Anlage finden Sie die Exceltabelle mit den Zahlen. 1. Prüfen von Als ==> weiter 2. Prüfen von Anlage ==> Popup words = [anhang,anlage] for each token in if (lowercase of token) in words: showalert() return Knowledge Engineering Masterarbeit Marco Ghiglieri 10

11 Einfacher Algorithmus Vor- und Nachteile Vorteile Einfach Nachvollziehbar Schnell Platzsparend Nachteile Sprachabhängig Benutzerpflege Lernt nicht Keine Wortabhängigkeiten Zuviele Fehlalarme Erweiterter Algorithmus Knowledge Engineering Masterarbeit Marco Ghiglieri 11

12 Worthäufigkeiten Alle weiteren Algorithmen beachten nun die Worthäufigkeiten Att anlage 4 bilder 2... Noatt hallo 40 bild Att = Menge aller Tupel (Wort, Anzahl) in s mit Attachments Noatt = Menge aller Tupel (Wort, Anzahl) in s ohne Attachments Beeinflussen die Klassifikation Knowledge Engineering Masterarbeit Marco Ghiglieri 12

13 Erweiterter Algorithmus - Idee Wortliste words automatisch füllen Wenn Anzahl des Wortes in att größer ist als Anzahl des Wortes in noatt ==> Füge Wort hinzu Wenn Anzahl des Wortes in noatt größer ist als Anzahl des Wortes in att ==> Lösche Wort Eine Startliste ist möglich Die Erkennung verläuft wie beim einfachen Algorithmus Knowledge Engineering Masterarbeit Marco Ghiglieri 13

14 Erweiterter Algorithmus Lernalgorithmus for each word in if has_attachment then count word in add to att_list(word) else count word in add to noatt_list(word) for each token in att_list: if 2*att_list[token]> noatt_list[token] insert token in words for each token in words: if noatt_list[token]>att_list[token] remove token from words Knowledge Engineering Masterarbeit Marco Ghiglieri 14

15 Erweiterter Algorithmus Beispiel Gegeben sind Noatt, Att, words Att Noatt anhang anlage bilder unterlagen unterlagen hallo einkaufen party words=[anhang,anlage, unterlagen] Neue ohne Attachment:...Unterlagen... Noatt unterlagen hallo einkaufen party words=[anhang,anlage] Knowledge Engineering Masterarbeit Marco Ghiglieri 15

16 Erweiterter Algorithmus Vor- und Nachteile Vorteile Einfach Schnell Nachteile Keine Wortabhängigkeiten Zuviele Fehlalarme Undurchsichtig für den Benutzer Knowledge Engineering Masterarbeit Marco Ghiglieri 16

17 Naive Bayes Annahme: Auftreten von Wörtern ist in s unabhängig voneinander Dies ist natürlich nicht der Fall Wahrscheinlichkeitsbasiert Erkennungsraten beim Spam-Problem hoch Knowledge Engineering Masterarbeit Marco Ghiglieri 17

18 Naive Bayes Beispiel 100 Noatt 90 Att 10 Anhang 3 Im 40 sind 34 Unterlagen 13 Anhang 5 sind 1 Bilder 2 Im 2 Neue ...Im Anhang sind Bilder... p E Noatt = = p E Att = = W p E c = p c i=0 => 80% => 20% p wi c Knowledge Engineering Masterarbeit Marco Ghiglieri 18

19 Naive Bayes Probleme Wahrscheinlichkeit für Wort, dass nicht vorkommt Sehr kleine Wahrscheinlichkeiten verursachen Unterlauf Knowledge Engineering Masterarbeit Marco Ghiglieri 19

20 Paul Grahams Algorithmus Erkennung geschieht mit Pseudowahrscheinlichkeiten Sehr gute Erkennungsraten beim Spam-Problem Eingesetzt in Thunderbird als Spamfilter Knowledge Engineering Masterarbeit Marco Ghiglieri 20

21 Paul Graham Beispiel Noatt Att Anhang 3 Im 40 sind 34 Unterlagen 13 Anhang 5 sind 1 Bilder 2 Im s wurden erfasst: 9 ohne Attachment 1 mit Attachment Knowledge Engineering Masterarbeit Marco Ghiglieri 21

22 Paul Graham Beispiel Berechnung des Gewichts Berechnung des Gewichts des Wortes anhang : n anhang, att =5 n anhang,noatt =3 E att =1 E noatt =9 m att =min 1.0, AF n anhang, att E att m noatt =min 1.0, NF n anhang,noatt E noatt => 1.0 => 0.33 AF,NF sind Gewichte für Wörter in den Klassen noatt, att (hier AF=1, NF=1) m total =max NP, min AP, m att m att m noatt NP=Wert für Noattachment Wort AP = Wert für ein Attachment Wort (hier AP=0.99, AP=0.01) => 0.75 m total gibt die Wahrscheinlichkeit an, dass eine ein Attachment enthält Knowledge Engineering Masterarbeit Marco Ghiglieri 22

23 Paul Graham Beispiel Ergebnis Vorberechnetes Verhältnis Anhang 0.75 Im sind Unterlagen 0.01 Bilder 0.99 Neues Beispiel: Im Anhang sind Bilder Bilder 0.99 Im Anhang 0.75 sind p= =0.12 => % ip= = Knowledge Engineering Masterarbeit Marco Ghiglieri 23

24 Paul Graham versus Naive Bayes Beide Verfahren gute Erkennungsraten Naive Bayes hat beim Klassifizieren mehr zu berechnen Paul Graham bezieht nur die ersten 15 Wörter ein Paul Graham setzt Anzahl der Wörter und Anzahl der s in Relation Knowledge Engineering Masterarbeit Marco Ghiglieri 24

25 Evaluierung Mit welchem Algorithmus lässt sich das Problem gut lösen? Wie groß muss die zu lernende Menge an s sein? Wieviele Fehler macht der Algorithmus? Knowledge Engineering Masterarbeit Marco Ghiglieri 25

26 Testmengen Vier Testmengen deutsche s (21,33% Att.) deutsche s (11,81% Att.) deutsche s (21,30% Att.) deutsche s (11,81% Att.) Knowledge Engineering Masterarbeit Marco Ghiglieri 26

27 Cross-Validation Kein einzelnes Testset verfügbar Teilen der bestehenden s 9 Teile zum Lernen und 1 Teil zum Test 10 Durchgänge Knowledge Engineering Masterarbeit Marco Ghiglieri 27

28 Einige Definitionen Vorhergesagtes Attachment Vorhergesagtes Noattachment Attachment true positive false negative Noattachment false positive true negative accuracy= true positive true negative true positive true negative false positive false negative Knowledge Engineering Masterarbeit Marco Ghiglieri 28

29 Accuracy Accuracy Testset 1 Testset 2 Testset 3 Testset 4 Einfacher Alg.* 76.01% - 77,25% 81,43% Erweiterter Alg. 73,72% (15-78,44%) 36,56% (15-70,06%) Naive Bayes % 56,05% ( %) 75,94% (15-83,19%) 84,76% (15-88,33%) 73,67% 88,10% Paul Graham ,97% 91,96% 77,00% ( %) 89,52% Immer Att. 21,33% 11,81% 21,30% 11,43 Nie Att. 78,67% 88,19% 78,70% 88,57% *words=['anhang','anhänge','datei','dateien','fotos','version','versionen','entwurf','entwürfe','anbei'] Knowledge Engineering Masterarbeit Marco Ghiglieri 29

30 ROC-Kurve ROC-Kurve stellt Trennbarkeit der Klassen dar Schwellwert wird nicht betrachtet s absteigend nach Wert/Wahrscheinlichkeit sortiert (0.99, ) AUC=0.5 AUC= Knowledge Engineering Masterarbeit Marco Ghiglieri 30

31 ROC-Kurve kleiner Datensatz Knowledge Engineering Masterarbeit Marco Ghiglieri 31

32 ROC-Kurve großer Datensatz Knowledge Engineering Masterarbeit Marco Ghiglieri 32

33 Area under curve Testset 1 Testset 2 Testset 3 Testset 4 Einfacher Alg Erweiterter Alg Naive Bayes Paul Graham AUC = 1.0 alle positiven Beispiele liegen über den negativen AUC = 0.5 zufällig gewählt AUC = 0.0 alle negativen Beispiele liegen über den positiven Knowledge Engineering Masterarbeit Marco Ghiglieri 33

34 Fazit Es funktioniert... Noch viele Fehlalarme Spam-Problem ist besser lösbar Knowledge Engineering Masterarbeit Marco Ghiglieri 34

35 Ausblick Forschungskorpus s besser zerlegen Plugin öffentlichkeitstauglich machen (0.32) Verfügbarmachen für andere Plattformen Knowledge Engineering Masterarbeit Marco Ghiglieri 35

36 Fragen? Vielen Dank für Ihre Aufmerksamkeit! Knowledge Engineering Masterarbeit Marco Ghiglieri 36

37 Anhang Worttrennung Implementierung ROC - Erklärung Knowledge Engineering Masterarbeit Marco Ghiglieri 37

38 Worttrennung Trennung nach [ääüüööa-za-z0-9'_-]+ Möglicher Optimierungspunkt Jeder Algorithmus benutzt diese Trennung Wortlängenbegrenzung sinnvoll Knowledge Engineering Masterarbeit Marco Ghiglieri 38

39 Implementierung Einleitung Kurze informelle Erklärung Thunderbird-Plugin als Client Python als Server Testbarkeit Standardbibliotheken Knowledge Engineering Masterarbeit Marco Ghiglieri 39

40 Aufbau Plugin Thunderbird Python Plugin Server SA SAE NB PG Knowledge Engineering Masterarbeit Marco Ghiglieri 40

41 Ablauf -Versand Thunderbird 1. Nachricht verfassen Python 2. Nachricht an Server 3. Nachricht prüfen und abhängig vom 4. Antwort verarbeiten Algorithmus Ergebnis Ja und Att => Senden schicken (Ja/Nein) Ja und Noatt => Popup Nein und Att => Senden Nein und Noatt => Senden 5. Endgültige Nachricht schicken 6. Nachricht verarbeiten und ggfls. Lernen Knowledge Engineering Masterarbeit Marco Ghiglieri 41

42 Screenshots Knowledge Engineering Masterarbeit Marco Ghiglieri 42

43 ROC Erklärung 1. T F T T T F T T T T 0.28 N = 10 P = 10 N 1 S N AUC= 2 N P 11.T F F F F F F F F T 0.01 = = NP AUC= FP Knowledge Engineering Masterarbeit Marco Ghiglieri 43