Identifizierung regulärer Ausdrücke zum Blockieren von -Kampagnen

Transkript

1 Identifizierung regulärer Ausdrücke zum Blockieren von -Kampagnen Paul Prasse, Tobias Scheffer Universität Potsdam

2 Motivation Spammer verbreitet Postmaster schreibt I m a [a-z]+ russian (girl lady). I am 2[123] years old, weigh \d+ kilograms and am 1\d{2} centimeters tall. Spammer schreiben Kampagnen-Templates Reguläre Ausdrücke können Elemente einer Kampagne beschreiben

3 Motivation Spammer Spam ESP Clustering- Werkzeug Cluster-Beschreibung durch Bagof-Words-Repräsentation birgt Risiko von False Positives Haider & Scheffer: Bayesian Clustering for Batch Detection ; International Conference on Machine Learning, 2009

4 Motivation Spammer I m a [234]+ Postmaster Modell Buy [Vv][iI] Spam Clustering- Werkzeug Schreiben eines regulären Ausdrucks Hi [a-z]* ESP

5 Überblick Motivierendes Beispiel Reguläre Ausdrücke Problemstellung und Trainingsdaten Maschinelles Lernen mit strukturierten Ausgaberäumen Optimierungsproblem und Dekoder Fallstudie mit -Service der STRATO AG

6 Reguläre Ausdrücke Formalismus für einfache Grammatiken I m a [a-z]+ russian (girl lady). I am 2[123] years old, weigh \d+ kilograms and am 1\d{2} centimeters tall. Entscheidung, ob ein Text einem regulären Ausdruck folgt ( matcht ), lässt sich effizient treffen Populäres Werkzeug im Unix-Umfeld

7 Reguläre Ausdrücke Formalismus für einfache Grammatiken Syntaktische Elemente können geschachtelt werden Konkatenation: Hallo Disjunktion: (Hallo Hi Guten Tag) Kleene-Stern (beliebige Wiederholungen): (bla)* Minimale und maximale Anzahlen: (bla){1}{5} Intervalle: [a-z0-9] Makros I m a [a-z]+ russian (girl lady). I am 2[123] years old, weigh \d+ kilograms and am 1\d{2} centimeters tall.

8 Trainingsdaten Postmaster I m a [234]+ Stichproben aus Kampagnen + passende regulärere Ausdrücke Buy [Vv][iI] Schreibt regulären Ausdruck Hi [a-z]*

9 Trainingsdaten Postmaster Schreibt regulären Ausdruck I m a [234]+ Buy [Vv][iI] Hi [a-z]* Stichproben aus Kampagnen + passende regulärere Ausdrücke Es gibt immer viele mögliche reguläre Ausdrücke, die eine Menge von s abdecken Manche decken auch andere s mit ab, die nicht zur Kampagne gehören Viele sind schwer verständlich, lang

10 Trainingsdaten Postmaster Schreibt regulären Ausdruck I m a [234]+ Buy [Vv][iI] Hi [a-z]* Stichproben aus Kampagnen + passende regulärere Ausdrücke Ziel: diejenigen regulären Ausdrücke erzeugen, die Postmaster schreiben würde Übersichtlich, verständlich, decken genau die Mails der Kampagne ab.

11 Maschinelles Lernen Eingabe Postmaster Schreibt regulären Ausdruck?! I m a [234]+ Buy [Vv][iI] Hi [a-z]* Ausgabe Lernalgorithmus soll Modell für Zusammenhang zwischen Kampagnen und regulären Ausdrücken erzeugen Modell soll Präferenzen und Stil des Postmasters wiederspiegeln Modell für Zusammenhang Zwischen Ein- und Ausgabe Lernalgorithmus

12 Anwendung des Modells Modell kann für neue -Kampagnen regulären Ausdruck im Stil des Postmasters schreiben I m a [a-z]+ russian (girl lady). I am 2[123] years old, weigh \d+ kilograms and am 1\d{2} centimeters tall. Lernalgorithmus

13 Formale Problemstellung Finde Modell f w : I m a [234]+ Kampagne x (Menge von s) Regulärer Ausdruck y Mit Hilfe einer Menge von Trainingsdaten, I m a [234]+,,, Buy [Vv][iI]

14 Strukturierte Ausgaberäume Finde Modell f w : I m a [234]+ Kampagne x (Menge von s) Regulärer Ausdruck y Komplexere Ausgabe als bei anderen Lernproblemen Regression: Klassifikation: : n fw R R n f : R { 1, 1} w

15 Strukturierte Ausgaberäume Finde Modell f w : I m a [234]+ Kampagne x (Menge von s) Regulärer Ausdruck y Modell ist lineare Funktion mit Parametervektor w. Parametervektor wird aus Trainingsdaten gelernt.

16 Strukturierte Ausgaberäume Finde Modell f w : I m a [234]+ Kampagne x (Menge von s) Regulärer Ausdruck y Modell ist lineare Funktion mit Parametervektor w. Parametervektor w enthält Präferenzen für die Verwendung Schachtelung bestimmter syntaktischer Konstrukte.

17 Strukturierte Ausgaberäume Finde Modell f w : I m a [234]+ Kampagne x (Menge von s) Regulärer Ausdruck y Modell ist lineare Funktion mit Parametervektor w. Parametervektor w enthält Präferenzen für die Verwendung bestimmter syntaktischer Konstrukte in Abhängigkeit von den Strings x, die damit erzeugt werden sollen.

18 Strukturierte Ausgaberäume Finde Modell f w : I m a [234]+ Kampagne x (Menge von s) Regulärer Ausdruck y Modell ist lineare Funktion mit Parametervektor w. Merkmalsrepräsentation Ψ(x, y) enthält Informationen über die Schachtelung von Operatoren in y.

19 Strukturierte Ausgaberäume Finde Modell f w : I m a [234]+ Kampagne x (Menge von s) Regulärer Ausdruck y Modell ist lineare Funktion mit Parametervektor w. Merkmalsrepräsentation Ψ(x, y) enthält Informationen über Teilausdrücke von y und die von ihnen erzeugten Strings

20 Optimierungskriterium Ziel: Modell mit minimalem Risiko Verlustfunktion vergeicht Parse-Bäume Parse-Bäume zeigen, wie ein regulärer Ausdruck einen String erzeugen Menge aller Parse-Bäume ist die Bedeutung eines regulären Ausdrucks Anzahl gemeinsamer Knoten ist ein Maß für die Ähnlichkeit von Parse- Bäumen

21 Optimierungskriterium Ziel: Modell mit minimalem Risiko Summe über Kampagne Summe über Parsebäume Summe über Pfade Buy [Vv][Ii][Aa][Gg][Rr] Buy [Vv](ia IA)(gr GR) B u y [Vv] [Ii] [Aa] [Gg] [Rr] vs. B u y [Vv] (ia IA) (gr GR) V i a g r V ia gr i a g r

22 Optimierungsproblem Optimale Parameter w ergeben sich als Lösung eines Optimierungsproblems: Optimierungsproblem ist konvex Lösung wird durch stochastischen Gradientenabstieg gefunden

23 Anwendung des Modells I m a [a-z]+ russian (girl lady). I am 2[123] years old, weigh \d+ kilograms and am 1\d{2} centimeters tall. Anwendung des Modells auf neue Kampagne erfordert Berechnung von Vorgehen: Maximales Alignment der s der Kampagne Stochastische Suche im Raum aller Spezialisierungen der Wildcards im Alignment zur Maximierung von f ( x) w

24 Fallstudie: STRATO AG Spam- s, die an STRATO gesendet werden Postmaster nutzen unser System Rex-SVM zum Blacklisten von Spam-Kampagnen. Vergleich mit Content-Filter ReLIE (Li et al., 2008)

25 Fallstudie: Beispiel This is a good way to make a right move and receive your This is a rare way to make a right move and receive your due due benefits... if you are qualified but are lacking that piece of benefits... if you are qualified but are lacking that piece of paper. Get one from us in a fraction Automatisch of the time. generierter paper. Get regulärer one from us in Ausdruck: a short time. This is a [ a-z]+to make a right Contact move Us and 24/7 receive to start your improving due your life! If you want to get better - you must Contact us 24 hours a benefits if you are qualified but are lacking that piece of day This to start is a improving best chance your to make life! paper. a right Get one move from and us receive in a ~CALL your This US is FOR a exellent A FREE way CONSULTATION~ to make a right move and receive your due \S+( \S+){0,2} time. due ~CALL benefits... FOR A FREE if you CONSULTATION~ are qualified but are lacking that piece of benefits... if you are qualified but are lacking that piece of paper. Get one from us in \S+( a fraction \S+){1,19} of the to time. start improving paper. your Get life! one You from must leave in a short us a voice time. message with Please leave us a voice message with your your name and phone number with country code if outside phone If you number want to with get country better - code you must if outside Call Today USA and to start name ~C[ A-Z]*FOR A FREE CONSULTATION~ USA Contact and we Us will to get start back improving to you asap. your life! and improving we will get your back life! to you as soon as possible. This is a exellent chance to make a right move and receive This is a nice way to make a right move and receive your due your due ( You must ~CALL benefits... FOR A FREE You if you should CONSULTATION~ are qualified 1- but are lacking that piece of ~CALL benefits... US FOR if A you FREE are CONSULTATION~ qualified but are Please lacking )leave that piece us a ( voice of paper. )message Get one from with your us in a fraction of the time. paper. Get one from us (name in a short and )phone time. number with country code if outside USA and If you want to You get must better leave - you us must a voice Call message us NOW with to start Call Us to start You improving must \S+( leave your \S+){0,4}ll us life! a voice ( contact message get with back your improving to name )you \S+( and your phone \S+){0,4}. life! number with country code if outside your name and phone number with country code if outside USA and we will contact you asap. USA ~CONTACT and we'll contact US FOR you A FREE as soon CONSULTATION~ as possible. ~CONTACT US FOR A FREE CONSULTATION~ You must leave us a voice message with Please leave us a voice message with your your phone number with country code if outside USA and name and phone number with country code if outside USA name and we'll call you back as soon as possible. and we will get back to you as soon as possible.

26 Fallstudie: Beispiel Original blaue Pille 0,88 Euro Original blaue Pille Pro. 1,21 Euro Hunderte weitere Produkte zu besten Preisen Einfache und sichere Zahlung Original blaue [\S ]+ 0,88 Euro Jetzt NEU: Diskreter Versand 100% ohne Zoll Probleme! Original blaue Potenzhilfe 0,88 Euro Prof. Original Dr. Dickie blaue jungling Potenzhilfe Pro. 1,21 Euro Hunderte weitere Produkte zu besten Preisen Einfache und sichere Zahlung Jetzt NEU: Diskreter Versand 100% ohne Zoll Probleme! Prof. Dr. [\S \n]+ Original blaue Tablette 0,88 Euro Prof. Original Dr. Irma blaue gall Tablette Pro. 1,21 Euro Hunderte weitere Produkte zu besten Preisen Einfache und sichere Zahlung Jetzt NEU: Diskreter Versand 100% ohne Zoll Probleme! Prof. Dr. Bo englisch Automatisch generierter regulärer Ausdruck: Original blaue [\S ]+ Pro. 1,21 Euro Hunderte weitere Produkte zu besten Preisen Einfache und sichere Zahlung Jetzt NEU: Diskreter Versand 100% ohne Zoll Probleme!

27 Fallstudie: STRATO AG Nutzerinterface zeigt s einer Kampagne zusammen mit automatisch erzeugtem regulärem Ausdruck Postmaster sollen im regulären Betrieb regulären Ausdruck für die Kampagne in Blacklist eintragen Entweder den Vorgschlagenen Ausdruck (ggf. editiert) Oder einen selbst geschriebenen Ausdruck In 89% der Spam-Kampagnen nutzen die Postmaster den automatisch erzeugten regulären Ausdruck

28 Fallstudie: Beispiele (Ausschnitte) Postmaster REx-SVM Kampagne 1 Kampagne 2 Kampagne 3 First name: [\S]+ Surname: \S + Height: 1\d + cm. Weights: \d{2} kg. First name: [\S]+ Surname: \S + Height: 1\d + cm. Weights: \d{2} kg. The trans(fer action) ID: \d+... ID: ( )*\d +( )* Report_\d +.doc The trans(fer action) ID: \d+... ID: [ 0-9] + Report_\d +.doc [S0-9]* lovegame [s0-9]*).(com net) net) perfect good bad Erzeugte Reguläre Ausdrücke sind den vom Postmaster verfassten in den meisten Fällen sehr ähnlich

29 Fallstudie: Genauigkeit content ReLIE 0 REx-SVM False-Positive-Rate (blockierte s, die nicht zur Kampagne gehören) ist um eine Größenordnung niedriger. Hohe True-Potisve-Rate (Abdeckung der Kampagnen)

30 Schlussfolgerungen Problemstellung: Für s einer Kampagne regulären Ausdruck finden, den auch ein Postmaster geschrieben hätte Maschinelles Lernen; Trainingsdaten: s aus Kampagne und zugehöriger, von Postmaster verfasster regulärer Ausdruck Für 89% aller Spam Kampagnen verwenden Postmaster im operativen Betrieb den automatisch erzeugten Ausdruck zum Blacklisten Um Größenordnung niedrigere False-Positive-Rate als Content- Klassifikator Bei STRATO im operativen Einsatz