Internetkommunikation I WS 2004/05 Rafael Birkner

Transkript

1 Vortrag zum Thema: Bayes'sche Filter zur SPAM-Erkennung 1.

2 Bayes'sche Filter: Eigenschaften - englischer Mathematiker Thomas Bayes ( ) - state of the art Technologie zur Bekämpfung von Spam - adaptive Technik (lernfähig) - Anwendung sogenannter statistischer Intelligenz" - von Spammern nur sehr schwer zu überlisten aber: - erst nach einer Lernphase effektiv einsetzbar es müssen mindestens ca. 30 s in der Korrespondenz vorher analysiert und klassifiziert werden! 2.

3 Bayes'sche Filter: Eigenschaften II - Algorithmus berechnet anhand der in der enthaltenen Wörter die Wahrscheinlichkeit für Spam-Mails - Grundlage für die Berechnung sind Worthäufigkeiten in bereits vom Benutzer klassifizierten s (empirisch) - anders als bei den bisherigen statischen Filtern wird den Spammern erschwert auf Regeln mit Anpassungen zu reagieren - Administratoren setzen Bayes'sche Filter bereits erfolgreich auf Mail-Servern ein (gute Trefferquoten) 3. - Umsetzungen sind in SPAM-Filtern zu finden wie: IFile SpamProbe SpamAssassin BogoFilter...und sogar im -Client Mozilla Thunderbird

4 Bayes'sche Filter: Mathematik Internetkommunikation I - Stochastik: Bayes-Theorem (oder auch Satz von Bayes) - auf der Grundlage der bedingten Wahrscheinlichkeit P(A) die a-priori-wahrscheinlichkeit für ein Ereignis A und P(B A) die Wahrscheinlichkeit für ein Ereignis B unter der Bedingung, dass A auftritt: - bei abzählbar vielen Ereignissen folgt das Bayes'sche Theorem (aus dem Satz der totalen-wahrscheinlichkeit) P(Ai B) ist die a-posteriori-wahrscheinlichkeit, dass nach Eintreffen vom Ereignis B genau ein Ereignis aus der Partition Ai auftritt (Voraussetzung: totales Ereignissystem mit echter Teilmenge B) 4.

5 Bayes'sche Filter: Mathematik II - Satz von Bayes erlaubt in gewissem Sinn das Umkehren von Schlussfolgerungen Die Berechnung von P(Ereignis Ursache) ist häufig einfach, aber oft ist eigentlich P(Ursache Ereignis) gesucht - Anwendung als SPAM-Filter Bayes-Filter Ansatz lautet: von charakteristischen Wörtern in einer (Ereignis) wird auf die Eigenschaft, Spam zu sein (Ursache), geschlossen. somit erhalten wir: - vorher:...wenn es sich um eine SPAM handelt kommt mit x % Wahrscheinlichkeit das Wort y drin vor. - nachher:...falls das wort y drin vorkommt, handelt es sich mit x % Wahrscheinlichkeit um eine SPAM 5.

6 Bayes'sche Filter: Funktionsweise - Erstellen einer angepassten Begriffsdatenbank der Filter wird durch seinen Benutzer "trainiert" Aufteilung seiner s in erwünschte (HAM) und unerwünschte (SPAM) der Filter analysiert die beiden -Klassen jedem Wort oder Token ein Wahrscheinlichkeitswert zugewiesen Anti-SPAM-Regeln werden festgelegt - Erstellung einer Spam-Datenbank bereits als sicherer SPAM identifizierte s werden als Referenz erfasst Filter kann dadurch auch sämtliche neue SPAM-Tricks erkennen und eine hohe Erkennungsrate erzielen 6.

7 Bayes'sche Filter: Funktionsweise II - Probleme (Versender von SPAM sehen nicht tatenlos zu) Lange sinnlose Texte sollen die Wahrscheinlichkeitsrechnung des Filters überlisten. Die Werbebotschaften werden in Bildern untergebracht, damit sie der Filter nicht findet. Spammer versuchen durch das Einfügen zufälliger Zitate aus der Weltliteratur (evtl. in weißer Schrift oder als Meta-Tag unlesbar) die statistischen Maßnahmen auszutricksen. Entscheidendes Risiko besteht für den User, durch den Verlust einer regulären Mail durch Falscherkennung (sogenannten falsch-positiven Fälle oder ß-Fehler) Abhilfe: Kombination mit anderen Erkennungsmassnahmen 7.

8 Bayes'sche Filter: Funktionsweise III - Vorgehensweise bei der Filterung Trifft eine neue ein, wird sie in ihre einzelnen Wörter aufgeschlüsselt, wobei die wichtigsten herausgegriffen werden, d. h. solche, die für die Klassifizierung von als SPAM von größter Bedeutung sind Unter Berücksichtigung dieser Wörter errechnet der Bayes'sche Filter die Wahrscheinlichkeit, ob eine neue Mitteilung als Spam eingestuft werden muss oder nicht. Ist die Wahrscheinlichkeit größer als ein bestimmter Schwellenwert, wie z.b. 90%, wird die Nachricht als Spam gekennzeichnet. - Effektivität aus einer Meldung der britischen BBC:...mit dieser Methode konnten über 99,7% aller SPAM-Mitteilungen erkannt werden und die Fehlalarme sind dabei sehr selten. 8.

9 Bayes'sche Filter: Vorteile - Vorteile der Bayes'schen Filtertechnologie Die Bayes'sche Methode berücksichtigt die gesamte Mitteilung Der Filter aktualisiert sich automatisch und kontinuierlich Der Filter passt sich flexibel an die Benutzerkorrespondenz an Die Methode kann für zur Filterung von Mitteilungen in sämtlichen Sprachen eingesetzt werden Der Filter ist schwerer zu überlisten als ein Stichwort-Filter Der Filter wird meist verwendet zur Unterstützung gängiger ergänzender Techniken wie: 9. - Whitelists, Blacklists, öffentliche DNS-Blacklists (z.b. ORDB, SMTP Open-Relay-Datenbank mit IP-Adressen) - Stichwortsuche - Header-Prüfung - SPF Sender Policy Framework (Suche nach gefälschten Adressen)

10 Bayes'sche Filter: Literatur Bayes in der Anwendung: ( An Introduction to Bayesian Networks and their Contemporary Applications Daryle Niedermayer - 1 December, 1998) Informationen zu SPAM-Filtern: (Wikipedia: enzyklopädischer Eintrag, Dezember 2004) (Bayesian filtering technology, GFI Software Ltd, 2004) (News zu IT-Sicherheit, Heise Zeitschriften Verlag GmbH & Co KG, 2004) 10.