Spambewertung und Filterung. Heiko Schlichting

Transkript

1 Spambewertung und Filterung Heiko Schlichting

2 Spam Unerwünschte Massenmail

3 Gegenteil von Spam? (Bezeichnung bei Bogofilter eingeführt)

4 Häufigster Ablauf von Spambewertung und Filterung Sendmail MTA Exim Qmail Postfix Filter procmail Bewerter SpamAssassin (SA) Bogofilter Folder mehrere, /dev/null

5 Markierung von Spam! Einfügen eines speziellen X-Headers (unterschiedliche Header und Bedeutungen je Software)! Markierung in Subject Header oder Mailbody bei SpamAssassin möglich! Filterprogramm (meist Procmail) wertet den oder die X-Header aus! Direkter Aufruf des Bewerters durch MTA, IMAP- oder POP3-Daemon mit Einschränkungen möglich

6 Spambewertungssoftware! Ist noch in der Entwicklungsphase! Verändert sich daher noch häufig und heftig! Gibt es mit sehr unterschiedlichen Ansätzen! Auf Regeln basierend! Bayesisch (statistisch)

7 Spambewertungssoftware Häufigste Vertreter:! SpamAssassin Aktuelle Version: Bogofilter Aktuelle Version:

8 Erst mal einfach! Zunächst unter Ausklammerung der Schwierigkeiten des Einsatzes in Rechenzentren auf einem zentralen Server! Also zum Beispiel als Poweruser mit Shellaccount auf einem Unix-Rechner und lokalem MTA denn auch das ist bereits schwierig und mit einigen Problemen behaftet!

9 SpamAssassin (1)! in perl geschrieben! Analyse von Header und Body mittels (sehr) komplexer regulärer Ausdrücke! Untersucht Header auf Fehler und ungewöhnliche Einträge! kann Spam-Datenbanken wie Razor, Pyzor und DCC (Distributed Checksum Clearinghouse) befragen, sofern die entsprechende Software installiert wurde! kann RBL (Remote Black Lists) anfragen

10 SpamAssassin (2)! befragt Nameserver nach MX und A Einträgen für Hostnamen im Header! Erkennt Spammer-Sprache : bestimmte Worte und Ausdrücke, die auf Spam hindeuten. Beispielsweise: porn, money, Webcam, 18 years old usw.! kann Content-Type (z. B. HTML) und Encoding (z. B. asiatischer Zeichensatz) im Header auswerten, sofern diese gesetzt sind

11 SpamAssassin (3)! Erweiterbar durch den Anwender mit eigenen Regeln und veränderbaren Bewertungen! Auto-Whitelist Funktion! Kann Spam im Header sichtbar (Subject) oder auch unsichtbar (X-Spam-Status) markieren! Ausführlicher Report im Body der Mail möglich! Bewertungslevel für Spam einstellbar, Voreinstellung von 5.0 ist aggressiv

12 SpamAssassin Probleme (1) immer noch unter Ausklammerung der RZ-Probleme!! ständige Nachpflege der Software erforderlich, da die Regeln altern, d. h. neue Spam- Ausdrücke auftauchen und die Spammer Regeln gezielt umgehen! Software ist sehr, sehr langsam und benötigt viel CPU-Zeit:! Starten von Perl und die Auswertung vieler komplexer regulärer Ausdrücke! 3 bis 10 Sekunden pro Mail sind der Normalfall, bei langen Mails oder komplexen User-Rules auch deutlich mehr

13 SpamAssassin Probleme (2) immer noch unter Ausklammerung der RZ-Probleme! Geschwindigkeitsprobleme (Fortsetzung)! Einsatz auf Mailserver problematisch aufgrund von User-Rules, die absichtlich und auch unabsichtlich den Server blockieren können! Spambewertung kostet zuviel CPU-Zeit am Rechenzentrum der Freien Universität Berlin mit ca Usern: Mails/Tag, jedoch nicht gleichmäßig über den Tag verteilt, ohne Stau auch schon mal 20 Mails pro Sekunde

14 SpamAssassin Probleme (3) immer noch unter Ausklammerung der RZ-Probleme! Geschwindigkeitsprobleme (Fortsetzung)! Nach einer G-WiN-Unterbrechung oder einem Serverausfall kommen jede Sekunde einige hundert Mails an " SpamAssassin blockiert den Server innerhalb kürzester Zeit! Overhead für perl-start kann durch Server/Client (spamd/spamc) Programme gemildert werden, erzeugt aber erhebliche Sicherheitsprobleme bei Multiuser- Umgebungen (" meist nicht einsetzbar)

15 SpamAssassin Probleme (3) immer noch unter Ausklammerung der RZ-Probleme!! eigene Regeln sowie das Verstehen der mitgelieferten Regeln ist nicht ganz einfach (komplexe reguläre Ausdrücke in perl)! manche Regeln sind sehr fragwürdig

16 Bogofilter (1)! Bayesischer Spamfilter (nach Thomas Bayes, )! C-Programm! Prüft Header und Body einer Mail mit statistischen Methoden gegen eine Liste von guten und schlechten Worten! Bestimmte Teile werden ausgeblendet, z. B. das Datum und die Message-ID! Wortlisten werden als Berkeley-DB verwaltet

17 Bogofilter (2)! Als Ergebnis aller Wortbewertungen ergibt sich eine Zahl von 0 bis 1 (Spamwahrscheinlichkeit)! Ergebnis wird als X-Header eingetragen! extrem schnell (Tausende Mails je Sekunde sind möglich)

18 Bogofilter Probleme (1) immer noch unter Ausklammerung der RZ-Probleme!! Wortlisten müssen zunächst trainiert werden. Welcher User hat zehntausende Mails, sortiert nach Spam und Ham?! Muss auch weiterhin trainiert werden, so dass POP/IMAP zur Schwierigkeit werden! Funktioniert nur bei einheitlichem Mailverkehr. Ist der Anteil englischer Mails bei Spam viel höher als bei Ham, so werden englische Mails eventuell grundsätzlich als Spam angenommen.

19 Effizenz (1) getestet an meinem eigenen Mailverkehr (entspricht oft der Menge einer ganzen Abteilung) Durchschnittlich 1130 Mails pro Tag:! 204 deutsche Mails! 84 englische Mails! 830 Spam-Mails! 12 Viren oder Würmer

20 Effizenz (2) Spamassassin! direkter Aufruf mit 11 zusätzlichen User-Rules! Bewertung in 5400 Sekunden (1,5 Stunden CPU-Zeit auf MIPS R10000)! Falsch negativ: 3 Mails (im Durchschnitt) (= nicht erkannter Spam)! Falsch positiv: 1 Mail (im Durchschnitt) (= als Spam erkannte Ham-Mail)

21 Effizenz (3) Bogofilter! zuvor trainiert mit Mails! Bewertung in 25 Sekunden (215mal schneller als SpamAssassin)! Falsch negativ: 2 Mails (im Durchschnitt) (= nicht erkannter Spam)! Falsch positiv: keine eindeutige Aussage möglich (= als Spam erkannte Ham-Mail) " größere Mailmengen müssen untersucht werden

22 Effizenz (4) Bogofilter mit mehr, viel mehr Mails getestet:! Trainiert mit Mails ( Ham, Spam)! Getestet mit Mails:! Ham, davon ca. 100 falsch negative! Spam, davon ca falsch positive " erschreckend viele echte Mails wurden als Spam eingestuft

23 Effizenz (5) Untersuchung ergab, dass die falsch positiven Mails alle englisch waren. Da ich ca. 70% deutsche und 30% englische Ham-Mail erhalte, aber schätzungsweise 90% des erhaltenen Spams englisch ist, folgert Bogofilter: englische Worte " Spam Was natürlich nicht stimmt!

24 Probleme beim Einsatz von Spambewertern in Rechenzentren als zentraler Dienst (1)! Was ist Spam? Darüber gibt es von den Anwendern sehr unterschiedliche Auffassungen! Spam-Filterung muss individuell (de-)aktivierbar sein! individuelle Konfiguration für Effizenz unbedingt erforderlich, aber zu kompliziert für normale User. Wie kommt die Konfiguration vom User zum Mailserver? Wie kann der Benutzer seine Einstellungen testen?

25 Probleme beim Einsatz von Spambewertern in Rechenzentren als zentraler Dienst (2)! falsch positive (versehentlich als Spam erkannte Ham-Mails) kann man nicht ignorieren.! Wirksame SpamAssassin-Regeln nicht möglich:! Filterung aufgrund von Zeichensatz Es gibt Sinologie und Japanologie an der FU Berlin und ausländische Studierende wohl überall! Filterung aufgrund des Encodings Es soll Nutzer geben, die HTML-Mails verschicken und auch erhalten möchten! SpamAssassin frisst viel CPU-Zeit und Spitzenbelastungen müssen abgefangen werden

26 Probleme beim Einsatz von Spambewertern in Rechenzentren als zentraler Dienst (3)! Wer will seinen Usern perl-regexp für SpamAssassin erklären?! Wer will solche Ausdrücke auf dem Mailserver auswerten? Absichtliche und unabsichtliche DoS, Sicherheitsprobleme aufgrund der Mächtigkeit von perl bei regexp sind zu befürchten.! Zentrale Bogofilter-Wortliste nicht möglich. Meine Liste würde 100% der asiatischen Mails als Spam einordnen, was für mich akzeptabel ist, für andere Nutzer aber nicht.

27 Was tun mit erkanntem Spam? (1) 1. Bewerten und Spam verwerfen! es gibt falsch positive (manchmal viele), z. B. CERT-Announcements, Microsoft-Hotfix Ankündigungen, Mails an Abuse-Management " nicht einsetzbar

28 Was tun mit erkanntem Spam? (2) 2. Spam und Ham in unterschiedliche Folder sortieren! wie kommen die User da ran?! POP verbreiteter als IMAP! mehrere POP/IMAP Konten werden auf dem Client wieder zu einer Inbox gemischt! zu kompliziert für die User " fast nicht einsetzbar

29 Was tun mit erkanntem Spam? (2) 3. Spam kennzeichnen und ausliefern! Spam muss mit POP/IMAP geholt werden! User muss MUA einsetzen, der Spam in verschiedene Folder sortieren kann! Der User muss das auch konfigurieren können (Supportaufwand)! Vorteil: der User kann Ham und Spam untersuchen " einzige Möglichkeit, aber das Ergebnis ist nicht sehr befriedigend

30 Einschätzung Bewertung zentral mit Einschränkungen möglich, aber aufwändig. Filterung zentral nicht vertretbar zu realisieren und muss auf dem Client erfolgen. Aber

31 Was sonst? Wenn man die Filterung auf dem Client durchführen muss, kann man auch die Bewertung auf dem Client durchführen! Vorteile:! individuell konfigurierbar = effizienter! Last wird auf die Clients verteilt und ist dort meist nicht spürbar! User hat Konfiguration und Verantwortung in seiner Hand Nachteile:! Supportaufwand (eventuell)! Kosten (eventuell)

32 Spambewerter für Clients Noch kein ausgereiftes Produkt auf dem Markt, wird aber kommen, da der Bedarf groß ist. Auf SpamAssassin-Basis für Windows verfügbar:! SpamAssassin Pro! kommerzielle Software! für Microsoft Outlook (nicht Outlook Express)! Spamnix! für Eudora Weitere werden bald zu erwarten sein.