-spam, Möglichkeiten der Abwehr und Filterung

Transkript

1 Seminar Internet-Dienste im Sommersemester spam, Möglichkeiten der Abwehr und Filterung Referent: Thomas Verchow Seminar Internetdienste SS 2003 Folie 1

2 spam Missbrauch des Mediums Duden: Spam, das: eine unaufgefordert an viele Internetnutzer auf einmal versandte (zu Werbezwecken u. Ä.) Junk-mail, Bulk-mail, sowie Sending Personally Annoying Mail UBE UCE MMF MLM Unsolicited bulk Unsolicited commercial s Make Money Fast Multi Level Marketing [ ] it should be used in all lower-case letters to distinguish it from our trademark SPAM, [ ] Seminar Internetdienste SS 2003 Folie 2

3 spam quantitativer Rückblick Seminar Internetdienste SS 2003 Folie 3

4 spam Themen Seminar Internetdienste SS 2003 Folie 4

5 spam Gefahren und Kosten Belästigung, Verletzung der Privatsphäre Ethische Aspekte, Jugendschutz (!) Onlinekosten, Speicherkapazität Schnelle Verbreitung von Viren, Dialer Zeitaufwand, Verlust teuerer Arbeitszeiten Erhöhte Kosten bei ISP und Firmen Nutzeneinbußen beim erwünschten Mailverkehr usw. Ungerechte Kostenverteilung Zeitaufwand Ressourcendiebstahl Seminar Internetdienste SS 2003 Folie 5

6 spam eine Prognose Mails pro Tag 57,6 42,6 30,6 21,1 14, Kosten pro Mailbox Anzahl in Milliarden pro Mailbox in $ ,5 Kosten weltweit 123,7 74,6 41,6 198,3 Weltweiter Verlust durch spam wird sich verzehnfachen! in Milliarden $ Quelle: Radicati Group Seminar Internetdienste SS 2003 Folie 6

7 spam Abwehr: Private Vorsorge Generell - Spammer nie füttern (nie antworten oder beworbenes kaufen) - Sorgsamer Umgang mit Adressen - Aufwand für Spammer erhöhen Techniken im Usenet - gefälschte Absender - verschiedene Absender (Reply-To s verwenden) - extra Adresse für Usenet (in Groups lesen und antworten) Techniken im Web - Adresse mittels JScript, klick-buttons oder Grafiken angeben - Adresssammler behindern (z.b. falsch Adressen generieren) - Dynamische Adressen (für Nachforschungen) viele Methoden sind umstritten! Seminar Internetdienste SS 2003 Folie 7

8 spam Abwehr: Öffentliches Umfeld Gesetze: nationales Recht gilt nicht für internationales Internet EU-Richtlinie von Juli 2002 ( Opt-In ): Verbot unerbetener Massenpost an Privatpersonen muss bis 31. Oktober 2003 in nationales Recht umgesetzt werden. Spammen ist schon heute unzulässig Politiker müssen international durchsetzbare Lösung anstreben Interessenverbände (Beispiele): Seminar Internetdienste SS 2003 Folie 8

9 so funktioniert s technisch Eine Postkarte, die mittels Umschlag transportiert wird. SMTP Body (Nachricht) Header (Adressfeld) Absender Empfänger Datum Betreff SMTP-Envelope (Umschlag) Envelope-From Envelope-To DATA (ganze Postkarte) Seminar Internetdienste SS 2003 Folie 9

10 so funktioniert s technisch Die findet ihren Weg über viele Poststellen. Poststelle SMTP MTA* SMTP MTA zuständig? *) Die Mail Transfer Agents (MTA) tragen Zustellvermerke auf die Karte (!) auf. Empfänger Seminar Internetdienste SS 2003 Folie 10

11 ein Header (komplett) Return-Path: X-Flags: 0000 Delivered-To: GMX delivery to Received: (qmail invoked by uid 65534); 16 Jul :01: Received: from mail3.netbeat.de (HELO mail3.netbeat.de) ( ) by mx0.gmx.net (mx030-rz3) with SMTP; 17 Jul :01: Received: (qmail invoked by uid 507); 16 Jul :27: Delivered-To: Received: (qmail invoked by uid 101); 16 Jul :26: Received: from client.attbi.com (HELO nbnet.nb.ca) by mail3.netbeat.de with SMTP; 16 Jul :26: Message-ID: From: "Adrianna A. Sanders" To: Subject: The server is down Date: Wed, 16 Jul :29: MIME-Version: 1.0 Content-Type: text/html Content-Transfer-Encoding: 8bit X-GMX-Antivirus: -1 (not scanned, may not use virus scanner) X-GMX-Antispam: 0 (Mail was not recognized as spam) Seminar Internetdienste SS 2003 Folie 11

12 ein Header (gekürzt) Return-Path: Received: from mail3.netbeat.de (HELO mail3.netbeat.de) ( ) by mx0.gmx.net (mx030-rz3) with SMTP; 17 Jul :01: Received: from client.attbi.com (HELO nbnet.nb.ca) by mail3.netbeat.de with SMTP; 16 Jul :26: Message-ID: From: "Adrianna A. Sanders" To: Subject: The server is down Date: Wed, 16 Jul :29: MIME-Version: 1.0 Content-Type: text/html Content-Transfer-Encoding: 8bit Seminar Internetdienste SS 2003 Folie 12

13 ein Header (Verlässliches) Received: from mail3.netbeat.de (HELO mail3.netbeat.de) ( ) by mx0.gmx.net (mx030-rz3) with SMTP; 17 Jul :01: Received: from client.attbi.com (HELO nbnet.nb.ca) by mail3.netbeat.de with SMTP; 16 Jul :26: Vom Absender frei wählbare Einträge wurden entfernt die Zustellvermerke der Poststellen bleiben übrig. Vom Absender ist nur die IP geblieben. Seminar Internetdienste SS 2003 Folie 13

14 spam Abwehr: Provider Sichere Konfiguration der Software Keine offenen Relays (SMTP after POP, SMTP-Auth) Sicheres System als Voraussetzung AGB verbieten Spam ISP bearbeitet Beschwerden von Kunden geht gegen Spammer vor Kunden aufklären Seminar Internetdienste SS 2003 Folie 14

15 spam Abwehr: Provider Teergrubing (MTA ist eine Teergrube) Spammer anhand IP erkennen Offenhalten der Ports mittels Fortsetzungszeilen in SMTP Dezentralität: viele Teergruben, ein Spammer Tarpitting Spammer anhand Anzahl versendeter Mails erkennen Verzögern der SMTP-Session während Angabe der Empfänger Ausliefern vieler Mails dauert sehr lange wenn es zu spät ist: Filtern von Mails Seminar Internetdienste SS 2003 Folie 15

16 spam Filter: zentrale Fragen Wo werden die Mails gefiltert? Wer filtert Sie? Datenschutz? Wie wird gefiltert? Was passiert mit den ausgefilterten Mails? Wer finanziert das? Seminar Internetdienste SS 2003 Folie 16

17 spam Filter: Blacklist Nichts ist spam, bis auf online einsehbare Listen von Servern, die spammen MTA kann IP-Adressen vom Sender vergleichen schlecht für Dial-In-Systeme (dynamisch IP s) geeignet für Filter auf ISP Andere Arten von Blacklists: Adressliste, die man filtert (wie Killfile im Usenet) - nutzlos Liste von Wörtern, die man filtert Bestimmte Zeichensätze Vipul's Razor -Fingerprints (Netzwerk, Teilnehmer melden spam) man kann auf alles was in einer vorkommt so filtern Statisch festgelegte Filter erfordern viel Aufwand. Seminar Internetdienste SS 2003 Folie 17

18 spam Filter: Whitelist Alles ist spam, bis auf man pflegt meist die Absender (Adressbuch) alles andere muss trotzdem kontrolliert werden Implementierung weiterer Features möglich automatische Antwort auf spam: Bitte bestätigen generierte Adressen zum Antworten ( Tagged Massages ) geeignet für lokale Filter Statisch festgelegte Filter erfordern viel Aufwand. Seminar Internetdienste SS 2003 Folie 18

19 spam Filter: weitere Analyse Header: Zustellvermerke schlüssig? Abschicker (Umschlag) und Absender (Header) gleich Body: GROSS-Schreibungen Anzahl HTML-Tags Sprache Scoring-Systeme: mehrere Filter übereinander viele Score-Werte ergeben einen Gesamt-Score-Wert User/Admin definiert Schwelle für spam Problem: Was bedeutet ein Score-Wert von x? Seminar Internetdienste SS 2003 Folie 19

20 spam Filter: Bayes-Filter Erkennung von spam mittels Wahrscheinlichkeiten weil, man weiß genau, was 99% bedeutet. Grundlage: eigene spam- und Nicht-spam-Mails Berechung Wahrscheinlichkeiten für spam anhand Wörter Ergebnis: xxx ist mit x% gut, yyy mit y% schlecht statistisch ist dann eine Mail zu z% spam Beispiel: 0,99 für sexy sexy Lady spam zu 99,97% 0,97 für Lady sexy Herr zu 83,9% 0,05 für Herr Herr Lady zu 62,99% + erkennen V1agra oder CL!CK mit genauer Wahrscheinlichkeit + lernfähig (berechnet neue Wahrscheinlichkeiten) - erfordert einen gepflegten spam-bestand - Anfällig für kurze Mails: Watch this Mehr Infos: siehe Seminar Internetdienste SS 2003 Folie 20

21 spam Filter: Künstliche Neuronale Netze KNN: einfaches Modell des Zentralen Nervensystems lernfähig, anpassungsfähig generalisierend robust gegen verrauschte Daten + hohe Erkennungsrate - benötigt persönlichen spam-bestand - KNN muss trainiert werden Seminar Internetdienste SS 2003 Folie 21

22 spam Was kann ich heute Abend tun? Zu einem Mail-Anbieter mit Spam-Filter wechseln gmx, web.de, arcor, hotmail, lycos, yahoo, Umleiten der Mails über einen Filterdienst soll gut sein E1even ( deutsch Filtersoftware installieren Spamassassin, PoPFile, MUA mit Filter einsetzen mozilla-mail TheBat! mit Plug-In s Seminar Internetdienste SS 2003 Folie 22

23 spam Mein Fazit Filter sind nicht die Lösung! spam darf sich nicht lohnen! Seminar Internetdienste SS 2003 Folie 23

24 spam Filter: Wer filtert wo? Backup ISP filtert vor der Auslieferung an das Postfach des Kunden: + wenig Traffic für Kunden + spart Ressourcen (Plattenplatz) - False Positives für immer verloren - Postfach gehört nicht dem spam, dafür dem ISP ISP sortiert in das Postfach des Kunden (spam / nicht spam): + wenig Traffic für Kunden, wenn spam nicht abgerufen wird + False Positives nicht verloren (Berichtigung aufwendig) - spam wird gespeichert (Plattenplatz) ISP markiert die Mails mit speziellen Headerzeilen (scoring-wert): + viel Traffic, da spam mit übertragen wird + False Positives nicht verloren (sogar lokal vorhanden) +/- lokales Filtern zwar leicht, aber nötig - Mail User Agent muss auf Header filtern können Seminar Internetdienste SS 2003 Folie 24

25 spam Filter: Wer filtert wo? Backup Spammer filtert oder markiert + z. Bsp: Subject: ADV: Werbung für dich + aufgrund gesetzlicher Vorgaben - praxisfern User filtert/sortiert lokal selbst: + Selbstbestimmung, was gefiltert wird + Know-How, Erfahrung - Platzverbrauch beim ISP ( Postfach voll ) - Traffic, Onlinekosten - Pflege der Filter, Know-How, Zeitaufwand - Webinterface nur ungefilterte Mailbox (Urlaub, PDA) Seminar Internetdienste SS 2003 Folie 25

26 SMTP: Bill G. schreibt mir eine Mail Backup 220 thales.mathematik.uni-ulm.de Sendmail ready. HELO microsoft.com 250 thales.mathematik.uni-ulm.de pleased to meet you, microsoft.com MAIL FROM: 250 sender is sender OK RCPT TO: 250 recipient recipient OK [ ] mehr RCPT TO: DATA 354 OK End with <CRLF>.<CRLF> Subject: Lieber Anwender Organization: Microsoft From: bill@microsoft.com Hi Thomas. How are You? Yours, Bill G Message accepted for delivery QUIT Seminar Internetdienste SS 2003 Folie 26

27 SMTP: Post von Bill G. Backup Return-Path: Delivered-To: Received: from thales.mathematik.uni-ulm.de( ) via SMTP by turing.mathematik.uni-ulm.de, id smtpdgragbo; Sat Jul 19 12:26: Delivered-To: Received: from ulm9-d9bb5339.pool.mediaways.net( ), claiming to be+"microsoft.com" via SMTP by thales.mathematik.uni-ulm.de, id smtpdobaqst; Sat Jul 19 12:24: Subject: Lieber Anwender From: Organization: Microsoft Hi Thomas. How are You? Yours, Bill G. Kein Absender (From) wäre möglich! Hier kein Empfänger! Seminar Internetdienste SS 2003 Folie 27