Strategien gegen Spam

Transkript

1 Strategien gegen Spam Ein Überblick 2003 zeitform Internet Dienste Fraunhoferstraße Darm stadt Tel: Fax:

2 Was ist SPAM? 2 Vikings: SPAM SPAM SPAM SPAM Lovely SPAM! Wonderful SPAM! SPAM SPA-A-A-A-A-AM SPAM SPA-A-A-A-A-AM SPAM Lovely SPAM! Lovely SPAM! Lovely SPAM! Lovely SPAM! Lovely SPAM! SPAM SPAM SPAM SPAM!

3 Was ist Spam? 3

4 Was ist Spam? UBE Unsolicited Bulk UCE Unsolicited Commercial 4 Unsolicited: (dt unverlangt, unerbeten, unaufgefordert): Die Zusendung der wurde nicht explizit vom Empfänger angefordert oder erwartet Bulk (dt Masse, Menge): identische Nachrichten wurden an eine nicht-triviale Anzahl von Empfängern versendet Ab welcher Zahl von Empfängern eine Nachricht als UBE gelten kann, ist nicht definiert Commercial (dt gewerblich): Die wirbt idr für kommerzielle Produkte und Dienstleistungen

5 Zunahme von Spam Prozent Jan 02 Feb 02 Mar 02 Apr 02 May 02 Jun 02 Jul 02 Aug 02 Sep 02 Oct 02 Nov 02 Dec 02 Jan 03 Feb 03 Mar 03 Apr 03 May 03 Jun 03 Jul 03 Aug 03 Sep 03 Oct 03 Nov 03 Dec 03 5 Quelle:

6 Inhalte von Spam Product 21 Financial Adult Scams 9 Health Leisure Internet Fraud Spiritual 3 3 Political 2 Other ,5 5 7, , , ,5 25 Prozent Quelle:

7 Herkunft von Spam 7 Quelle:

8 Herkunft von Spam (ISPs) 8 1 uunet (UUNET/MCI, USA) 2 chinanet-gd (Chinanet Guangdong, China) 3 abovenet (AboveNet, USA) 4 kornetnet (Kornet/KT, Korea) 5 chinanet-cq (Chinanet Chongqing, China) 6 exodusnet (Exodus/Cable & Wireless, UK) 7 level3net (Level 3, USA) 8 cwnet (Cable & Wireless, UK) 9 chinanet-fj (Chinanet Fujian, China) 10 hinetnet (HiNet, Taiwan) TOP10 Worst Spam ISPs (January 2004) Quelle:

9 AboveNet Customer Anti-Spam Policy [] AboveNet, Inc (AboveNet), has zero tolerance for Unsolicited Broadcast and Unsolicited Commercial ( UBE/UCE, commonly known as Spam ) whether originating from customers, from customers' customers, or from customers that provide services which are used to support UBE/UCE [] 9 Quelle:

10 Die Spam 10

11 Die im Rohformat Return-Path: Received: from [] Received: from yandexru ([ ])[] From: "Friendly Doctor 8497" To: Subject: Want a BIG Penis? ID:[6040] Date: Mon, 17 Jun :21: Mime-Version: 10 Content-Type: text/html; charset="iso " 11 <html> <head> <title>want a BIG Penis?</title> </head> <body lang=ru link=blue vlink=purple style='tab-interval:354pt'> [] </body> </html>

12 Der Versand von Spam (SMTP) Spammer SMTP SMTP Empfänger Open Relay Proxy Formmailer Hijacked Mein Provider Spammer Direct-to-MX 12

13 Der SMTP-Dialog 13 S: 220 mailempfaengerde ESMTP C: HELO mailyandexru S: 250 mailempfaengerde C: MAIL FROM: S: 250 ok C: RCPT TO: S: 250 ok C: DATA S: 354 go ahead C: From: "Friendly Doctor 8497" C: To: C: Subject: Want a BIG Penis? ID:[6040] [] C: S: 250 ok qp 2592 C: QUIT S: 221 mailempfaengerde

14 Verfügbare Informationen IP-Adresse des SMTP-Clients (verlässlich) HELO/EHLO-String: Hostname (gefälscht) Envelope MAIL FROM (gefälscht) Envelope RCPT TO (muss korrekt sein) Received: (gefälscht, nur teilweise verlässlich) From:, To:, Return-Path:, (gefälscht) Weitere Mail Header (gefälscht) Mail Body (Spam) 14

15 Blockieren von IP-Adressen IP-Adresse des SMTP-Clients ist verlässlich SMTP-Dialog wird mit Fehler quittiert: 451 Requested action aborted: error in processing 553 Requested action not taken: mailbox name not allowed Statische Blacklist (zb durch Spam-Traps) DNSBL/RBL (DNS-based Blocklist, Realtime Blocklist) Web-Interface: Frühestmögliche Abwehr von Spam Nachteil: Kollateralschaden (zb Dial-Up Adressen) 15

16 DNS-based Blocklist 16 mail-abuseorg (MAPS, kommerziell, verschiedene Listen) spamhausorg (SBL/XBL/ROKSO, bekannte Spammer) spewsorg (spam-freundliche ISPs, sehr aggressiv) dsblorg (unsichere Mailsysteme) relaysosirusoftcom (verschiedene Listen) spamcopnet (von Empfängern gemeldete Adressen) dnsblsorbsnet (Open Relays) ordborg (Open Relays) monkeyscom (verschiedene Listen) devnulldk (Open Relays) blackholesus (spam-freundliche ISPs und Staaten)

17 DNS-based Blocklist Beispiel: > host -t any sblspamhausorg sblspamhausorg has address sblspamhausorg descriptive text " Beispiel: > host -t any sblspamhausorg Host not found

18 DNS-based Blocklist 18 ; spfilter magic sources: SBL,SBL (057_031210) ; bind zone rblzeitformde $TTL $ORIGIN SOA rblzeitformde rootrblzeitformde ( NS MX 100 mailzeitformde ; test-entries about TXT "zone built by spfilter/059 (SBL, bind, )" TXT "Test bind rblzeitformde [ ]" A ; {every dnsbl should have that} ; listed addresses TXT "SBL A TXT "SBL A TXT "SBL A TXT "SBL A []

19 Envelope-Check HELO hostdomaincom Blacklist/Whitelist mit HELO-Strings Prüfung auf FQDN Prüfung der Domain über DNS und rdns MAIL Blacklist/Whitelist mit Absendern/Absender-Domains Prüfung des Domain-Teils über DNS und rdns Prüfung auf DSN (dsnrfc-ignorantorg, MX takes bounces) 19

20 Grey-Listing 20 Quelle:

21 Grey-Listing Annahmen: Spammer geben den Versand von Spam nach einem Deferral auf Spammer senden nicht mehrmals Nachrichten an den selben Empfänger (von der gleichen Absenderadresse) Spammer benutzen kein VERP (Variable Envelope Return Paths, Spammer fälschen keine existierenden Absender-Adressen 21

22 Grey-Listing Daten: IP-Adresse des Sender-MTA Envelope Sender (mail from:) Envelope Empfänger (rcpt to:) Zeit der Erfassung Verfallsdatum der Blockierung Verfallsdatum des Eintrages Anzahl geblockter Verbindungen Anzahl zugelassener Verbindungen Tripel 22

23 Grey-Listing nein Blockiere (deferral) Erzeuge Eintrag Tripel in Datenbank? ja, kurze Zeit Blockiere (deferral) Erhöhe Zähler für blockierte Verbindungen 23 ja, lange Zeit Akzeptiere Verlängere Lebensdauer Erhöhe Zähler für zugelassene Verbindungen

24 -Analyse-Verfahren Typische Formulierungen im Betreff der Typische Formulierungen im Body der Typische Eigenschaften der Mit Spam in Verbindung stehende Body URIs Checksummen-Verfahren (Razor, DCC, Pyzor) DNSBL/RBL-Prüfung der Received-Header Statistische Verfahren (Bayes) Absender in Whitelist/Blacklist 24

25 Typische Formulierungen für Spam 25 Viagra, Big Boobs, larger penis, Impotence cure XXX Photos, Instant Access, Amateur Porn click here, for free, call now, unsubscribe Senate Bill 1618, This is not spam, opt-in Million Dollars, check or money order, pure profit University Diplomas, Toner Cartridge, Free DVD As seen on national TV!, No Medical Exams International driving license, NIGERIAN BANK gratis, Gewinnspiel, Hausfrauensex, Pu-Erh-Tee ist kein Spam, JETZT, seriös, anonym, abmelden ohne dialer, Sonderaktion, Vorteile sichern

26 Typische Eigenschaften für Spam 26 Gappy Text, GROSSBUCHSTABEN, Leerraum Fehlendes oder falsches Datum Gefälschter User-Agent oder X-Mailer Hinweise auf Spam-Tools Text ist base64-kodiert HTML-Mail mit font-tags (size, color) HTML-Mail mit Bild(ern) und wenig/keinem Text HTML-Mail mit großgeschriebenen Tags HTML-Mail mit IP-Adressen oder Escaping in URLs ASCII-Formular [ ] Text enthält wirre Zeichenfolgen fgrtz asdfrt sfsdf dgd Received-Header sind gefälscht

27 Typische Eigenschaften legitimer PGP-Signatur, Habeas Warrant Mark Text enthält Zitate > Gültiger User-Agent oder X-Mailer Eigenschaften von Mailinglisten-Software (majordomo) Vorhandene Signatur ( -- ) Nachricht von Mailer-Daemon Hotmail- oder MSN-Footer In-Reply-To Header 27

28 Text-Analyse 28 Links:

29 Text-Analyse From: Ezequiel Subject: G-et Large Ma-les Safe_ly yidyqm_nt To: 29 <html><body>other writings whatsoever: because the subject where of they me<eauh>n, Yo<WuV>u Wi<my>sh Yo<Jlo>u Ha<Yz>d a<mb> Big<xiea>ger Mem<Mu>ber? =<eZTN>=> W<ZjK>e Ca<jbtj>n He<Qx>lp yo<ftzp>u Saf<k>ely Guara<ner>nteed <<MKm>== land and Conseil were slyly watching some of the ship's crew, <a href=" 3;.biz/bgit/">G<w>et Big<XLA>ger To<TGvp>day</a> <a href=" ;z/rephp">st<vts>op Fut<MEzL>ure Spec<xR>ials</a> to say that he risked his life twenty times before reaching </html></body>

30 Text-Analyse From: Ezequiel Subject: G-et Large Ma-les Safe_ly yidyqm_nt To: 30 <html><body>other writings whatsoever: because the subject where of they me<eauh>n, Yo<WuV>u Wi<my>sh Yo<Jlo>u Ha<Yz>d a<mb> Big<xiea>ger Mem<Mu>ber? =<eZTN>=> W<ZjK>e Ca<jbtj>n He<Qx>lp yo<ftzp>u Saf<k>ely Guara<ner>nteed <<MKm>== land and Conseil were slyly watching some of the ship's crew, <a href=" 3;.biz/bgit/">G<w>et Big<XLA>ger To<TGvp>day</a> <a href=" ;z/rephp">st<vts>op Fut<MEzL>ure Spec<xR>ials</a> to say that he risked his life twenty times before reaching </html></body>

31 Body URIs 31 Links:

32 Body URIs Links, Bilder, Skripte im Body von Spam Body URIs sollten verläßlich sein Kollateralschäden möglich Beispiele: 32 bigevilcf (SpamAssassin, Chris Santerre) Filters That Fight Back (Paul Graham) RHSBL (analog DNSBL, vgl RFC-Ignorant)

33 Checksummen-Verfahren DCC: Vipul's Razor: Pyzor: Öffentliche Datenbanken mit Fuzzy-Checksummen gemeldeter oder gefangener Spam-Mails Fuzzy-Checksummen-Algorithmen liefern bei geringen textuellen Änderungen gleichen Wert zusätzlicher Netzwerk-Verkehr für Abfrage 33

34 Checksummen-Verfahren Empfänger Spammer Spam! Spam? Spam! Checksum Database Spam? Spam! 34

35 Checksummen-Verfahren 35 Quelle:

36 Razor2-Spam-Report 36 S: sn=n&srl=76&ep4= &a=l&a=cg C: cn=razor-agents&cv=236 C: a=ai&cn=razor-agents&cv=236&user=alex%40zeitformde S: achal=gjisrhu4_k_o3scjulpkaidnqaix C: a=auth&aresp=3wcztozwfgu9gxf2pxh16srmuska S: res=1 C: -a=r&e=1&s=-kg19hd7raxdxqb3nyq8zq2_t9ka C: a=r&e=4&ep4= &s=wkyzn7tio2l_hrh5p-n5vfvivyga C: a=r&e=4&ep4= &s=imf 1UeBM3RhgTO_YRIW7v580UA C: S: -res=1 S: err=230 S: err=230 S: C: -a=r&message=* C: From Wed Oct 8 11:40: C: [] C: S: res=1 C: a=q

37 Razor2-Spam-Abfrage Spam S: sn=c&srl=72&ep4= &a=l C: a=c&e=4&ep4= &s=on7bduvy4ew2tdwvvnplfwlrucoa S: p=1&cf=100 C: a=q Kein Spam S: sn=c&srl=72&ep4= &a=l C: a=c&e=4&ep4= &s=id8u8ofcedyruht2d9dp6rmdlxya S: p=0 C: a=q 37 Info:

38 Bayes-Verfahren - Lernphase Spam click here to get your free porn! n=1000 tokenize Token # free 85 porn 324 click 123 software 2 here 23 38

39 Bayes-Verfahren - Lernphase Spam click here to get your free porn! n=1000 tokenize Token # free 85 porn 324 click 123 software 2 here Ham this article on free software n=1000 Token # free 67 article 45 click 12 here 21 software 56

40 Bayes-Verfahren - Lernphase Spam Token # 40 click here to get your free porn! n=1000 Ham this article on free software n=1000 tokenize free 85 porn 324 click 123 software 2 here 23 Token # free 67 article 45 click 12 here 21 software 56 Token Spamicity free article porn click software here Bayes-DB

41 Bayes-Verfahren - Auswertungsphase??? click to download free porn software tokenize Token porn software click free Spamicity 41

42 Bayes-Verfahren - Auswertungsphase 42??? click to download free porn software tokenize Token Spamicity porn software click free most significant Token Spamicity free article porn click software here Bayes-DB

43 Bayes-Verfahren - Auswertungsphase 43??? click to download free porn software Spam tokenize Token Spamicity porn software click free Score: most significant Token Spamicity free article most significant porn click software not significant here Bayes-DB

44 SpamAssassin Header Analyse Text Analyse Auto-Whitelist Bayes-Filter DNSBL, RHSBL Razor, Pyzor, DCC erweiterbar durch eigene Regeln ( flexible MTA Unterstützung Freie Software (Artistic License, APL ab Version 270) 44

45 SpamAssassin 45

46 SpamAssassin 46 X-Spam-Report: * 26 LOSE_POUNDS Subject talks about losing pounds * 06 J_CHICKENPOX_34 BODY: {3}Letter - punctuation - {4}Letter * 29 BANG_EXERCISE BODY: Talks about exercise with an exclamation! * 24 ALL_NATURAL BODY: Spam is 100% natural?! * 01 HTML_MESSAGE BODY: HTML included in message * 03 HTML_FONT_BIG BODY: HTML has a big font * 11 RAZOR2_CF_RANGE_51_100 BODY: Razor2 gives confidence between 51 * and 100 [cf: 100] * 54 BAYES_99 BODY: Bayesian spam probability is 99 to 100% * 03 MIME_HTML_ONLY BODY: Message only has text/html MIME parts * 01 HTML_50_60 BODY: Message is 50% to 60% HTML * 01 HTML_FONTCOLOR_RED BODY: HTML font color is red * 30 BigEvilList_193 URI: Generated BigEvilList_193 * 10 RAZOR2_CHECK Listed in Razor2 ( * 29 DCC_CHECK Listed in DCC ( * 20 DATE_IN_FUTURE_06_12 Date: is 6 to 12 hours after Received: date * 26 RCVD_IN_DYNABLOCK RBL: Sent directly from dynamic IP address * [ listed in dnsblsorbsnet] * 07 PLING_PLING Subject has lots of exclamation marks

47 SpamAssassin X-Spam-Contact: Please contact [] X-Spam-Flag: YES X-Spam-Checker-Version: SpamAssassin 263-zeitform_111 ( ) on mailzeitformde X-Spam-Level: **************************** X-Spam-Status: Yes, hits=282 required=80 tests=[] autolearn=spam version=263-zeitform_111 X-Spam-Report: [] 47

48 Empfänger-Verifikation Unsubscrib For removal hit reply and put "Remove" in subject line Click here -Link <a href=" here!</a> 48 Unsichtbare Links <img src=" <img <iframe src=" <script language="javascript"></script>

49 Empfänger-Verifikation Beispiel: <img src=" life/logogif?domreg-tarrallorg-ihcotjqocpkxvbegysjwxyl"> kriirccfix-ufdivx tarrallorg-domreg (ROT17) 49

50 Adress-Sammler 50 UseNet, Mailinglisten, Webseiten, Whois Online- und Offline-Formulare, Promotion Ident Daemon, Finger Daemon, IRC, Chat Web Browser (anon FTP, JavaScript, HTTP_FROM) AOL Profile (AOL Nutzer = Primärziele) Yellow Pages (hotmail bigfoot) Raten/Wörterbuchattacke Rechnerzugiff, Viren, Netzüberwachung, Social Engineering Info:

51 Spam-Viren Beispiele: Mimail, Sobig, Fizzer SMTP-Engine sammelt Adressen aus Outlook, Adressbuch, Dateien Joe Job/dDoS-Angriffe gegen Anti-Spam Community Fernadministration Bots, Würmer, HTTP-Server, Proxy Self-Update, Umgehung Anti-Virus-Schutz 51 Info:

52 Schutz vor Adress-Sammlern 52 Verzicht auf Veröffentlichung der eigenen Adresse Adresse in Grafik einbetten (ganz/teilweise) alex zeitformde Adresse ausschreiben alex at zeitform dot de, HTML-Entities, URL-Encoding alex%40zeitformde JavaScript <script language="javascript"> var Mailme = "alex@" + "zeitformde"; documentwrite('<a href="mail' + 'to:' + Mailme + '">'); documentwrite(mailme + '</a>'); </script>

53 Adress-Sammler entdecken 53 Verwendung einmaliger Adressen bzw Erweiterungen Verwendung von SMTP-Kommentaren Verwendung dynamischer Adressen (Spamtrap: IP, Datum) Access Log des Webservers - User-Agent - Keine angeforderten Bilder - Zugriffs-Häufigkeit und -Reihenfolge - CGI-Traps (zb wpoison)

54 Habeas Sender Warranted X-Habeas-SWE-1: winter into spring X-Habeas-SWE-2: brightly anticipated X-Habeas-SWE-3: like Habeas SWE (tm) X-Habeas-SWE-4: Copyright 2002 Habeas (tm) X-Habeas-SWE-5: Sender Warranted (SWE) (tm) X-Habeas-SWE-6: in exchange for a license for this Habeas X-Habeas-SWE-7: warrant mark warrants that this is a Habeas Compliant X-Habeas-SWE-8: Message (HCM) and not spam Please report use of this X-Habeas-SWE-9: mark in spam to < 54

55 Challenge-Response-Verfahren Sender C/R-System Empfänger Absender bekannt? ja nein Challenge Challenge senden 55 Response zustellen

56 Challenge-Response-Verfahren Reduziert Spam auf nahezu 0% Erhöhter Auswand für Absender Erhöhter Netzwerkverkehr Belästigt Unschuldige (gefälschter Absender, Joe-Job ) Beispiel: TMDA ( 56

57 57 Copyright (c) zeitform Internet Dienste Permission is granted to copy, distribute and/or modify this document under the terms of the GNU Free Documentation License, Version 12 or any later version published by the Free Software Foundation; with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts A copy of the license can be found at:

58 History v10: Erstveröffentlichung anläßlich des CAST-Workshops Spam-Abwehr ( 58