Wie ich ihn fand und was ich mit ihm anstellte, als ich ihn gefunden hatte.

Transkript

1 Wie ich ihn fand und was ich mit ihm anstellte, als ich ihn gefunden hatte. Alien8 Linux-Info-Tag Dresden

2 "Nobody will ever need more than 640k RAM!" -- Bill Gates, 1981 Two years from now, spam will be solved Bill Gates, 2004, Davos

3 Disclaimer Dem Betreiber eines gewerblich genutzten Mailservers steht es nur in sehr begrenzten Ausnahmefällen zu, die Annahme fremder s etwa mittels einer DNS-Blacklist zu unterbinden. Dies entschied das Landgericht Lüneburg mit Urteil vom 27. September 2007 (Az. 7 O 80/07). Es verurteilte einen Hosting-Provider dazu, die Mails eines Mitbewerbers aus Österreich selbst dann auszuliefern, wenn dieser unerwünschte -Werbung versendet.... Der Beklagte, der ein kleines Providerunternehmen betreibt, hatte nach eigenen Angaben im Sommer 2007 über den Mailserver der Klägerin unerwünschte Werbung in Form einer gefälschten Rechnung bekommen.

4 Agenda Warum gibt es? Was ist ? Wie versandt wird. -Filter Filter-Mix Angriff der krieger

5 Warum?

6 Werbung ist Meinungsbildung. Werbung funktioniert! Werbung ist Big Biz! 30s prime-time TV 1.8 per Erwachsenen; eine Seite im Magazin ca. 0.9 pro Leser Autobahnplakat ca. 0,21 per Auto. Snail Mail 55 per pro Brief. < 0,01 pro , Kosten beim Empfänger, Gdata: 20 Mio für 350 Bruce Schneier:

7 in Zahlen 90% aller s ist -König Robert Soloway von USD Gewinn. anteil 40% täglich versandter 12.4 billion pro Tag und Nutzer 6 jährlich pro Nutzer 2,200 Antworten pro Nutzer 28% Kaufrate von s 8%

8 Namensgebung Hormel Foods Monty Python Serie Shoulder pork and ham SPiced ham spam, spam, spam, lovely spam, wonderful spam RPG/MUD, flooding wurde genannt IRC 1978 erster durch DEC ins Arpanet (kauft DEC-20) 1994 erstmals im Usenet Anwaltskanzlei wirbt für Green-Card

9 Was ist ?

10 Kommunikationszeitleiste Download Chat Interaktionszeit Paket Brief Telefon

11 Einordnung ? Store and Forward System (Queuing) Ich bestimme, wann ich s lese! z. B. wie Anrufbeantworter/Postfach gut sortierbar (Sieve) gut prozessierbar (Procmail) gut archivierbar (speichern, indizieren, suchen) 1:1 und 1:n Abgehangen

12 Geschichte Entwicklung seit 1970 SMTP-RFC 821 ist von August 1982 (Jonathan Postel) Heute ESMTP (RFC 2821, 2001)

13 19 82 Was für ein Jahr!

14

15

16 Gegründet! 2007

17 SMTP maul:~# nc mail.skyhub.de 25 -> 220 mail.skyhub.de ESMTP ZX Spectrum (128k) <- HELO maul.localhost -> 250 mail.skyhub.de <- MAIL -> 250 Ok <- RCPT -> 250 Ok <- DATA -> 354 End data with <CR><LF>.<CR><LF> <- To: Frank Becker <- From: Frank Becker <- Subject: SMTP Handarbyte <<- Na was wohl, etwas testen ;) <<- cu <-. -> 250 Ok: queued as 9A2E9D0012 <- quit -> 221 Bye

18 SMTP 2, No relaying -[~:] swaks -t -f -s mail.skyhub.de === Trying mail.skyhub.de:25... === Connected to mail.skyhub.de. <220 mail.skyhub.de ESMTP ZX Spectrum (128k) -> EHLO maul.local <250-mail.skyhub.de <250-PIPELINING <250-SIZE <250-VRFY <250-ETRN <250-STARTTLS <250 8BITMIME -> MAIL <250 Ok -> RCPT <** 454 Relay access denied -> QUIT <221 Bye swaks

19 SMTP Kommandos (Auswahl) HELO <FQDN> Klient stellt sich vor EHLO <FQND> Klient stellt sich vor + Frage nach ESMTP-Befehle VRFY <Adr> Adresse auf Server überprüfen MAIL FROM: <Adr> Envelope-Adresse (Absender-Adresse) RCPT TO: <Adr> Empfängeradresse DATA es folgt der Inhalt AUTH <Methode> Authentifizierung STARTTLS TLS-Verbindung aufbauen QUIT Verbindung beenden

20 SMTP Header Return-Path: Received: from murder ([unix socket]) by mail.skyhub.de (Cyrus v debian ) with LMTPA; Thu, 01 Nov :53: X-Sieve: CMU Sieve 2.2 Received: from localhost (localhost [ ]) by mail.skyhub.de (SuperMail on ZX Spectrum 128k) with ESMTP id 2BB351C323C for Thu, 1 Nov :53: (CET) X-Virus-Scanned: Nedap ESD1 at mail.skyhub.de X--Flag: YES X--Score: X--Level: ********************** X--Status: Yes, score= tagged_above=0.5 required= X--Report:... Received: from mail.skyhub.de ([ ]) by localhost (corsair.skyhub.de [ ]) (amavisd-new, port 10024)with ESMTP id aw9ropwmenjp for <fb@alien8.de>; Thu, 1 Nov :53: (CET) Received-SPF: softfail (corsair.skyhub.de: transitioning domain of jr-abiko@sirius.ocn.ne.jp does not designate as permitted sender) Received: from cthulhu.c3d2.de (cthulhu.c3d2.de [ ]) by mail.skyhub.de (SuperMail on ZX Spectrum 128k) with ESMTP for <fb@alien8.de>; Thu, 1 Nov :53: (CET) Received: from jersey.com (unknown [ ]) by cthulhu.c3d2.de (Postfix) with SMTP id 937EF44C61C for <mail@c3d2.de>; Thu, 1 Nov :53: (CET) Received: from (HELO mfgw2.ocn.ad.jp) by c3d2.de with esmtp (JUAJCHQFMN JOXCUA) id QDwlZt-i4kPy8p for mail@c3d2.de; Thu, 01 Nov :53: Message-ID: <282f01c81c19$3898fe90$ac10372c@Sophia> From: "Sophia Q. Miner" <Sophia@sirius.ocn.ne.jp> To: "Shawna B. Holbrook" <mail@c3d2.de> Subject: [SPAM] Become a god of s'e_x in her eyes with your new bigger and harder package

21 Mail Transfer Agent Beispiel: Postfix

22 Postfix Cheat Sheet mailq postfix flush Warteschlange (Queue) ausliefern postconf listet Warteschlange ändert Postfix Konfig-Parameter postsuper -r ALL Requeueing aller Mails (DNS wird neu aufgelöst) postsuper -d ID löscht Einträge in der Mailqueue postcat -q ID zeigt Inhalt einer Mail in d. Queue postlog was in die Logdatei schreiben

23 Backscatter Hallo! Sie haben uns eine geschickt, in der wir einen bösen Virus gefunden haben... sinnfrei, da From: gefälscht Backscatter MTAs ggf. in DNSBLs aufgenommen Backscatter Howto für Postfix

24 -Versand

25 Wie versendet man? Open Relay (wird automatisch gesucht) Web-Formulare (Antwort wird geschickt, selbst mit Capatcha) CONNECT Proxies HTTP/1.0 HELO spammer MAIL FROM: <[...]> RCPT TO: <[...]> DATA . Bot-Netze (remote Management gehackter Rechner) SOCKS Proxy

26 Fast Flux flexible Zwischenschicht von Proxies Bot-Net Problem: C&C Mutterschiff ist Single Point of Failure flexible Proxy-Zwischenschicht

27 DNS-Rebind Angriff Christian Matthies Einbruch über WebBrowser 1. DNS Abfrage zeigt auf Angreifer 2. DNS Abfrage zeigt auf Host im LAN

28 Angriff mittels Flash9

29 -Filter Werkzeugkasten

30 Blocklisten Whitelist Blacklist Listen von: Adressen Domains MTAs (Domainname, IP Adressen) Netze (Bsp: Dial-up)...

31 DNS-Block Listen Prinzip: Look-up in Listen bekannter mer oder Open Relays haus (SBL, XBL and PBL): 75% Datenschutzproblem! aka: DNSBL, RBL, MAPS relativ wenig Systemressourcen kein Backscatter

32 Hash Blocklisten Message Digest verglichen mit bekanntem Bsp: Pyzor (Reimplementierung des closed source Razor) mehr Rechenpower wenig False Positives

33 Distributed Checksum Clearinghouses - DCC fuzzy Prüfsummen über SPAM-Mails Gesammelt wird u. a. mit -Traps seit 2000/2001

34 Malware Block Listen spezialisiert auf Malware eingebunden als regex-filter in Postfix body_checks = regexp:/etc/postfix/mbl-body-deny

35 Sender Policy Framework Welche Hosts dürfen Mails für bestimmte Domain versenden -> Info aus DNS alien8.de. IN TXT "v=spf1 a a:mail.skyhub.de \ a:corsair.skyhub.de a:static clients.your-server.de ip6:2001:6f8:900:5ca::2 mx:bsd-crew.de -all" -[~:] spfqtool -i s eris@gmx.net -h alien8.de SPF short result: fail SPF verbose result: policy result: [fail] from rule [-all] RFC2822 header: Received-SPF: fail (alien8.de: domain of eris@gmx.net does not designate as permitted sender) receiver=alien8.de; client_ip= ; envelope-from=eris@gmx.net; -[~:] spfqtool -i s fb@alien8.de -h sputnik.alien8.de SPF short result: pass SPF verbose result: policy result: [pass] from rule [a] RFC2822 header: Received-SPF: pass (sputnik.alien8.de: domain of fb@alien8.de designates as permitted sender) receiver=sputnik.alien8.de; client_ip= ; envelope-from=fb@alien8.de; spfqtool

36 SPF in IPv6 relativ billig (DNS-Abfrage) Meinung: Broken by Design -[~:] echo "2001:6f8:900:5ca::2 spfquery -f pass spfquery: domain of alien8.de designates 2001:6f8:900:5ca::2 as permitted sender Received-SPF: pass (spfquery: domain of alien8.de designates 2001:6f8:900:5ca::2 as permitted sender) client-ip=2001:6f8:900:5ca::2; helo=; -[~:] echo "2001:6f8:900:5ca::1 spfquery -f fail Please%see% 00%3a5ca%3a%3a1&receiver=spfquery : Reason: mechanism spfquery: domain of alien8.de does not designate 2001:6f8:900:5ca::1 as permitted sender Received-SPF: fail (spfquery: domain of alien8.de does not designate 2001:6f8:900:5ca::1 as permitted sender) client-ip=2001:6f8:900:5ca::1; envelope-from=fb@alien8.de; helo=;

37 SPF Kritik Zwangsrelay UDP reicht nicht für TXT-Records (SPF hat schon eigenen DNS Record Typ) DNS DoS (Lawineneffekt) genutzt von z. B.: GMX, Microsoft (Hotmail), AOL, Googl , alien8.de

38 Domain Keys Identified Mail (DKIM) sendender MTA signiert SHA-1 über Mail Header und Body (RFC2822), mit RSA verschlüsselt (nicht über Envelop) empfangender MTA prüft Signatur RSA public Key im DNS _domainkey Record Type Sender Empfänger Sender MTA Empfänger MTA signieren Signatur prüfen DNS

39 DKIM Beispiel Authentication-Results: mail.skyhub.de dkim=pass (1024-bit key) X-Virus-Scanned: Nedap ESD1 at mail.skyhub.de... Received: from adolar.alien8.de (unknown [ ]) (using TLSv1 with cipher ADH-AES256-SHA (256/256 bits)) (No client certificate requested) by mail.skyhub.de (SuperMail on ZX Spectrum 128k) with ESMTP id 5BAF21C327E for Fri, 2 Nov :00: (CET) DKIM-Signature: v=1; a=rsa-sha1; c=simple/simple; d=alien8.de; s=alien8; t= ; bh=7uqdqo3evtndx6hk/olpr/taswm=; h=received:date:to: From:Subject:X-Mailer:Message-Id; b=yjpzlc5lx6nhnlqzlro39uycj9xoqc GQ2s1GoBrfSjy/uFa5jDZMUrPSE+UP29Pe2QHI0VEZTHYDMv0sLR7tMGbw5ipeZhNsY PqkVx5+dDWjGzzV9pxHK1OIUykJZ7/e0a+aFigHZ57CTma8OhM6je0SGcbQnOJg1RyI 9IsZN3U= Received: from sputnik.local (localhost [ ]) by adolar.alien8.de (SuperMail on ZX Spectrum 48k) with ESMTP id B15FBD6784 for <fb@alien8.de>; Fri, 2 Nov :00: (CET) Date: Fri, 02 Nov :00: To: fb@alien8.de From: fnord@alien8.de corsair:~# dkim-stats /var/run/dkim-filter/dkim-stats alien8.de:0/0 42 pass/0 fail, last v=6, l=0, a=0, Fri Nov 2 16:00: ebay.de:1/1 10 pass/0 fail, last v=2, l=0, a=0, Fri Nov 2 12:05: abv.bg:0/0 1 pass/0 fail, last v=6, l=0, a=0, Fri Oct 26 09:31:

40 DKIM Kritik Patentiert von Yahoo (unter GPL v2 frei gegeben) Krypto kostet CPU Mailinglisten machen DKIM kaputt

41 Bayes Filter Thomas Bayes (ca ) Filter wird mit Ham und angelernt, d. h. ist selbst lernend statistische Analyse der vorkommenden charakteristischen Begriffe Gefiltert wird dann nach Häufigkeit der Hamund begriffe assasin

42 Markow-Filter statt Wörtern werden Wortketten zur Klassifizierung genutzt CRM114

43 Bilder- etc. Anhänge verrauschte Bilder im Anhang (GIF, JPG) PDFs Excel-Dateien MP3s Gegenmaßnahmen OCR Prüfsummen Bewertung von Eingebetteten Elementen

44 p0f Wer sendet Mails? System-Fingerprinting mit p0f [0] Bewertung von: Sender-O/S Distanz Some statistics collected from our logs in February 2006: p0f OS guess ham : spam Windows-XP 0.7 % : 99.3 % Windows % : 94.2 % UNKNOWN 16.5 % : 83.5 % Linux 58.8 % : 41.2 % Unix 80.3 % : 19.7 % (Unix+Linux 66.5 % : 33.5 %) (ham: mail with score below 3, [0] spam: score above 6)

45 Greylisting Idee: -Relays können kein Queueing Also: erst mal abweisen. Versucht der Sender es nochmal nach ca. 3 min wird die angenommen und zugestellt. Gespeichert werden Sender IP Sender Adresse Empfänger Adresse

46 Need all forces

47 Designregeln für filter Ressourcen schonende Tests zuerst zeitig blocken (wenn sicher identifiziert) Blocken, nicht Dropen alle s zustellen (kein automatisches Wegwerfen) Filter und Regeln aktuell halten Monitoren wichtiger Parameter bitte kein Backscatter

48 assasin regelbasiertes Testsystem, vergibt Punkte Assassin 3.x, scores bestimmt mittels Neuronalem Netz, an trainiert mit Error Back Propagation (Perceptron) kann viele Techniken einbinden relativ hoher Ressourcenbedarf für Server und Clients

49 assassin Babysitting Trainieren! macro index \Cx " ssh \"sudo \ /usr/bin/sa-learn --dbpath /pathto/amavis/.spamassassin/ --spam \ \"" "Teach assassin on corsair this message is spam." Regeln aktualisieren: updates.spamassassin.org

50 AMaViS - A Mail Virus Scanner Interface zum MTA als Content-Filter Wrapper: Decoder / Entpacker (TNEF, cab, doc, zip, gzip,...) Anti-Virus Filter (ClamAV, viele...) assassin SPF/DKIM OS Fingerprinting (p0f) Black-/Whitelisting Header rewrite Quarantäne Ressourcenhungrig Testen: /etc/init.d/amavis debug

51 Beispiel: gefundener Return-Path: X--Score: X--Level: **** X--Status: Yes, score=4.606 tagged_above=0.5 required=2.31 tests=[awl=-0.205, BAYES_60=1, FROM_EXCESS_BASE64=1.309, HTML_IMAGE_ONLY_20=1.157, HTML_IMAGE_RATIO_02=0.463, HTML_MESSAGE=0.001, HTML_SHORT_LINK_IMG_3=0.881, MIME_HTML_ONLY=0.001, SPF_PASS=-0.001] X--Report: * -0.0 SPF_PASS SPF: sender matches SPF record * 1.2 HTML_IMAGE_ONLY_20 BODY: HTML: images with bytes of words * 0.5 HTML_IMAGE_RATIO_02 BODY: HTML has a low ratio of text to image * area * 1.0 BAYES_60 BODY: Bayesian spam probability is 60 to 80% * [score: ] * 0.0 HTML_MESSAGE BODY: HTML included in message * 0.0 MIME_HTML_ONLY BODY: Message only has text/html MIME parts * 0.9 HTML_SHORT_LINK_IMG_3 HTML is very short with a linked image * 1.3 FROM_EXCESS_BASE64 From: base64 encoded unnecessarily * -0.2 AWL AWL: From: address is in the auto white-list Received: from mail.skyhub.de ([ ]) by localhost (corsair.skyhub.de [ ]) (amavisd-new, port 10024) with ESMTP id wl9xa5lljp5h for <fb@alien8.de>; Fri, 2 Nov :48: (CET) Received-SPF: pass (corsair.skyhub.de: domain of bounce2@edt02.net designates as permitted sender)... From: "FOTO.com" <hilfe.de@foto.com> To: fb@alien8.de Reply-To: "FOTO.com" <hilfe.de@foto.com>

52 Oktober, Angriff der krieger

53 Domainklingeln Domains werden nach scheinbar zufälligen Empfängern durchprobiert. -> MTA-Überlast, kritisch

54 Anti- im Kernel :-) Firewall Rate-Limiter: Whitelist darf ungebremst senden Greylist darf mit 50 SYNs pro Minute --dport 25 -m limit --limit 50/min --limit-burst 80 -j ACCEPT Blacklist wird geblockt Daemon (fusd) prüft das mail.log auf spezielle Rejects fügt IPs der Blacklist zu prüft vorher die Greylisting-Whitelist u. a. entfernt IPs nach festgelegter Zeit (1 Tag) Nutzt ipset, da Blacklist schnell > 10k Einträge

55 fusd in Aktion git clone Anzahl der Blacklist IPs

56 exit 0 if (not $fragen)