Seite: 1 Enterprise-Level Mail Systems II. NUBIT 2007 Kiel, 23. Februar. Edda Hochstrate NetUSE AG eh@netuse.de

Transkript

1 Seite: 1 Enterprise-Level Mail Systems II NUBIT 2007 Kiel, 23. Februar Edda Hochstrate NetUSE AG eh@netuse.de

2 Enterprise-Level Mail Systems Große Mailsysteme, kleine Schmerzen? Kristian Köhntopp, NUBIT

3 Was ist Enterprise-Level? Ausfallsicher bei Hardwareschaden bei Mailwellen Skalierbar über alle User pro User Mails pro Ordner Ordner pro User pro Standort pro Domain Integrierbar keine Firma ab einer bestimmten Größe hat ein homogenes Mailsystem unterschiedliche Zugänge für Anwender: POP3/IMAP4 mit SSL? über Web? Für Anwendungen: Virus-Scanner? Mailinglisten? Pflegeinterfaces?

4 Hardwarekonzept Mailserver doppelt Jede Maschine kann für beide übernehmen Storage doppelt jedes Array hat alle Daten Multipathing Mehrere NICs Mehrere Kabelwege System 1 System 2 Storage 1 Storage 2 System 1 System 1 System 2 Storage 1 Storage 2 Storage 2

5 Softwarekonzept Einsatz von Standardprotokollen POP3 IMAP4 LMTP SMTP LDAP Einsatz von Standardsoftware sendmail Cyrus IMAP perdition Proxy Veritas (VM, FS, CS) iplanet Directory 4.x Interscan Viruswall Outside Mail SMTP sendmail Routing LMTP Inside Mail Cyrus lmtpd Auth SMTP POP3 IMAP4 Perdition Proxy Cyrus pop3d Cyrus master Anwender POP3 IMAP4 Auth Cyrus imapd LDAP Replica

6 Seite: 6 Enterprise-Level Mail Systems II Bewährtes in aktueller Version POP3, IMAP SMTP Spamfilter Neue Schmerzen? Spam-Bekämpfung am Gateway

7 Seite: 7 Bewährtes in aktueller Version POP3, IMAP I Perdition 1.17 POP3, IMAP Proxy auch SSL und TLS Module für diverse Datenspeicher LDAP, MySQL, PostgreSQL, ODBC Hochverfügbarkeit mittels DNS RoundRobin Verfügbarkeit testen, DNS autoupdate Loadbalancer

8 Seite: 8 Bewährtes in aktueller Version POP3, IMAP II Cyrus stable 2.2.x Multidomainfähigkeit integrierte Authentifizierungsmethoden für MySQL, LDAP (über saslauthd) testing 2.3.x

9 Seite: 9 Bewährtes in aktueller Version POP3/IMAP III Perdition 0 Client POP/IMAP 8) OK Loadbalancer... 1) AUTH Perdition n 2) user Cyrus 0 pop3d, imapd SASL 7) OK Cyrus 1 pop3d, imapd SASL 4) AUTH 3) Mailstore 5) user 6) pass Loadbalancer LDAP/MySQL- Replika 0... LDAP/MySQL- Replika n

10 Seite: 10 Bewährtes in aktueller Version SMTP Mailserver extern 1) RCPT TO Sendmail 0 SASL... 4) OK Loadbalancer Client eigener Benutzer 1) AUTH Sendmail n SASL Spam- und Virenfilter 0... Spam- und Virenfilter n Loadbalancer 4) SMTP 3) Routing 7) LMTP Cyrus lmtpd 5) adresse 6) Routing Cyrus lmtpd 2) user 3) pass 2) adresse Loadbalancer LDAP/MySQL- Replika 0... LDAP/MySQL- Replika n

11 Seite: 11 Bewährtes in aktueller Version Spamfilterung I SpamAssassin 3.1.x -Rating basierend auf verschiedenen Verfahren statisch Absenderadresse (Blacklist) Schlüsselworte Suchmuster OCR Regelsätze updaten SARE (SpamAssassin Rules Emporium)

12 Seite: 12 Bewährtes in aktueller Version Spamfilterung II SpamAssassin 3.1.x dynamische Verfahren Herkunft (DNSBL) Bayes-Filter selbstlernend... Performance regelmäßig trainieren Hash-Verfahren über die Nachrichten werden Prüfsummen gebildet Pyzor, Razor2 DCC (Distributed Checksum Clearinghouse)

13 Seite: 13 Bewährtes in aktueller Version Spamfilterung III Hashverfahren Nachricht ist als Spam gelistet Nachricht ist als massenhaft versendet bekannt (DCC) exakt (body) unscharf (fuzzy1, fuzzy2)

14 Seite: 14 "Two years from now, spam will be solved" Bill Gates, Januar 2004

15 Seite: 15 Entwicklung Mailaufkommen vs. Spam Universität Karlsruhe (TH), Fakultät für Informatik

16 Seite: 16 Viel viel Müll /var/spool/mqueue/out01 (368 requests) /var/spool/mqueue/out02 (371 requests) /var/spool/mqueue/out03 (364 requests) [...] /var/spool/mqueue/out30 (366 requests) /var/spool/mqueue/out (354 requests) /var/spool/mqueue/out/real01 (27 requests) /var/spool/mqueue/out/real02 (21 requests) [...] /var/spool/mqueue/out/real09 (17 requests) /var/spool/mqueue/out/real10 (19 requests) Total requests: 11772

17 Seite: 17 Spam-Bekämpfung am Gateway Sendmail-eigene Features Empfängercheck Greylisting SAV (Sender Address Verification) DCC SPF (Sender Policy Framework) TMDA (Tagged Message Delivery Agent) Exoten...

18 Seite: 18 Spam-Bekämpfung Sendmail erst ab Sendmail FEATURE(`require_rdns') Reverse-Auflösung für einliefernden Rechner muss vorhanden sein FEATURE(`block_bad_helo') blockt unqualifizierte HELO-Namen blockt Clients, die unseren Namen angeben KEIN Vergleich zwischen dem HELO-Namen und dem RDNS-Namen!

19 Seite: 19 Spam-Bekämpfung Sendmail erst ab Sendmail FEATURE(`badmx') blockt Absender, deren Domain einen BadMX haben offensichtlich gelogene MX-Records, z. B. barak.net. 1m IN MX 0 localhost.barak.net. localhost.barak.net. 1m IN A

20 Seite: 20 Spam-Bekämpfung Sendmail ab Sendmail 8.13.x FEATURE(`greet_pause',`mx-pause') Server wartet mit der Begrüßung bei Missachtung werden keine Kommandos akzepziert Ausnahmen bilden!! (über Access-DB) greet_pause: define(`confbad_rcpt_throttle',`2') Verzögerung bei zu vielen nicht existierenden Empängern

21 Seite: 21 Spam-Bekämpfung Sendmail ab Sendmail 8.13.x FEATURE(`ratecontrol',,`terminate') erlaubte Verbindungen pro IP im Zeitintervall confconnection_rate_window_size ClientRate: 10 ClientRate: FEATURE(`conncontrol',,`terminate') erlaubte gleichzeitige Verbindungen pro IP ClientConn: 10

22 Seite: 22 Spam-Bekämpfung Empfängercheck Online-Abfragen LDAP (AD), MySQL (Patch erforderlich) Rechte einschränken Sendmail muss NUR -Adressen LESEN können Benutzer aus Verzeichnis exportieren Milter befragt Server, der die -Adressen kennt

23 Seite: 23 Spam-Bekämpfung Greylisting 4xy-Fehler für ersten Zustellversuch danach Triple (IP, Absender, Empfänger) in Auto-Whitelist Hochverfügbarkeit mit milter-greylist Kann zu erheblichen Verzögerungen führen Whitelist für IP, Absender, Empfänge

24 Seite: 24 Spam-Bekämpfung Zahlen... s pro Tag weitergeleitet RCPT Check Greylisting Kunde A (1. MX) Kunde A (2.-4. MX) Kunde B Kunde C Kunde D Kunde E

25 Seite: 25 Spam-Bekämpfung Sender Address Verification 6) 220 OK Client 1) MAIL FROM: 2) MX 123.org? 3) MX-Records DNS Sendmail Milter 4) MAIL FROM: <> RCPT TO: 5) 220 OK MX 123.org Ausnahmen konfigurieren für gute Mailroboter

26 Seite: 26 Spam-Bekämpfung DCC Distributed Checksum Clearinghouse (DCC) Milter für Sendmail dccm statt Punktevergabe Mails ablehnen oder nur X-DCC-Header einfügen Filterung durch den Benutzer

27 Seite: 27 Spam-Bekämpfung Sender Policy Framework 4) 220 OK Client ) MAIL FROM: 2) gmx.de TXT? Sendmail DNS Milter 3) "v=spf1 ip4: /23 -all" DNS-basierte Absenderauthentifizierung Nur die Großen machen mit (AOL, GMX) Bounces?

28 Seite: 28 Spam-Bekämpfung Tagged Message Delivery Agent (TMDA) Challenge-Response-Verfahren unbekannten Absendern wird eine Aufforderung zur Legitimierung ihrer Mail geschickt bei Antwort wird Ursprungsmail weitergeleitet TMDA und Greylisting...

29 Seite: 29 Spam-Bekämpfung Exoten I Bounce Address Tag Validation (BATV) autorisiert MAIL FROM durch Signatur Adresse ist immer anders (Greylisting?) MAIL FROM mailbox@domain MAIL FROM sig-scheme=mailbox/sig-data /sig-data@domain e@sendmaid.org prvs=e/ / @sendmaid.org

30 Seite: 30 Erlaubte Zeichen... RFC 2821 "MAIL FROM:" ("<>" / Reverse-Path) [SP Mail-parameters] CRLF Reverse-path = Path Path = "<" [ A-d-l ":" ] Mailbox ">" Mailbox = Local-part "@" Domain Local-part = Dot-string / Quoted-string ; MAY be case-sensitive Dot-string = Atom *("." Atom) Atom = 1*atext

31 Seite: erlaubte Zeichen RFC 2822 atext = ALPHA / DIGIT / ; Any character except controls, "!" / "#" / ; SP, and specials. "$" / "%" / ; Used for atoms "&" / "'" / "*" / "+" / "-" / "/" / "=" / "?" / "^" / "_" / "`" / "{" / " " / "}" / "~"

32 Seite: 32 mtamark Spam-Bekämpfung Exoten II Besitzer der IP-Adressen (ISPs) markieren MTAs Eintrag in Reverse-Zone (TXT-Record) $ORIGIN IN-ADDR.ARPA. 1 IN PTR mail.example.com _send._smtp._srv.1 IN TXT "1" Bisher kaum verbreitet

33 Seite: 33 Fragen? Vielen Dank für die Aufmerksamkeit