DFN-Mailsupport. Technischer Aufbau und Betrieb. DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders

Transkript

1 DFN-Mailsupport Technischer Aufbau und Betrieb DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 1

2 DFN-Mailsupport 1. Hintergrund 2. Konzeption 3. Aufbau 4. Software 5. Hardware 6. Betriebliche Aspekte 7. Ausblick DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 2

3 Hintergrund Betriebsgruppe WiNShuttle seit 1995 Einwahl, Web- und Maildienste Gemischter Kundenkreis: Schulen, Bibliotheken, Botschaften kleine Einrichtungen, Privatpersonen Größenordnung: Maildomains Aliase Mails/Tag DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 3

4 Hintergrund sendmail postfix bogofilter amavis RBLs clamav spamassassin DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 4

6 Konzeption Was soll/kann der Dienst leisten? Welt Eingehendes Filtern Ausgehendes Filtern? Anwender Queue Store? Quarantäne? DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 6

7 Konzeption Anforderungen bei einer sechstelligen Zahl von Nutzern: Speicherbedarf Rechenleistung eingehendes Filtern Gigabytes 100% ausgehendes Filtern Gigabytes 150% Quarantäne Terabytes 200% Mailstore Petabytes 2000%-3000% technische Aspekte: Beziehung zu einzelnen Nutzern (Authentifizierung) Verbindung zu IdMs der Anwender (LDAP) rechtliche Aspekte: z.b. automatisiertes Löschen (private Nutzung?) DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 7

8 Konzeption Vorhandene Lösung oder kommerzielle Lösung? Teststellung kommerzieller Lösung - Ironport Merkmale: Güte der Spam-/Virenerkennung Skalierung / Lasttests Flexibilität / Mandantenfähigkeit Kosten DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders (anders@dfn.de) 8

9 Konzeption Entscheidung: Eigene Lösung. Reiner Filterdienst für eingehende Mails. Keine dauerhafte Speicherung von Mails, nur die übliche Haltedauer der Queue. Kein Kontakt mit Endnutzern, Interfaces nur für Postmaster. Späterer Ausbau technisch möglich. DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 9

11 Aufbau 1. Entscheidung über Annahme a) Reputationsdienste (RBLs) b) Verifikation der Empfängeradresse c) Individuelle Regeln (Whitelists,...) 2. Virenscanner Zwei kommerzielle und ein freier Virenscanner. 3. Inhaltbasierte Bewertung a) Regelbasierter Spamfilter b) Bayes-basierter Spamfilter c) Individuelle Regeln (Whitelists,...) 4. Weiterleitung Kein Verändern der Mails, lediglich Anfügen von Headerzeilen Durchlauf einer Mail im Mittel in ~ 0.3 Sekunden DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders (anders@dfn.de) 11

12 Aufbau Reputationsdienste (RBL) Liefern etwa 90% aller rejects. Hits zen.spamhaus.org 98.6% b.barracudacentral.org 0.5% bl.spameatingmonkey.net 0.3% ix.dnsbl.manitu.net 0.3% fresh10.spameatingmonkey.net 0.2% dbl.spamhaus.org 0.1% dsn.rfc-ignorant.org 0.01% Datafeedvertrag mit Spamhaus (~700Mio IPs, 116MB) Circa eine Beschwerde/Jahr. DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 12

13 Aufbau Verifikation der Empfängeradresse Liefert etwa 2% aller rejects. SMTP-Address-Verification des postfix: 'Beinahe'-Versenden einer Test-Mail, wobei vor dem DATA-Statement abgebrochen wird. Entlastung der Server durch Cache. Vereinzelt Probleme mit SMTP-Implementationen, die erst nach Empfang der kompletten Mail mit 'User unknown' antworten. Tests erforderlich! Aufwendigere Alternativen: statische Listen, LDAP. DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 13

14 Aufbau Bayes-Filter Hat einen Anteil von etwa 85% am erkannten Spam. Sehr gute Erfahrungen im WiNShuttle seit 7 Jahren mit einer gemeinsamen Datenbank für alle Nutzer. Training notwendig. Training nur durch kompetente Personen (Postmaster), Gefahr von DOS-Attacken. Laufende Kontrolle der Güte notwendig. Eigener Bayes-Filter pro Anwender möglich, Start aber erst einmal mit einer zentralen DB. DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders (anders@dfn.de) 14

16 Software 1. SMTP-Engine Postfix 2. Filter-Framework Amavis 3. Virenfilter ClamAV Avira ein weiterer aus Sophos, F-Secure, Symantec, Kaspersky, McAfee 4. Spamfilter Spamassassin (regelbasiert) Bogofilter (Bayes-basiert) 5. Monitoring Nagios DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 16

17 Software Postfix Eine Postfix-Instanz pro Anwender Eigene IP-Adressen Eigene Daemons, Queue, Syslog Eigene Konfiguration, dadurch alle Postfix-Features individuell konfigurierbar. Beispiele: Whitelist von Servern zur Umgehung der RBLs. Abschalten aller Filter für bestimmte Empfänger. Mails an bestimmte Empfänger nur von bestimmten IPs aus. DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 17

18 Software Amavis Einsatz der 'policy-banks' Eigene syslogs Individuelle Konfiguration möglich, z.b.: Abschaltung einzelner Checks bzw Filter DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 18

19 Software Spamassassin Regelbasierter Filter. Standardkonfiguration bis auf einzelne Regelentschärfungen. Regelmässiges Update. Durch policy-banks des Amavis ebenfalls individuell anpassbar. DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 19

20 Software Bogofilter Bayes-basierter Filter Bislang besser als Spamassassins eingebauter Bayesfilter Automatisches Training abgeschaltet (Performance!) Eigene Datenbank pro Anwender möglich DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 20

21 Software Nagios Erfassung von ca 80 Parametern pro Instanz. Reporting mit rrdtool. Freigabe für Postmaster geplant. DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 21

23 Hardware Redundanz durch Verteilung der Hardware auf drei Standorte: Uni Stuttgart TU Berlin Uni Erlangen Pro Standort Start mit jeweils einem Filter- und einem Log-Server in Blade-Chassis, Ausbau nach Bedarf. Filter-Server: 4 Prozessoren à 10 Cores, 2 SSDs für Queues. Erwartung: >= 300 Mails/s Log-Server: 2-Prozessor-System für Syslog, Nagios, Auswertung DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders (anders@dfn.de) 23

25 Betriebliche Aspekte SMTP-Address Verification Positive Hits: Cachehaltezeit: 7 Tage Negative Hits: Cachehaltezeit: 30 Minuten Typisches Szenario: Test-Mail an neuen User geht raus, bevor User korrekt auf dem Mailserver konfiguriert wurde. DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders (anders@dfn.de) 25

26 Betriebliche Aspekte Mailübergabe Geschieht über MX-Records: <domain.de>.mx.srv.dfn.de MX 10 <server.domain.de> Konfiguration durch Anwender jederzeit kontrollierbar. Beliebige Setups beim Anwender unterstützbar. IPv6 auf Wunsch. Eingefügte Standard -Header: X-Spam-{Flag,Score,Level,Status} X-Amavis-Alert X-Virus-Scanned DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 26

27 Betriebliche Aspekte Syslog Ein Syslog-Stream pro Instanz von jedem Filter-Server an Syslog-Hosts beim Anwender. Vollständige postfix- und amavis-logs. Unterstützung der Nutzer wie gewohnt möglich, kein Blindflug. DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 27

28 Betriebliche Aspekte Konfigurationsmanagement Bereits vollautomatisiert. Einsicht sowie Modifikation wichtiger Punkte (z.b. Whitelists) über ein Portal ist in Planung. Zugriff für Postmaster der Anwender. Bis dahin Änderungen über Hotline (Telefon, ). Benötigte Daten zur Anmeldung: Ansprechpartner für Mailserver Domains, Mailserver und MX-Prioritäten Syslog-Host Zahlen (Mails/Tag, Anzahl Nutzer, max. Mailgrösse) DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 28

29 Betriebliche Aspekte Tests / Inbetriebnahme Nach Anmeldung erfolgt die Konfiguration durch uns i.d.r. innerhalb eines Tages. Checks ihrerseits: Check der MX-Records (Empfehlung: dig) Versenden von Testmails (Empfehlung: swaks) Check der Address Verification (Mail an unbekannte Empfänger!) Empfang des syslog-streams (Firewall) Inbetriebnahme durch Anwender selbst mit Umlegung der MX-Records auf die Filter-Server (TTL nicht vergessen). DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders (anders@dfn.de) 29

30 Betriebliche Aspekte Reject-Handling Problem: Rejects durch ihre Mailserver. Typisches Beispiel: Mailbox full Auswirkung: Bounces durch unsere Gateways. Oft an unbeteiligte Dritte, da gefälschte Absendeadressen. Dies führt zu schlechter Reputation, z.b. Einträge in RBLs. Geplante Gegenmaßnahme: automatisiertes Aufnehmen betroffener Empfängeradressen in eine Blacklist, weitere Mails an diese werden abgelehnt. Haltedauer 2 Tage DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders (anders@dfn.de) 30

31 Betriebliche Aspekte Training des Bayesfilters Wird durch uns durchgeführt. Beteiligung ihrerseits möglich, Registrierung erforderlich. Pro Instanz gibt es zwei Mailadressen: Nicht erkannter Spam: Fälschlich als Spam markierte Mails: Adressen sind zweifach geschützt, Training nur von registrierten IP-Adressen aus und nur von registrierten Absendeadressen aus DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 31

32 Betriebliche Aspekte Hotline Telefonisch Mo-Fr 9-12 und Uhr: Wochenenddienst. Einsicht in die Hotlin s mehrmals am Tag, zeitkritische Konfigurationsänderungen werden sofort durchgeführt. Anmeldung bitte über: DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 32

34 Ausblick Hardware- und Softwareausbau bereits komplett. Pilotphase bis Ende des Jahres. Start des regulären Betriebs ab Januar Bis dahin: Aufbau des Portals Dokumentation Reject-Handling Start des interaktiven Portals mit Zugriff auf Reports und Konfiguration im Laufe des 2. Quartals 2012 (Anbindung an DFN-AAI). DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 34

35 Ausblick Offene Punkte - Filtern ausgehender Mails Mit diesem Setup prinzipiell möglich. Pre-Queue-Filtering statt Post-Queue-Filtering. Reject-Handling auf Anwenderseite notwendig. => vielleicht in einer weiteren Ausbaustufe. DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders (anders@dfn.de) 35

36 Ausblick Offene Punkte - Quarantäne Technische Möglichkeiten a) An eine bestimmte Adresse weiterleiten (könnte aber auch ihr Server). b) Abspeichern auf den DFN-Gateways, Mitteilung mit 'secret key' an Empfänger. Zugriff auf Mail über diesen Key möglich. c) Empfänger-Accounts bei uns bekannt, Abspeicherung in individuelle Boxen. Abruf über bestehenden Username/Passwort. Anbindung an IdM des Anwenders erforderlich! d) Komplett beim Anwender, z.b. Lösung b) oder automatische Aufteilung der Mails in mehrere Boxen pro Nutzer auf dem IMAP-Server (Inbox, Werbung, Viren). Weitere Problemfelder Automatisches Löschen erforderlich. Eventuell Einwilligung des einzelnen Nutzers hierzu erforderlich (Stichwort: Privatnutzung). Bei zentraler Lösung höherer technischer Aufwand (Terabytes an Speicher), mehr CPU- Bedarf durch User-Interface (Webserver). => Bei Ruf nach Quarantäne bitte konkrete Vorstellungen zu obigen Punkten mitbringen. DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders (anders@dfn.de) 36

37 DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 37

38 Tests Filtergüte Teststellung Ironport, Vergleich mit DFN-Setup im Wirkbetrieb. Zeitdauer 58 Tage, 21 Mio Zustellversuche, 1,7 Mio zugestellte Mails Dieselbe MX-Priorität auf allen Gateways, d.h. zufällige Verteilung der eingegangen Mails. DFN Ironport Anteil an Mails 71% 29% Reputation 90% 86% User unknown 2.7% 3.7% Viren % % Spam 2.5% 1.7% Sauber 4.8% 8.6% Vergleich der Filterqualität nur bedingt möglich, da verschiedene Mails durch die beiden Setups geflossen sind. 7 Viren/Tag sind zu wenig für aussagekräftige Zahlen. DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders (anders@dfn.de) 38

39 Tests Lasttests Kriterien Mailgrösse (Durchschnitt/Verteilung) im DFN: 30k Durchschnitt, 50MB das Limit. Queue (HDD/SSD/RAM) Anzahl Prozesse Laufzeit Grössenlimits der Filter Messwerte Queuegrösse Load IO Netzwerk Kandidaten Ironport C660 2x 2.33GHz, 4GB, 4x Seagate 15k 300GB Sun Fire X4170 2x 2.27GHz, 12GB, 2x Seagate 15k 72GB 1x Intel X25-E DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 39

40 Tests Lasttests Ergebnisse in Mails/s. 20k 50k 100k DFN/HDD 33/- 30/- 23/- Ironport 83/- 53/- 40/- DFN/SSD -/159 -/155 -/125 DFN/RAM 178/ / /141 Linker Wert mit Limits auf den Filtern, rechter Wert ohne Limits. Limits: Amavis: 150k, Ironport 512k DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders 40

41 Skalierung Basierend auf Angaben verschiedener Anwender 3 Mails/Nutzer/Tag 30k/Mail Verhältnis mittleres Aufkommen zu Maximalaufkommen: 15 Hochgerechnet auf 3 Mio Nutzer im X-WiN Max Mails/s in der Hauptverkehrszeit 370MBit/s Mails plus 70 Mbit/s Log Queue-IO: 520GB/Tag, max. 92 MB/s Bei 15 Servern Schreibrate pro Festplatte: 35GB/Tag, max. 6MB/s DFN-Mailsupport, 55. DFN-Betriebstagung, Oktober 2011, Stefan Anders (anders@dfn.de) 41