Spaß mit Enterprise Syslog: Sicherheit und Probleme

Transkript

1 Spaß mit Enterprise Syslog: Sicherheit und Probleme Marc Thomas UnFUCK 2014 April / 28

2 Agenda 1 Einführung 2 Probleme mit Syslog 3 Probleme in der Praxis 4 interessate Anwendungen Loganalyse 2 / 28

3 Agenda 1 Einführung 2 Probleme mit Syslog 3 Probleme in der Praxis 4 interessate Anwendungen Loganalyse 2 / 28

4 Agenda 1 Einführung 2 Probleme mit Syslog 3 Probleme in der Praxis 4 interessate Anwendungen Loganalyse 2 / 28

5 Agenda 1 Einführung 2 Probleme mit Syslog 3 Probleme in der Praxis 4 interessate Anwendungen Loganalyse 2 / 28

6 Warum das Ganze? Warum loggen wir? Wofür ist der ganze Aufwand gut? Angriffserkennung, Analyse Compliance Erkennen von Problemen Statistiken 3 / 28

7 Warum das Ganze? Warum loggen wir? Wofür ist der ganze Aufwand gut? Angriffserkennung, Analyse Compliance Erkennen von Problemen Statistiken 3 / 28

8 Warum das Ganze? Warum loggen wir? Wofür ist der ganze Aufwand gut? Angriffserkennung, Analyse Compliance Erkennen von Problemen Statistiken 3 / 28

9 Warum das Ganze? Warum loggen wir? Wofür ist der ganze Aufwand gut? Angriffserkennung, Analyse Compliance Erkennen von Problemen Statistiken 3 / 28

10 Warum das Ganze? Warum loggen wir? Wofür ist der ganze Aufwand gut? Angriffserkennung, Analyse Compliance Erkennen von Problemen Statistiken 3 / 28

11 Die Syslog-Standards De-Facto Standard auf Unix/Linux Systemen und Netzwerkkomponenten Entwicklung 1980 bei Eric Allmann, Sendmail Project Standards: erster Standard, RFC 3164 (BSD-Syslog), 2001, C. Lonvick RFC 5424 (Syslog Protocol), 2009, Rainer Gerhards RFC 5425 (TLS für Syslog), 2009, Ed. F. Miao, et al. RFC 5848 (Signed Syslog Messages), 2010, J. Kelsey. et al (Syslog über TCP), 2012, C. Lonvick, Rainer Gerhards Ports: 514/UDP 4 / 28

12 Device ---->---- Collector Syslog-Architektur Device -->-- Relay -->--..-->-- Relay -->-- Collector Device ---->---- Relay ---->---- Collector -\ \ \ \-->-- Relay ---->---- Collector Device ---->---- Collector -\ \ \ \-->-- Relay ---->---- Collector Device ---->---- Relay ----> Collector -\ / \ / \ / \-->-- Relay -->--/ / 28

13 Syslog Format PRI-Feld, Zahlenwert repräsentiert Log-Facility und Severity Version Syslog-Version, bisher nur 1 definiert Timestamp im Format Mmm dd hh:mm:ss oder nach RFC3339 Hostname, 7-bit ASCII Tag, besteht aus Name der der Anwendung und eventuell PID Content, String aus printable 7-bit ASCII + Space, später Unicode SD-ID, Enterprise ID Key-Value Paare, String 6 / 28

14 Syslog Format cont. Logformat nach RFC 3164 <34>Oct 11 22:14:15 mymachine su: su root failed for lonvick on /dev/pts/8 Logformat nach RFC 5424 mit structured Data <165> T22:14:15.003Z mymachine.example.com evntslog - ID47 [examplesdid@32473 iut= 3 eventsource= Application eventid= 1011 ] BOMAn application... 7 / 28

15 Probleme mit Syslog I nur wenige Facilities Logdaten werden nicht authenticated Standardkonforme Implementierungen Syslog ist nicht der einzige Logdaemon im System Transport, Integrität und Reliability Protokoll ist eingeschränkt Integrität der Logs Zugriffskontrolle 8 / 28

16 Probleme mit Syslog I nur wenige Facilities Logdaten werden nicht authenticated Standardkonforme Implementierungen Syslog ist nicht der einzige Logdaemon im System Transport, Integrität und Reliability Protokoll ist eingeschränkt Integrität der Logs Zugriffskontrolle 8 / 28

17 Probleme mit Syslog I nur wenige Facilities Logdaten werden nicht authenticated Standardkonforme Implementierungen Syslog ist nicht der einzige Logdaemon im System Transport, Integrität und Reliability Protokoll ist eingeschränkt Integrität der Logs Zugriffskontrolle 8 / 28

18 Probleme mit Syslog I nur wenige Facilities Logdaten werden nicht authenticated Standardkonforme Implementierungen Syslog ist nicht der einzige Logdaemon im System Transport, Integrität und Reliability Protokoll ist eingeschränkt Integrität der Logs Zugriffskontrolle 8 / 28

19 Probleme mit Syslog I nur wenige Facilities Logdaten werden nicht authenticated Standardkonforme Implementierungen Syslog ist nicht der einzige Logdaemon im System Transport, Integrität und Reliability Protokoll ist eingeschränkt Integrität der Logs Zugriffskontrolle 8 / 28

20 Probleme mit Syslog I nur wenige Facilities Logdaten werden nicht authenticated Standardkonforme Implementierungen Syslog ist nicht der einzige Logdaemon im System Transport, Integrität und Reliability Protokoll ist eingeschränkt Integrität der Logs Zugriffskontrolle 8 / 28

21 Probleme mit Syslog I nur wenige Facilities Logdaten werden nicht authenticated Standardkonforme Implementierungen Syslog ist nicht der einzige Logdaemon im System Transport, Integrität und Reliability Protokoll ist eingeschränkt Integrität der Logs Zugriffskontrolle 8 / 28

22 Probleme mit Syslog I nur wenige Facilities Logdaten werden nicht authenticated Standardkonforme Implementierungen Syslog ist nicht der einzige Logdaemon im System Transport, Integrität und Reliability Protokoll ist eingeschränkt Integrität der Logs Zugriffskontrolle 8 / 28

23 Probleme mit Syslog I nur wenige Facilities Logdaten werden nicht authenticated Standardkonforme Implementierungen Syslog ist nicht der einzige Logdaemon im System Transport, Integrität und Reliability Protokoll ist eingeschränkt Integrität der Logs Zugriffskontrolle 8 / 28

24 Probleme mit Syslog II Logrotation komprimieren von Logs Early, Late Logging Nur Text Logs Größe der Nachrichten signieren, verschlüsseln von Logs Multiline Logs verarbeiten von Logs 9 / 28

25 Probleme mit Syslog II Logrotation komprimieren von Logs Early, Late Logging Nur Text Logs Größe der Nachrichten signieren, verschlüsseln von Logs Multiline Logs verarbeiten von Logs 9 / 28

26 Probleme mit Syslog II Logrotation komprimieren von Logs Early, Late Logging Nur Text Logs Größe der Nachrichten signieren, verschlüsseln von Logs Multiline Logs verarbeiten von Logs 9 / 28

27 Probleme mit Syslog II Logrotation komprimieren von Logs Early, Late Logging Nur Text Logs Größe der Nachrichten signieren, verschlüsseln von Logs Multiline Logs verarbeiten von Logs 9 / 28

28 Probleme mit Syslog II Logrotation komprimieren von Logs Early, Late Logging Nur Text Logs Größe der Nachrichten signieren, verschlüsseln von Logs Multiline Logs verarbeiten von Logs 9 / 28

29 Probleme mit Syslog II Logrotation komprimieren von Logs Early, Late Logging Nur Text Logs Größe der Nachrichten signieren, verschlüsseln von Logs Multiline Logs verarbeiten von Logs 9 / 28

30 Probleme mit Syslog II Logrotation komprimieren von Logs Early, Late Logging Nur Text Logs Größe der Nachrichten signieren, verschlüsseln von Logs Multiline Logs verarbeiten von Logs 9 / 28

31 Probleme mit Syslog II Logrotation komprimieren von Logs Early, Late Logging Nur Text Logs Größe der Nachrichten signieren, verschlüsseln von Logs Multiline Logs verarbeiten von Logs 9 / 28

32 Probleme mit Syslog II Logrotation komprimieren von Logs Early, Late Logging Nur Text Logs Größe der Nachrichten signieren, verschlüsseln von Logs Multiline Logs verarbeiten von Logs 9 / 28

33 Reihenfolge der Konfiguration Logs in beiden Dateien local6,local7.* -/var/log/localmessages local6.* -/path/to/log1 & Logs nur nach log1 local6.* -/path/to/log1 & local6,local7.* -/var/log/localmessages 10 / 28

34 Reihenfolge der Konfiguration Logs in beiden Dateien local6,local7.* -/var/log/localmessages local6.* -/path/to/log1 & Logs nur nach log1 local6.* -/path/to/log1 & local6,local7.* -/var/log/localmessages 10 / 28

35 sichere remote Logging Disk-Assistent Queues 1 $WorkDirectory / v a r / s p o o l / r s y s l o g 2 $ActiongQueueType L i n k e d L i s t 3 $ActionQueueMaxFileSize 1G 4 $ActionQueueFilename remot queue 5 $ActionQueueSaveOnShutdonw on 6 $ActionQueueHighWatermark $ActiongQueueLowWatermark *. FQDN 11 / 28

36 sicherer Transport TLS-Syslog SSH-Portforwarding Stunnel VPN 12 / 28

37 Logrotation - Logrotate Logrotate Wird mittels cron.daily gestartet und kann Log Anhand von kriterien rotieren, umbennen, packen, mailen und löschen. Zeitpunkt nicht definierbar Kann Logging stören Kann anhand von größe rotieren 13 / 28

38 Logrotation - rsyslog Kann sekundengenau rotieren Dateiname sehr flexibel konfigurierbar kann Logs direkt komprimieren kann keine Logs mailen kann keine alten Logs löschen 1 $ t e m p l a t e MessagesMonthly, "/var/log/messages - $now. log" 2 *. *? MessagesMonthly 3 4 $ModLoad o m f i l e 5 $ t e m p l a t e MessagesCompress, "/var/log/messages -$day - $month - $year.log.gz" 6 $OMFileZipLevel 9 7 *. *? MessagesCompress 14 / 28

39 Kommandologging bash4 Syslog Funktionalität bash Traps, Promt Command 15 / 28

40 Bash Konfiguration Listing 1: /etc/bash.bashrc.local 1 e x p o r t HISTCONTROL="" 2 e x p o r t HISTFILE=$HOME/. b a s h h i s t o r y 3 e x p o r t HISTFILESIZE= e x p o r t HISTIGNORE= 5 e x p o r t HISTSIZE= u n s e t HISTTIMEFORMAT 7 8 t y p e s e t r HISTCONTROL 9 t y p e s e t r HISTFILE 10 t y p e s e t r HISTFILESIZE 11 t y p e s e t r HISTIGNORE 12 t y p e s e t r HISTSIZE s h o p t s c m d h i s t 15 s h o p t s h i s t a p p e n d PROMPT COMMAND= h i s t o r y a >(t e e a /. b a s h h i s t o r y l o g g e r p u s e r. i n f o " Console - Logging " ) 18 typeset r PROMPT COMMAND 16 / 28

41 Einlesen von Anwendungslogs 1 $ModLoad i m f i l e # needs to be done j u s t once 2 # check f o r new l i n e s e v e r y 10 s e c o n d s 3 $ I n p u t F i l e P o l l I n t e r v a l # F i l e 1 6 $InputFileName / path / to / f i l e 1 7 $ I n p u t F i l e T a g tag1 : 8 $ I n p u t F i l e S t a t e F i l e s t a t f i l e 1 9 $ I n p u t F i l e S e v e r i t y e r r o r 10 $ I n p u t F i l e F a c i l i t y l o c a l 7 11 $ I n p u t R u n F i l e M o n i t o r 17 / 28

42 Apache über Syslog loggen Listing 2: Syslog Config 1 $ t e m p l a t e ApacheAccessPath, "/var/log/apache2 / access_ % programname :R,ERE,1, DFLT:httpd_ (.*):.*--end%- $now.log" 2 $ t e m p l a t e ApacheErrorPath, "/var/log/apache2 /error_% programname :R,ERE,1, DFLT:httpd_ (.*):.*--end%- $now.log" 3 $ t e m p l a t e ApacheLogs, "%msg :2:%\n" 4 i f ( $programname s t a r t s w i t h httpd ) then { 5 l o c a l 6.= e r r? ApacheErrorPath, ApacheLogs 6 l o c a l 6.= n o t i c e? ApacheAccessPath, ApacheLogs 7 & 8 } Listing 3: Apache Config 1 E r r o r L o g " / usr/bin/logger -thttpd_www. unfuck.eu - plocal6.err --" 2 CustomLog " / usr/bin/logger -thttpd_www. unfuck.eu - plocal6. notice --" combined 18 / 28

43 Logstash Ist eine Open-Source-Software von Elastisearch. Beinhaltet Kibana Webfrontend. Kann Logs sammeln, verarbeiten und speichern Kann Logs umwandeln Eigenes Transportformat, lumberjack Supported eine sehr große Menge an Logformaten kann auch IRC, Twitter und XMPP als Quelle nutzen beinhaltet webbasierte Suchengine, Kibana, Elastisearch 19 / 28

44 Kibana 20 / 28

45 Graylog2 Ist eine Open-Source-Software von Torch GmbH. Mittlerweile in Java geschrieben, früher in ruby. Besteht aus verschiedene Modulen. Logs sammeln und speichern Sichten auf die Logs Extratoren extrahieren Logbestandteile zu Feldern einfaches konfigurieren von Suchen in Logs Volltextsuche Dashboards eigenes Transportformat, GELF Alarmmails möglich 21 / 28

46 Graylog2- Webgui 22 / 28

47 Logdigest Open-Source-Software entwickelt von Peter Poeml. Shell-Skript zeilenbasiert mehere Konfigurationsdateien meist durch logrotate ausgeführt White- und Blacklist egrep Regexe single host 23 / 28

48 OSSEC Open-Source-Software entwickelt von Daniel B. Cide. Mittlerweile von Trend Micro übernommen. Host based IDS XML Konfiguration verschiedene Module Loganalyse Rootkit Erkennung System Integritäts Check Aktiv-Response Module großer Standard Regelsatz Client-Server oder Einzelplatz Konfiguration Erfüllt einzelne PCI-DSS Anforderungen 24 / 28

49 Splunk Ist ein Closd-Source Software der Splunk Inc. Logsammlung, -analyse Alarmierung erweiterbar mittels Apps gesonderte Forwarder kann Events von vielen Anwendugen/Geräten verarbeiten bis zu 500MB/Tag mittels kostenloses Version Lizenz entsprechend des täglichen Aufkommens 25 / 28

50 Fragen? 26 / 28

51 serious-syslog-problems.html syslog-parameters/syslog-parameters.xhtml 1IC9yOXj7j6cdLLxWEBAGRL6wl97tFxgjLUEHIX3MSTs&pli= 1 27 / 28

52 FIN thx for watchin 28 / 28