Rsyslog deutsche Qualitätsarbeit für Linux

Transkript

1 Rsyslog deutsche Qualitätsarbeit für Linux DOAG Jahrestagung 18. November 2015 Roman Gächter BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF HAMBURG KOPENHAGEN LAUSANNE MÜNCHEN STUTTGART WIEN ZÜRICH

2 Unser Unternehmen. Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution Engineering und der Erbringung von IT-Services mit Fokussierung auf - und -Technologien in der Schweiz, Deutschland, Österreich und Dänemark. Trivadis erbringt ihre Leistungen aus den strategischen Geschäftsfeldern: B E T R I E B Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme. 2 14/11/15 Trivadis Das Unternehmen

3 Mit über 600 IT- und Fachexperten bei Ihnen vor Ort. HAMBURG KOPENHAGEN 14 Trivadis Niederlassungen mit über 600 Mitarbeitenden. Über 200 Service Level Agreements. Mehr als 4'000 Trainingsteilnehmer. DÜSSELDORF FRANKFURT STUTTGART FREIBURG BRUGG BASEL ZÜRICH BERN LAUSANNE GENF 3 14/11/15 MÜNCHEN Trivadis Das Unternehmen WIEN Forschungs- und Entwicklungsbudget: CHF 5.0 Mio. Finanziell unabhängig und nachhaltig profitabel. Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden.

4 Agenda 1. Konzept der Syslog Implementierung 2. Rsyslog Übersicht Features 3. Konfiguration Server Client 4. Auditd 5. Betrieb Upgrades Administration Fehlersuche 6. Fazit 14/ 11/ 15 4

5 Syslog Konzept 14/11/15

6 Syslog Konzept Zentrale Ablage von Syslogs Syslog Server Zwei redundante Server Verwenden von Rsyslog Neuer Standard für RHEL basierte Distributionen Enterprise Erweiterungen in Rsyslog high-performance great security features Verschlüsselte Übertragung mit TLS modular design 6 14/11/15

7 Syslog Konzept Zentrale Ablage von Syslogs Sammeln Security relevanter Logs Korrelieren und trennen nach priorities facilities Audit Watches Alarmierung durch Rsyslog Filter Rules Proaktive Reaktion auf Fehler 7 14/11/15

8 Übersicht Konzept 8 14/11/15

9 Syslog Konzept Ablage-Struktur 9 14/11/15

10 Rsyslog 14/11/15

11 Rsyslog Übersicht Dank an Rainer Gerhards Deutsche Qualitätsarbeit setzt sich durch Heute Standard bei Linux Distributionen Redhat basierte Debian basierte SuSE basierte 11 14/11/15

12 Rsyslog Übersicht RFC s zu Syslog RFC 3164 The BSD syslog Protocol (obsoleted by RFC 5424) RFC 5424 The Syslog Protocol (obsoletes RFC 3164) RFC 5425 Transport Layer Security Mapping for Syslog RFC 5426 Transmission of Syslog Messages over UDP 12 14/11/15

13 Rsyslog Übersicht Facility Keywords für facility-basierte Filter Ebene /11/15

14 Rsyslog Übersicht Beispiel Zuordnung der kernel Facility # Log all local kernel messages to the console # and /var/log/kern if $hostname == syslogsrv1' \ and $syslogfacility == '0' \ then /var/log/kern 14 14/11/15

15 Rsyslog Übersicht Facility values MUST be in the range of 0 to 23 inclusive 15 14/11/15

16 Rsyslog Übersicht Priority Keywords für priority-basierte Filter 16 14/11/15

17 Rsyslog Übersicht Beispiel Zuordnung der error priority if $syslogseverity == '3' \ then /u00/rsyslog/priority/error 17 14/11/15

18 Rsyslog Übersicht Priorities aus RFC /11/15

19 Rsyslog Übersicht Features Homepage RSYSLOG is the rocket-fast system for log processing It offers high-performance, great security features and a modular design Multi-threading TCP, SSL, TLS, RELP MySQL, PostgreSQL, Oracle und mehr Filterung der Syslog Message Fully configurable output format Suitable for enterprise-class relay chains 19 14/11/15

20 Rsyslog Features Struktur Input Modules $ModLoad imuxsock provides support for local system logging $ModLoad imklog provides kernel logging support (previously done by rklogd) Rulesets Filtering 20 14/11/15

21 Rsyslog Features Struktur Actions Schreiben in Files DB Backends Weiterleiten 21 14/11/15

22 Rsyslog Features Modules, functionality to be dynamically loaded from modules $ModLoad MODULE_name Filter modules Library modules Input modules Output modules Message modification modules Parser modules String generator modules Template features 22 14/11/15

23 Rsyslog Features RELP Relaible Event Logging Protocol TLS Session Abbruch Jan 13 11:08:38 srv105 rsyslogd-2078: netstream session 0x will be closed due to error RELP und TLS Mit ( ) noch nicht unterstützt, erst ab /11/15

24 Konfiguration Struktur und Konfigurations Management Tools Aufteilen der Konfiguration Basis Konfig im/etc/rsyslog.conf Includes im /etc/rsyslog.d > /etc/rsyslog.conf/server.conf > /etc/rsyslog/client.conf Konfigurations Management Tools Puppet saz-rsyslog Module 24 14/11/15

25 Konfiguration Standard Syslog Syntax Kann man verwenden # Everybody gets emergency messages *.emerg * *.info /u00/rsyslog/hosts/all/messages 25 14/11/15

26 Konfiguration /etc/rsyslog.conf Modules $ModLoad imuxsock $ModLoad imklog $ModLoad imudp # Provides UDP syslog reception $UDPServerRun 514 $ModLoad imtcp # Provides TCP syslog reception $ModLoad imfile 26 14/11/15

27 Konfiguration TLS Verschlüsselung Certificate Files $DefaultNetstreamDriverCAFile /rsyslog/protected/ca_bundle.pem $DefaultNetstreamDriverCertFile /rsyslog/protected/server_cert.myhostname.pem $DefaultNetstreamDriverKeyFile /rsyslog/protected/server_private_myhostname.key Authentifizierung $ActionSendStreamDriverAuthMode x509/name $ActionSendStreamDriverPermittedPeer syslog-server1.mydomain $ActionSendStreamDriverPermittedPeer syslog-server2.mydomain $ActionSendStreamDriverMode 1 # run driver in TLS-only mode 27 14/11/15

28 Konfiguration TLS Verschlüsselung X509 Zertifikate Ab Oracle Linux 6 min Bit Zertifikate Rsyslog Problem mit SHA /11/15

29 Konfiguration Filter Neues style format Rainer Script if $msg contains 'Abort command issued' \ or $msg contains 'blocked for more than 120 seconds' \ or $msg contains 'checker reports path is down' \ or $msg contains 'kernel: device-mapper: multipath: Failing path' \ or $msg contains 'multipathd: checker failed path' \ or $msg contains ': mark as failed' \ or $msg contains 'checker reports path is up' \ or $msg contains 'require eh work' \ or $msg contains 'Error handler scsi_eh' \ or $msg contains 'FCP command status' \ or $msg contains 'aborting sp' \ or $msg contains 'firmware reported underrun' \ or $msg contains 'Dropped frame(s) detected' \ or $msg contains 'kernel: end_request: I/O error' \ or $msg contains 'error calling out /sbin/mpath_prio_alua' \ then /u00/rsyslog/applications/scripts/scsiaborts 29 14/11/15

30 Konfiguration Templates Beispiel $template HostAudit, "/u00/rsyslog/applications/auditd/%hostname%/audit_log" $template auditformat, "%msg%\n" local5.*?hostaudit;auditformat 30 14/11/15

31 Konfiguration Rules forwarding rules # forward everything to remote servers /11/15

32 Konfiguration Syntaxcheck Zuerst testen vor Restart rsyslogd -N /11/15

33 Konfiguration Regex POSIX ERE oder BRE :msg, regex, "sshd.* session opened for user q[a-z0-9]*[0-9] /lfs/oracle_audit/os.log Online Regex Checker /11/15

34 Auditd 14/11/15

35 Auditd Auditd Zentrale Ablage der Audit Logs Korrelation von Sicherheitsvorfällen Zentrale Auswertung mit Audit Tools Audit Watches Reaktion auf audit watch Triggers mit Rsyslog 35 14/11/15

36 Auditd Konfiguration Imfile Module $ModLoad imfile Beispiel local5 $InputFileName /var/log/audit/audit.log $InputFileTag tag_audit_log: $InputFileStateFile audit_log $InputFileSeverity info $InputFileFacility local5 $InputRunFileMonitor 36 14/11/15

37 Auditd Konfiguration Format beibehalten $template HostAudit, /u00/rsyslog/auditd/%hostname%/audit_log" $template auditformat, "%msg%\n" local5.*?hostaudit;auditformat Auswerten ausearch aureport 37 14/11/15

38 Auditd Konfiguration Keine Audit Logs im messages des Syslogservers if $hostname == syslogsrv1' \ and not ( $syslogfacility == '2' ) \ and not ( $syslogfacility == 21' ) \ and not ( $syslogfacility-text == 'cron' ) \ and not ( $syslogtag == 'tag_audit_log:' ) \ then /var/log/messages 38 14/11/15

39 Auditd Änderungen von Files in Realtime erkennen Beispiel Audit Rule /etc/audit/audit.rules -w /etc/sd_pam.conf -p w -k sd_pam.conf_changed Dynamisch aktivieren auditctl -R /etc/audit/audit.rules 39 14/11/15

40 Auditd Änderungen von Files in Realtime erkennen In Rsyslog Konfig $template FileWatcher, "%HOSTNAME% %msg%\n" if $msg contains 'sd_pam.conf_changed' \ and $msg contains 'type=syscall' \ then ^/usr/local/bin/generic_audit_filewatcher_alerter.ksh;filewatcher 40 14/11/15

41 Betrieb 14/11/15

42 Betrieb Upgrade auf Oracle Linux 7.1 Gibt Warnung aus *.emerg * Mit omruleset definieren *.emerg :omusrmsg:* Kernel Logging #$ModLoad imklog # provides kernel logging support $ModLoad imjournal # provides access to the systemd journal 42 14/11/15

43 Betrieb Upgrade auf Oracle Linux 7.1 Probleme mit X509 Zertifikaten SSL-Lib akzeptiert nur noch 2048 Bit Keys 2048 Bit mit MD5 signiert?? 2048 Bit mit SHA2 signiert?? 2048 Bit mit SHA /11/15

44 Betrieb Upgrade auf Oracle Linux 7.1 PID Filename geändert /var/run/rsyslogd.pid /var/run/syslogd.pid Logrotate /bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 44 14/11/15

45 Betrieb Housekeeping Logrotate /etc/logrotate.d/syslog Logrotate Debugging Fehlersuche Syntaxchecker rsyslogd -N 1 Debugging 45 14/11/15

46 Betrieb Fehlersuche Debugging export RSYSLOG_DEBUGLOG="/path/to/debuglog" export RSYSLOG_DEBUG="Debug rsyslogd -dn 46 14/11/15

47 Fazit 14/11/15

48 Fazit Linux Distros nutzen Rsyslog Gute Performance Modulares Design Rainer Script hilfreich POSIX ERG extended regex TLS Verschlüsselung Templates 48 14/11/15

49 Roman Gächter Principal Consultant 49 14/11/15 Bezeichnung Präsentation

50 Trivadis an der DOAG 2015 Ebene 3 - gleich neben der Rolltreppe Wir freuen uns auf Ihren Besuch. Denn mit Trivadis gewinnen Sie immer /11/15 Trivadis Das Unternehmen