Transkript

1

2 Check_MK Monitoring von Oracle- Datenbanken mit Check_MK Thorsten Bruhns Solution Architect OPITZ CONSULTING GmbH Frankfurt, OPITZ CONSULTING GmbH 2015 Seite 1

3 OPITZ CONSULTING GmbH 2015 Seite 2

4 Was ist Monitoring? Monitoring ist ein Überbegriff für alle Arten der unmittelbaren systematischen Erfassung (Protokollierung), Beobachtung oder Überwachung eines Vorgangs oder Prozesses mittels technischer Hilfsmittel (...) oder anderer Beobachtungssysteme. Quelle: Wikipedia OPITZ CONSULTING GmbH 2015 Seite 3

5 Der Referent Thorsten Bruhns Solution Architect Oracle Deutschland GmbH 2003 OPITZ CONSULTING Deutschland GmbH Spezialist für: Performance-Analysen und SQL-Tuning Hochverfügbarkeit mit RAC + Data-Guard Nagios seit 2003 Check_MK seit 2012 Entwickler von mk_oracle OPITZ CONSULTING GmbH 2015 Seite 4

6 Agenda 1. Das Check_MK Monitoring System 2. mk_oracleplugin 3. Praktisches Beispiel 4. Security in mk_oracle 5. Fazit OPITZ CONSULTING GmbH 2015 Seite 5

7 1 Das Check_MK Monitoring System OPITZ CONSULTING GmbH 2015 Seite 6

8 Historie Entwicklung erfolgt durch Mathias Kettner GmbH Lizensiert unter der GPL Historie 2008 im Rahmen eines RZ-Projektes entstanden Als Addon zur bestehenden Lösung auf Basis von Nagios 2010 Gründung der Open Monitoring Distribution Paketierung vieler Nagios-Komponenten in 1 RPM zur einfachen Installation eines Monitoringsystems 2014 Partnerschaft Mathias Kettner OPITZ CONSULTING Heute Ursprüngliches Check_MK wurde modular erweitert Ausgewachsenes Monitoring System mit zahlreichen Teilkomponenten OPITZ CONSULTING GmbH 2015 Seite 7

9 Das Check_MK Monitoring System Check_MK => Check_MK Monitoring System Check_MK hat über die Jahre zahlreiche Komponenten erhalten Das Gesamtsystem bezeichnet man als Check_MK Monitoring System Modulares System Im Kern steht Check_MK mit Monitoring-Core Üblich Check_MK Micro-Core oder Nagios Zahlreiche Module als Erweiterung Multisite (Oberfläche) WATO (Web Administration Tool) Business Intelligence Event Console Mobile OPITZ CONSULTING GmbH 2015 Seite 8

10 Architekturschaubild OPITZ CONSULTING GmbH 2015 Seite 9

11 Wichtigste Funktionen Automatisches Service Discovery Checks für den Monitoring Core werden automatisch erkannt und generiert Regelbasiertes System Regeln können hierarchisch erstellt und auf Systeme vererbt werden Neue Filesysteme können so automatisch Schwellwerte erhalten Revolutionäres System für nagiosbasiertes Monitoring Hohe Performance durch passive Checks Ein aktiver Agentcheck liefert alle Daten für Checks des Ziels Alle weiteren Checks werden über passive Checks bedient Starke Entlastung des überwachten Systems und Monitoring Core Umfangreiche Checksammlung Mittlerweile über 600 implentierte Checks OPITZ CONSULTING GmbH 2015 Seite 10

12 Wichtigste Funktionen Micro Core Alternativer Monitoring Core von Mathias Kettner Wesentlich performanter als Nagios-Core Performancedaten Automatische Einbindung über pnp4nagios OMD zur Verwaltung von Check_MK Instanziiertes System Mehrere Sites mit unterschiedlichen Versionen möglich OMD (Open Monitoring Distribution) zur Installation und Verwaltung von Sites Projekt wurde u.a. von Mathias Kettner ins Leben gerufen 1 RPM/DEB für alle Komponenten des Monitoring Systems OPITZ CONSULTING GmbH 2015 Seite 11

13 Wichtigste Funktionen Verteiltes Monitoring Verschiedene Sites können zusammen gefaßt werden Sehr breit skalierbar Installation mit > Hosts praktisch im Einsatz! Multisite + WATO Site kann vollständig über Browser administriert werden Regeln können komfortable verwaltet werden Kein Detailwissen über die Regelsyntax notwendig Optional kann das gesamte System auch über Konfigurationsdateien verwaltet werden => Das geht sogar parallel zu WATO! Automatisierte Verwaltung von Hosts über CMDB-Export möglich Agentbakery zur Konfiguration von Agenten OPITZ CONSULTING GmbH 2015 Seite 12

14 Editionen Check_MK Raw Edition (CRE) GNU GPL2 Lizenz Letzte Production Version Support über Maillinglisten Check_MK Enterprise Edition (CEE) Nur mit Subscription ab 600 Euro jährlich Zusätzlicher kommerzieller Support über Mathias Kettner Production, Innovation und tägliche Developmentversionen Erweiterter Funtkionsumfang Check_MK Micro Core Agent Bakery Neuartiges System für Performancedaten Darstellung Unterstützung von alten Betriebssystemen (RHEL5, SLES11SP2) OPITZ CONSULTING GmbH 2015 Seite 13

15 Editionen Check_MK Appliance Alles wie bei der CEE Als fertiges Image für Virtualisierungsumgebungen Hardwareappliance Rail1 Auf Hutschiene für bis 100 Hosts, Services Ab 1200 Euro zzgl. Subscription Rack1 1HE 19 Rack Server für 2500 Hosts, Services Ab Euro zzgl. Subscription Übersicht OPITZ CONSULTING GmbH 2015 Seite 14

16 Partnerschaft OPITZ CONSULTING ist Partner von Mathias Kettner Mathias Kettner ist kein Spezialist für Oracle Datenbanken Es gibt noch weitere Partnerschaften für andere Themengebiete OPITZ CONSULTING liefert das Know-How für das Monitoring von Oracle Datenbanken Neuentwicklung von mk_oracle in 2014 Seit produktiv Sehr leistungsfähiges Monitoring von Oracle Datenbanken Unterstützt RAC, Data-Guard bzw Standby-Datenbanken Thorsten Bruhns ist für die heutige Architektur von mk_oracle verantwortlich Mathias hat einen wesentlichen Teil des Shellplugins beigesteuert OPITZ CONSULTING GmbH 2015 Seite 15

17 2 mk_oracle Plugin OPITZ CONSULTING GmbH 2015 Seite 16

18 Entstehungsgeschichte bei OC mk_oracle (alt) als Basis Ohne mk_oracle hätte kein PoC mit Check_MK statt gefunden Erste Erfahrungen und Erweiterungen am Plugin => DOAG 2013 Monitoring von Oracle-Datenbanken mit OMD Partnerschaft Mathias Kettner + OPITZ CONSULTING 2014 Redesign von mk_oracle gemeinsame Session von Mathias Kettner + Thorsten Bruhns Juli 2014 Zahlreiche Patches von Thorsten Bruhns OPITZ CONSULTING GmbH 2015 Seite 17

19 Feautures Abhängigkeiten zwischen Checks Neuer Instance-Check wird führend Vermeidung unnötiger Benachrichtigungen Unterstützt EE, SE, XE Support für RAC und physical Standby / Data-Guard Reduzierung der Logins mittels SYNC + ASYNC Checks SYNC + ASYNC Checks benötigen 2 Logins pro Datenbank für alle Checks! ASYNC erfordert nur alle 10 Minuten einen Login Automatisches Erkennen neuer Objekte Warnung nach Anlegen neuer Tablespaces, Jobs etc. OPITZ CONSULTING GmbH 2015 Seite 18

20 Feautures Automatische Erkennung der Oracle-Version Nur mögliche Checks werden ausgeführt Plugin funktioniert ab 9.2 Optional können Checks über mk_oracle.cfg konfiguriert werden Zentrale Konfigurationsdatei alles ist per Parameter konfigurierbar Mittels WATO per Regel generierbar Erfordert Enterprise Edition Connect zur Instance immer über Listener Ohne Listener kann sich kein Endanwender anmelden Warum sollte das Monitoring am Listener vorbei die Instance überwachen? Unterstützt Oracle Wallet Keine Klartextkennwörter in Konfigurationsdateien notwendig OPITZ CONSULTING GmbH 2015 Seite 19

21 Feautures Remote-Monitoring seit Check_MK Plugin muß nicht auf Datenbankserver ausgeführt werden Überwachung von Datenbanken wird plattformunabhängig Plugin braucht nur InstantClient + SQLPlus Plugin kann notfalls auf Monitroingserver gestartet werden Nachteile Zu überwachende Oracleversion muß manuell konfiguriert werden Keine Erkennung von neuen Instancen auf zu überwachenden Host Wird als Plugin eines Agenten ausgeführt Kann bei vielen Instancen zu längeren Laufzeiten des Agenten führen Planung für die Zukunft Entwicklung eines Check_MK Spezialagenten Entkopplung Plugin von Check_MK Agent Schafft mehr Flexibilität für die Zukunft Alternative für Oracle auf Windows OPITZ CONSULTING GmbH 2015 Seite 20

22 Feautures Überwachung von ASM Plugin erkennt automatisch ASM Berücksichtigt Redundancy bei Diskgruppen Alarmierung bei Offline Disks Optional Überwachung von requirred mirror free space Automatische Erkennung neuer Diskgruppen OPITZ CONSULTING GmbH 2015 Seite 21

23 Kompatibilität mk_oracle Plattformen Linux AIX, HP-UX (nur mit bash) Solaris (aktuell in Arbeit) Windows Remote-Monitoring empfohlen PowerShell-Agent hat Stabilitätsprobleme Weiterentwicklung wird derzeitig nicht verfolgt Oracle-Versionen RDBMS ASM OPITZ CONSULTING GmbH 2015 Seite 22

24 mk_oracle - Einsatzszenarien Single Instance Die häufigste Variante Physical Standby Database incl. Data-Guard Connect mit sysdba oder sysoper notwendig! Failover-Cluster Beim Connect zur Instance die VIP und nicht die Host-IP nutzen! Remote-Monitoring empfohlen Vermeidet doppeltes Monitoring über beide Clusterknoten Real Application Cluster (RAC) Beim Connect zur Instance die VIP und nicht die Host-IP nutzen! OPITZ CONSULTING GmbH 2015 Seite 23

25 mk_oracle - Einsatzszenarien ASM Als Single Instance, Oracle Restart oder RAC Logical Standby Database mit Einschränkungen Ist nur extrem selten in der Praxis zu finden Standby darf nicht auf gleichem Host wie Primary oder physical Standby laufen Einschränkung entfaällt mit Remote Monitoring RAC One-Node nicht möglich One-Node verschiebt ORACLE_SIDs zwischen Clusterknoten Ist die offizielle Alternative zum Failover-Cluster von Oracle Aus Kostengründen so gut wie nie genutzt OPITZ CONSULTING GmbH 2015 Seite 24

26 mk_oracle - Einsatzszenarien Mischkonfigurationen sind möglich RAC + physical Standby als RAC geht auch! Danke für die Clusterfunktionalität in Check_MK! mk_oracle ist somit für die Zukunft gut gerüstet! Flex ASM ist geplant Damit entfällt wahrscheinlich auch die Einschränkung bei RAC One Node OPITZ CONSULTING GmbH 2015 Seite 25

27 mk_oracle Checks Instance Check Neuer Check, der eine zentrale Aufgabe übernimmt Alle anderen Checks werden STALEs, wenn Login nicht möglich Reduzierung von Alarmierungen, wenn Instance nicht aktiv Prüft: OPEN_MODE der Instance Primary => OPEN Physical Standby oder ASM => MOUNTED Logins erlaubt ja/nein Archivelogmodus ja/nein Force Logging bei Archivelogmodus ja/nein Uptime der Instance OPITZ CONSULTING GmbH 2015 Seite 26

28 mk_oracle - Checks Prozesslimit in der Instance Füllgrad Recovery-Area Recovery Status der Datendateien Erkennung Offline Disks Maximalzeit für Dateien im user managed Backup Überwachung letzter Checkpoint RMAN-Backup Zeitraum für letztes Full, Incremental Level 0/1, Controlfile und Archivelogbackup OPITZ CONSULTING GmbH 2015 Seite 27

29 mk_oracle - Checks Undoüberwachung Limit für undo_retention und voller Undotablespace Data-Guard Überprüft Transport und Apply Lag Locks Lang anhaltende Locks in der Instance Long Active Sessions Überprüfung auf lang laufende Sessions Per Default nicht aktiv OPITZ CONSULTING GmbH 2015 Seite 28

30 mk_oracle - Checks Scheduler Jobs Überprüfung der Scheduler-Jobs Check wurde erweitert wegen fehlenden OWNER beim Job-Namen Tablespaces Zusätzliche Überprüfungen UNDO und TEMP-Tablespaces werden nicht mehr überwacht! Im Moment nur Überwachung mit free -Space möglich ASM Diskgroups Zusätzliche Überprüfungen OFFLINE-Disks Required Mirror Free Space bei NORMAL oder HIGH Redundancy OPITZ CONSULTING GmbH 2015 Seite 29

31 mk_oracle - Checks Logswitches Anzahl Logswitches Sessions Überwachung der Sessions in der Instance OPITZ CONSULTING GmbH 2015 Seite 30

32 3 Praktisches Beispiel OPITZ CONSULTING GmbH 2015 Seite 31

33 Architektur Check_MK Monitoring System Check_MK Agent Agent-Plugin mk_oracle Oracle Database OPITZ CONSULTING GmbH 2015 Seite 32

34 mk_oracle Konfiguration des Plugin Installation mk_oracle Kopiere mk_oracle nach /usr/lib/check_mk/plugins Kopiere sqlnet.ora nach $MK_CONFDIR Konfiguration von Check_MK Plugin mk_oracle.cfg ASMUSER= <username>:<password>:<sysdba>:<hostname>:<port> DBUSER= <username>:<password>:<sysdba>:<hostname>:<port> DBUSER_<ORACLE_SID>= <username>:<password>:<sysdba>:<hostname>:<port> Defaults username = / password und sysdba nicht gefüllt hostname = localhost port = 1521 OPITZ CONSULTING GmbH 2015 Seite 33

35 mk_oracle Konfiguration des Plugin Konfiguration von Check_MK Plugin vi $MK_CONFDIR/mk_oracle.cfg ASMUSER="asmsnmp:asmsnmp:sysdba" DBUSER="dbsnmp:dbsnmp:" OPITZ CONSULTING GmbH 2015 Seite 34

36 mk_oracle - Testmodus Verbindungstest nach der Konfiguration Debugging von Konfigurationsproblemen Sollte nach jeder Konfiguration genutzt werden Erspart die Fehlersuche Funktioniert der Testmodus, dann funktioniert auch das Plugin Bei Fehlern erfolgt die Ausgabe der genutzten Verbindungsdaten Wie funktioniert der Testmodus? export MK_CONFDIR=/etc/check_mk /usr/lib/check_mk/plugins/mk_oracle t OPITZ CONSULTING GmbH 2015 Seite 35

37 mk_oracle - Testmodus: Beispielausgabe /usr/lib/check_mk_agent/plugins/mk_oracle.new -t <<<oracle_instance>>> Ausgabe aller Agentsections von mk_oracle <<<oracle_asm_diskgroup>>> Logincheck to Instance: +ASM Version: 12.1 Login ok User: SYS on ora12c.local SYNC_SECTIONS= instance ASYNC_SECTIONS= asm_diskgroup Logincheck to Instance: tux2 Version: 12.1 Login ok User: SYS on ora12c.local SYNC_SECTIONS= instance sessions logswitches undostat recovery_area processes recovery_status longactivesessions dataguard_stats performance ASYNC_SECTIONS= tablespaces rman jobs ts_quotas resumable locks OPITZ CONSULTING GmbH 2015 Seite 36

38 Die Oberfläche OPITZ CONSULTING GmbH 2015 Seite 37

39 Neuen Host einfügen/anpassen OPITZ CONSULTING GmbH 2015 Seite 38

40 Discovered Services OPITZ CONSULTING GmbH 2015 Seite 39

41 Gespeicherter Host OPITZ CONSULTING GmbH 2015 Seite 40

42 Aktivierung der Änderungen OPITZ CONSULTING GmbH 2015 Seite 41

43 Ansicht der Checks eines Hosts OPITZ CONSULTING GmbH 2015 Seite 42

44 Übersicht über alle Regeln OPITZ CONSULTING GmbH 2015 Seite 43

45 Übersicht auf Regeln für Oracle Instancen OPITZ CONSULTING GmbH 2015 Seite 44

46 Detailansicht einer Filesystemregel OPITZ CONSULTING GmbH 2015 Seite 45

47 Performance-Daten OPITZ CONSULTING GmbH 2015 Seite 46

48 4 Security in mk_oracle OPITZ CONSULTING GmbH 2015 Seite 47

49 mk_oracle - Security User & Rechte Connect als dedizierter User Kein / as sysdba wie bei sqlplus.sh empfohlen physical Standby benötigt zwingend sysdba/sysoper -Recht Limitirung von Oracle nicht von mk_oracle! Wallet Keine Klartextkennwörter in Konfigurationsdateien mk_oracle.cfg ist kompatibel zum Wallet Username=/ => Walletnutzung tnsnames.ora notwendig Eintrag pro ORACLE_SID erforderlich Tnsnames.ora wird in /etc/check_mk erwartet Keine Beeinträchtigung einer bestehenden Oracle Umgebung OPITZ CONSULTING GmbH 2015 Seite 48

50 mk_oracle - Wallet Wallet für sicheres Login konfigurieren Als root Environment der DB-Software setzen mkstore -wrl /etc/check_mk/oracle_wallet -create mkstore -wrl /etc/check_mk/oracle_wallet - createcredential <TNS_ALIAS>" dbsnmp geheim vi /etc/check_mk/sqlnet.ora SQLNET.WALLET_OVERRIDE = TRUE OPITZ CONSULTING GmbH 2015 Seite 49

51 4 Fazit OPITZ CONSULTING GmbH 2015 Seite 50

52 Fazit Check_MK ist mehr als ein klassisches Monitoringsystem Ist aufgrund des modularen Aufbaus zu einer Gesamtlösung gewachsen Und es wird noch mehr werden. Geringe Betreuungskosten und einfach implementierbar Open Monitoring Distribution als Basis zur einfachen Wartung des Monitoringservers Alles per GUI administrierbar Sehr schnell up and running Check_MK kann noch viel mehr Der Vortrag kann nur einen kurzen Einblick über die Möglichkeiten bieten OPITZ CONSULTING GmbH 2015 Seite 51

53 Fazit OPITZ CONSULTING nutzt das System aktiv Aktiver Einsatz bei MSI (Managed Services Infrastructure) In Summe ~400 Hosts mit ~ Services mk_oracle ist stable Nur Windows PowerShell Plugin ist manchmal problematisch Erweiterungen Es stehen noch viele Ideen in der Pipeline Zeit und Sponsoring wird benötigt Bei Fragen mich bitte ansprechen! OPITZ CONSULTING GmbH 2015 Seite 52

54 Ansprechpartner bei OPITZ CONSULTING Thorsten Bruhns, Solution Architect OPITZ CONSULTING Deutschland GmbH Telefon Mobil slideshare.net/opitzconsulting xing.com/net/opitzconsulting OPITZ CONSULTING GmbH 2015 Seite 53