RWE IT Infrastructure Operations Data Center Monitoring DE

Transkript

1 RWE IT Infrastructure Operations Data Center Monitoring DE Implementierung BMC Performance Manager und Event Manager Status: Final Date: Version: 0.1 Author: Dr. Hans-georg Köhne RWE IT GmbH SEITE 1

2 Event/Alert Management > Überwachte Systeme > Übersicht der Infrastruktur > Deployment (Distribution-Server) > Konfiguration (PCM) > Event Management > Diskussion RWE IT GmbH SEITE 2

3 Überwachte Systeme Windows Linux AIX Solaris SAP Oracle Siebel TSM Server SAN Fabric Sonstige HPSIM, MOM, BMC HPSIM,BMC BMC BMC, Nagios BMC BMC BMC, Siebel KM BMC (Actlog/Remote Monitoring) BMC SNMP Adapter BMC SNMP Adapter RWE IT GmbH SEITE 3

4 Logische Übersicht $ Event/Alert Management event detection event processing Server monitoring Application monitoring Event/Alert Database monitoring Event/Alert Operators Event/Alert Ticket creation Event/Alert Storage monitoring trap Central Event Console trap Event/Alert Event/Ticket enrichment SNMP Event/Alert CMDB Event/Alert Element Manager 1...n Transaction monitoring Environmental monitoring SMS Incident Management Ticket Ticket Tool Ticket Alarm Management Support-Group 1 Support-Group n Support-Group x RWE IT GmbH SEITE 4

5 Technische Übersicht Cluster PowerHA BMC Impact Explorer Patrol Central Console logonbmccs Console Server logonbmcem BMC Impact Server (BEM) BII4P Patrol Configuration Manager HP ConnectIT Distribution Server Patrol Agent DS-Client HP Service Center RWE IT GmbH SEITE 5

6 Deployment Distribution Server 1. KM aus RCS auschecken (kmcmd co) 2. Lokale Classic-Console starten (Share auf DS-Server) 3. KM anpassen und Classic Console schliessen 4. KM ins RCS einchecken (kmcmd ci) 5. Paket erzeugen (kmcmd pkg) 6. Altes DS Paket löschen (kmcmd dsremove) 7. DS paket importieren (kmcmd dsimport) 8. DS Paket Collection (kmcmd dsadd) 9. DS Paket verteilen (kmcmd distribute) Entwickler DS Server copssh + cygwin kmcmd Parameter: co: RCS Check out ci: RCS Check in pkg: Paket erzeugen dsremove: Paket löschen dsimport: Paket importieren dsadd: weist Paket einer Collection zu distribute: Paket verteilen \kmdev KMs, Shell/Perl-Scripts etc. are stored on DS-Server Filesystem Patrol Agent DS-Client RWE IT GmbH SEITE 6

7 Technische Übersicht Cluster PowerHA BMC Impact Explorer Patrol Central Console logonbmccs Console Server logonbmcem BMC Impact Server (BEM) BII4P Patrol Configuration Manager HP ConnectIT Distribution Server Patrol Agent DS-Client HP Service Center RWE IT GmbH SEITE 7

8 Konfiguration Patrol Configuration Manager 1. Wrapper Skript, das einen Lock Mechanismus enthält pcmgui kann nur einmal aktiv sein! 2. Es werden Konfigurationen & Schwellwerte gepflegt 3. Es gibt Ausnahmen (Filesystem Monitor) 4. Skript zur Pflege der PCM ASCII Dateien zur Erstkonfiguration von Agenten Patrol Configuration Manager Patrol Agent DS-Client RWE IT GmbH SEITE 8

9 Technische Übersicht Cluster PowerHA BMC Impact Explorer Patrol Central Console logonbmccs Console Server logonbmcem BMC Impact Server (BEM) BII4P Patrol Configuration Manager HP ConnectIT Distribution Server Patrol Agent DS-Client HP Service Center RWE IT GmbH SEITE 9

10 Event Management > Logische Struktur > Quadrupel > Heartbeats > Schnittstellen am Beispiel BEM2SC > CMDB Integration RWE IT GmbH SEITE 10

11 Presentation & Notification Layer CONFIG Processing Layer Processing Group Processing Group CONFIG Integration Layer BEM logische Struktur SNMP BII4P SIC PIC Konfiguration SIC - SNMP Integration Cell PIC - Patrol iintegration Cell EPC - Enrichment Proc. Cell PPC - Processing Cell CPC - Consolidation Proc.Cell DC - Display Cell NC - Notification Cell EPC PPC DDA EPC PPC DDA Package Connector CMDB Connector CMDB Integration Data Collector CPC CPC CMDB AIXBOMS Notification 3rd Party Systems DC NC HPSC Integration ZIS Integration HP SC ZIS Impact Explorer RWE IT GmbH SEITE 11

12 Event Management Quadrupel > generische Regeln > Events, deren Quadrupel übereinstimmt, werden korreliert > Heartbeats werden an Hand des mc_parameter-wertes erkannt Event Slot Avaya Authentication Failure SNMP Adapter Heartbeat mc_class SNMP_alarmMinor SNMP_rweHPSIMHeartbeat mc_object_class AVAYA_G3_login HPSIM_Heartbeat mc_object SNMP HPSIM Server mc_object_owner* <hostname> <hostname> mc_parameter AVAYA_G3_ALARM HeartbeatSender * mc_object_owner enthält den Namen des korrespondierenden CIs aus der CMDB RWE IT GmbH SEITE 12

13 Event Management Generischer Heartbeat Mechanismus HB Event > regelmässige Events mit mc_parameter=heartbeatsender > BEM Regel erstellt HB Datei im Filesystem > HB Check Skript checkt das Alter der HB Dateien an Hand der Konfiguration > Führt Drill Down (z.b. Ping) aus > Schickt HB_Missing Event an BEM BEM RWE IT GmbH SEITE 13

14 Technische Übersicht Cluster PowerHA BMC Impact Explorer Patrol Central Console logonbmccs Console Server logonbmcem BMC Impact Server (BEM) BII4P Patrol Configuration Manager HP ConnectIT Distribution Server Patrol Agent DS-Client HP Service Center RWE IT GmbH SEITE 14

15 Schnittstelle BEM - HP Service Center TT time out TT Req Sent BEM TT Req HP ConnectIT TT Close Open Error HP Service Center RWE IT GmbH SEITE 15

16 Schnittstelle CMDB > Daten aus der CMDB werden regelmässig in Dateien exportiert > Aus diesen Export-Dateien werden Baroc Data files erzeugt und in DDA Tabellen importiert. > Verknüpfung zwischen DB SID Hostname CI Name technical Application Name Priority RWE IT GmbH SEITE 16

17 Diskussion RWE IT GmbH SEITE 17

18 Backup Folien > Beispiel PCMGUI > Event Management Heartbeat Konfiguration RWE IT GmbH SEITE 18

19 Konfiguration Patrol Configuration Manager Beispiel RWE IT GmbH SEITE 19

20 Event Management Heartbeat Konfiguration [BOS_Heartbeat] interval = 300 tolerance = 20 escscript1 = bos_hb_escal.pl [SNMP_Adapter_Heartbeat] interval = 1800 tolerance = 10 [SAN_Heartbeat] interval = tolerance = 250 [ibm3494_heartbeat] interval = tolerance = 2 [TSM_Heartbeat] interval = 1800 tolerance = 15 [ZIS_Heartbeat] interval = 360 tolerance = 50 severity2 = CRITICAL [PROXIMA_Heartbeat] interval = 1800 tolerance = 10 [RWETEC_Heartbeat] interval = 300 tolerance = 10 [MOM_Heartbeat] interval = 300 tolerance = 20 [HPSIM_Heartbeat] interval = 1800 tolerance = 10 [CyberArk_Heartbeat] interval = 300 tolerance = 10 [SNMP_Heartbeat] interval = 1800 tolerance = 10 RWE IT GmbH SEITE 20

21 Event Management Heartbeat Files <CELLNAME>!<CLASS>!<mc_parameter>!<mc_object>!<mc_object_class>!<mc_origin>!<mc_host>!<mc_host_class> picdet01!bos_heartbeat!heartbeatsender!logfile!bos_heartbeat!s010l0004!s010l0004!linux picdet01!patrol_ev!heartbeatsender!logonpe1!dm_heartbeat!r9018i1:3182!r9018!aix C245ED4C00 sicdet01!snmp_heartbeat!heartbeatsender! !snmp_heartbeat!snmp!kfnay0001p.utility! sicdet01!snmp_rweheartbeat!heartbeatsender! !snmp_adapter_heartbeat!snmp!s010a0028.group.rwe.com! sicdet01!snmp_zisheartbeat!heartbeatsender!zisb!zis_heartbeat!snmp!s030a0547.group.rwe.com! RWE IT GmbH SEITE 21