RWE IT Infrastructure Operations Data Center Monitoring DE

RWE IT Infrastructure Operations Data Center Monitoring DE Implementierung BMC Performance Manager und Event Manager Status: Final Date: 05.11.2010 Version: 0.1 Author: Dr. Hans-georg Köhne RWE IT GmbH 22.11.2010 SEITE 1

Event/Alert Management > Überwachte Systeme > Übersicht der Infrastruktur > Deployment (Distribution-Server) > Konfiguration (PCM) > Event Management > Diskussion RWE IT GmbH 22.11.2010 SEITE 2

Überwachte Systeme Windows Linux AIX Solaris SAP Oracle Siebel TSM Server SAN Fabric Sonstige HPSIM, MOM, BMC HPSIM,BMC BMC BMC, Nagios BMC BMC BMC, Siebel KM BMC (Actlog/Remote Monitoring) BMC SNMP Adapter BMC SNMP Adapter RWE IT GmbH 22.11.2010 SEITE 3

Logische Übersicht $ Event/Alert Management event detection event processing Server monitoring Application monitoring Event/Alert Database monitoring Event/Alert Operators Event/Alert Ticket creation Event/Alert Storage monitoring trap Central Event Console trap Event/Alert Event/Ticket enrichment SNMP Event/Alert CMDB Event/Alert Element Manager 1...n Transaction monitoring Environmental monitoring SMS Incident Management Ticket Ticket Tool Ticket Alarm Management Support-Group 1 Support-Group n Support-Group x RWE IT GmbH 22.11.2010 SEITE 4

Technische Übersicht Cluster PowerHA BMC Impact Explorer Patrol Central Console logonbmccs Console Server logonbmcem BMC Impact Server (BEM) BII4P Patrol Configuration Manager HP ConnectIT Distribution Server Patrol Agent DS-Client HP Service Center RWE IT GmbH 22.11.2010 SEITE 5

Deployment Distribution Server 1. KM aus RCS auschecken (kmcmd co) 2. Lokale Classic-Console starten (Share auf DS-Server) 3. KM anpassen und Classic Console schliessen 4. KM ins RCS einchecken (kmcmd ci) 5. Paket erzeugen (kmcmd pkg) 6. Altes DS Paket löschen (kmcmd dsremove) 7. DS paket importieren (kmcmd dsimport) 8. DS Paket Collection (kmcmd dsadd) 9. DS Paket verteilen (kmcmd distribute) 1. 4. 5. 6. 7. 8. 9. 2. Entwickler 3. 9. DS Server copssh + cygwin kmcmd Parameter: co: RCS Check out ci: RCS Check in pkg: Paket erzeugen dsremove: Paket löschen dsimport: Paket importieren dsadd: weist Paket einer Collection zu distribute: Paket verteilen \kmdev KMs, Shell/Perl-Scripts etc. are stored on DS-Server Filesystem 9. 9. Patrol Agent DS-Client RWE IT GmbH 22.11.2010 SEITE 6

Technische Übersicht Cluster PowerHA BMC Impact Explorer Patrol Central Console logonbmccs Console Server logonbmcem BMC Impact Server (BEM) BII4P Patrol Configuration Manager HP ConnectIT Distribution Server Patrol Agent DS-Client HP Service Center RWE IT GmbH 22.11.2010 SEITE 7

Konfiguration Patrol Configuration Manager 1. Wrapper Skript, das einen Lock Mechanismus enthält pcmgui kann nur einmal aktiv sein! 2. Es werden Konfigurationen & Schwellwerte gepflegt 3. Es gibt Ausnahmen (Filesystem Monitor) 4. Skript zur Pflege der PCM ASCII Dateien zur Erstkonfiguration von Agenten Patrol Configuration Manager Patrol Agent DS-Client RWE IT GmbH 22.11.2010 SEITE 8

Technische Übersicht Cluster PowerHA BMC Impact Explorer Patrol Central Console logonbmccs Console Server logonbmcem BMC Impact Server (BEM) BII4P Patrol Configuration Manager HP ConnectIT Distribution Server Patrol Agent DS-Client HP Service Center RWE IT GmbH 22.11.2010 SEITE 9

Event Management > Logische Struktur > Quadrupel > Heartbeats > Schnittstellen am Beispiel BEM2SC > CMDB Integration RWE IT GmbH 22.11.2010 SEITE 10

Presentation & Notification Layer CONFIG Processing Layer Processing Group Processing Group CONFIG Integration Layer BEM logische Struktur SNMP BII4P SIC PIC Konfiguration SIC - SNMP Integration Cell PIC - Patrol iintegration Cell EPC - Enrichment Proc. Cell PPC - Processing Cell CPC - Consolidation Proc.Cell DC - Display Cell NC - Notification Cell EPC PPC DDA EPC PPC DDA Package Connector CMDB Connector CMDB Integration Data Collector CPC CPC CMDB AIXBOMS Notification 3rd Party Systems DC NC HPSC Integration ZIS Integration HP SC ZIS Impact Explorer RWE IT GmbH 22.11.2010 SEITE 11

Event Management Quadrupel > generische Regeln > Events, deren Quadrupel übereinstimmt, werden korreliert > Heartbeats werden an Hand des mc_parameter-wertes erkannt Event Slot Avaya Authentication Failure SNMP Adapter Heartbeat mc_class SNMP_alarmMinor SNMP_rweHPSIMHeartbeat mc_object_class AVAYA_G3_login HPSIM_Heartbeat mc_object 10.52.233.228 SNMP HPSIM Server mc_object_owner* <hostname> <hostname> mc_parameter AVAYA_G3_ALARM HeartbeatSender * mc_object_owner enthält den Namen des korrespondierenden CIs aus der CMDB RWE IT GmbH 22.11.2010 SEITE 12

Event Management Generischer Heartbeat Mechanismus HB Event > regelmässige Events mit mc_parameter=heartbeatsender > BEM Regel erstellt HB Datei im Filesystem > HB Check Skript checkt das Alter der HB Dateien an Hand der Konfiguration > Führt Drill Down (z.b. Ping) aus > Schickt HB_Missing Event an BEM BEM RWE IT GmbH 22.11.2010 SEITE 13

Technische Übersicht Cluster PowerHA BMC Impact Explorer Patrol Central Console logonbmccs Console Server logonbmcem BMC Impact Server (BEM) BII4P Patrol Configuration Manager HP ConnectIT Distribution Server Patrol Agent DS-Client HP Service Center RWE IT GmbH 22.11.2010 SEITE 14

Schnittstelle BEM - HP Service Center TT time out TT Req Sent BEM TT Req HP ConnectIT TT Close Open Error HP Service Center RWE IT GmbH 22.11.2010 SEITE 15

Schnittstelle CMDB > Daten aus der CMDB werden regelmässig in Dateien exportiert > Aus diesen Export-Dateien werden Baroc Data files erzeugt und in DDA Tabellen importiert. > Verknüpfung zwischen DB SID Hostname CI Name technical Application Name Priority RWE IT GmbH 22.11.2010 SEITE 16

Diskussion RWE IT GmbH 22.11.2010 SEITE 17

Backup Folien > Beispiel PCMGUI > Event Management Heartbeat Konfiguration RWE IT GmbH 22.11.2010 SEITE 18

Konfiguration Patrol Configuration Manager Beispiel RWE IT GmbH 22.11.2010 SEITE 19

Event Management Heartbeat Konfiguration [BOS_Heartbeat] interval = 300 tolerance = 20 escscript1 = bos_hb_escal.pl [SNMP_Adapter_Heartbeat] interval = 1800 tolerance = 10 [SAN_Heartbeat] interval = 21600 tolerance = 250 [ibm3494_heartbeat] interval = 21600 tolerance = 2 [TSM_Heartbeat] interval = 1800 tolerance = 15 [ZIS_Heartbeat] interval = 360 tolerance = 50 severity2 = CRITICAL [PROXIMA_Heartbeat] interval = 1800 tolerance = 10 [RWETEC_Heartbeat] interval = 300 tolerance = 10 [MOM_Heartbeat] interval = 300 tolerance = 20 [HPSIM_Heartbeat] interval = 1800 tolerance = 10 [CyberArk_Heartbeat] interval = 300 tolerance = 10 [SNMP_Heartbeat] interval = 1800 tolerance = 10 RWE IT GmbH 22.11.2010 SEITE 20

Event Management Heartbeat Files <CELLNAME>!<CLASS>!<mc_parameter>!<mc_object>!<mc_object_class>!<mc_origin>!<mc_host>!<mc_host_class> picdet01!bos_heartbeat!heartbeatsender!logfile!bos_heartbeat!s010l0004!s010l0004!linux picdet01!patrol_ev!heartbeatsender!logonpe1!dm_heartbeat!r9018i1:3182!r9018!aix 5.3 00C245ED4C00 sicdet01!snmp_heartbeat!heartbeatsender!1.3.6.1.6.3.1.1.5!snmp_heartbeat!snmp!kfnay0001p.utility! sicdet01!snmp_rweheartbeat!heartbeatsender!1.3.6.1.4.1.4482!snmp_adapter_heartbeat!snmp!s010a0028.group.rwe.com! sicdet01!snmp_zisheartbeat!heartbeatsender!zisb!zis_heartbeat!snmp!s030a0547.group.rwe.com! RWE IT GmbH 22.11.2010 SEITE 21