Control-M und Ticketerstellung ohne Remedy

Transkript

1 Control-M und Ticketerstellung ohne Remedy Holger Schidlowski 1

2 Einstieg in das Thema BMC Knowledge Article (vom 10. Juni 2017) Frage: Is there any way to open a ticket to Service Now when a controlm job fails? Antwort: Control-M/Server has a native interface toward BMC Remedy only. The only possibility to interface different service product from other vendors, is to use the capability of Control-M. Nicht ganz richtig 2

3 Das alles erfassen im Problem- Management?! 3

4 BMC REMEDY Schnittstelle 4

5 BMC REMEDY Schnittstelle Beim CONTROL-M EM Server und Control-M Server muss (lt. Admin Guide V9 FP 400) durch entsprechenden Ausführung von folgenden Skripten diese Schnittstelle bekannt gegeben werden: Kleiner Doku-Bug: Das Kommando remedy_configure gibt s nicht, es heißt ctm_remedy_configure! 5

6 Probleme dieser Schnittstelle Eine Konfiguration über den CONTROL-M Configuration Manager ist derzeit noch nicht möglich! Jeder Job muss angepasst werden! Somit werden nur Jobereignisse übergeben. Den "menschlichen Filter" dabei darf man nicht unterschätzen. Control-M Job Log und - Output werden aktuell nicht übernommen und müssen manuell ins Ticket gebracht werden! 6

7 WAS KANN MAN TUN, WENN MAN EIN ANDERES TOOL ALS REMEDY HAT? 7

8 Antwort Man benötigt eigentlich nur das, was man vermutlich sowieso schon installiert hat: Control-M EM Server für die SNMP-Schnittstelle Control-M Server DS ab Release 6.1.x (bei z/os ist das Release zur Zeit noch egal!) Sollte der Control-M Server DS nicht auf dem selben Rechner installiert sein wie der Control-M EM Server, benötigt man noch einen CONTROL-M/Agenten ab Release 6.2.xx auf dem Control-M EM Server Rechner. Oder eine entsprechende SSH-Umgebung. 8

9 SNMP Simple Network Management Protocol 9

10 SNMP Simple Network Management Protocol Das Simple Network Management Protocol (englisch für einfaches Netzwerkverwaltungsprotokoll ), kurz SNMP, ist ein Netzwerkprotokoll, um Netzwerkelemente (z. B. Router, Server, Switches, Drucker, Computer usw.) von einer zentralen Station aus überwachen und steuern zu können. Durch seine Einfachheit, Modularität und Vielseitigkeit hat sich SNMP zum Standard entwickelt, der sowohl von den meisten Managementprogrammen als auch von Endgeräten unterstützt wird. So ist SNMP z. B. nicht auf das Netzwerkprotokoll IP als Transport angewiesen. (Quelle: Wikipedia) 10

11 MIB Mamagement Information Base SNMP selbst definiert nicht, welche Werte eine Netzwerkkomponente liefern kann oder muss, da das von der Art der jeweiligen Komponente abhängt. Die Werte, die von einem Manager über eine gemanagte Netzwerkkomponente ausgelesen und verändert werden können, die so genannten Managed Objects, werden daher in einer Management Information Base (kurz MIB) beschrieben. Dabei handelt es sich um Beschreibungsdateien, in denen die einzelnen Werte tabellarisch aufgeführt werden. Die MIB ist jeweils spezifisch für eine bestimmte Komponente (oder eine Klasse von Komponenten, etwa Switches). Die MIB enthält keine Daten, sie beschreibt nur, wo diese zu finden sind und wie sie aussehen. (Quelle: Wikipedia) 11

12 Control-M EM MIB So sieht z.b. die Control-M EM MIB (auszugsweise) aus. BMC benutzt die aktuelle MIB-II Syntax, da diese heute von allen Netzwerkkomponenten unterstützt wird! Diese MIB-Datei liegt unter xnix: $HOME/ctm_em/data/BMC-CONTROLMEM-MIB.txt Windows: <Installationspfad>\Default\data\BMC-CONTROLMEM-MIB.txt 12

13 Soll ich MIB nutzen? Die Nutzung der Control-M EM Server und Control-M Server MIBs würden wir nicht empfehlen, außer man hat einen Profi in der Firma, der die MIBs in die entsprechenden Tools einpflegt und verwaltet. Der Aufwand ist groß und fehleranfällig, des weiteren müssen bei jedem Releasewechsel von Control-M diese kontrolliert und die Nutzung entsprechend angepasst werden. 13

14 Control-M EM Server und SNMP - Alerts Der Control-M EM Server bietet durch die Systemparameter SendAlarmToScript SendSnmp SnmpHost SnmpSendActive die Möglichkeit, SNMP Meldungen (Traps) für jede Alarm- Meldung aus dem Alert Fenster im WLA Client zu generieren, die dann von anderen Tools, wie System Management Konsolen, ausgewertet werden können. Mit folgendem Parameter können die erfassten Notes für einen Alarm als Trap zusätzlich verschickt werden: SendAlertNotesSnmp 14

15 Control-M EM Server und SNMP X-Alerts Zusätzlich können die X-Alerts aus dem Control-M EM Server per SNMP ebenfalls verschickt werden. Seit Version 9 extrem sinnvoll! Dafür sind folgende Systemparameter anzupassen: XAlertsEnableSending XAlertsSend2Script XAlertsSnmpHosts XalertsSendSnmp Optionale Systemparameter: HandledXAlertHandling IdenticalXalertHandling 15

16 Aktivierung von SNMP Die entsprechenden Anpassungen im OS müssen nur dann beachtet werden, wenn man wirklich mit den reinen SNMP-Traps arbeiten und diese an entsprechende Tools wie Tivoli, Openview/ITO, Nagios, etc. übergeben möchte! Ansonsten müssen die entsprechenden Anpassungen NICHT gemacht werden und es wird nur das hinterlegte Skript aus den Control-M EM Server Systemparametern SendAlarmToScript XAlertsSend2Script ausgeführt! Dies ist die von uns bevorzugte Methode! 16

17 Aktivieren von SNMP - xnix Auf dem Control-M EM Server muss unter /etc/services folgende Einträge vorhanden und aktiv sein: snmp 161/udp snmptrap 162/udp Unter /etc/snmp/conf/snmd.conf müssen folgende Einträge vorhanden sein system-group-read-community public read-community public Und natürlich muss der entsprechende SNMP Deamon (durch-) gestartet werden (Beispiel für Linux) /etc/init.d/snmpd restart oder /etc/init.d/snmpd start 17

18 Aktivieren von SNMP - Windows Unter Windows (hier W2K8 R2) muss der SNMP Trap Service/Dienst gestartet werden 18

19 Aktivieren der SNMP-Traps über CCM - Home 19

20 Control-M EM Systemparameter - Advanced 20

21 Systemparameter für SNMP-Traps - Alerts SendAlarmToScript Name des Scripts (incl. Pfad), dass beim erscheinen eines Alarms im Control-M WLA Alert Window ausgeführt werden soll (Default: script_name) SendSnmp muss dafür auf 2 gesetzt sein SendSnmp Muss auf 1 (nur Skript) gesetzt sein. Ansonsten werden keine SNMP-Traps erzeugt. (Default 0). Bei 2: SNMP-Traps und Skript SnmpSendActive Wenn 1, dann sollen Traps aus dem Active Net erzeugt werden. (Default: 0) 21

22 Systemparameter für SNMP-Traps X-Alerts XAlertsEnableSending Muss auf 1 gesetzt sein. Ansonsten werden keine SNMP- Traps erzeugt. (Default 0) XalertsSendSnmp Legt fest, ob ein Alarm als SNMP-Trap, an ein Skript, als SNMP-Trap und an ein Skript oder weder als SNMP-Trap noch an ein Skript gesendet wird. Muss auf 3 (Als SNMP-Trap und an ein Skript gesendet ) stehen, da 2 (An ein Skript gesendet) aktuell nicht funktioniert! Default (0) XAlertsSend2Script (MUSS) Name des Scripts (incl. Pfad), dass beim erscheinen eines Alarms im Control-M EM X-Alert Window ausgeführt werden soll (Default: script_name) 22

23 Optionale Systemparameter für SNMP-Traps SendAlertNotesSnmp Wenn auf 1 gesetzt, dann wird beim ändern des Alarms über das Control-M WLA Alert Window die Notes mitgeschickt SnmpHost/XAlertsSnmpHosts Hostname des SNMP-Servers, der die Snmp-Traps empfangen und verarbeiten. (Default: no_host) Trennen Sie mehrere Hosts durch ein Semikolon. Wenn Sie für jeden Host einen spezifischen Port hinzufügen möchten, geben Sie den Hostnamen, gefolgt von einem Doppelpunkt und der Portnummer ein. HandledXAlertHandling Legt fest, ob behandelte Alarme als SNMP-Trap oder an ein Skript gesendet werden. Wenn auf 1 gesetzt, werden X-Alerts mit dem Status Handled nochmals verschickt. Default (0) IdenticalXalertHandling Legt fest, ob identische Alarme als SNMP-Trap oder an ein Skript gesendet werden. Sollte auf 1 gesetzt sein. Ansonsten werden nicht alle SNMP-Traps erzeugt. (Default 0) 23

24 Aktivieren der SNMP-Traps Grundsätzlich muss nach einer Änderung dieser Parameter ALLE Enterprise Manager Gateways gestoppt und wieder gestartet werden. Erst danach ziehen die neuen Parameter: [em] ccmcli -U <dbo> -P <dbopassword> -pf <Password-File> -t Gateway -n <Gateway Name> -h <Gateway Host> -cmd stop [em] ccmcli -U <dbo> -P <dbopassword> -pf <Password-File> -t Gateway -n <Gateway Name> -h <Gateway Host> -cmd start oder über den CCM => Recycle 24

25 Testen der Schnittstelle Das einfachste Art, die Ausgabe der SNMP-Traps zu überprüfen, ist durch die Ausgabe aller Parameter in eine Datei: echo $* > Ausgabedatei (xnix) echo %* > Ausgabedatei (Windows) SNMP-Trap WLA Alerts Meldung vom Control-M Server (Type 11) SNMP-Trap CCM XAlerts 25

26 X-Alerts Prozess Typen Prozess-Type Komponente 0 Gateway 1 Global Condition Server 2 Gui Server 4 Batch Impact Manager 5 Forecast Server 6 Configuration Manager Server Agent 7 License Server ((noch) nicht im Einsatz) 8 Hostmon (nicht im Einsatz). 9 Configuration Manager Server 10 Configuration Manager Server Gateway 11 Control-M/Server 12 Control-M/Agent 13 Self Service Server 14 Web Server (Tomcat) 15 Naming Service(CORBA) 16 Datenbank 20 Workload Archive Server 26

27 Beispiel einer ATICS Lösung für einen Kunden, der kein REMEDY hatte ERSTELLUNG ITSM-TICKETS AUS CONTROL-M EM 27

28 Kurzbeschreibung Über die SNMP-Schnittstelle des Control-M EM Servers wird bei jeder Meldung im Control-M WLA Alert Window automatisch ein Ticket für ITSM (IET Solutions) erstellt. Dieses Ticket wird aus einer generiert, die an einen speziellen -User geht. 28

29 Weshalb wurde das Ganze entwickelt? Eine Analyse durch ATICS ergab, dass die Jobabbrüche im RZ unbewusst "gefiltert" wurden "Habe ich schon tausendmal gemeldet, aber nichts ist passiert!" "Die da draußen kümmert's 'eh nicht" Die selben Probleme traten dadurch regelmäßig immer wieder auf "Ich weiß, was zu tun ist. Passiert ja fast jeden Tag" Wenn dann Tickets manuell erfasst wurden, speziell im NONz/OS Umfeld, waren diese teilweise mangels Wissens fehlerhaft oder unvollständig. "Wo steht der Return Code?" "Keine Ahnung, was die Fehlermeldung ist. Der Job ist aber Rot!" 29

30 Lösung mit IETSolutions Enterprise Aufruf ATICS-Programm mail2applix im Hintergrund über die SNMP-Schnittstelle Übergabe Einfügen IETSolutions VIP (Virtual Incident Processing) Agent Anwendungsentw. OS-Administration Infomieren AV Operating 30

31 Infrastruktur IETSolutions Enterprise Hier klinkt sich das folgende Beispiel ein! 31

32 Konfiguration Für diverse Umsetzungen von Alarm-Prioritäten, zum ausschließen von Jobs aus der Alarmierung und der automatischen Zuteilung für die ITSM-Abgabegruppen gibt es mehrere Steuerdateien. dc_alarm.lst Steuert, für welche Control-M Server Tickets erstellt werden sollen und für welche Job-Präfixe nicht. Beispiel: Für die Control-M Server CTMPROD1 und CTMPROD2 sollen Tickets erstellt werden, bei CTMPROD1 aber nicht für Jobs die mit TT beginnen CTMPROD1 TT CTMPROD2 severity.lst - Über diese Datei können die Prioritäten über Jobnamen-Präfixe für die ITSM-Tickets definiert werden. Beispiel: Alle Jobs, die mit USR beginnen, werden mit der ITSM- Priorität Niedrig (N) versehen. Alle Jobs, die mit P beginnen, werden mit der ITSM-Priorität Niedrig (H) versehen USR N P H 32

33 Konfiguration itsm_abgabe.lst - In der Datei können Suchbegriffe für die Control-M Felder SUB APPLICATION, APPLICATION oder MESSAGE definiert werden. Dadurch wird dann die ITSM- Abgabegruppe übergeben. Die Zeilen bestehen aus drei Feldern. die durch ; getrennt werden: Feld 1: Suchen innerhalb folgender Alarmfelder: A => Application G => Group M => Message # => Kommentarzeile, die ignoriert wird Feld 2: ITSM-Abgabegruppe Feld 3: Suchbegriff 33

34 Konfiguration Beispiel: Wenn im MESSAGE-Feld (Feld 1: M) CHANGED TO UNAVAILABLE (Feld 3) auftaucht, wird die ITSM- Abgabegruppe auf ControlM_Admins (Feld 2) gesetzt. A;MELDEWESEN;MELDW M;ControlM_Admins;CHANGED TO UNAVAILABLE G;Blub;Bla 34

35 Ansicht im IET Solutions Workcenter Das Ticket wird automatisch eröffnet und alle relevanten Felder wurden über den IETSolutions VIP Agent aus den gesendeten Informationen entsprechend ausgefüllt. Die Jobinformationen wie der JOB-Output stehen im Details-Bereich zur Verfügung. Für die Datenbereitstellung nutzen wir das selbe Programm wie für unser Joblogarchiv! 35

36 Infomations- Zusätzlich bekommen die Mitarbeiter der entsprechenden ITSM-Abgabegruppe eine zugesandt, die auf das neu erstellte Ticket hinweist. Auch hier sind schon alle wichtigen Informationen enthalten. 36

37 Error- und Kontroll-Logs Alle Aktionen werden in verschiedenen Dateien protokolliert. Dies ist aus technischen Gründen nicht anders möglich. Errorlog Sollte in der Verarbeitung ein Fehler auftreten werden in der Datei mail2applix.err Fehlerhinweise geschrieben,. Der Aufbau ist: Fehler bei Aktion XXXXX aus Skript mail2applix.sh: <Jobname> <ORDERID> <Timestamp> Kontrolllogs Informationen über die Generierung der ITSM-Tickets stehen in den Gateway-Logs, die zum Tageswechsel des entsprechenden CONTROL-Ms neu angelegt wird. Diese Logs werden tagsüber durchnummeriert, falls ein Gateway oder CONTROL-M gestoppt und wieder gestartet wird. ~emuser/log/gtw_log.<em-datacenter-namen>.yyyymmdd.n 37

38 Beispiel: Errorlog Obiger Hinweis bedeutet, das die nicht erfolgreich an Lotus Notes geschickt werden konnte. Bisher war dann der Lotus Notes Server nicht erreichbar. Es gehen aber keine verloren!! Da Lotus Notes keine Meldungen zurück liefert, kann leider auch keine genaue Fehlerursache ausgegeben werden! 38

39 Beispiele: Kontroll-Logs Diese Meldung wird geschrieben, wenn das Versenden erfolgreich war! Diese Meldung wird geschrieben, wenn kein Ticket wegen der SEVERITY Niedrig erstellt wurde! 39

40 Sicherung Zusätzlich werden ALLE SNMP-Traps im Originalzustand in folgender Datei protokolliert: em_snmp.log Diese Datei wird jeden Tag neu angelegt und 6 Tage auf Platte im selben Verzeichnis gespeichert. 40

41 Was hat der Aufwand gebracht? Positive Seiten Weniger Abbrüche Die Entwicklung achtet mehr auf "Qualität" "Ich bekomme seit neuestem immer mehr Tickets. Ist das nötig?" Die Qualität der Jobnetze wurde verbessert Unnötige Jobs werden nun "eher" entfernt Es wurde besser und intensiver von allen betroffenen Abteilungen getestet. Negative Seiten Das Monitoring hatte eine Zeitlang das Control-M WLA Alert Window nicht mehr zur Überwachung benutzt, sondern haben nur noch in das ITSM nachgesehen, ob was abgebrochen ist! "Keine Tickets, keine Probleme" Wenn der Mail-Server nicht läuft, was ab und zu vorkommt, gibt's die Tickets erst später Es gehen aber keine verloren!! 41

42 External Application Abhängig vom genutzten Zielsystem kann man sich noch überlegen, den Zugriff auf das Ticket über die Control-M EM Funktion External Application einzurichten: 42

43 Referenz Ein Auszug erfolgreich von uns zum Einsatz gebrachter Lösungen (in Klammern das Jahr und das entsprechende Ziel- System): DSV ( ZIS) LBBW (FI-T-S) ( ITSM IET Solutions) Bei einer Schweizer Bank ( eigenes Tool) IVV ( MS SCOM über IVV eigene Schnittstelle) FESTO ( Vorbereitung für ServiceNow) 43

44 Vielen Dank für Ihre Aufmerksamkeit! Interessiert? Melden Sie sich bei uns: 44