Control-M Forecast Simulation mit Periodic Statistics

Transkript

1 2014 Control-M Forecast Simulation mit Periodic Statistics Holger Schidlowski 1

2 Problemstellung 2014 Unterschiedliche Joblaufzeiten bei täglichem, wöchentlichem und monatlichem Lauf erschweren die Laufzeitanalyse und prognose Unterschiedliche Jobnamen für Tages-/Wochen- /Monatsverarbeitung sind nicht erwünscht Erschwert Wartbarkeit der Jobs und Abläufe Control-M Forecast ist zwar installiert, wird aber außer der Funktion View Schedule nicht (optimal) genutzt z/os Scheduling Tables werden nicht im Control-M EM Desktop gepflegt, somit ist ein Control-M Forecast für z/os Jobs nicht möglich 2

3 Projektziel 2014 Projekt wurde im Januar 2014 aufgesetzt mit den Zielen: Lauffähige Simulationsumgebung im Testumfeld aufbauen Aufbau von Testabläufen mit z/os und DS Jobs, mit unterschiedlichen Laufzeiten zu unterschiedlichen Terminen, z.b. täglich und am Ultimo. Aufbau von periodischen Statistikkalendern basierend des Lauftages z.b. täglich, wöchentlich, Ultimo, etc. für diese Jobs Forecast Umgebung korrekt parametrisieren BMC Forecast online und im Batch testen bzgl. der Testabläufe Auswertungsmöglichkeiten testen, Reportgenerierung Einsatz der ATICSTOOLS für das (regelmäßige) Urladen der z/os Scheduling Tables in Control-M EM Server Dadurch profitiert noch ein anderes, parallel laufendes Projekt Control-M Change Management, die mit der Aktualität der z/os Scheduling Tables im COntrol-M EM Probleme haben Projektende April

4 Kunde 2014 Aktuell 3. größte Bank Deutschlands nach Bilanzsumme Sitz in Frankfurt/Main Setzt Control-M z/os und Control-M DS jeweils Release 7 ein 4

5 Grundsätzliches zu Control-M Forecast 2014 Mit Control-M Forecast ist es möglich, z.b.: Einen Tagesplan grafisch als Netzplan, als Gantt-Diagramm oder als Liste in der Zukunft anzusehen Engstellen schon vor dem Auftreten festzustellen oder Optimierungen zu testen, beispielsweise durch (zeitliches) Simulieren von fehlenden Conditions Zu langer Job Laufzeiten Herunter-/Hochsetzen von Quantitativen Ressourcen Zeitliche Auswirkungen von Jobabbrüchen darzustellen 5

6 Darstellungsmöglichkeiten 2014 Netzplan Liste Gantt- Diagramm 6

7 Laufzeit-Statistik 2014 Control-M Forecast kopiert voll automatisch bei jedem Tageswechsel für jedes im Control-M EM Server angebundene Control-M die Laufzeit-Statistikdaten in separate Datenbanktabellen. Dadurch besteht die Möglichkeit, auch erweiterte Laufzeitanalysen durchzuführen als nur basierend auf den letzten 20 Jobläufen (Default). Zusätzlich besteht die Möglichkeit über sogenannte Peridoc statical calendars Laufzeitverhalten und unterschiede in den Forecast mit einlaufen zu lassen. Für die Nutzung dieser Möglichkeit sind vorbereitende Arbeiten notwendig 7

8 Richtige Konfiguration des Control-M Forecast 2014 User Daily Definition hat zwei verschiedene Funktionen, abhängig auch von Control-M z/os oder Control-M DS. Der User Daily SYSTEM wird automatisch für alle angebundenden Control-Ms eingestellt und deren definierten Order Time aus den Systeminformationen der entsprechenden Control-M EM Gateways übernommen. Diese Uhrzeit ist der Startzeitpunkt, mit dem Control-M Forecast rechnet! Die Order Time lässt sich hier nicht ändern, nur in den entsprechenden Control-M Systemparametern! Der User Daily SYSTEM bei Control-M z/os ist hier nur ein Synonym für den Control-M z/os Job DAILYPRD (oder entsprechend)! 8

9 Zuordnung Userdaily Tables z/os 2014 Um eine ähnliche User Daily Zuordnung von Control-M z/os Tables für Control-M Forecast zu erreichen, müssen diese Tables hier über die User Daily Definition manuell zugeordnet werden. Die Vorgehensweise ist folgendermaßen: Control-M EM Desktop => Tools => Forecast Configuration Selektion des User Daily SYSTEM in der User Daily Definition Anklicken des EDIT-Buttons oder Doppelklick auf die Auswahlzeile 9

10 Zuordnung Userdaily Tables z/os 2014 Selektion der entsprechenden Tables unter All Tables und kopieren dieser über > nach Selected Tables. Über die STRG-Taste können mehrere Tables selektiert werden! Dies muss entsprechend für ALLE User Daily im z/os gemacht werden! 10

11 Ausblick automatische Zuordnung von z/os Tables zum einem User Daily Es gibt eine Möglichkeit, dieses für z/os ähnlich wie im Control-M DS zu erweitern. Eine Beschreibung findet man in der BMC Knowledge Base unter CAR Diese Erweiterung entspricht dann dem Verfahren im IOA Die Vorgehensweise würde aber den KOMPLETTEN Tagewechselablauf im Control-M z/os umstellen und es müssen diverse APARS vorab im Control-M z/os eingespielt werden. 11

12 Periodic Statistic Calendars 2014 Um das Laufzeitverhalten eines Jobs abhängig von seinem Verarbeitungstag, z.b. längere Laufzeiten bei einem Ultimo, simulieren und auswerten zu können, müssen vorab sogenannte Periodic statistical calendars (PSC) eingerichtet werden. Diese Kalender entsprechen im Prinzip einem Periodischen Kalender im Control-M. D.h., bei diesen Kalender werden Arbeitstage nicht per Y/N definiert, sondern über sogenannte Perioden, die A-Z oder 0-9 heißen können. Die Besonderheit hier ist, dass diese Kalender nur im Control- M EM Server gespeichert werden müssen, da sie nur für den Control-M Forecast gelten! 12

13 Anlegen eines Periodic statistical calendars 2014 Die Einrichtung eines PSCs erfolgt über den Control-M EM Desktop. Dafür muss wie erwähnt zuerst ein Periodische Kalender definiert werden. Dies erfolgt über Tools => Calendar Manager. 13

14 Festlegen der Perioden 2014 Danach können dann die entsprechenden Tage mit einem Periodennamen (Periods) definiert werden. Hier in dem Beispiel wurden 2 Perioden definiert: Für Mo Fr die Periode T Jeder 2. (Arbeits-)Tag im Monat die Periode M Dieser Kalender MUSS NICHT per Upload in das entsprechende Control-M geladen werden!! 14

15 Aktivierung des PSCs 2014 Damit ein definierter Periodische Kalender als PSC genutzt werden kann, muss dieser über den Periodic Statistics Manager entsprechend aktiviert werden. Dies geschieht im Control-M EM Desktop über Tools => Periodic Statistics Manager. Die Daten werden dann ab dem nächsten Tageswechsel entsprechend gesammelt. 15

16 PSC Filter 2014 Hier werden Filterdefinitionen (PSC Filter) angelegt, u.a. für welchen Tables/Jobs oder Applikationsnamen der PSC die Statistik sammeln soll. Die Reihenfolge der PSC Filter ist wichtig: Entsprechend der definierten Reihenfolge werden die Statistischen Daten für Tables/Jobs anhand der Filter generiert. D.h., sollte ein Table/Job durch mehrere PSC Filtern angesprochen werden, so wird nur beim ersten zutreffenden Filter die Daten gespeichert! 16

17 PSC Filter definieren 2014 Im Periodic Statistical Definition Fenster können für bestimmte Control-M Tables-/Jobfelder Auswahlkriterien definiert werden: Name Auswahlname, den man später selektieren kann Description Eine kurz Beschreibung 17

18 PSC Filter definieren 2014 Period Type Statistics collected according to the periods in the calendar Wenn aktiv, werden anhand des ausgewählten Periodic calendars die Statistik gesammelt Statistic collectd? according to a period defined by condition prefix Job Filter Hier können Regular Expressions benutzt werden: *,?, [ ],! Control-M Table Table Application Group Job Name / Mem Name Path / Mem Lib Node / Group ID Auswahl des entsprechenden Control- M Server. Durch Komma getrennt können mehrere angegeben werden Defintion der zu berücksichtigen Tablename Nur z/os: PDS-Name der Tables Defintion der zu berücksichtigen Application-Namen aus den Tablesn/Jobs Defintion der zu berücksichtigen Group-Namen aus den Tablesn/Jobs Defintion der zu berücksichtigen Jobs Skript Pfade oder PDS-Namen Defintion der zu berücksichtigen Control-M Agenten oder Nodegroups (nur DS) 18

19 Änderung der Statistik-Ansicht Die Darstellung der Statistik ändert sich dann auch entsprechend. Sobald für einen Job/Table über einen PSC Daten gesammelt werden, werden auch nur noch die Statistiksätze aus dem PSC in der Control-M EM GUI angezeigt Standard PSC 19

20 Beispiel PSC Filter 2014 Hier ein Beispiel für einen PSC Filter, der für alle Jobs im Datacenter OS390 und UNIX_NT anhand des PSC PERIODIC_STATISTI CAL_MASTER für alle Jobs, die mit dem Applikationsnamen SUMMIT* laufen, sammeln soll. 20

21 What-If Szenario 2014 In allen What If Szenarien des Control-M Forecast kann man über Advanced diese PSCs mitberücksichtigt Man kann dabei eine oder mehrere Periode per Komma getrennt dabei angeben 21

22 Beispiel 2014 Der Table ATICS_FORECAST_TEST hat unterschiedliche Laufzeiten im täglichen Ablauf und am Ultimo. Es soll nun simuliert werden, wie sich das Laufzeitverhalten bei einer Erhöhung um 20% bei der täglichen und Ultimo verarbeitung auswirkt. 22

23 Beispiel 2014 Definition des What-If Szenarios für die tägliche Laufzeit mit dem PSC FORECAST_PERIODIC und dessen Periode D Eine Erhöhung der Laufzeiten ist hier nicht ersichtlich: Normale Laufzeiten Lauzeiten + 20% 23

24 Beispiel 2014 Das selbe What-If Szenario nun für den monatlichen Lauf. Dafür wird aus dem PSC FORECAST_PERIODIC die Periode M ausgewählt, die die Daten nur für den Ultimolauf berücksichtigt. Hier ergeben sich bei den einzelnen Jobs längere Laufzeiten: Normale Laufzeiten Lauzeiten + 20% 24

25 Forecast im Batch 2014 Control-M Forecast kann auch als Batchjob ausgeführt werden, wobei die Ausgabe hier nur als CSV-Datei erfolgt. Diese kann dann z.b. in Excel oder in eine Datenbank importiert und ausgewertet werden. em forecastcli -u <user> [[-p <password>] -pf <password_file>] -s <server_name> -odate [YYYYMMDD +n] [Filter] [-scenario <name>] [-run_time [Min Avg Max]] -job_info_file <file_name> [-service_info_file <file_name>] [-hide_times] 25

26 Filter (optional) 2014 Über die Option Filter kann die Auswahl für den Forecast eingeschränkt werden. Auch hier können die vorher beschriebenen Sonder-/Ersetzungszeichen angewandt werden. -dc_name <name> Control-M EM Datacenter Name -table_name <name> Table Name -appl_name <name> Applikationsname -grp_name <name> Gruppen Name -mem_lib <name> JCL PDS/Skript Pfad Name -job_name <name> Job Namen 26

27 Beispiel 2014 Es soll ein Forecast 5 Tage in die Zukunft für alle Tables MAINDAY aller Control-M Server im Control-M EM ENTW durchgeführt werden ($1 wird über Autoedit berechnet: %%$CALCDATE %%$ODATE +5). em forecastcli -pf $HOME/.pfile -s ctmentw odate $1 -table_name "MAINDAY" -job_info_file /tmp/mainday.csv Jobprotokoll: Using SSL Services Information for date ' ': Business Services: * Late Services * Completed on time * Deadline out of forecast Jobs: * Not Running * Ended OK * Running

28 Beispiel Ergebnis 2014 Anschliessend kann die ausgegebene Datei z.b. in MS Excel importiert werden für eine weitere Analyse oder für eine spezielle Sortierung. 28

29 ATICSTOOLS: Urladen der z/os Tables 2014 Mit Hilfe der schon lange existierenden ATICSTOOLS ATRX001 für z/os und ATEM007 für Windows/xNIX kann ein sogenanntes Urladen, d.h. Laden aller z/os Scheduling Tables, erfolgen, wenn man will täglich ATRX001 DD SYSIN-Beschreibung USERDAILY Angabe eines Userdaily-Namens. Dieser erscheint dann im Control-M EM Table-Manager (kann mehrfach angegeben werden) EINGABE PDS-Name der z/os Scheduling Tabellen (kann mehrfach angegeben werden) MEMBER Zulässige Auswahl (kann mehrfach angegeben werden) * Alles übernehmen A* Nur Member, die mit A beginnen (kann mehrfach angegeben werden) ABC Absolute Angabe (kann mehrfach angegeben werden) A*Z Nur Member, die mit A beginnen und mit Z enden (kann mehrfach angegeben werden) 29

30 ATICSTOOLS 2014 Ablaufplan ATRX001J: Dieser führt das REXX Programm aus. ATRX001_Transfer: Holt per Control-M for AFT die Datei von Host ab und speichert diese auf dem Server ATEM007: Führt den Download der Tables durch 30

31 Vielen Dank für Ihre Aufmerksamkeit!