Joblog / Syslog Archivierung

Transkript

1 Joblog / Syslog Archivierung im heterogenen Umfeld 96. z/os - Guide - Tagung 30. Sep Okt in Lahnstein Christian.Bressler@betasystems.com 1

2 Agenda Beta Systems (wer, wo, was?) Joblog/Syslog Archivierung seit über 20 Jahren Log Archivierung als Service des z/os Entwicklungshilfe & Standards Konzepte & Ideen 2

3 Entwicklungs-Labor Berlin zentrales Rechenzentrum... von z9 bis x86 zseries (z/os) Unix (aix, hp, sun) Linux ( i, p, z, x86) AS/400 Windows SAP Competence Center Entwicklungslandschaft (Infrastruktur) Zusammenarbeit mit SAP/Walldorf Entwicklung, Standardisierung, Zertifizierung 3

4 Hauptsitz in Berlin... an der Spree 4

5 Joblog Archivierung permanentes Wachstum!!! 80er *** 90er ********** Heute ******************** Morgen *********************************************> (Jobs pro Tag) 5

6 Joblog Archivierung 2009 ff Durchschnitt 2008 bereits Jobs pro Tag Jobs Listen Zeilen 100 GB (pro Tag) 6

7 z/os Joblog & Syslog Archiv - Log Archivierung ist seit über 20 Jahren auf dem Mainframe etabliert! -sicher -einfach - schnell - powerful - und... 7

8 ... und veraltet nur TSO keine Schnittstellen nur für MVS-Jobs seit vielen Jahren unverändert 8

9 Zutaten für ein Enterprise Joblogarchiv für jeden verfügbare GUI flexible & einfache Recherche Plattformunterstützung für Unix Linux Windows SAP Anbindung wartungsarm 9

10 Title... und einen modernen z/os Kern 7 / 24 h Betrieb unterbrechungsfrei Nutzung des Umfeldes XCF ziip 64bit (above the bar) , Web Integration Eventmanagement 10

11 aus TSO/ISPF Dialog Beta 92 Enterprise V4R Zeile 1 von 6 Kommando ===> Blättern ===> CSR Job-Auswahltabelle Sortiert nach Submit-Datum und Zeit D Angezeigt End-Datum und Zeit Sel Jobname Job ID Datum Zeit Status Fehler User Gruppe M SEHAM5A J /29/ :42:13 R WIF008 SYSTEM SEHAM5A J /29/ :41:55 R JESCH2 SYSTEM SEHAM5A J /29/ :40:41 R E CC 0004 JESCH2 SYSTEM STLJOB J /28/ :37:28 R STL2 SYSTEM STLJOB J /28/ :33:00 R STL2 SYSTEM B48MAILI USR /28/ :37:22 R CHRIS SYSTEM ******************************* BOTTOM OF DATA ************************** 11

12 aus TSO/ISPF Dialog Beta 92 Enterprise V4R Kommando ===> Print2Mail-Parameter Jobname: SEHAM5A (J ) Submitted: 09/29/ :41:58 Druckart ===> ONLINE (O)nline oder (B)atch Senden an ===> ===> Senden von ===> ZIP pro ===> LISTE (W)ebLink, (A)nhang oder (Z)ip (J)ob oder (L)iste Mailtext ===> Hallo, ===> ===> Beispiel für -Funktion für den Guide in Lahnstein. ===> ===> Gruß ===> Christian 12

13 aus TSO/ISPF Dialog Beta 92 Enterprise V4R Mail wurde gesendet Kommando ===> Blättern ===> CSR Job-Auswahltabelle Sortiert nach Submit-Datum und Zeit D Angezeigt End-Datum und Zeit Sel Jobname Job ID Datum Zeit Status Fehler User Gruppe M SEHAM5A J /29/ :42:13 R WIF008 SYSTEM SEHAM5A J /29/ :41:55 R JESCH2 SYSTEM SEHAM5A J /29/ :40:41 R E CC 0004 JESCH2 SYSTEM STLJOB J /28/ :37:28 R STL2 SYSTEM STLJOB J /28/ :33:00 R STL2 SYSTEM B48MAILI USR /28/ :37:22 R CHRIS SYSTEM ******************************* BOTTOM OF DATA ************************** 13

14 Log-Archivierung für alle Was wird benötigt? zwei Dinge Ein zentraler Server - ausfallsicher - 99,999% 2. 1-n Agenten - wartungsarm - keine Administration 14

15 Unternehmensweite Log Archivierung steuert administriert z/os kontrolliert [Beta 92] horcht ( listen ) empfängt todo-liste / Tagesplan AIX Linux zlinux HPUX Sun Windows [EJM Agent] [EJM Agent] [EJM Agent] [EJM Agent] [EJM Agent] [EJM Agent] 15

16 Services (I) SYSLOG Archivierung als Standard unternehmensweit automatisch vom Agenten keine Administration 16

17 Services (II) Rules Welches File oder welches Verzeichnis? Wann? (runcycle) Löschen? Endless? (disposition) Ausführung einer Rule auf bestimmten Agenten (Agentengruppe) 17

18 Services (III) Joblog Archivierung für Scheduler TWS UC4 Control M - mit Standardregeln oder - Plugin 18

19 Services (IV) SAP Logs & Joblogs automatische Joblog Archivierung SystemLog ApplicationLog Security Auditlog - ChildJob Archivierung & Darstellung 19

20 Services (V) Binary files & MIME type z.b..pdf Unix login/logout logging (wtmp, utmp) - Zugriff über WebGUI - Versand via . 20

21 Resümee z/os als zentraler Server für unternehmensweite Archivierung von... Joblogs Logfiles (Text & Binär) SAP wartungsarmer Standard- Agent auf jedem Server. Bei Bedarf jederzeit vom Host ansprechbar und steuerbar ohne lokalen Eingriff auf dem Agenten. 21

22 Beta92 Enterprise Beta 92 EJM Agent Neu! Ab 30. Oktober mit Beta92 V4.4 Ausführen von Jobs (unix,linux, windows) SAP Netweaver 7 Ausführen von Jobs (ABAPs) Volle Unterstützung XBP 3.0 zertifiziert z.b. ChildJob Steuerung variable Varianten BW-SCH Events auslösen z.b. Unix-> z/os (Job oder SRSTAT) Filetransfer Workload Balancing Lastverteilung u. Queueing 22

23 Ende Fragen? Support & Services Beta Systems Software AG +49 (30)

24 [Beta 92] Enterprise Suite Unternehmensweites Logmanagement z/os Guide Lahnstein 1. Oktober 2009 Christian Bressler 24

25 Anforderung an ein Log-Managemt-System Logfinformationen verteilter Produktionsprozesse zusammenführen und revisionssicher archivieren Automatische Überprüfung von und Information über Fehlverarbeitungen Integration in vorhandene Betriebsabläufe Zentrale Administration aller angebundenen Plattformen Den Zugang zum System über unterschiedliche Präsentationsoberfläche und individuellen User-Layouts Individuelle Bearbeitungsrichtlinien unter Berücksichtigung von Zugriffsrechten Intelligente Suchmethoden zur schnellen Recherche historischer Abläufe Jeder Anwender sollte seine Daten eigenständig zentral verwalten und bearbeiten. 25

26 Beta 92 Enterprise Suite [Beta 92] EUI [Beta 92] WEB [Beta 92] XCF [Beta 92] OSY Unix Windows SAP [Beta 92] EIF JAVA-basierendes Userinterface Userinterface über WEBbasierende Unternehmenstruktur LPAR übergreifendes Kommunikationsprotokoll in einem SYSPLEX Input Agenten zum Einlesen von Files aus Unix / Windows SAP Netweaver Indizierung von Files zur genaueren Recherche [Beta 92] Reader Archive Statistik Online [Beta 92] EVT Event-Management 26

27 Architektur des Beta 92 Enterprise Zentrale VSAM basierende Datenbank Sicherer Umgang mit grossen Datenmengen Parallele Reader als Grundlage einer leitungsfähigen Performance Umfangreiche Selektionskriterien durch individuelle Layouts Unterschiedliche Job-Queues zur schnellen Recherche Individuelles Scanning der Jobprotokolle (EVT Table) Sicherheit durch RACF Interface Beta 92 als zentrales Element ist in mehr als 350 Unternehmen im Einsatz und bildet die Grundlage für das unternehmensweite Joblog / Log Management 27

28 Architektur des Beta 92 Enterprsie Beta 92 bildet die Basisfür die Enterprise Architektur. Protokolle / Logs werden beim Einlesen nach Fehlern analysiert und vom Statisik -Monitor erfasst. Innerhalb einer Queue Struktur stehen die Joblogs dem Anwender ONLINE zur Verfügung VTAM Web [JES] 2/3 Jobprotokoll Reader Statistic Monitor Scanning [Beta 92] Process History Manager EVENT Tivoli Console Systemlog Online DB Archive Disk, Tape, Kodak 28

29 Architektur des Beta 92 Enterprise SAP Input Agent Realtime Monitoring der TBTCO Job Tabelle Automatisiertes Einlesen der SAP System Log Mandantenfähiges Regelwerk Autorecovery als Grundlage einer hohen Betriebssicherheit Compression / Encrytion / SSL Kommunikation Ein Agent unterstützt xx SAP Systeme parallel SAP Netweaver Zertifizierung BC-XBP 6.10 Ein mandantenfähiges Regelwerk ermöglicht ein individuelles Scanning von SAP Jobprotokollen zentral hinterlegt im Beta 92 Enterprise und daraus ableitende Aktionen 29

30 Architektur des Beta 92 Enterprise Beta 92 SAP Input bildet via RFC-Call den Connect für Beta 92 Enterprise Über die Standard Schnittstelle XMI/XBP werden die SAP Batchjobs und Das SAP System Log erfasst und in die DB eingelesen. Dieses Regelwerk beinhaltet z.b. den Jobnamen, das SAP System, Manadanten, Datum,Uhrzeit VTAM [SAP Systemlog] XMI/XBP [ABAP Output] SAP XMI/XBP Monitor Task [Beta 92 Agent] SAP Input Agent [TCP/IP] Statistic Monitor Scanning [Beta 92] Process History Manager EVENT [ABAP Output] XMI/XBP Online DB WEB Tivoli Console Archive 30

31 Architektur des Beta 92 Enterprise UNIX / Windows Input Agent [OSY] Übersichtliche Definitionstruktur im Beta 92 Autorecovery Agententechnologie Compression / Encrytion Kommunikation SSL Verschlüsselung Asynchrone Kommunikation Breiteste Plattformunterstützung AIX,Sun,HP-UX,Linux,z/Linux,Windows,... Die Möglichkeit der zentralen Administration von Enterprise Agenten ist eine komfortable Erweiterung des Beta 92 EP. 31

32 Architektur des Beta 92 Enterprise Beta 92 Enterprise portiert die Funktionen des Beta 92 in die heterogene IT- Welt. Auf der Basis von bewährten Strukturen können entstehende Protokolle / Logs in die zentrale Datenbank eingelesen werden. Die Administration erfolgt zentral im Beta 92 über unterschiedliche Präsentationsober- Flächen VTAM Unix-Files Monitor Task [Beta92] z/linux Input Agent Log File Windows-Files Monitor Task [Beta92] Windows Input Agent [JES] Index Facility EVENT Log File Tivoli Console XMI/XBP [Systemlog] Statistic Monitor Scanning [Beta 92] Process History Manager SAP Netweaver XMI/XBP [ABAP Log] Online DB Archive Monitor Task [Beta92] SAP Input Agent Systemlog XMI/XBP [ABAP Log] WEB 32

33 Zusammenfassung Architektur des Beta 92 Enterprise Einlesen von ASCII basierenden Files und SAP Joblogs aufbauend auf einem strukturiertes Regelwerk mit zentraler Administration im Beta 92 Enterprise Asynchrone Kommunikation mit dem zentralen Datenserver garantiert eine hohe Verfügbarkeit / Sicherheit Robuste und bereits in anderen Beta Produkten bewährte Technologie (GPA) bildet die Grundlage dieser Software Lösung Dynamische Erweiterung garantiert einen unterbrechungsfreien Betrieb 33

34 Beta92 Extended Index Facility [EIF] Bilden eines Index beim Einlesen des Protokolls als Grundlage - Für eine Selektion nach Kriterien innerhalb eines Joblogs - Für das Beta 92 Event Management Grundlage sind individuelle Scandefinitionen als Grundlage für das Layout-Konzept des Beta 92 Enterprise Index mit bis zu 32 USER Defined Fields möglich PGM Name Scanner Library [ ] Beta 92 34

35 Beta 92 Extended Index Facility [EIF] Beta 92 [EIF] bildet in diesem Beispiel einen Index auf eine Programm- Umwandlungsliste. Selektionen können somit z.b. auf der Basis von PGM-Name SOURCE-Name Library durchgeführt werden. 35

36 Beta 92 Enterprise [ Beta 92 WEB] GUI basierender Client für den unternehmensweiten Zugang zum Beta 92 Enterprise - Basisfunktionen : Select, Browse, Reload, Print Rein WEB basierend, keine zusätzliche Client-Software notwendig J2EE Technologie, stützt sich auf Standard Application Server wie z.b. IBM Websphere Technologie ermöglicht Einbindung in vorhandene Unternehmensportale Einheitliche Präsentationsoberfläche für die Beta Produktfamilie - Beta 92, Beta 93, Beta 97, Beta 88 36

37 Hauptfunktionalitäten Seitenweise Übertragung und Präsentation von Joblogs im Internet und Intranet Druck (von Teilen) von Dokumenten / Protokollen Dokumentenbasierte Anmerkungen / Notizen hinzufügen Oberflächen für Endanwender sind anpassbar und können personalisiert werden Möglichkeit der Integration in bestehende Portale über Web Services 37

38 Überblick Architektur Beta WebEnabler Client Präsentation Business Logik Datenlieferant Web Connector Beta 93 Web Server J2EE Server Web Connector Beta 92 UX Web Connector Beta 92 38

39 Beta 92 Web Enabler Identische Selektionsmöglichkeiten wie mit 3270: Joblogs Hierbei werde die klassischen z/os Joblogs selektiert Filerules Hier werden ASCII basiernde Files über Beta 92 OSY Agenten erfasst und importiert SAP Hier werden SAP Joblogs über die RFC Schnittstelle BC-XBP erfast und importiert 39

40 Beta 92 Web Enabler 40

41 Beta 92 WebEnabler Detailinformationen einer Joblog Selection : Einzeldarstellung aller generierten Output-Elemente mit der Option, diese Information anzuzeigen. 41

42 Beta92 Extend User Interface [EUI] Beta92 Enterprise EUI Interface als zusätzliche Präsentationsoberfläche mit der Option, Definitionen dezentraler Plattformen an Beta 92 zu administrieren.. Dieses Java basierende GUI bietet dem Anwender die Möglichkeit, die eingelesenen Logs Files nach unterschiedlichen Layout s zu selektieren. Die Authentisierung wird über RACF abgebildet. 42

43 Beta 92 Enterprise EVT (Application Integration) Individualisierung von Joblogs zu einer ganzheitlichen Darstellung einer Unternehmensanwendung Filterkriterien für nicht ein deutige Fehlerbedingungen Anwenderbezogene Darstellung von Logdaten innerhalb einer Anwendung SMTP Protokoll zur Übertragung von Logs, Joblogs und Listen Job-Library für einen direkten Neustart eines Batchjobs Mit Beta 92 Application Integration werden die batchbezogenen Unternehmensprozesse innerhalb dieser Recherche - Software eindeutig abgebildet. Dies geschieht unabhängig davon auf welcher Plattform und zu welchem Zeitpunkt der eigentliche Teilprozess ausgeführt wurde. 43

44 Beta 92 Enterprise EVT (Application Integration) Application View SAP Netweaver UNIX/Windows z/os Unterschiedliche Teilprozesse erzeugen Logdaten. Filterkriterien stellen den Bezug zur Application View dar. Scandefinitionen erkennen Fehlerbedingungen, Batchjobs oder können gestartet werden. Log01 Log02 Log03 Log04 Application Integration Filter / Event Handler Log05 Log06 Individuelle Search/Result Layouts führen alle Informationen zu einem zentralen View zusammen. Batchjob Application View 44

45 Zusammenfassung Beta 92 Enterprise als Zentralarchive von unternehmensweit entstehenden Job-Logs / Logfiles garantiert den schnellen Zugang aller eingelesenen Daten. Eine moderne, intuitive Nutzeroberfläche ermöglicht den unternehmensweiten Zugang und eine problemlose Integration. Beta 92 Enterprise als zentrale Job-Log Management Lösung entlastet Ihre UNIX / Windows Systeme durch Auslagerung der Logs Beta 92 Enterprise unterstützt Ihre Compliance Anforderungen in der revisioinssicheren Archivierung von Prozesslogs 45

46 Vielen Dank für Ihre Aufmerksamkeit 46