z/os System Logger Performance

z/os System Logger Performance Lahnstein 30.09.2011 Dagmar Fischer Ein Unternehmen der Finanz Informatik

A g e n d a» z/os System Logger Performance System Logger Überblick LOGSTREAM Nutzung LOGSTREAM Typen LOGSTREAM Konfiguration LOGSTREAM Performance Daten LOGSTREAM Report Utility LOGSTREAM Performance LOGSTREAM Console Commands Seite 2

z/os System Logger - Überblick» Was ist der z/os System Logger? Der z/os System Logger ist eine Funktion des Betriebsystems die es Subsystemen erlaubt Ereignisse zu protokollieren Diese Infrastruktur befreit die Subsysteme davon einen eigenen Mechanismus zum loggen zu entwickeln Der System Logger stellt folgende Funktionen zur Verfügung: Lesen und schreiben der Log Daten in sogenannte LOGSTREAMs Sichern der Log Daten, Datenintegrität und Daten Duplizierung Automatisches archivieren und löschen von abgelaufenen Daten Zusammenführen von Log Daten verschiedener Anwendungen in einen Log Datenbestand Monitoring der Nutzung der Log Datenbestände Seite 3 Alle diese Funktionen sind für den Nutzer transparent

z/os System Logger - Überblick LOGSTREAMs können sich übergreifend auf mehreren Speichermedien befinden» Primary (Interim) Storage Dataspace im Hauptspeicher Coupling Facility Structure Staging Datasets» Secondary (DASD) Storage VSAM Linear Datasets für OFFLOAD der Daten wenn der Primary Storage Schwellwert erreicht ist» Tertiary (TAPE) migrated Data Seite 4

Seite 5 z/os System Logger Überblick

z/os System Logger LOGSTREAM Typen» DASD ONLY LOGSTREAM Interim Daten befinden sich im IXGLOGR Data Space und Staging Datasets Single System Scope kann von mehreren Nutzern innerhalb einer LPAR genutzt werden Seite 6

z/os System Logger LOGSTREAM Typen» CF Structure LOGSTREAM Interim Daten befinden sich im IXGLOGR Dataspace und der Coupling Facility Struktur ( optional auch zusätzlich auf Staging Datasets ) Sysplex Scope kann von mehreren Nutzern innerhalb eines Sysplex benutzt werden Seite 7

Seite 8 z/os System Logger Überblick

z/os System Logger - Überblick» Definition eines LOGSTREAMs Seite 9

z/os System Logger LOGSTREAM Nutzung Es gibt zwei verschiedene Arten der LOGSTREAM Nutzung Funnel Type» Wird oft zur Archivierung von Daten genutzt» Nutzer schreibt und vergisst die Daten» Bei Lesezugriff werden meist nur die aktuellsten Daten benötigt» Schreiben auf DASD ist immer erforderlich» Archivierung und löschen der Daten durch Logger Definitionen Active Type Seite 10» Wird zum verwalten von Transaktionen ( Recovery ) genutzt» Die Daten werden oft aktiv gelesen» Daten werden normalerweise nach Transaktionsende gelöscht und nicht archiviert

Seite 11 z/os System Logger LOGSTREAM Nutzung

z/os System Logger LOGSTREAM Nutzung» Funnel Type LOGSTREAMs Nur zeitlich begrenztes speichern der Daten im Interim Storage notwendig Regelmäßiger OFFLOAD auf DASD erwünscht Interim Storage nicht zu groß definieren damit OFFLOAD nicht zu lange dauert» Active Type LOGSTREAMs Verfügbarkeit der Daten im Interim Storage ist wichtig da die Response Time von Transaktionen beeinflusst werden kann Möglichst kein OFFLOAD auf DASD erwünscht Interim Storage groß genug definieren, damit das löschen der Records im Interim Storage stattfindet Seite 12

z/os System Logger LOGSTREAM Konfiguration» System Logger Performance ist abhängig von der LOGSTREAM Konfiguration AVGBUFSIZE Durchschnittliche Buffer Größe für das schreiben auf LOGSTREAMS in eine CF Struktur (Hot Air) MAXBUFSIZE Maximale Größe eines Buffers, wenn der Buffer gefüllt ist wird er mit einem IXGWRITE in den LOGSTREAM geschrieben MAXBUFSIZE bestimmt auch die Entry / Element Ratio einer Struktur MAXBUFSIZE < 65276 bedeutet Element Size 256 Bytes MAXBUFSIZE > 65276 bedeutet Element Size 512 Bytes Einige Logstream Nutzer Buffern Log Records und schreiben diese dann mit einem IXGWRITE in den LOGSTREAM. In eine CF Struktur können auch mehrere LOGSTREAMs schreiben, unterschiedliche Log Record / Buffer Größe beachten! Beispiel : Der Hauptnutzer der CF Struktur schreibt Records die 1800 Bytes groß sind, hier würden bei einer Element Size von 256 Bytes 8 Elements (1800/256) für jeden Entry pro IXGWRITE benötigt werden. (Element / Entry Ratio ist 1:8). Schreibt jetzt ein anderer Nutzer einen 200 Byte großen Record wird er einen Entry aber nur eines von 8 Elements nutzen. Dies resultiert in einer Verschwendung von Elements und einer früheren Structure Full Condition. Seite 13

z/os System Logger LOGSTREAM Konfiguration» System Logger Performance ist abhängig von der LOGSTREAM Konfiguration HIGHOFFLOAD - Schwellwert in Prozent bei der OFFLOAD beginnt LOWOFFLOAD - Schwellwert in Prozent bei der OFFLOAD aufhört Duplexing Optionen DUPLEX STG_DUPLEX DUPLEXMODE LOGGERDUPLEX Seite 14

z/os System Logger LOGSTREAM Konfiguration» LOGSTREAMs können zu Recovery zwecken dupliziert werden, dies beeinflusst allerdings je nach Art der Duplizierung die Performance DUPLEXING von DASD ONLY LOGSTREAMs ist automatisch! DASD ONLY LOGSTREAMS sind immer DUPLEXED, die Log Records befinden sich:» im System Logger Data Space und auf den Staging Datasets Seite 15

z/os System Logger LOGSTREAM Konfiguration DUPLEXING von COUPLING FACILITY LOGSTREAMs wird durch folgende Parameter beeinflusst: LOGGERDUPLEX kontrolliert ob der System Logger die Duplizierung initiiert» COND - System Logger initiiert Duplizierung nur bei Single Point of Failure» UNCOND - System Logger initiiert Duplizierung immer STG_DUPLEX NO - Daten sind nur im Local SYSTEM LOGGER Data Space dupliziert YES - Daten werden in Staging Datasets dupliziert, eines pro Logstream per System DUPLEXMODE bei YES kontrolliert wie die Log Records dupliziert werden Seite 16» COND - Duplex Data auf Staging Datasets nur bei Single Point of Failure» UNCOND - Staging Datasets werden immer genutzt» DXRC - Duplex Data nur in speziellen Disaster Recovery Situationen

z/os System Logger LOGSTREAM Konfiguration OFFLOAD Processing beginnt sobald Interim Storage voll ist logisch gelöschte (IXGDELET) Records werden physisch gelöscht, die übrigen Records werden auf die OFFLOAD Datasets geschrieben OFFLOAD für DASD ONLY LOGSTREAMs wird ausgelöst durch: Staging Dataset erreicht den Schwellwert (HIGHOFFLOAD)» die Daten werden jedoch vom System Logger Data Space OFFLOADed somit bestimmt die Größe des Staging Datasets die Memory Allokierung des System Logger Address Spaces OFFLOAD für CF LOGSTREAMs wird ausgelöst durch: Seite 17 Struktur erreicht den Schwellwert (HIGHOFFLOAD) Struktur in use erreicht 90% (Critical Condition) Staging Dataset erreicht den Schwellwert Wenn der letzte Nutzer des LOGSTREAMs disconnected

z/os System Logger LOGSTREAM Konfiguration Active Type Logstream Idealerweise sollte kein OFFLOAD stattfinden alle Log Records sollten bereits im Logstream logisch gelöscht werden HIGHOFFLOAD sollte nie höher als 80% liegen LOWOFFLOAD sollte zwischen 60% und 75% liegen Funnel Type Logstream OFFLOAD nicht in zu kurzen Intervallen HIGHOFFLOAD sollte zwischen 70% und 80% liegen LOWOFFLOAD sollte möglicht 0% sein, aber bei einigen Nutzern ist es nützlich einige Daten im Interim Storage zu behalten Seite 18

z/os System Logger LOGSTREAM Konfiguration ROT maximal ein OFFLOAD in 30 Sekunden, minimal ein OFFLOAD per SMF Intervall Anzahl der maximale OFFLOAD Datasets beachten Die LOGSTREAMs müssen groß genug sein um einen Write Peak zu verkraften Wenn ein LOGSTREAM voll ist (100%) und der OFFLOAD startet können Nutzer nicht mehr in den LOGSTREAM schreiben bis der LOWOFFLOAD Schwellwert erreicht. APAR OA36175 ändert dieses Verhalten so das schreiben ab einen Schwellwert von 90% wieder möglich ist. Seite 19

z/os System Logger LOGSTREAM Performance Daten Einige Anwendungen stellen eigene Auswertungen zur Verfügung z. B. CICS DFHOSTAT Seite 20

z/os System Logger LOGSTREAM Performance Daten RMF Coupling Facility Reports Init Size war 5M Structure altered auf 8M wegen Structure full Condition Alle Requests (100%) auf der Coupling Facility Seite 21

z/os System Logger LOGSTREAM Performance Daten RMF Coupling Facility Reports # der Data Elements ist 11K # of Entrys ist 5725 11000 / 5725 = 1.92 aufgerundet ist 1:2 Ratio # der Data Elements in use ist 3143 # in der Entrys in Use ist 1554 3143 / 1554 = 2.03 aufgerundet ist 1:3 Ratio MAXBUFSIZE ist 64K. ELEMENTSIZE ist 256 Bytes was bei einem 1:2 Ratio eine kalkulierte Buffersize von 512 Bytes ergibt. Da aber die Usage eine 1:3 Ratio anzeigt, ist die reale Größe der Records / Buffer die ein Logstream in die Struktur schreibt eher 750 Bytes oder größer. Seite 22

z/os System Logger LOGSTREAM Performance Daten Workload Activity - SMF Record Typ 72.3 CPU, I/O und Storage Nutzung des IXGLOGR Address Space» IXGLOGR muss in einer eigenen Report Klasse definiert werden DASD I/O Activity - SMF Record Typ 74.1 (DASD) und 74.5 (CACHE)» I/O, Response Time, Cache Hit Ratio Coupling Facility Activity - SMF Record Typ 74.4 Anzahl der Requests je System CF Storage und CPU Nutzung je Struktur SYNC und ASYNC Response Time Statistiken Entry / Element Ratio und OFFLOADs Seite 23

z/os System Logger LOGSTREAM Performance Daten System Logger Activity - SMF Record Typ 88 Beinhaltet die Performance Daten für jeden einzelnen LOGSTREAM» Report Utility IXGRPT1J aus der SYS1.SAMPLIB zur Auswertung SYSTEM LOGGER ACTIVITY REPORT (IXGRPT1) BYT WRITTN BYT WRITTN BYT WRITTN AVERAGE BY USERS TO INTERIM TO DASD #WRITES ---# WRITES COMPLETED------ BUFFER --LOGSTREAM NAME------------ STRUCTURE NAME-- IXGWRITES STORAGE INVOKED TYPE1 TYPE2 TYPE3 SIZE BYT DELETD # DELETES BYT DELETD # DELETS ---------------EVENT--------------- INTERIM ST W/O DASD INTERIM ST W/ OFF- DASD STRC NTRY STG STG RE- W/O DASD WRITE W/DASD WRITE LOAD SHFT FULL FULL THLD FULL BLD 08/14/11 10:30:00 PM (SMF INTERVAL TIMESTAMP 'C838EF89A8A00000'X) ATR.PLEXZ2.DELAYED.UR RRS_STR001 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ATR.PLEXZ2.MAIN.UR RRS_STR001 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ATR.PLEXZ2.RESTART RRS_STR002 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ATR.PLEXZ2.RM.DATA RRS_STR002 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 HZS.HEALTH.CHECKER.HISTORY HZS_HEALTHCHKLOG 3960 4608 0 3 3 0 0 1320 0 0 0 0 0 0 0 0 0 0 0 SYSPLEX.OPERLOG LOG_OPERLOG 1343113 1717248 0 3309 3309 0 0 405 0 0 0 0 0 0 0 0 0 0 0 Seite 24

z/os System Logger Report Utility (IXGRPT1) SYSTEM LOGGER ACTIVITY REPORT (IXGRPT1) BYT WRITTN BYT WRITTN BYT WRITTN AVERAGE BY USERS TO INTERIM TO DASD #WRITES ---# WRITES COMPLETED------ BUFFER --LOGSTREAM NAME------------ STRUCTURE NAME-- IXGWRITES STORAGE INVOKED TYPE1 TYPE2 TYPE3 SIZE BYT DELETD # DELETES BYT DELETD # DELETS ---------------EVENT--------------- INTERIM ST W/O DASD INTERIM ST W/ OFF- DASD STRC NTRY STG STG RE- W/O DASD WRITE W/DASD WRITE LOAD SHFT FULL FULL THLD FULL BLD HZS.HEALTH.CHECKER.HISTORY HZS_HEALTHCHKLOG 3960 4608 0 3 3 0 0 1320 0 0 0 0 0 0 0 0 0 0 0 SYSPLEX.OPERLOG LOG_OPERLOG 1343113 1717248 0 3309 3309 0 0 405 0 0 0 0 0 0 0 0 0 0 0 BYT Written By Users IXGWRITE # von Bytes die dem System Logger übergeben wurden (beinhaltet keine Hot Air ) BYT Deleted Interim ST w/o DASD # von Bytes die im Interim Storage gelöscht wurden (inkl. Hot Air ) BYT written to Interim Storage # von Bytes des LOGSTREAMs die sich im Interim Storage befinden (inkl. Hot Air ) Deleted w/o DASD write # von Bytes die im Interim Storage gelöscht wurden BYT written to DASD # von Bytes die in die OFFLOAD Datasets geschrieben wurden BYT deleted Interim ST w/dasd # von Bytes deleted in Interim Storage nachdem die Daten OFFLOADED wurden(inkl. Hot Air ) Writes Invoked # von Bytes die auf diesem System geschrieben wurden Deletes w/write # von Bytes deleted nachdem die Daten bereits in OFFLOAD Datasets waren Seite 25

z/os System Logger Report Utility (IXGRPT1) SYSTEM LOGGER ACTIVITY REPORT (IXGRPT1) BYT WRITTN BYT WRITTN BYT WRITTN AVERAGE BY USERS TO INTERIM TO DASD #WRITES ---# WRITES COMPLETED------ BUFFER --LOGSTREAM NAME------------ STRUCTURE NAME-- IXGWRITES STORAGE INVOKED TYPE1 TYPE2 TYPE3 SIZE BYT DELETD # DELETES BYT DELETD # DELETS ---------------EVENT--------------- INTERIM ST W/O DASD INTERIM ST W/ OFF- DASD STRC NTRY STG STG RE- W/O DASD WRITE W/DASD WRITE LOAD SHFT FULL FULL THLD FULL BLD HZS.HEALTH.CHECKER.HISTORY HZS_HEALTHCHKLOG 3960 4608 0 3 3 0 0 1320 0 0 0 0 0 0 0 0 0 0 0 SYSPLEX.OPERLOG LOG_OPERLOG 1343113 1717248 0 3309 3309 0 0 405 0 0 0 0 0 0 0 0 0 0 0 # WRITES COMPLETED Type 1 = # writes completed normal (ohne OFFLOAD), Type 2 = HIGHOFFLOAD Wert erreicht, Type 3 = write da 90% der Structure in use Entries erreicht wurde Average Buffer Size # durchschnittliche Bytes die Logger bei jedem IXGWRITE übergeben wurden --------------------------------------------- EVENT ------------------------------------------------------------------------------------------------------------- OFF-LOAD # der OFFLOADs im Intervall DASD SHFT # der OFFLOAD Datasets die in diesem Intervall zusätzlich allokiert wurden STRC FULL # von Structure Full Condition erreicht NTRY FULL # der OFFLOADs da die In use Entries der Structure 90% erreichten STG THLD # von IXGWRITEs während der HIGHOFFLOAD Schwellwert erreicht war STG FULL # von Staging Dataset Full Condition erreicht RE-BLD # von Rebuilds während des Intervalls Seite 26

z/os System Logger LOGSTREAM Performance Couple Datasets Antwortszeiten der DASD Peripherie beachten Staging Datasets OFFLOADs werden immer vom Interim Storage durchgeführt I/O Last bedingt durch viele Writes Read I/O bei Recovery OFFLOAD Datasets I/O Last bedingt durch viele Writes Cache Hit für Writes überprüfen Sizing der Datasets prüfen allokieren eines neuen OFFLOAD Datasets verzögert den OFFLOAD Prozess Seite 27

z/os System Logger LOGSTREAM Performance COUPLING FACILITY Volatile / Nonvolatile ( Staging Datasets bei Volatile notwendig ) Lokation der CF ( Entfernung, Kanaltyp ) zur LPAR COUPLING FACILITY LOGSTREAMs Sizing der Struktur Entry zu Element Ratio Sharing von CF List Structures ( mehrere Logstreams / eine Structure ) Seite 28

z/os System Logger Console Commands Informationen von SYSTEM LOGGER LOGSTREAMs, Structures und Connectors D LOGGER,L D LOGGER,ST D LOGGER,C Informationen über DASDONLY LOGSTREAMs D LOGGER,L,DASDONLY D LOGGER,C,DASDONLY Seite 29

Seite 30 Fragen

Seite 31 Dokument und Präsentation auf deren Grundlage diese Präsentation erstellt wurde