WebSphere MQ V7 for z/os

Transkript

1 2009 IBM Corporation Marcel Amrein, Technical Sales IT Specialist IBM Deutschland Software Group WebSphere for system z marcel.amrein@de.ibm.com IBM Software Group WebSphere MQ V7 for z/os Präsentation für System z Guide-Tagung Lahnstein, März 2013

2 Agenda Ein paar WMQ / MQSeries Basics WebSphere MQ im z/os Umfeld WebSphere MQ Version 7 Publish/Subscribe MQ Client Verbesserungen Channel Authentication Shared Message Data Sets (SMDS) Weitere spezielle z/os Funktionen 2

3 Kommunikation unter Anwendungen Conversational (e.g.appc) Call and Return (RPC) Messaging (MQ) 3

4 MQI Message Queuing Interface einheitliches API für Cobol, PL/I, C über alle Plattformen 4

5 Asynchrone Verarbeitung Zeit-Unabhängigkeit MQGET MQPUT 5

6 Pseudo-synchrone Betriebsart z.b. Front-End Transaktion Client Pgm (A) wartet auf Reply Message asynchron ist nicht gleichzusetzen mit langsamer allerdings: wie verhält sich Pgm A, wenn innerhalb der Wartezeit (z.b. 3 sec) die Reply Message nicht erscheint? Anwendungs-Design! 6

7 Der Queue Manager Applications Utilities Command Server Listener Channel Initiator Trigger monitor Windows Explorer PUT GET LOG Messaging & Queuing Operating System & Storage Operating System Timers Semaphores ECBs Memory Communications 7

8 Agenda Ein paar WMQ / MQSeries Basics WebSphere MQ im z/os Umfeld WebSphere MQ Version 7 Publish/Subscribe MQ Client Verbesserungen Channel Authentication Shared Queue Short Message Data Sets Weitere spezielle z/os Funktionen 8

9 z/os Queue Manager - Adressräume WMQ for z/os Page Sets für Message- Daten *MSTR *CHIN Master A/S Queue Manager lokale Funktionen Channel Initiator A/S Netzwerk-bezogene Funktionen - MCA BSDS & Logs zur Absicherung der Daten TCP/IP VTAM (APPC) 9

10 WMQ for z/os - Anwendungsumgebungen CICS, IMS, DB2 SP, WAS und Batch Anwendungen können innerhalb der z/os Umgebung miteinander kommunizieren CICS und IMS Lösungen können mit Anwendungen auf anderen Plattformen integriert werden, ohne dass diese CICS oder IMS reden müssen z/os CICS IMS DB2 WAS BATCH PUT & GET MQI bzw. JMS PUT & GET WebSphere MQ 10

11 Spezielle Bridge-Optionen für CICS und IMS Impliziter MQ API Support für CICS und IMS Anwendungen Unveränderte CICS and IMS Anwendungen mit nativem API - EXEC CICS SEND READ -- CBLTDLI GU ISRT Nochmals vereinfachte Integration und Wiederverwendung dieses Codes z/os CICS IMS DB2 BATCH WAS LINK ISRT PUT & GET CICS Bridge IMS Bridge MQI or JMS WebSphere MQ 11

12 Transaktionalität (Unit-of-Work Support) All Within One Transaction (UOW) 1 1. Put Request Q2 5. Get Reply Q1 A 2 2. Get Request Q2 3. Insert Row DB C 4. Put Reply Q1 B C Q1 Q2 WebSphere MQ 12 Volle Unterstützung von CICS, IMS, WAS, DB2 SPs und Batch RSS Sicheres Two-Phase Commit mit anderen Ressourcen Managern, z.b. DB2

13 Shared Queues nur mit WMQ for z/os Parallel Sysplex Nutzung Datenhaltung in der Coupling Facility Automatisches Load Balancing Hoch skalierbar Parallelverarbeitung durch mehrere Prozesse, die eine Queue abarbeiten VIPA Support Group Listener, Shared Channels MQPUT 1 WebSphere MQ Parallel Sysplex Queue Sharing Group Coupling Facility Shared Queue MQGET 13

14 QSG Hochverfügbarkeit mit Failover Isolation des Ausfalls/Abbruchs Automatische Peer Recicery für ausgefallene Server, Anwendungen oder Queue Manager Roll-back von in-flight MQPUTs und MQGETs Messages sind nicht an einen einzelnen Queue Manager gebunden 24 x 7 Verfügbarkeit Einsatzgebiet von z/os ARM (Automatic Restart Manager) Parallel Sysplex Queue Sharing Group 1 Coupling Facility Shared Queue MQGET MQPUT WebSphere MQ 14

16 Publish/Subscribe Messaging Paradigma 1:keiner 1:1 1:viele viele:viele... noch losere Kopplung zwischen Anwendungen 16

17 Publish/Subscribe Basics Publisher eine Anwendung, von der Informationen ausgehen, die anderen Anwendungen (den Subscribern) zukommen sollen weiß nicht, welche und wieviele Subscriber an seinen Daten interessiert sind Ordnet seine Daten einem Topic zu z.b. Fußball-Ergebnisse Subscriber eine Anwendung, die sich für Daten eines bestimmten Gebiets interessiert weiß nichts über den oder die Urheber dieser Daten bekundet ihr Interesse mittels Subscribe gegenüber einem Topic Topic ein Themenbereich, dem bestimmte Informationen zuzuordnen sind technisch einfach eine Bezeichnung in Form eines Strings, der in einer Hierarchie derartiger Bezeichnungen angeordnet ist, z.b. /sport/fussball/erste_bundesliga 17

18 Noch ein paar Fakten zu Publish/Subscribe Publish/Subscribe ist integrierte Komponente des JMS (1.1) API JMS schließt auch Punkt-zu-Punkt Messaging ein Mit V7 ist Publish/Subscribe nun auch intergierter Bestandteil des native MQI: neue Verben (Calls) und Optionen die Pub/Sub Engine ist Bestandteil des Queue Managers Asynchrones Punkt-zu-Punkt Messaging entkoppelt Anwendungen Geht von einer 1:1-Beziehung zwischen Sender und Empfänger aus Publish/Subscribe stellt eine weiter gehende Entkopplung-Stufe dar Der Absender weiß nicht, wer und wieviel (wenn überhaupt) Anwendungen die Messages abgreifen werden Das verbindende Element zwischen den Anwendungen ist keine Queue, sondern ein Topic Für WMQ V6 auf distributed gab/gibt es einen Pub/Sub Broker als Support Pac (MA0C) Für z/os ist Pub/Sub ohne Message Broker erstmals mit WMQ V7 verfügbar 18

19 MQ Explorer Darstellung von Topics und In-Use Topics DISPLAY TOPIC DISPLAY TPSTATUS 19

20 Eigenschaften von Subscriptions und Publications Durable und non-durable Subscriptions: non-durable Subscriptions bestehen nur solange, wie die entsprechende Anwendung aktiv ist. Wenn die Anwendung terminiert, erlischt die Subscription bei unerwartetem Anwendungsende kein Aufräumen nötig Eine durable Subscription ist eine, bei der die Anwendung terminieren, später wieder anlaufen und die inzwischen aufgelaufenen Messages abholen kann Gefahr, dass Queues voll laufen-entspr. Warning Messages sind möglich Retained Publications Ein Publisher kann seine Messages so kennzeichnen, dass EINE die letzte- Message zu einem Topic Point jeweils vom Queue Manager aufgehoben und neuen Subscribern unmittelbar zugestellt wird- sinnvoll z.b. bei Aktienkursen Darstellung aktiver Topics und ihrer Subscriber DISPLAY TPSTATUS(topic_string) TYPE(SUB) Security Zugriff auf ein Topic kann via RACF Profil geschützt werden; Klassen MQ-/MXTOPIC Treiber für mixed-case support in RACF für WMQ 20

22 Conversation Sharing und Vollduplex-Modus Mehrfache Client-Connects zum selben QMgr vor V7 separate Sockets für jede Connection Eigener QMgr-Thread pro Connection Verbindungen arbeiten im Halb-Duplex- Modus; entweder senden oder empfangen WMQ V7 : Client-Verbindungen sind im Voll-Duplex-Modus möglich und mehrere Anwendungs-Konversationen können denselben TCP/IP Socket nutzen Nur ein QMgr Thread wird verwendet Client-seitig weniger Sockets erforderlich weniger Threads und reduzierter Ressourcenbedarf auf der Server Seite Heartbeats auch von der Client-Seite: Probleme werden schneller erkannt Konfiguration über SHARECONV(n) Parameter in der SVRCONN Definition 22

23 Asynchrone Antwort auf MQPUTs - Fire & Forget Normales MQPUT Anwendung wartet nach jedem PUT synchron auf die Bestätigung (CC/RC) vom Queue Manager Asynchrone MQPUT- Antwort kein Warten nach einzelnem MQPUT Client Code liefert RC Return-Code Abfrage vom Server mit neuem MQSTAT Call gesteuert über neue Put Message Option MQPMO_(A)SYNC_RESPONSE 23 für non-persistent Messages oder in-sync

24 Read-Ahead of Messages Streaming normales MQGET Jeder MQGET Call wird vom Client zum Server weiter gegeben MQGET mit Streaming Server sendet mehrere Messages, als Ergebnis eines MQGET Client Calls nur non-persistent Messages Zugriffskriterien müssen erfüllt sein Steuerung der Funktion via Open Option MQOO_[NO_]READ_AHEAD DISABLE Read-Ahead auf Queue Ebene möglich 24

25 Client Connection Management DEFINE CHL (...) CHLTYPE(SVRCONN) MAXINST maximale Anzahl zulässiger Kanal-Instanzen insgesamt MAXINSTC maximale Anzahl zulässiger Kanal-Instanzen pro Client Im MQ Explorer kann Client Userid/Passwort (pro QMgr) definiert werden mit oder ohne lokaler Speicherung Erweiterte Möglichkeiten mit Client Security Exit CLNTWGHT (Client Weight) Option in Client Channel Definition Table (CCDT) Einträgen- erlaubt gewichtete Verteilung der Client-Verbindungen zwischen mehreren definierten Servern 25

26 Die Group UoW Problematik QM1 QM2 26 Client Anw. verbindet sich über den Generic Port (SD-gesteuert) und startet UoW Generic Port TxClient Client APP Wenn QM1 wegbricht, reconnectet sich der Client zum QM2 Vom QM2 erfährt er nur den Status der QM2-Transaktionen, und wird zb. Indoubt- Informationen über von QM1 vergessen

27 Die Group UoW Lösung in WMQ V7.0.1 QM1 QM2 27 Client Anw. verbindet sich über den Generic Port (SD-gesteuert) und startet UoW Client App muss im xa_open string den QSG Namen angeben- dadurch entsteht eine GROUPUR Generic Port TxClient Client APP Wenn QM1 wegbricht, reconnectet sich der Client zum QM2 Vom kann QM2 alle Indoubt UoW mit GROUPUR Kennung ermitteln- und der Tx Client kann diese sauber beenden.

29 29 Channel Security die Problematik ohne besondere Maßnahmen sind alle Kanal-Zugänge offen: jeder, der den Kanalnamen kennt und an den Netzwerk-Port des QMgrs herankommt, kann sich mit diesem verbinden, oftmals jede Queue beschreiben und mit geringem Aufwand sogar volle Admin- Kontrolle ausüben Client-Zugänge ( SVRCONN Kanäle) sind besondere Schwachstellen Zuverlässige Abhilfe bisher nur mit einer Kombination von SSL und Security Exit aufwändig, kompliziert QM11 Client A Client B Die neue Channel Authentication Funktion bietet eine einfache Alternative Client Z QM12 SVRCONN chls QM21 RCVR chls RCVR chls QM01 QM22

30 WMQ V7.1 Channel Authentication Per Command ( SET CHLAUTH und Explorer Wizard) erstellbare und pflegbare Regeln, mit denen die Zugangsbedingungen für die Kanäle auf der Basis generischer Kanalnamen spezifiziert werden können. Es sind erlaubende und blockierende Regeln möglich- mit den Kriterien IP-Adresse bzw. Adressenbereich des Partners Queue Manager Name bzw. Client User ID Distinguished Name Struktur aus dem Zertifikat resultierende Channel ID mit *MQADMIN als Spezialfall Für positive Einträge kann eine MCA User ID zugeordnet werden ersetzt den Security Exit für auf verteilten Plattformen 30

32 SMDS - Überblick Bisher (< V7.1) werden große (>63KB) Messages als DB2 BLOBs abgelegt teuer in Bezug auf CPU/Pfadlänge und Performance Shared Message Data Sets (SMDS) ersetzen DB2, was das Speichern großer Messages angeht. DB2 wird immer noch für das shared repository in der Coupling Facility werden wie gehabt kleine Messages und die Pointer für die ausgelagerten ( offloaded ) Messages abgelegt 32 SMDS sind VSAM Dateien, die von allen Queue Managern einer Queue-Sharing Group zugegriffen werden sehr viel mehr Shared Queue Kapazität bei erheblich besserer Performance und weniger CPU SMDS können als Offload-Option in CFSTRUCT Objekten mit dem neuen CFLEVEL(5) spezifiert werden alle QSG QMgr müssen auf V7.1 laufen mit OPMODE(NEWFUNC) Im CFSTRUCT Objekt können mit 3 Regeln die Message-Größen, ab denen ausgelagert wird, in Abhängigkeit vom Füllstand der CF Struktur festgelegt werden

33 SMDS Spezifikation im MQ CFSTRUCT Objekt DEFINE CFSTRUCT(name) kann SMDS oder DB2 sein Messages >32K werden immer ausgelagert; wenn die CF Struktur zu 50% voll ist, auch Messages ab 16KB, bei 80% Füllstand Messages >1KB DSName der VSAM Datasets Sec.Allocation Option Buffer für diese SMDS (64- bit!) 33

34 SMDS wie es funktioniert APP MQPUT APP MQGET QM1 Shared Queue QM2 2 Message 100K (ptr) QM1 SMDS 4 QM2 SMDS 34

35 SMDS Benefit - vorher - ohne SMDS APP MQPUT QM1 QM1 SMDS MQRC K Message Structure Full (vereinfachtes) Beispiel: Shared Queue CF Struktur von 50 KB Messages von 5K Größe 10 Messages geschrieben die elfte Message führt zu Storage Media Full Return Code 50K Structure 5K Message 5K Message 5K Message 5K Message 5K Message 5K Message 5K Message 5K Message 5K Message 5K Message

36 SMDS Benefit nachher : SMDS mit Offload Regeln Das gleiche -vereinfachte- Beispiel: APP MQPUT QM1 QM1 SMDS MQRC K Message Structure Full Message Body Message Body Message Body Message Body Message Body CF Struktur von 50 KB Größe 5 KB Messages Offload Regel: Wenn die CF zu 50% voll ist, sollen alle Messages ausgelagert werden Nach 5 Messages ist die CF Struktur halb voll Ab der 6. Nachricht gehen alle Message Daten nach SMDS; weitere 25 Messages können geschrieben werden Erst die 31. Nachricht führt zum Storage Media Full Return Code Shared Queue 5K Message 5K Message 5K Message 5K Message 5K Message 50K Structure 1K pointer 1K pointer 1K pointer 1K pointer 1K pointer

37 SMDS vs. DB2 Offload Durchsatz und CPU Load Ausführliche Testreihen im WMQ for z/os V7.1 Performance Report SupportPac MP1H Quelle: ebenda 37

39 z/os spezifische Neuerungen WMQ V7.1 Neue RACF Klassen zur Unterstützung von mixed-case Ressourcennamen MXADMIN, MXQUEUE, MXPROC, MXNLIST, MXTOPIC Queue Manager Attribut SYCASE (UPPER MIXED) steuert die (zusätzliche) Aktivierung der mixed-case Klassen 5 freie Verbindungen nach z/os für Administrations- Tools wie den WMQ Explorer oder MO71 SupPac Die WMQ for z/os V7 Lizenz deckt eine begrenze Anzahl von Client-Verbindungen (nämlich 5) via SYSTEM.ADMIN.SVRCONN-Kanal für Administrationszwecke ab, ohne dass das Client Attachment Feature (CAF) lizenziert werden muss. 39

40 z/os spezifische Neuerungen WMQ V7.1 Neue RACF Klassen zur Unterstützung von mixed-case Ressourcennamen MXADMIN, MXQUEUE, MXPROC, MXNLIST, MXTOPIC Queue Manager Attribut SYCASE (UPPER MIXED) steuert die (zusätzliche) Aktivierung der mixed-case Klassen 5 freie Verbindungen nach z/os für Administrations- Tools wie den WMQ Explorer oder MO71 SupPac Die WMQ for z/os V7 Lizenz deckt eine begrenze Anzahl von Client-Verbindungen (nämlich 5) via SYSTEM.ADMIN.SVRCONN-Kanal für Administrationszwecke ab, ohne dass das Client Attachment Feature (CAF) lizenziert werden muss. 40

41 Weitere (Hoch-)Verfügbarkeitsthemen Coupling Facility Failure Tolerance WMQ v7.0.1 verbessert die Wiederherstellung (Recvery) der Admin Struktur (...QSG_ADMIN), indem jeder QSG Queue Manager die Recovery durchführen kann- und somit z.b. im Fall einer Disaster Recovery die Queue- Sharing Group bereits nach dem Start des ersten QSG Queue Managers wieder einstzbereit ist (zuvor mussten alle Queue Manager gestartet sein, bevor die Applications Strukturen recovered werden konnten). WMQ v7.1 toleriert den Verlust/Ausfall von Applikations Strukturen. Neues Attribut CFCONLOS(TERMINATE TOLERATE) des WMQ CFSTRUCT Objekts spezifiziert das Verhalten pro Appl.Struktur. Automatische Recovery einer FAILED Struktur auf einer anderen CF (falls verfügbar) ohne Betriebsunterbrechung. Erweitertes Group-Attach für CICS WMQ v7.1 mit CICS TS 4.2 Group UR wie für Clients bei Re-Connect von CICS nach WMQ. Voraussetzung: mehr als 1 Queue Manager auf der LPAR

42 Zusammenfassung - Umfangreiche Neuerungen WMQ V7 V7.(0.1) in erster Linie ein Anwendungs-Release mit etlichen neuen Anwendungs-Funktionen, vorwiegend an JMS ausgerichtet: Publish/Subscribe Message Properties (hier nicht behandelt) Gravierende Client Performance Verbesserungen V7.1 steht im Zeichen von Security und Verfügbarkeit Einfach konfigurierbare Absicherung der Kanal-Zugänge Shared Message Datasets als bedeutende z/os (QSG) Verbesserung CF Fehlertoleranz und erste 64-bit Funktionen 42

43 vielen D ank für Ihre Aufmerksamkeit! Fragen & Feedback willkommen an: marcel.amrein@de.ibm.com 43

44 Weiterführende Infos - Links WebSphere MQ V7 Software Home Page hier sind die meisten anderen öffentlichen Informationsquellen verlinkt: WebSphere MQ V7 Information Center WebSphere MQ Support Immer bzw. wieder aktuell: 60-Tage Trial Download für WebSphere MQ auf distributed Plattforms: S_TACT=105AGX28&S_CMP=TRIALS&st=2&sp=20 44

45 WMQ for z/os - Anwendungsumgebungen DB2 CICS Batch / TSO IMS CICS WMQ for z/os WAS WMQ on distributed WMQ Clients 45