Überwachung WebShere MQ bei GAD Manfred Farwick GAD eg manfred.farwick@gad.de GAD 2010
Agenda Vorstellung GAD WebSphere MQ in der GAD Überwachung WebSphere MQ Umsetzung Überwachung MsgAge g GAD 2010 Chart-Nr. 2
GAD IT für Banken IT-Beratung, Softwarehaus und Rechenzentrum Das Unternehmen im Überblick GAD 2010
Das Unternehmen IT-Beratungs- und Kompetenzcenter, Softwarehaus und Rechenzentrum für rund 450 Volksbanken, Raiffeisenbanken sowie Retailbanken im deutschsprachigen Raum WGZ BANK, DZ BANK, genossenschaftliche Verbundunternehmen GAD 2010 Chart-Nr. 4
Hauptgeschäftsfelder Rechenzentrum sieben Tage die Woche 24-Stunden-Betrieb t Internet-Service-Provider modernes multiprotokoll- fähiges Datennetz t Software- Entwicklung Beratung und Betreuung Mitglieder und Kunden Banken und sonstige Finanzunternehmen GAD 2010 Chart-Nr. 5
bank21 das Banken-Anwendungssystem Universelle Gesamtbanklösung mit vollständig integrierten Geschäftsprozessen für Vertriebs- Steuerungs- und Produktionsbanken GAD 2010 Chart-Nr. 6
Weitere Produkte und Dienstleistungen Software-Lösungen für Zentralbanken (ZIS Zentralbanken- Informationssystem für die WGZ BANK) für Hypothekenbanken für Verbundpartner für Privat- und Firmenkunden von Banken (z.b. Zahlungsverkehrsprogramme) Internet- und ebusiness-service IT-Beratung und Schulung GAD 2010 Chart-Nr. 7
Weitere Produkte und Dienstleistungen RZ-Dienstleistungen Rechenzentrumsbetrieb für Banken- Anwendungssysteme Application-Hosting Telekommunikation und Netzwerke Unterstützung ng Business Prozesse Mailingservice Output-Management Dokumentenmanagement/Archivierung Kundenservice-Prozesse Card Management System Produktion, Kryptografie GAD 2010 Chart-Nr. 8
GAD Die Kompetenzen im Überblick Standard-Bankensoftware Business Prozesse Infrastruktur GAD 2010 Chart-Nr. 9
GAD Die Kompetenzen im Überblick Vertriebsbank Produktionsbank Steuerungsbank Standard-Bankensoftware Business Prozesse Infrastruktur GAD 2010 Chart-Nr. 10
GAD Die Kompetenzen im Überblick Vertriebsbank Produktionsbank Steuerungsbank Kundenservice-Prozesse Outputmanagement Dokumentenmanagement/ Archivierung Personalwirtschaft Standard-Bankensoftware Business Prozesse Infrastruktur GAD 2010 Chart-Nr. 11
GAD Die Kompetenzen im Überblick Vertriebsbank Produktionsbank Steuerungsbank Kundenservice-Prozesse Outputmanagement Dokumentenmanagement/ Archivierung Personalwirtschaft Standard-Bankensoftware Business Prozesse Rechenzentrumsbetrieb Application Hosting Telekommunikation Tlk ikti und dnt Netzwerke Infrastruktur GAD 2010 Chart-Nr. 12
Zahlen und Fakten 2010 Umsatz in Mio. Euro: 406* Umsatz GAD Unternehmensgruppe in Mio. Euro: 645* Anzahl Mitarbeiter: 1.695 Banken: 436 Bankarbeitsplätze: 60.779 GAD 2010 Chart-Nr. 13 *vorläufiges Ergebnis: Stand 31.01.2011
Zahlen und Fakten 2010 Buchungsposten in Mrd.: 2,25 Transaktionen in Mrd.: 15,16 GAA-Abhebungen in Mio.: 209,15 SB-Kontoauszüge in Mio.: 236,43 aktive Konten in Mio.: 29,69 SB-Kontokorrentkonten mit Internet-Nutzung in Mio.: 3,95 SB-Geräte: 15.720 GAD 2010 Chart-Nr. 14
Kennzahlen des Rechenzentrums Rechnerausstattung: 6 IBM z10 2097 E64 Hauptspeicherkapazität Großrechner: 2.360 Gigabyte Hauptspeicher Anzahl Server: 934 1238 1394 829 Unix-Server Virtuelle Unix- Linux und Virtuelle Linux- u. Server (LPARs & Zonen) 1 Windows-Server Windows-Server GAD 2010 Chart-Nr. 15 1 LPARs = IBM-Systeme, Zonen = Sun-Systeme
Kennzahlen des Rechenzentrums Leistungsfähigkeit der Großrechner: 100.370 MIPS (Mio. Instruktionen pro Sek.) Gesamtspeicherkapazität: 461 Terabyte GAD 2010 Chart-Nr. 16
GAD - Unternehmensgruppe GAD 2010 Chart-Nr. 17
Auszug Kundenliste GAD Unternehmensgruppe GAD 2010 Chart-Nr. 18
WebSphere MQ in der GAD Helmut Frenk Guido Löffler GAD 2010
WebSphere MQ in der GAD Verteilung Komponenten Fast alle Queuemanager laufen unter z/os Nur wenige Queuemanager auf dezentralen Plattformen UNIX- und Windows-Server im RZ sind überwiegend als MQ-Clients angebunden MQ-Clients sind auf allen Bankarbeitsplätzen installiert GAD 2010 Chart-Nr. 20
Linux XGHCIC1 XGHCIC4 XGHCIP01 XGHCIP08 IMS2A IMS2C IMS3A XG2A XG2B XG3A XGC1 XGC2 XGC3 MQ Server-Server Verbindungen zu GW QMGR der Verbundpartner IMS3C XG3B XGC4 Eigene Clientverbindungen Netz intern O-Plex IMSLA IMSLC XGLA XGLB XG1B GW XG1A Windows Clienten auf GAD Arbeitsplatzrechnern dezentral IMSEA XGEA E-Plex GW XGA1 XGA6 XGET IMSEC XGEB XGE2 IMSIA XGIA XG2T XGXT IMSIC XGIB XGE3 Pro Mandantegruppe ein QMGR Paar IMSWA XGWA XG2U XGXU IMSWC XGWB XGE4 A-Plex GAD 2010 Chart-Nr. 21
WebSphere MQ in der GAD Mengengerüst 104 Queuemanager auf z/os (70 Produktion + 34 Entwicklung/Test) < 15 dezentrale Queuemanager im RZ > 40.000 Clients > 65.000 lokale Queues > 40.000.000 Messages pro Tag > 50 unterschiedliche Anwendungen mit MQ-Nutzung im O-Plex > 15 unterschiedliche Anwendungen mit MQ-Nutzung im A-Plex GAD 2010 Chart-Nr. 22
Überwachung WebSphere MQ GAD 2010
Überwachung WebSphere MQ Überwachung gliedert sich in Überwachung von System-bezogenen Komponenten MQ-Channel System-Queues Queuemanager-Ressourcen Überwachung von anwendungsbezogenen Komponenten d.h. Queues GAD 2010 Chart-Nr. 24 Regelung über Description-Feld der Queue Verschiedene Messwerte Nachrichten-Alter Queue-Tiefe Handle/Prozess
Überwachung WebSphere MQ Überwachung gliedert sich in Überwachung von System-bezogenen Komponenten MQ-Channel System-Queues Queuemanager-Ressourcen Überwachung von anwendungsbezogenen Komponenten d.h. Queues GAD 2010 Chart-Nr. 25 Regelung über Description-Feld der Queue Verschiedene Messwerte Nachrichten-Alter Queue-Tiefe Handle/Prozess
Überwachung WebSphere MQ MQ-Channel Regelmäßige Prüfung per "Qmgr-Ping" TWS-Job PUT Messages in "loopback" Remote-Queue GAD 2010 Chart-Nr. 26
Überwachung WebSphere MQ System-Queues Dead-Letter-Queue USER Event im AutoOperator Entweder löschen oder Eskalation an zentrale Eventkonsole GAD 2010 Chart-Nr. 27
Überwachung WebSphere MQ Queuemanager-Ressourcen Message-driven-automation Bufferpools Coupling Facility Log Files GAD 2010 Chart-Nr. 28
Überwachung WebSphere MQ Situation Verschiedene Namenskonventionen IMS-Umgebung bank21 Verschiedene Eskalationen Mail Zentrale Serviceview GAD Mainframe Eventkonsole Schwellwerte Queuebezogen GAD 2010 Chart-Nr. 29
Überwachung WebSphere MQ Konfiguration 1/4 Eskalationsparameter Mail: Mailverteiler ServiceView: Produktzugehörigkeit 10 Schwellwerte für Q-Tiefe >0, <1 >10, >20,, >20 000 Schwellwerte für MsgAge >10 Minuten, >60 Minuten, >24 Stunden Eskalation nur 7 19Uhr,.. Eskalation abhängig von TWS-Jobs GAD 2010 Chart-Nr. 30
Überwachung WebSphere MQ Konfiguration 2/4 Alternativen zur Speicherung Externe Datei Datenbank Queue Description Vorteile Queueweise Überwachungskonfiguration Übersicht in MAINVIEW (VIEW QUEUES) Performante Abfrage Filtermöglichkeit für MV-Alarms Nachteil Eingeschränkter Speicherplatz GAD 2010 Chart-Nr. 31
Überwachung WebSphere MQ Konfiguration 3/4 Aufteilung der Queue Description Überwachung und Escalation Ü1 Schwellwerte für MessageAlter 1=10Min, 2=24Std, 6=60Min Ü2 Eskalation 1=Mail, 2=ServiceView, 4=EventKonsole Kombination durch Summe Ü3 Schwellwert für Queue-Tiefe GAD 2010 Chart-Nr. 32
Überwachung WebSphere MQ Konfiguration 4/4 Aufteilung der Queue Description Überwachung und Escalation Anwendungkürzel aus 2 Komponten. Umgebung: Mandantengruppe, Linie, Test/Prod,... Prozessangabe über Leser : als Abschluss der genormten Description Eigentliche Description der Queue GAD 2010 Chart-Nr. 33
GAD 2010 Umsetzung Überwachung
Überwachung WebSphere MQ Monitoring MsgAge 1/5 3 Timer-Rules für Prüfung per REXX 10min Prüfung auf Fehler 20min Prüfung ob OK 00:00Uhr reset Array der alarmierten Queues GAD 2010 Chart-Nr. 35
Überwachung WebSphere MQ Monitoring MsgAge 2/5 - Prüfung auf Fehler MSGAGE00 MSGAGE00 MQ Abfrage QueueDescription und als Stem speichern Array schon alarmierter Queues neu Anlegen oder Öffnen Queues Abfrage MSGAGE>10minuten Queue-weise überprüfenüf MSGAGE01 Übergebene Queue Parameter einlesen Queue Description parsen: Escalation, check Falls eskaliert werden muss, Queue und MsgAge in Array speichern Prozedure aufrufen (ext. REXX), falls neuer Event REXX GADMAIL GADZIS GADALC GAD 2010 Chart-Nr. 36
Überwachung WebSphere MQ Monitoring MsgAge 3/5 Code Of Interests Skript GAD 2010 Chart-Nr. 37
Überwachung WebSphere MQ Monitoring MsgAge 4/5 - Prüfung ob OK / Reset MSGAGE02 MSGAGE00 Alamierter Queues aus Array lesen, oder (Timer03) komplettes Array löschen. Queue-weise überprüfen Pro Queue: Ermitteln des Timestamps der ältesten Message Test: Neuer Timestamp < max Zeitdauer Falls nein, Älteste ist zu alt => kein HARMLESS sonst, Fehler behoben => HARMLESS schicken und aus Array löschen REXX GADMAIL GADZIS GADALC GAD 2010 Chart-Nr. 38
Überwachung WebSphere MQ Monitoring MsgAge 5/5 Code Of Interests Skript GAD 2010 Chart-Nr. 39
Überwachung WebSphere MQ Offene Punkte Offene Punkte Eskalation abhängig von TWS-Jobs Idee: Per TWS AAO-Profile-Variable setzen, die Eskalation ein-/ausschaltet. Name der Variable ^= Name lesender Anwendung MVAlarme für Q-Tiefe nicht genutzt und noch nicht migriert. GAD 2010 Chart-Nr. 40
Fazit Nutzung der Queue-Description ermöglicht guten Überblick über Monitoring- Konfiguration (Sort, Sum, ) Queue-abhängige Konfiguration ohne zusätzlichen Speicherbedarf 3 Schwellwerte für Queue-Alter ausreichend, wegen menschl. Reaktionszeit. Anzahl Schwellwerte beschränkt. ALTER bei bestehenden Queues aufwendig GAD 2010 Chart-Nr. 41
Fragen? GAD 2010 Chart-Nr. 42
Fragen? Danke GAD 2010 Chart-Nr. 43
Überwachung WebSphere MQ Monitoring Queue-Tiefe 1/2 Umsetzung per MVAlarm Pro Schwellwert eine View Pro Schwellwert einen Alarm Rule und REXX zur Eskalation GAD 2010 Chart-Nr. 44
Überwachung WebSphere MQ Monitoring Queue-Tiefe 2/2 Eine Rule für alle Alarme REXX zur Eskalation aato GAD 2010 Chart-Nr. 45
Überwachung WebSphere MQ Monitoring andere Werte 1/1 Stets besondere Andwendungen und somit Ausnahmen. Umsetzung per MV-Alarm GAD 2010 Chart-Nr. 46