IBM Replication Server V9

Transkript

1 IBM Replication Server V9 What s new and cool in IBM Data Replication V9 Christian Lenke IBM Software Information Integration Solutions (IIS) clenke@de.ibm.com

2 Agenda Positionierung der IBM Datenreplikationslösung Neuigkeiten der Q-Replication Als nächstes: Classic Queue Replication Neuigkeiten des Data Event Publishing Weiterführende Informationen

3 IBM Information Integration Solutions in einem On Demand Operating Environment Real-time Pull/Push EII (Federation) Near Real-time Replication Scheduled ETL - Consolidation Data Virtualization SQL (or Content) Database Target / Data Warehouse Structured Data Source Legacy Data Source unstructured Data Event Publishing Database capture, apply load transform Database Capture Publish EAI Repl ETL RYO Database Data Source extract Data Source Real-time Zugriff auf Informationen Distribution, Konsolidierung oder Federate verschiedener Datenbanken Synchronisation zwischen Strukturiert, semi-/unstrukturiert Datenbanken Message-basiertes Publishing Transaktionale Integrität Data Event Change Capture Verschiedene Topologien: XML-Message Push zu Tools oder - unidirektional Applikationen - multidirektional Massendatenverarbeitung Transformen Batch-orientierte Datenbelieferung Unidirektional

4 Information Integration Solutions Building Blocks Information Services Director Verstehen Bereinigen Transformieren & Bewegen Föderieren Information Analyzer Business Glossary Data Architect QualityStage DataStage Replication Server for LUW and z/os Classic Replication Server for z/os Data Event Publisher for LUW and z/os Classic Data Event Publisher for z/os Federation Server for LUW Classic Federation Server for z/os Metadata Server Parallele Verarbeitung Nahezu unlimitierte Connectivity zu Applikationen, Daten, und Content

5 IBM Database to Database Replication SQL Replication (a.k.a. DataPropagator) Linux, Unix, Windows: Standard-Replikationsverfahren, in DB2 enthalten Separates Feature für DB2 für z/os und DB2 für iseries Log-basiertes Change Capture Verfahren Relationales Staging-Konzept Cross-Platform Interoperabilität Nicht-DB2 Quell- und Zielsysteme: Oracle, Informix, Sybase, SQL Server, Teradata (nur Ziel) Database Database Database Q Replication High-Performance, High-Volume Replication Log-basiertes Change Capture Verfahren Quell- und Zielsysteme werden per Message Queueing miteinander verbunden Separates Feature für DB2 für Linux, Unix, Windows und DB2 für z/os Nicht-DB2 Zielsysteme: Oracle, Informix, Sybase, SQL Server, Teradata

6 IBM Database to Database Replication Classic Q Replication Classic Sources, Classic Targets Not yet watch out NOT YET ANNOUNCED High-Performance Datenreplikation von IMS, VSAM, IDMS, ADABAS zu jedem beliebigen DB2 System, dass als Q Replication Target unterstützt wird Log-basiertes Change Capture Verfahren Nicht-DB2 Zielsysteme: Oracle, Informix, Sybase, SQL Server, Teradata WATCH OUT Database Database Database

7 DB2 & Classic Data Event Publishers Change Data Feed für Enterprise Information Integration DB2 und klassische Quellen EAI: XML Message Format BI/ETL: Delimited Message Format Datenänderungen werden per MQ Series versendet Eine Message pro geänderter Row oder pro Transaktion Log-basiertes Change Capture Verfahren Kein Zugriff auf Transaktions-Systeme erforderlich Deklaratives Relationales Mapping für nicht-relationale Datenquellen Database EAI Repl ETL RYO

8 SQL-Replication: Szenarien SOURCE CD1 CD1 SOURCE CD1 CD1 SOURCE CD1 CD1 UCOPY UCOPY UCOPY REPLICA CD1 REPLICA CD1 REPLICA CD1 STAGING CD1 STAGING CD1 Data Distribution (1:many) Hub & Spoke Update Anywhere UCOPY SOURCE CD1 CDCD1 UCOPY UCOPY SOURCE CD1 CD1 SOURCE CD1 CD1 SOURCE CD1 CD1 HISTORY UCOPY UCOPY Data Consolidation (many:1) Transformation Multi-Tier Staging

9 SQL-Replication: Zusammenfassung SQL Capture & SQL APply Capturing von Änderungen aus dem DB2 Log in Staging Tabellen Transformationen durch relationales Staging Konzept View und Joins als Quell-Objekte unterstützt Szenarien Datenverteilung und Konsolidierung Transformationen per View-Replikation Mehr-Ebenen Staging bei der Datenverteilung Replikation auf hunderte Zielsysteme

10 Q Replication: Szenarien SOURCE CD1 PEER CD1 1 SOURCE CD1 TARGET TARGET TARGET PEER CD1 2 PEER CD1 3 HISTORY Data Distribution (1:some) Peer-to-Peer Transformation SOURCE CD1 PRIMARY CD1 SECONDARY CD1 NICKNAME TARGET Federated Targets Bi-directional

11 Q-Replication: Zusammenfassung Q Capture und Q Apply Capturing von Änderungen aus dem DB2 Log in Queue(s) Websphere MQ ersetzt die Staging Tabellen Jede Message repräsentiert eine Transaktion Sehr kompaktes internes Message Format Hoch-paralleles Apply Processing Conflict Detection, Resolution und Dokumentation Szenarien Datenspiegelung zur Entlastung des Primärsystems (Query-Offloading) Geografisch verteilte Systeme mit gegenseitigem Datenaustausch Software-basiertes Hot Standby

12 Data Event Publishing: Szenarien SOURCE CD1 Message Broker Appl Appl Appl Data Event Publisher Capturing von Änderungen aus dem Log der Quell- Systeme in Queue(s) Offenes Message Format Datenänderung triggert Applikationen SOURCE CD1 ETL Tool Szenarien Enterprise Application Integration (EAI) Data Warehouse Feed (ETL) Near Real-Time Data Warehouseing

13 Throughput & Performance Throughput Rates (Rows / Second) Thousands Throughput Rate 0, ,087 CPU Time , , ,8 0,6 0,4 0,2 CPU Times per Row Basis (msec) 0 SQL Capture Q Capture SQL Apply Q Apply 0 Q Capture max throughput rate is about 2.3 times better in compare with SQL Capture Q Apply max throughput rate is about 3.3 times better in compare with SQL Apply

14 Faustregeln Wann nimmt man was Geringer Replikationsverzug (Latency), hohes Volumen Quell- und Zieltabellen von ähnlicher Struktur Bi-direktionale Replikation (z.b. für Hot-Standby Zwecke) Peer-2-Peer mit mehr als 2 Datenbanken Gesplittete Workload Große Anzahl von Tabellen (z.b. Siebel) Relationale Nicht-DB2 Ziele SQL Replication CD2 CD1 Q Replication Fan-Out zu großer Zahl von Zielsystemen Multi-Tier Staging via CCD Quell- und Zieltabellen unterschiedlicher Struktur (erfordert Source Views, Joins) Replikation von relationalen Nicht-DB2 Quellen

15 Agenda Positionierung der IBM Datenreplikationslösung Neuigkeiten der Q-Replication Als nächstes: Classic Queue Replication Neuigkeiten des Data Event Publishing Weiterführende Informationen

16 IBM Q Replication bedient CCD Zieltabellen V9: NEW Replication Server Was ist eine CCD Tabelle Eine CCD-Tabelle ist eine Staging-Tabelle Die CCD-Struktur ist ein documentiertes API Replikations-Zieltabelle, befüllt von einem Apply Programm Bestandteil der SQL Replication (DProp) seit vielen Jahren, im Einsatz bei einer Vielzahl der heutigen Replikations-Anwendern Additional Columns: TIMESTAMP SEQUENCE OPERATION AUTHID PLANID Häufigste Einsatz-Szenarien für CCD Tabellen Audit Histories Interface für nachgelagertes ETL Processing Staging Interface für die Fan-Out Replication zu hunderten von Zieldatenbanken

17 Use Cases für CCD Tabellen in der Q Replication Data Staging Replication Server Fan-out Replication V9: NEW V9FP1: NEW Q Capture Q Capture Q Apply Q Apply CCD CCD SQL Apply ETL Tools, e.g. DataStage History Auditing Applications HomeGrown Applications

18 Source Site Filtering Replication Server V8.2 Capture Filtering Option: Skip DELETEs Capture sendet keine gelöschten Rows V8.2 Capture Filtering Option: Row Filtering Capture überspringt Rows auf Basis bestimmter Column Values V8.2 Capture Filtering Option: IGNORETRANS SIGNAL INSERT INTO IBMQREP_SIGNAL zu Beginn der Transaktion Alle folgenden Inserts, Updates, Deletes bis zum COMMIT werden übersprungen Neue Capture Filter Skip von Transaktionen basierend auf Auth ID, Transaction ID, Plan ID (z/os only), Auth Token (z/os only) Neue Trace Records (CAPTRACE) zum Monitoring von Transaction Skipping Geeignet, um sicherzustellen, dass Änderungen bestimmter Jobs nicht replizieren (z.b., Cleanup, Housekeeping, ) V9FP1: NEW

19 Row-Level Transformation (Data Mapping) Replication Server Beispiele: Target Column KEY1 C12 C2A C2B C2C C34 C5 C6 C7 Target Column Expression KEY1 [ :C1 :C2] [substr(:c2,2,3)] [substr(:c2,5,5)] [int(substr(:2,1,1))] [:C3 + :C4] [CURRENT TIMESTAMP] IBM substr( 1,1,1) Mapping Type (1-1 mapping) (N-1 mapping) (1-N mapping) (1-N mapping) (1-N mapping) (N-1 mapping) Generated column Generated column Generated column Generierte Spalten C12,C2A,C2B,C34 basierend auf Werten der Quellspalten.. Generierte Spalten C5, C6, C7 sind Konstanten oder Literale. Expressions werden in Q Apply Control Table IBMQREP_TRG_COLS gespeichert Expressions werden von Apply an der Zieldatenbank prozessiert Support für alle validen SQL Expressions (e.g., SUBSTR, CASE, CONCAT,...) Nicht bei bi-direktionaler Replikation einsatzbar

20 Agenda Positionierung der IBM Datenreplikationslösung Neuigkeiten der Q-Replication Als nächstes: Classic Queue Replication Neuigkeiten des Data Event Publishing Weiterführende Informationen

21 Integrierte Q Replication von IMS, VSAM, ADABAS, IDMS zu DB2 und Nicht-DB2 Zielsystemen VSAM Q Capture WebSphere Classic Replication Servers IMS Q Capture ADABAS Q Capture High Volume Low Latency Daten-Lieferung von klassischen Quellen zu DB2 Zielsystemen auf beliebiger Plattform (z/os & LUW) Nicht-DB2 Zielsysteme werden per Federation angebunden IDMS Q Capture NOT YET ANNOUNCED WebSphere Replication Server DB2 z/os Q Apply DB2 LUW Q Apply WS II LUW Q Apply Federated Access Non-DB2 Relational Database

22 Agenda Positionierung der IBM Datenreplikationslösung Neuigkeiten der Q-Replication Als nächstes: Classic Queue Replication Neuigkeiten des Data Event Publishing Weiterführende Informationen

23 Lösungsszenario: DB2 & Classic Data Event Publishers mit WebSphere DataStage WebSphere Classic Data Event Publishers VSAM Data EPub IMS Data EPub ADABAS Data EPub IDMS Data EPub DB2 Data EPub WebSphere DataStage Near Real-Time ETL Log basiertes Change Capture Versendung der Datenänderungen per MQ Series Daten fließen per MQ Series Adapter in DataStage ein Discover Prepare Transform and Deliver DWH

24 Bisheriges Format: Selbst-beschreibendes XML Format, speziell geeignet für Database-to-Application-Integration (EAI) XML Format Enthält geänderte und ungeänderte Werte plus Metadaten <?xml version="1.0" encoding="utf-8"?> <msg xmlns:xsi=" xsi:nonamespaceschemalocation="mqcap.xsd" version="1.0.0" dbname="db1">... <updaterow subname="sub1" srcowner= MYSCHEMA" srcname="tab1 > <col name= TAB1_COL1 iskey= true"> <integer> <afterval>222</afterval> </integer> </col> <col name= TAB1_COL2"> <varchar> <beforeval>hello</beforeval> <afterval xsi:nil="1"/> </varchar> </col> </updaterow>...

25 Neues Format: Delimited, speziell geeignet für Database-to-Transformation-Integration (ETL) Header plus Daten-Nutzlast Delimiter kann individuell eingestellt werden Erheblich kompakter als XML Einfach in ETL Flows zu integrieren (ETL Engine liest relationale Daten aus der Message Queue <table_name><lsn>::col1 bef_col1 col2 bef_col2 col3 4 col5 <table_name><lsn>::col1 bef_col1 col2 bef_col2 col3 4 col5 <table_name><lsn>::col1 bef_col1 col2 bef_col2 col3 4 col5...

26 Agenda Positionierung der IBM Datenreplikationslösung Neuigkeiten der Q-Replication Als nächstes: Classic Queue Replication Neuigkeiten des Data Event Publishing Weiterführende Informationen

27 More Information Replication Roadmaps auf IBM DeveloperWorks SQL Replication Roadmap: Q Replication Roadmap: Replication Server, Federation Server, Data Event Publishers Replication Server: Federation Server: Data Event Publisher: Classic Federation Server Classic Federation Server:

28 Finish Thanks!