Heterogene Echtzeitreplikation am Beispiel DB2-Oracle: Der Einsatz von GoldenGate zur Unterstützung geschäftskritischer Prozesse bei AMD

Transkript

1 Heterogene Echtzeitreplikation am Beispiel DB2-Oracle: Der Einsatz von GoldenGate zur Unterstützung geschäftskritischer Prozesse bei AMD Datenbankstammtisch an der HTW Dresden März 2008 Thomas Richter IT Systems & Operations AMD Saxony LLC & Co. KG

2 Übersicht Einführung GoldenGate Transactional Data Management Der Einsatz von GoldenGate TDM bei AMD Sonstige Aspekte März 2008

3 Einführung März 2008

4 AMD Führende Mikroprozessor-Technologie Advanced Micro Devices (AMD) ist ein führender, global tätiger Hersteller von innovativen Prozessoren für die Computing-, Grafikund Consumer Electronics-Märkte. Multi-Kern- Mikroprozessoren Chipsets Hochleistungs- Grafikprozessoren Desktops Server and HPC Laptops Commercial Clients Emerging Markets UMPCs Consumer Electronics Handheld März 2008

5 AMD in Dresden: Produktion Reinraumfläche Produktionskapazität Technologie aktuell Technologie zukünftig Fab m 2 ~ Waferstarts/Monat 65 nm / 45 nm (300 mm Wafer) 32 nm & kleiner Fab m 2 flexibel in 2008 Kapazitätserweiterung für Fab 36 Umwandlung in ein neues 300-mm-Werk Reinraumfläche Bump-Test-Gebäude ~ m² März 2008

6 AMD in Dresden 2008 Fab 36 DDC/OSRC Fab 38 Bump/Test EVC 2 EVC 1 Facility 65 nm Produktion in Fab 36, 45 nm Pilotlinien in Betrieb Parallele Volumenfertigung und Technologieentwicklung Flexible Kapazität in Fab 38 während der Konversionsphase März 2008

7 Das Factory Control System in Fab36 Komponenten Equipment Software Message-Busse Infrastruktur Netzwerk Hardware, Betriebssysteme, Datenbanken Telekommunikation Prozesse Advanced Process Control Yield Engineering SAP/PM Der Mensch Operations Factory Automation IT Systems & Operations März 2008

8 Dispatching und Reporting - Komponenten MES Manufacturing Execution System Zentrale Komponente des Factory Control System DB2 UDB Dispatching und Reporting Funktionalität unzureichend DRS Echtzeit-Dispatching und Reporting System Echtzeitdaten aus MES Proprietäre Datenhaltung Interface zum Speichen und Abrufen der Daten MDS (AMD) Manufacturing Data Store Reporting, Visualisierung, Dispatching Replizierte und aggregierte Daten aus MES Echtzeitdaten aus MES Oracle März 2008

9 Dispatching und Reporting - Datenfluss März 2008

10 Dispatching und Reporting Replikation vor GoldenGate März 2008

11 Ausgangssituation DB2 Trigger Queue-Tabelle Verlust der Transaktionsintegrität Erwartete Performance- und Durchsatzprobleme DRS-Adapter Erwartete Performance- und Durchsatzprobleme MDS-Tap Unflexible Konfiguration Erwartete Performance- und Durchsatzprobleme MDS Datenbankschema aus DRS Erwartete Latenzprobleme Verlust der Transaktionsintegrität März 2008

12 Alternative Replikation - Anforderungen Asynchrone Replikation Transaktionsintegrität Performance: Durchsatz und Latenz Rückwirkungsfreiheit auf Primärdatenbank Hochverfügbarkeit Funktionsumfang Flexibilität Administration März 2008

13 Alternative Replikation - Ziel März 2008

14 GoldenGate Transactional Data Management März 2008

15 GoldenGate Software Inc. Die Firma GoldenGate Software Inc. ist ein Unternehmen, das Lösungen im Bereich des Transactional Data Management (TDM) anbietet. TDM sorgt für garantiertes Extrahieren (Capture) Routen Transformieren Replizieren (Delivery) von transaktionsbasierten Daten in heterogenen Datenbank- und Systemumgebungen in Echtzeit März 2008

16 GoldenGate - TDM TDM findet Einsatz in den Bereichen Hochverfügbarkeit und Desaster-Toleranz Echtzeit-Datenintegration TDM unterstützt u.a. folgende Datenbank-Versionen Oracle DB2 Mainframe und UDB MS SQL Server Teradata Sybase MySQL ODBC März 2008

17 TDM - Komponenten Komponenten (modularer Aufbau flexible Architektur) Manager-Prozess Extract-Prozess(e) Replicat-Prozess(e) Trail-Files bzw. Extract-Files Checkpoints Collector-Prozess(e) März 2008

18 TDM Logische Architektur März 2008

19 TDM Der Manager-Prozess Manager-Prozess 1 Manager je GoldenGate-Installation kontrolliert Prozesse: Start, Stop, Restart wartet Trails protokolliert Fehler kommuniziert mit User Interface Konfiguration: Parameter-File März 2008

20 TDM Der Extract-Prozess Extract-Prozess Quellsystem Konfigurationsoptionen und Datenquellen Initialisierungen (Initial Loads) Tabellen der Quell-Datenbank Änderungssynchronisation (Change Synchronization) Datenbank-Transaktions-Log GoldenGate-Log-Tabelle (triggerbasierte Extraktion) GoldenGate Trails (Daten-Pumpen) Zugriff auf Datenbank-Transaktions-Log datenbankabhängig Extraktion aller Änderungen Nur festgeschriebene Daten ( Commit ) werden zum Zielsystem gesendet. Konfiguration: Parameter-File ermöglicht Filterung flexible Architekturen März 2008

21 TDM Der Replicat-Prozess Replicat-Prozess Zielsystem verarbeitet extrahierte Daten Replikation in die Tabellen der Ziel- Datenbank Konfigurationsoptionen Initialisierungen (Initial Loads) Änderungssynchronisation (Change Synchronization) Datenbank-Zugriff mit Native Database Calls bzw. ODBC Datenbank-Zugriff lokal oder remote Transaktionsreihenfolge gewahrt Konfiguration: Parameter-File benötigt Informationen über Struktur der Quelltabellen ermöglicht Fehlerbehandlung ermöglicht Filterung und Transformation flexible Architekturen März 2008

22 TDM - Trails Trail Temporäre Speicherung der extrahierten Datenänderungen Folge von Files auf Sekundärspeicher Trennung von Extract- und Replicat-Prozessen sorgen für Fehler-Toleranz genau 1 Extract-Prozess schreibt in 1 Trail kann von mehreren Replicat-Prozessen gelesen werden automatisches Anlegen und Altern auf Quell- und/oder Zielsystem möglich Trail-Formate Universal Data Format (UDF) ermöglicht Verarbeitung in heterogenen Umgebungen proprietär (GoldenGate) ASCII SQL XML Checkpoints werden registriert März 2008

23 TDM Weitere Komponenten Checkpoints Wiederanlaufpunkt für Extract- und Replicat-Prozesse ermöglichen Fehler-Toleranz und Recovery registrierten Lese- und Schreibposition eines Extract-Prozesses Leseposition eines Replicat-Prozesses Verwaltung in Files (Extract, Replicat) bzw. Checkpoint-Tabelle in Ziel- Datenbank Collector-Prozesse Hintergrundprozess auf Zielsystem empfängt Daten eines entfernten Extract-Prozesses (TCP/IP) schreibt in ein lokales Trail Start und Stop durch lokalen Manager-Prozess März 2008

24 TDM - Weitere Komponenten User-Interface Error-Logfile Parameter-Files Report-Files Definitions-File Discard-Files März 2008

25 TDM - Topologien März 2008

26 Der Einsatz von GoldenGate - TDM bei AMD März 2008

27 Einsatz bei AMD - Topologie März 2008

28 Einsatz bei AMD Aspekte der Implementierung Datenbankschema für neue MDS-Datenbank: DDLGEN Inbetriebnahme ohne Downtime Installation parallel zum Altsystem Staging-Betrieb parallel zum Altsystem Initialisierung der History-Tabellen aus Altsystem NULL-Value Mapping Full Updates für Dispatching und Reporting System (DRS) Design für Hochverfügbarkeit März 2008

29 Einsatz bei AMD Aspekte der Administration Kommandozeilen-Interface: GGSCI Integration in Systemstart Autostart und Auto-Restart Monitoring Status: Integration in HP OpenView Performance März 2008

30 Einsatz bei AMD Aspekte der Hochverfügbarkeit Anforderung: Verfügbarkeit >= 99.85% Design Redundante Datenzentren, Systeme und Cluster Failover-Fähigkeit Shared Storage (SAN, NFS) Virtuelle Hostnamen Autostart und Auto-Restart Monitoring Recovery-Fähigkeit Umgebungen Produktion Integrations- und Stresstest, Entwicklung, Training Prozesse Integrations- und Stresstest Change Control März 2008

31 Einsatz bei AMD - Ergebnisse März 2008

32 Sonstige Aspekte März 2008

33 Sonstige Aspekte Weitere Werkzeuge LOGDUMP REVERSE Daten-Filterung: Selektion und Projektion Daten-Transformation: Mapping Eingebaute Funktionen SQLEXEC: Externe Datenbank-Prozeduren und -Abfragen User-Exits Bidirektionale Replikation Sicherheit und Verschlüsselung Datenkompression Triggerbasiertes Extrahieren DDL-Synchronisation GoldenGate Director GoldenGate Veridata März 2008

34 AMD, the AMD Arrow logo and combinations thereof are trademarks of Advanced Micro Devices, Inc. HyperTransport is a licensed trademark of the HyperTransport Technology Consortium. Microsoft and Windows are registered trademarks of Microsoft Corporation in the United States and/or other jurisdiction. Other names (DB2, DB2 UDB, Oracle, GoldenGate, GoldenGate Software Inc., GoldenGate TDM, SAP, SAP/PM, MS SQL Server, Teradata, MySQL, HP OpenView) are for informational purposes only and may be trademarks of their respective owners Advanced Micro Devices, Inc. All rights reserved. Source of all Graphics: AMD