Heterogene Echtzeitreplikation am Beispiel DB2-Oracle: Der Einsatz von GoldenGate zur Unterstützung geschäftskritischer Prozesse bei AMD Datenbankstammtisch an der HTW Dresden - 26. März 2008 Thomas Richter IT Systems & Operations AMD Saxony LLC & Co. KG
Übersicht Einführung GoldenGate Transactional Data Management Der Einsatz von GoldenGate TDM bei AMD Sonstige Aspekte 2 26. März 2008
Einführung 3 26. März 2008
AMD Führende Mikroprozessor-Technologie Advanced Micro Devices (AMD) ist ein führender, global tätiger Hersteller von innovativen Prozessoren für die Computing-, Grafikund Consumer Electronics-Märkte. Multi-Kern- Mikroprozessoren Chipsets Hochleistungs- Grafikprozessoren Desktops Server and HPC Laptops Commercial Clients Emerging Markets UMPCs Consumer Electronics Handheld 4 26. März 2008
AMD in Dresden: Produktion Reinraumfläche Produktionskapazität Technologie aktuell Technologie zukünftig Fab 36 13.400 m 2 ~ 24.000 Waferstarts/Monat 65 nm / 45 nm (300 mm Wafer) 32 nm & kleiner Fab 38 14.000 m 2 flexibel in 2008 Kapazitätserweiterung für Fab 36 Umwandlung in ein neues 300-mm-Werk Reinraumfläche Bump-Test-Gebäude ~11.000 m² 5 26. März 2008
AMD in Dresden 2008 Fab 36 DDC/OSRC Fab 38 Bump/Test EVC 2 EVC 1 Facility 65 nm Produktion in Fab 36, 45 nm Pilotlinien in Betrieb Parallele Volumenfertigung und Technologieentwicklung Flexible Kapazität in Fab 38 während der Konversionsphase 6 26. März 2008
Das Factory Control System in Fab36 Komponenten Equipment Software Message-Busse Infrastruktur Netzwerk Hardware, Betriebssysteme, Datenbanken Telekommunikation Prozesse Advanced Process Control Yield Engineering SAP/PM Der Mensch Operations Factory Automation IT Systems & Operations 7 26. März 2008
Dispatching und Reporting - Komponenten MES Manufacturing Execution System Zentrale Komponente des Factory Control System DB2 UDB Dispatching und Reporting Funktionalität unzureichend DRS Echtzeit-Dispatching und Reporting System Echtzeitdaten aus MES Proprietäre Datenhaltung Interface zum Speichen und Abrufen der Daten MDS (AMD) Manufacturing Data Store Reporting, Visualisierung, Dispatching Replizierte und aggregierte Daten aus MES Echtzeitdaten aus MES Oracle 8 26. März 2008
Dispatching und Reporting - Datenfluss 9 26. März 2008
Dispatching und Reporting Replikation vor GoldenGate 10 26. März 2008
Ausgangssituation DB2 Trigger Queue-Tabelle Verlust der Transaktionsintegrität Erwartete Performance- und Durchsatzprobleme DRS-Adapter Erwartete Performance- und Durchsatzprobleme MDS-Tap Unflexible Konfiguration Erwartete Performance- und Durchsatzprobleme MDS Datenbankschema aus DRS Erwartete Latenzprobleme Verlust der Transaktionsintegrität 11 26. März 2008
Alternative Replikation - Anforderungen Asynchrone Replikation Transaktionsintegrität Performance: Durchsatz und Latenz Rückwirkungsfreiheit auf Primärdatenbank Hochverfügbarkeit Funktionsumfang Flexibilität Administration 12 26. März 2008
Alternative Replikation - Ziel 13 26. März 2008
GoldenGate Transactional Data Management 14 26. März 2008
GoldenGate Software Inc. Die Firma GoldenGate Software Inc. ist ein Unternehmen, das Lösungen im Bereich des Transactional Data Management (TDM) anbietet. TDM sorgt für garantiertes Extrahieren (Capture) Routen Transformieren Replizieren (Delivery) von transaktionsbasierten Daten in heterogenen Datenbank- und Systemumgebungen in Echtzeit. 15 26. März 2008
GoldenGate - TDM TDM findet Einsatz in den Bereichen Hochverfügbarkeit und Desaster-Toleranz Echtzeit-Datenintegration TDM unterstützt u.a. folgende Datenbank-Versionen Oracle DB2 Mainframe und UDB MS SQL Server Teradata Sybase MySQL ODBC... 16 26. März 2008
TDM - Komponenten Komponenten (modularer Aufbau flexible Architektur) Manager-Prozess Extract-Prozess(e) Replicat-Prozess(e) Trail-Files bzw. Extract-Files Checkpoints Collector-Prozess(e) 17 26. März 2008
TDM Logische Architektur 18 26. März 2008
TDM Der Manager-Prozess Manager-Prozess 1 Manager je GoldenGate-Installation kontrolliert Prozesse: Start, Stop, Restart wartet Trails protokolliert Fehler kommuniziert mit User Interface Konfiguration: Parameter-File 19 26. März 2008
TDM Der Extract-Prozess Extract-Prozess Quellsystem Konfigurationsoptionen und Datenquellen Initialisierungen (Initial Loads) Tabellen der Quell-Datenbank Änderungssynchronisation (Change Synchronization) Datenbank-Transaktions-Log GoldenGate-Log-Tabelle (triggerbasierte Extraktion) GoldenGate Trails (Daten-Pumpen) Zugriff auf Datenbank-Transaktions-Log datenbankabhängig Extraktion aller Änderungen Nur festgeschriebene Daten ( Commit ) werden zum Zielsystem gesendet. Konfiguration: Parameter-File ermöglicht Filterung flexible Architekturen 20 26. März 2008
TDM Der Replicat-Prozess Replicat-Prozess Zielsystem verarbeitet extrahierte Daten Replikation in die Tabellen der Ziel- Datenbank Konfigurationsoptionen Initialisierungen (Initial Loads) Änderungssynchronisation (Change Synchronization) Datenbank-Zugriff mit Native Database Calls bzw. ODBC Datenbank-Zugriff lokal oder remote Transaktionsreihenfolge gewahrt Konfiguration: Parameter-File benötigt Informationen über Struktur der Quelltabellen ermöglicht Fehlerbehandlung ermöglicht Filterung und Transformation flexible Architekturen 21 26. März 2008
TDM - Trails Trail Temporäre Speicherung der extrahierten Datenänderungen Folge von Files auf Sekundärspeicher Trennung von Extract- und Replicat-Prozessen sorgen für Fehler-Toleranz genau 1 Extract-Prozess schreibt in 1 Trail kann von mehreren Replicat-Prozessen gelesen werden automatisches Anlegen und Altern auf Quell- und/oder Zielsystem möglich Trail-Formate Universal Data Format (UDF) ermöglicht Verarbeitung in heterogenen Umgebungen proprietär (GoldenGate) ASCII SQL XML Checkpoints werden registriert 22 26. März 2008
TDM Weitere Komponenten Checkpoints Wiederanlaufpunkt für Extract- und Replicat-Prozesse ermöglichen Fehler-Toleranz und Recovery registrierten Lese- und Schreibposition eines Extract-Prozesses Leseposition eines Replicat-Prozesses Verwaltung in Files (Extract, Replicat) bzw. Checkpoint-Tabelle in Ziel- Datenbank Collector-Prozesse Hintergrundprozess auf Zielsystem empfängt Daten eines entfernten Extract-Prozesses (TCP/IP) schreibt in ein lokales Trail Start und Stop durch lokalen Manager-Prozess 23 26. März 2008
TDM - Weitere Komponenten User-Interface Error-Logfile Parameter-Files Report-Files Definitions-File Discard-Files 24 26. März 2008
TDM - Topologien 25 26. März 2008
Der Einsatz von GoldenGate - TDM bei AMD 26 26. März 2008
Einsatz bei AMD - Topologie 27 26. März 2008
Einsatz bei AMD Aspekte der Implementierung Datenbankschema für neue MDS-Datenbank: DDLGEN Inbetriebnahme ohne Downtime Installation parallel zum Altsystem Staging-Betrieb parallel zum Altsystem Initialisierung der History-Tabellen aus Altsystem NULL-Value Mapping Full Updates für Dispatching und Reporting System (DRS) Design für Hochverfügbarkeit 28 26. März 2008
Einsatz bei AMD Aspekte der Administration Kommandozeilen-Interface: GGSCI Integration in Systemstart Autostart und Auto-Restart Monitoring Status: Integration in HP OpenView Performance 29 26. März 2008
Einsatz bei AMD Aspekte der Hochverfügbarkeit Anforderung: Verfügbarkeit >= 99.85% Design Redundante Datenzentren, Systeme und Cluster Failover-Fähigkeit Shared Storage (SAN, NFS) Virtuelle Hostnamen Autostart und Auto-Restart Monitoring Recovery-Fähigkeit Umgebungen Produktion Integrations- und Stresstest, Entwicklung, Training Prozesse Integrations- und Stresstest Change Control 30 26. März 2008
Einsatz bei AMD - Ergebnisse 31 26. März 2008
Sonstige Aspekte 32 26. März 2008
Sonstige Aspekte Weitere Werkzeuge LOGDUMP REVERSE Daten-Filterung: Selektion und Projektion Daten-Transformation: Mapping Eingebaute Funktionen SQLEXEC: Externe Datenbank-Prozeduren und -Abfragen User-Exits Bidirektionale Replikation Sicherheit und Verschlüsselung Datenkompression Triggerbasiertes Extrahieren DDL-Synchronisation GoldenGate Director GoldenGate Veridata 33 26. März 2008
AMD, the AMD Arrow logo and combinations thereof are trademarks of Advanced Micro Devices, Inc. HyperTransport is a licensed trademark of the HyperTransport Technology Consortium. Microsoft and Windows are registered trademarks of Microsoft Corporation in the United States and/or other jurisdiction. Other names (DB2, DB2 UDB, Oracle, GoldenGate, GoldenGate Software Inc., GoldenGate TDM, SAP, SAP/PM, MS SQL Server, Teradata, MySQL, HP OpenView) are for informational purposes only and may be trademarks of their respective owners. 2008 Advanced Micro Devices, Inc. All rights reserved. Source of all Graphics: AMD