einfach. gut. beraten. Oracle GoldenGate DOAG Webinar Thilo Fleischhauer , Wiesbaden

Transkript

1 einfach. gut. beraten. Oracle GoldenGate DOAG Webinar Thilo Fleischhauer , Wiesbaden

2 Agenda Replikation Technologie Architektur Anwendungsszenario Replikation einrichten Konfigurationsschritte Einfache Replikation Auditing mit GoldenGate: Erstellen einer Tabellen-History Demo Fazit 2

3 Replikation Verfahren zum Verteilen und Synchronisieren von Datenbeständen Unidirektional/Offloading Multimaster Bidirektional 3

4 Replikationsprodukte Oracle GoldenGate Oracle Streams Active Data Guard Logical Data Guard Materialized Views Nicht-Oracle Produkte Dell (ehem. Quest) SharePlex for Oracle IBM DataMirror Transformation Server IBM CDC Infosphere Dbvisit replicate Tungsten Replicator 4

5 Agenda Replikation Technologie Architektur Anwendungsszenario Replikation einrichten Konfigurationsschritte Einfache Replikation Auditing mit GoldenGate: Erstellen einer Tabellen-History Demo Fazit 5

6 GoldenGate-Technologie Capture, Routing, Transformation und Delivery von Datenbanktransaktionen in heterogenen Umgebungen Erfassung aus den Transaktionslogs, z. B. Oracle Redo Logs Initial Load: Möglichkeit der Erfassung direkt aus der Tabelle 6

7 Topologien Unidirektional (Query Offloading) Cascading (Data Marts) Bidirektional (Hochverfügbarkeit) Integration (DWH) Peer-to-Peer (Multimaster) Broadcasting (Data Distribution) 7

8 Einsatzmöglichkeiten Minimierung Downtime ( Zero Downtime) Daten Migration Datenbank Upgrade Cross Platform Migration Operational Reporting Query Offloading Extract, Transformation und Load (ETL) Real Time Data Warehousing Disaster Recovery cross-os oder cross-database Version Data Protection Hochverfügbarkeit Active/Active 8

9 Agenda Replikation Technologie Architektur Anwendungsszenario Replikation einrichten Konfigurationsschritte Einfache Replikation Auditing mit GoldenGate: Erstellen einer Tabellen-History Demo Fazit 9

10 Extract TCP/IP Netzwerk Quelldatenbank Redo Logs Change Capture: Auslesen der committed Transaktionen aus dem Transaktionslog, optional Filter anwenden Extract Zieldatenbank Archive 10

11 Trail / Extract Files TCP/IP Netzwerk Quelldatenbank Redo Logs Trail Files: Speichern der Daten für Weiterleitung/Weiterverarbeitung Extract Zieldatenbank Archive Local Trail 11

12 Data Pump TCP/IP Netzwerk Quelldatenbank Redo Logs Archive Data Pump: Datendistribution (ein oder mehrere Ziele) Extract Local Trail Data Pump Verwendung Data Pump ist Best Practise: - Schutz vor Netzwerkfehlern - Schutz vor Nichtverfügbarkeit des Zielsystems Zieldatenbank 12

13 Server Collector TCP/IP Netzwerk Quelldatenbank Redo Logs Server Collector: Prozess auf der Zielseite (im Hintergrund) Data Pump (oder Extract) Daten empfangen und schreiben Extract Zieldatenbank Archive Local Trail Server Collector Data Pump 13

14 Remote Trail TCP/IP Netzwerk Quelldatenbank Redo Logs Trail Files: Speichern der Daten für Weiterverarbeitung Extract Zieldatenbank Archive Local Trail Server Collector Data Pump Remote Trail 14

15 Replicat TCP/IP Netzwerk Quelldatenbank Redo Logs Change Delivery: Anwenden mit Transaktionsintegrität, optional Transformationen und Filter anwenden Extract Zieldatenbank Replicat Archive Local Trail Server Collector Data Pump Remote Trail 15

16 Manager Manager TCP/IP Netzwerk Manager Quelldatenbank Redo Logs Manager: Prozess auf jedem System Aufgaben sind Start, Stop, Monitoring von Prozessen, Extract Zieldatenbank Replicat Archive Local Trail Server Collector Data Pump Remote Trail 16

17 Architektur Zusammenfassung GoldenGate-Komponenten und Prozesse EXTRACT-Prozess Trail Files DATA-PUMP-Prozess SERVER-COLLECTOR-Prozess REPLICAT-Prozess MANAGER-Prozess Bidirektionale Replikation möglich DDL-Replikation möglich 17

18 Architektur (I) Initial Load Manager TCP/IP Netzwerk Manager Replicat Quelldatenbank Redo Logs Initial Load: Direktes Lesen aus Quelltabelle zur Beladung des Zielsystems Extract Zieldatenbank Replicat Archive Local Trail Server Collector Data Pump Remote Trail 18

19 Architektur (II) Initial Load GoldenGate-Methoden, speziell für heterogene Umgebungen (unterschiedliche Datenbanken und Betriebssystemumgebungen) Direct Load Direct Bulk Load File (Replicat) File (DB bulk load utility) Oracle Methoden/Alternativen für große Datenbanken RMAN DataPump Export & Import 19

20 Agenda Replikation Technologie Architektur Anwendungsszenario Replikation einrichten Konfigurationsschritte Einfache Replikation Auditing mit GoldenGate: Erstellen einer Tabellen-History Demo Fazit 20

21 Anwendungsszenario (I) Minimierung Downtime Cross Platform Migration und Upgrade Rahmenbedingungen Transportable Tablespace nicht möglich Data Pump Export & Import mit sehr großem Wartungsfenster Migration und Upgrade unter Minimierung der Downtime gewünscht Option des Fallback muss mindestens 4 Wochen ohne Datenverlust möglich sein 21

22 Anwendungsszenario (II) Initialisierung Quelle Oracle 10g DataPump Export & Import Ziel Oracle 12c Extract Replicat Redo Logs Redo Logs Archive Log Replicat Extract Archive Log 22

23 Anwendungsszenario (III) Testphase (Tester auf 12c) Quelle Oracle 10g DataPump Export & Import Ziel Oracle 12c Extract Replicat Redo Logs Redo Logs Archive Log Replicat Extract Archive Log 23

24 Anwendungsszenario (IV) Go-Live: Replikation beenden und umgekehrt aufsetzen Quelle Oracle 10g DataPump Export & Import Ziel Oracle 12c Extract Replicat Redo Logs Redo Logs Archive Log Replicat Extract Archive Log 24

25 Anwendungsszenario (V) Gesamtsicht Quelle Oracle 10g DataPump Export & Import Ziel Oracle 12c Extract Replicat Redo Logs Redo Logs Archive Log Replicat Extract Archive Log 25

26 Agenda Replikation Technologie Architektur Anwendungsszenario Replikation einrichten Konfigurationsschritte Einfache Replikation Auditing mit GoldenGate: Erstellen einer Tabellen-History Demo Fazit 26

27 Agenda Replikation Technologie Architektur Anwendungsszenario Replikation einrichten Konfigurationsschritte Einfache Replikation Auditing mit GoldenGate: Erstellen einer Tabellen-History Demo Fazit 27

28 Fünf Konfigurationsschritte 1. Installation durchführen 2. Umgebung vorbereiten Datenbankbenutzer anlegen Archive Log Modus und Supplemental Logging aktivieren Manager-Prozess konfigurieren und starten Tabellendefinitionen (DEFGEN) in heterogener Umgebung 3. Änderungen erfassen und weiterleiten (Change Capture) Primary Extract Secondary Extract / Data Pump 4. Initialisierung (Initial Load) GoldenGate-Methoden Oracle-Methoden 5. Änderungen anwenden (Change Delivery) Replicat 28

29 Agenda Replikation Technologie Architektur Anwendungsszenario Replikation einrichten Konfigurationsschritte Einfache Replikation Auditing mit GoldenGate: Erstellen einer Tabellen-History Demo Fazit 29

30 Einfache Replikation Anforderungen: Replikation aller Tabellen im Schema ora00 Change Capture soll auch im Fall von Netzwerkfehler oder Nichtverfügbarkeit des Zielsystems ununterbrochen weiterlaufen Verwendung Secondary Extract (Data Pump) Replikation in das Schema ora01 30

31 Einfache Replikation Primary Extract GGSCI (gg1) 1> edit params eora02 Extract extract eora02 setenv (oracle_sid=ordix) userid gg1_admin, password ordix exttrail./dirdat/lt table ora00.*; Quelldatenbank Redo Logs Archive Local Trail GGSCI (gg1) 2> add extract eora02, tranlog, begin now, threads 1 EXTRACT added. GGSCI (gg1) 3> add exttrail./dirdat/lt, extract eora02, megabytes 1 EXTTRAIL added. GGSCI (gg1) 4> start extract eora02 Sending START request to MANAGER... EXTRACT EORA02 starting 31

32 Einfache Replikation Secondary Extract Data Pump Server Collector Remote Trail Local Trail TCP/IP Netzwerk GGSCI (gg1) 1> edit params pump extract pump passthru rmthost gg2, mgrport 7809 rmttrail./dirdat/rt table ora00.*; GGSCI (gg1) 2> add extract pump, exttrailsource./dirdat/lt, begin now GGSCI (gg1) 3> add rmttrail./dirdat/rt, extract pump GGSCI (gg1) 4> start extract pump 32

33 Einfache Replikation Replicat TCP/IP Netzwerk Manager Remote Trail Replicat Zieldatenbank GGSCI (gg2) 1> dblogin userid gg2_admin, password ordix GGSCI (gg2) 2> add checkpointtable chkpt GGSCI (gg2) 3> edit params apply02 REPLICAT apply02 userid gg2_admin, password ordix assumetargetdefs discardfile./dirrpt/apply02.dsc, append map ora00.*, target ora01.*; GGSCI (gg2) 4> add replicat apply02, exttrail./dirdat/rt, checkpointtable gg2_admin.chkpt GGSCI (gg2) 5> start replicat apply02 33

34 Agenda Replikation Technologie Architektur Anwendungsszenario Replikation einrichten Konfigurationsschritte Einfache Replikation Auditing mit GoldenGate: Erstellen einer Tabellen-History Demo Fazit 34

35 Tabellen-History Anforderungen: Erstellen einer Tabellen-History für die Tabelle ora00.projekt Jede Änderung soll neue Zeile im Zielsystem erzeugen Insert, folgende Updates und Delete werden als Point-In-Time Snapshot geschrieben Verwendung von Token auf der Quelle Verwendung von INSERTALLRECORDS im Zielsystem Change Capture soll auch im Fall von Netzwerkfehler oder Nichtverfügbarkeit des Zielsystems ununterbrochen weiterlaufen Verwendung Secondary Extract (Data Pump) Replikation in das Schema ora02 35

36 Tabellen-History Primary Extract GGSCI (gg1) 1> edit params eora03 Verwendung von Token Möglichkeit der Verwendung von Makros, SQL-Aufrufen, Filtern, Quelldatenbank Redo Logs Archive Extract Local Trail extract eora03 setenv(oracle_sid=ordix) userid gg1_admin, password ordix exttrail./dirdat/pt table ora00.projekt, tokens (TKN-OSUSERNAME TKN-TRANSACTION-CSN TKN-USERNAME ('TRANSACTION', 'USERNAME'), TKN-DBNAME ('DBENVIRONMENT','DBNAME'), TKN-HOSTNAME ('GGENVIRONMENT','HOSTNAME'), TKN-COMMITTIME TKN-REC-FILESEQNO ('RECORD', 'FILESEQNO'), TKN-REC-FILERBA ('RECORD', 'FILERBA')); GGSCI (gg1) 2> add extract eora03, tranlog, begin now, threads 1 GGSCI (gg1) 3> add exttrail./dirdat/pt, extract eora03, megabytes 1 GGSCI (gg1) 4> start extract eora03 36

37 Tabellen-History Secondary Extract Data Pump Server Collector Remote Trail Local Trail TCP/IP Netzwerk GGSCI (gg1) 1> edit params ppump extract ppump passthru rmthost gg2, mgrport 7809 rmttrail./dirdat/pt table ora00.projekt; GGSCI (gg1) 2> add extract ppump, exttrailsource./dirdat/pt, begin now GGSCI (gg1) 3> add rmttrail./dirdat/pt, extract ppump GGSCI (gg1) 4> start extract ppump 37

38 Tabellen-History Replicat TCP/IP Netzwerk Manager Remote Trail Replicat Zieldatenbank GGSCI (gg2) 1> dblogin userid gg2_admin, password ordix GGSCI (gg2) 2> add checkpointtable chkpt GGSCI (gg2) 3> edit params apply03 Verarbeitung der zusätzlichen Information(en) (Token) in den Trail Files Möglichkeit der Verwendung von Filtern, 38

39 Tabellen-History Replicat (ff.) replicat apply03 userid gg2_admin, password ordix assumetargetdefs handlecollisions ora02.* discardfile./dirrpt/apply01.dsc, append insertallrecords map ora00.projekt, target ora02.projekt COLMAP (USEDEFAULTS, TX_TIME TX_CSN OP_TYPE 'OPTYPE'), TX_DBNAME TX_HOSTNAME TX_OSUSERNAME TX_USERNAME BEFORE_AFTER_IND 'BEFOREAFTERINDICATOR'), REC_FILESEQNO ('TKN-REC-FILESEQNO') REC_FILERBA ('TKN-REC-FILERBA')); GGSCI (gg2) 4> add replicat apply03, exttrail./dirdat/pt, checkpointtable gg2_admin.chkpt GGSCI (gg2) 5> start replicat apply03 39

40 Agenda Replikation Technologie Architektur Anwendungsszenario Replikation einrichten Konfigurationsschritte Einfache Replikation Auditing mit GoldenGate: Erstellen einer Tabellen-History Demo Fazit 40

41 Demo Zwei Beispiele Einfache Replikation Auditing mit GoldenGate: Erstellen einer Tabellen-History 41

42 Demo Zwei Beispiele Einfache Replikation Auditing mit GoldenGate: Erstellen einer Tabellen-History 42

43 Demo Zwei Beispiele Einfache Replikation Auditing mit GoldenGate: Erstellen einer Tabellen-History 43

44 Agenda Replikation Technologie Architektur Anwendungsszenario Replikation einrichten Konfigurationsschritte Einfache Replikation Auditing mit GoldenGate: Erstellen einer Tabellen-History Demo Fazit 44

45 Fazit Heterogene Initialisierung möglich Asynchrone Übertragung Nur committed Transaktionen DMLs und DDLs Universelles Trail-Format über heterogene Systeme Möglichkeiten zur Erweiterung: Token, SQL-Aufrufe, Filter, Funktionen, Betrachtung der Lizenzen notwendig 45

46 Fragen und Antworten 46

47 Zentrale Paderborn Westernmauer Paderborn Tel.: Fax: Seminarzentrum Wiesbaden Kreuzberger Ring Wiesbaden Tel.: Vielen Dank für Ihre Aufmerksamkeit! Weitere Geschäftsstellen in Essen, Gersthofen, Köln und Münster info@ordix.de