Oracle Replikationen im Vergleich. -Streams - Advanced Replication - Quest Shareplex

Transkript

1 Oracle Replikationen im Vergleich -Streams - Advanced Replication - Quest Shareplex Johannes Ahrends, Technical Director Thomas Klughardt, Systems Consultant Copyright 26 Quest Software

2 Agenda Allgemeines Quest Software Ausgangsbasis Vorstellung der Technologien Advanced Replication Oracle Streams Quest SharePlex replizierte Datentypen Benchmarking und Vergleiche Vorgehen (Testumgebung, Lastgenerierung) Netzwerklast Ergebnisse Interpretation Live Demonstration Shareplex 2

3 Agenda Allgemeines Vorstellung der Technologien Benchmarking und Vergleiche Live Demonstration Shareplex 3

4 Quest Software Wir helfen bei Bereitstellung, Verwaltung und Überwachung komplexer Anwendungsumgebungen. Quest-Produkte durchleuchten Anwendungen von der Datenbank bis zum End User. Mit marktführenden Produkten für die Datenbankverwaltung steigern wir die Produktivität von DBAs und Entwicklern sowie die Performance Ihrer Datenbanken. Wir vereinfachen, automatisieren und sichern Ihre Windows-Infrastruktur mit umfassenden Funktionen für Migration & Management und integrieren Unix, Linux sowie Java in die verwaltete Umgebung. 4

5 Quest Software Kontinuierliches Wachstum 631 Mio $ Umsatz 27 Nasdaq: QSFT über 3. Beschäftigte Kunden über 5. weltweit Mio USD $7 $6 $5 $4 $3 $2 $1 Starke Branchenpartner $ '99 ' '1 '2 '3 '4 '5 '6 '7 Bei Analysten Nr. 1 Application Management Software Gartner Dataquest, 25 Distributed Database Management Facilities Software IDC, 25 Windows Server Management Forrester Research, 24 5

6 Replikationsmöglichkeiten Reporting kaskadierend Hochverfügbarkeit Multimaster Verteilung zentralisiertes Reporting 6

7 Ausgangsbasis Diplomarbeit an der Fachhochschule Köln Thema: Oracle Replikationsmechanismen Autor: Thomas Klughardt Abgabe: 5. März 27 Umgebung: RedHat Linux 4. auf VMWare Oracle Database 1g Release 2 Enterprise Edition SharePlex Version 5.3 7

10 Advanced Replication Triggerbasiert Erzeugt Aufrufe als RPC Puffert in deferred transaction queue Übertragung zeitgesteuert per Job Asynchron 1

12 Streams Prozessbasiert Erzeugt Logical Change Records (LCR) Pufferung in Queue Tables Quasisynchron 12

13 Quest Shareplex Export Queue Export Import Post Queue Read SQL Post Redo-Logs Capture Capture Queue Source Target 13

14 Quest Shareplex Prozessbasiert Erzeugt Messages Pufferung in Queues Quasisynchron 14

15 15 Replizierte Replizierte Datentypen Datentypen - - VARRAY - - BFILE - - CFILE BLOB CLOB - LONG_RAW RAW - LONG DATE NUMBER NCHAR NVARCHAR CHAR VARCHAR2 Shareplex Streams Advanced Replication Datentyp

17 Benchmarking - Vorgehen Environment VMware Server 1. RedHat Linux 4. ES Oracle 1g Release 2 (1.2..3) Zusätzlich TPC-C Benchmark mit Quest Benchmark Factory Test Test 1 = Testumgebung im LAN Test 2 = Testumgebung im WAN (VPN) Jeder Testlauf ca. 1 mal durchgeführt Eigener Lastgenerator auf separatem Rechner Zusätzlich TPC-C Benchmark mit Quest Benchmark Factory Ergebnis zeigt repräsentativen Test 17

18 Test 1: Schnelle Verbindung (Intranet) Lastgenerator Transaktionsgenerator und Analysetool 1 Gbit/s 1 Gbit/s BONN1G 1 Gbit/s 1 Gbit/s KOELN1G Datenbanken mit Multi-Master Replikation (Bidirektionale Replikation) 18

19 Benchmarking und Vergleiche Lastgenerator erzeugt DML auf beiden Datenbanken: 8 Session je Datenbank 3 x 1. DML-Operationen pro Session Zunächst Inserts von 1. Datensätzen Danach Updates auf den 1. Datensätzen Zuletzt Deletes von den 1. Datensätzen Commits erfolgen in verschiedenen Testläufen nach jeweils einem, zehn, 1, 1 und 1 Datensätzen Das Analysetool ermittelt alle zehn Sekunden die Anzahl der gesamten und der geänderten Datensätze. Transaktionen werden gleichzeitig aus dem Lastgenerator und über die Replikation erzeugt. 19

20 Verarbeitungszeit schnelle Verbindung Advanced Replication Streams Replication Shareplex Durchschnittliche Replikationsdauer bei unterschiedlich vielen Datensätzen pro Commit in Sekunden 2

21 Einzelsatzverarbeitung Adv. Replication Streams SharePlex BONN1G KOELN1G

22 Commit je 1. Datensätzen tzen Adv. Replication Streams SharePlex BONN1G KOELN1G

23 Test 2: Langsame Verbindung (Internet) Lastgenerator Transaktionsgenerator und Analysetool 2 Mbit/s VPN 1 Gbit/s BONN1G 256Kbit/s VPN 2 Mbit/s VPN KOELN1G Datenbanken mit Multi-Master Replikation (Bidirektionale Replikation) 23

24 Benchmarking und Vergleiche Lastgenerator erzeugt DML auf beiden Datenbanken: 8 Session je Datenbank 3 x 1. und einmal 3 x 5. DML-Operationen pro Session: Zunächst Inserts von 5. Datensätzen Danach Updates auf den 5. Datensätzen Zuletzt Deletes von den 5. Datensätzen Commits erfolgen in verschiedenen Testläufen nach jeweils einem, zehn, 1, 1 und 5 Datensätzen Das Analysetool ermittelt alle zehn Sekunden die Anzahl der gesamten und der geänderten Datensätze. Transaktionen werden gleichzeitig aus dem Lastgenerator und über die Replikation erzeugt. 24

25 Verarbeitungszeit langsame Verbindung Advanced Replication Streams Replication Shareplex Durchschnittliche Replikationsdauer bei unterschiedlich vielen Datensätzen pro Commit in Sekunden 25

26 Einzelsatzverarbeitung Adv. Replication Streams SharePlex BONN1G KOELN1G

27 Commit je 5. SätzenS Adv. Replication Streams SharePlex BONN1G KOELN1G

28 Netzwerklast Es wurde die Netzwerklast beim Übertragen der Transaktion zum Einfügen eines Datensatzes gemessen. Die verwendeten Werte finden sich in der Tabelle, Ausnahmen: Für LONG_RAW, BLOB und als Referenz für BFILE wurde eine 1,5 MB große Datei benutzt. Bei den mit *) gekennzeichneten Datentypen wurden die Daten nicht korrekt repliziert. 28

29 Netzwerklast Vergleich der Bytes Datentyp Advanced Replication Streams Shareplex VARCHAR CHAR LONG 38 *) 11 8 LONG_RAW 38 *) DATE BFILE -*) 3 *) 82 BLOB CLOB NCHAR NUMBER(38) RAW VARRAY *) -*) -*) 85 29

30 Systemlast TPC-C C Test Ohne Replikation TPS Advanced Replication TPS TPS 4 TPS Userload Userload Streams Replication TPS Shareplex TPS TPS TPS Userload Userload 3

31 Ergebnisse Advanced Replication Daten werden zu festen Zeitpunkten übertragen Dadurch höhere Latenzzeiten Mind. 38 Byte je Übertragung Zusätzliche Last auf der DB durch Triggertechnologie 31

32 Ergebnisse Streams Streambasiertes peer-to-peer Verfahren Capture-Prozess erfasst die Änderungen Ca 8 11 Byte je Key-Value-Paar übertragen LCR (Logical Change Record) ca 1 Byte groß Latenzzeit gering, steigt jedoch mit Größe der Transaktionen, da die Übertragung erst nach Commit erfolgt Zusätzliche Last in der Datenbank durch Queue- Tabellen (Undo-, Redo-Generierung) 32

33 Ergebnisse Shareplex Streambasiertes peer-to-peer Verfahren Capture-Prozess erfasst die Änderungen Ca 8 11 Byte je Key-Value-Paar übertragen Größere Transaktionen in mehreren Messages übertragen Kleinere Transaktionen zu Messages zusammengefasst Geringe Latenzzeit durch direkte Übertragung der Daten (vor dem Commit) Keine zusätzliche Last in der Datenbank da Queue- Dateien im Filesystem 33

34 Vor/Nachteile Advanced Replication verwendet erprobte Datenbankobjekte ausgereiftes Produkt sehr gut für Snapshot Replikation (Read-Only) geeignet Snapshot auch Standard Edition - Master nur Enterprise Edition - Erfassung der Transaktionen über Trigger (Last-intensiv) - Datenbanklink notwendig - Bei Änderungen muss die Replikation gestoppt werden (quiesce der betroffenen Tabellen) - Fehler können zum Stillstand der Anwendung führen - Konfiguration sehr kompliziert 34

35 Vor/Nachteile Streams eigener Capturing Prozess kann auch nicht-oracle-nachrichten übertragen (Message Queuing) Basiert auf Oracle Log Miner Technologie Einfache Konfiguration - Nur Enterprise Edition - Datenbanklink notwendig - Replikation erfolgt über Oracle Net - Wird in der Datenbank verwaltet (zusätzliche Last) - Offloading über Data Guard Instanz mit großer Latenzzeit verbunden 35

36 Vor/Nachteile Quest Shareplex eigene Architektur (außerhalb der DB) ausgereiftes Produkt (seit 1999) Ab Oracle7 einsetzbar, derzeit ab Oracle8i unterstützt direkte TCP/IP Verbindung Einfache Konfiguration - Fremd-Software - Kostenpflichtig - Keine Erkennung von Trigger bzw. Cascading Deletes auf dem Zielsystem 36

37 Fazit Advanced Replikation Alte Technologie, Ablösung durch Streams von Oracle empfohlen Sehr kompliziert Sehr fehleranfällig Dedizierte Übertragungszeiten Streams Einfach zu bedienen durch unterschiedliche Szenarien (Schema, Tabellen, replikation) Auch für Messagequeuing geeignet Langsamer als Advanced Replication SharePlex Für Oracle Replikationen optimiert Schnell und ohne Einfluss auf die Produktion installierbar (Migrationsmöglichkeiten) Teuer 37

38 SharePlex Demo Copyright 26 Quest Software

39 Umgebung Zwei Oracle Datenbanken (Enterprise Edition) Quelle: Windows XP Professional Oracle9i Release 2 Version Schema: BERLIN Zeichensatz: WE8ISO8859P15 Ziel: RedHat Linux 4. ES Oracle1g Release 2 Version Schema: KOELN Zeichensatz: AL32UTF8 Rückreplikation im zweiten Schritt möglich 39

40 SharePlex Monitoring 4

41 Weitere DOAG Veranstaltungen Mike Ault in Deutschland Hat über 2 Oracle Bücher geschrieben, z.b.oracle Administration and Management, Oracle DBA OCP ExamCram und Oracle 1g Grid and RAC. Thema: The New Oracle Tuning Universe in 11g 7. April SOUG Regio Zürich 8. April DOAG Regio München 9. April DOAG Regio Köln 41

42 Fragen? Copyright 26 Quest Software