Oracle Streams Doag Vortrag Claus Cullmann

Transkript

1 Oracle Streams Doag Vortrag Claus Cullmann

2 Oracle Streams Doag Vortrag Claus Cullmann

3 Oracle Streams Doag Vortrag Claus Cullmann

4 Anwendungen Datenströme Überblick Oracle Streams Architektur Voraussetzungen und Möglichkeiten Oracle 11g: teilweise Feature der Oracle Standard Edition Beispiel Tabelle-Replikation mit synchron Capture-Prozess - Einrichten Streams-Umgebung - Konfiguration bidirectionale Synchronisation in Echtzeit - Streams in Action - Schritte zum Wiederaufsetzen im Fehlerfall - Automatisierte Konfliktbereinigung A G E N D A Oracle Streams im Database Control Brezeln

5 Für welche Gelegenheit werden Datenströme eingesetzt? Anwendung A Anwendung B

6 Für welche Gelegenheit werden Datenströme eingesetzt? Schnittstelle zwischen 2 Systemen Anwendung A Anwendung B

7 Für welche Gelegenheit werden Datenströme eingesetzt? Schnittstelle zwischen 2 Systemen Anwendung A Anwendung B Unidirektional

8 Für welche Gelegenheit werden Datenströme eingesetzt? Schnittstelle zwischen 2 Systemen Anwendung A Anwendung B

9 Für welche Gelegenheit werden Datenströme eingesetzt? Schnittstelle zwischen 2 Systemen Anwendung A Anwendung B Bidirektional

10 Für welche Gelegenheit werden Datenströme eingesetzt?

11 Für welche Gelegenheit werden Datenströme eingesetzt? Multimaster Köln Anwendung verteilt Paris Hongkong

12 Für welche Gelegenheit werden Datenströme eingesetzt?

13 Für welche Gelegenheit werden Datenströme eingesetzt? Load Balancing Lastverteilung am gleichen Standort

14 Für welche Gelegenheit werden Datenströme eingesetzt?

15 Für welche Gelegenheit werden Datenströme eingesetzt? Datenverteilung z.b. Data Marts

16 Für welche Gelegenheit werden Datenströme eingesetzt? Datenverteilung z.b. Data Marts Auch kaskadierend möglich

17 Für welche Gelegenheit werden Datenströme eingesetzt?

18 Für welche Gelegenheit werden Datenströme eingesetzt? Konsoldierung z.b. Data Warehouse

19 Für welche Gelegenheit werden Datenströme eingesetzt? Konsoldierung z.b. Data Warehouse

20 Für welche Gelegenheit werden Datenströme eingesetzt? Migration

21 Für welche Gelegenheit werden Datenströme eingesetzt? Migration Oracle 10g Oracle 11g

22 Für welche Gelegenheit werden Datenströme eingesetzt? Migration Oracle 10g Oracle 11g Near Zero Downtime unabhängig von der Größe der Datenbank

23 Überblick Oracle Streams Oracle Streams ermöglicht die Weitergabe von Informationen, Transaktionsdaten und Events innerhalb eines einzigen Datenstroms. Dieser Datenstrom kann in der gleichen Datenbank genutzt werden oder von einer Datenbank an andere Datenbanken weitergeleitet werden. Hier gibt es viele Möglichkeiten den Strom zu steuern. Eckdaten sind: - Flexibel Versionsunabhängig (auch Datenbankübergreifend) N-N, N-1, 1-N, Hub and Spoke Routing einstellbar - Performant Downstream Capture Hot Mining Redo-Log minimiert Latenzzeit Parallel Capture und Parallel Apply ermöglichen hohen Durchsatz - Komplex Durch die hohe Flexibilität erkauft man sich eine hohe Komplexität

24 Oracle Datenbank Dictionary Views

25 Oracle Datenbank Dictionary Views

26 Oracle Datenbank Dictionary Views Knapp 15 Prozent aller Oracle DBA Views beinhalten Streams-Informationen => hohe Komplexität Flexibiliät

27 Oracle Streams Architektur

28 Oracle Streams Architektur Capture

29 Oracle Streams Architektur Capture Propagation

30 Oracle Streams Architektur Capture Propagation Apply

31 Oracle Streams Architektur Capture Queue Table LCR: Logical Change Records Capture Prozess Erzeugen eines LCR Eintrag Enqueue in Capture Queue Capture Propagation Apply

32 Oracle Streams Architektur Capture Queue Table Apply Queue Table LCR: Logical Change Records Capture Prozess Erzeugen eines LCR Eintrag Enqueue in Capture Queue Apply Prozess Anwenden der LCRs Dequeue aus Apply Queue Capture Propagation Apply

33 Oracle Streams Architektur Capture Queue Table Apply Queue Table LCR: Logical Change Records Regelwerk Capture Prozess Erzeugen eines LCR Eintrag Enqueue in Capture Queue Apply Prozess Anwenden der LCRs Dequeue aus Apply Queue Capture Propagation Apply

34 Oracle Streams Architektur

35 Oracle Streams Architektur Logwriter Redolog Files

36 Oracle Streams Architektur Apply Prozess auf Zieldaten bank Logwriter Redolog Files Capture Prozess auf Quelldaten bank

37 Oracle Streams Architektur Logwriter Redolog Files

38 Oracle Streams Architektur Logwriter Redolog Files Logwriter synchron Apply Prozess auf Zieldaten bank Capture Prozess auf Zieldaten bank

39 Oracle Streams Architektur Logwriter Redolog Files Logwriter synchron Alternativ: Archivelog (asynchron) Apply Prozess auf Zieldaten bank Capture Prozess auf Zieldaten bank

40 Oracle Streams Architektur Capture synchron Apply

41 Oracle Streams Möglichkeiten Feature der Enterprise Edition Tabellenreplikation Schemareplikation Datenbankreplikation DDL und DML Datenbankübergreifend Versionsübergreifend

42 Oracle Streams in Standard Edition Ab Oracle 11g auch Feature der Standard Edition mit folgenden Einschränkungen Kein Capture vom Redo, Kein DDL, nur DML Nur Tabellenreplikation DML eingeschränkt auf: Insert, Update, Delete und Merge Keines der folgenden Datentypen Long Long Raw CLOB NCLOB BLOB BFILE ROWID User defined types Oracle supplied types

43 Oracle Streams in Standard Edition Vorbereitung 1. Anlegen des Streams Administrator auf Quell und Zieldatenbank 2. Konfiguration Netzwerk-Link 3. Setzen notwendiger Init-Parameter 4. Konfiguration Stream Pool Size

44 Oracle Streams in Standard Edition Prozess aufsetzen 1. Apply und Capture - Queue Table anlegen 2. Apply- und Sync-Capture - Prozess anlegen 3. Tabellen-Regel definieren 4. Übertragung definieren 5. Capture Table anlegen 6. Tabelle Instanziieren 7. Apply Prozess starten

45 Oracle Streams in Action 1. Tabelle erweitern 2.Update auf beiden Seiten Datensätze einspielen 4.Daten verändern während eine Datenbank geschlossen wird 5.Tabelle hinzufügen

46 Oracle Streams Monitoring 1. Anzeigen Tabellen im Syn-Capture Prozess 2.Monitoring APPLY Prozess 3.Anzeigen Apply Fehler

47 Tabelle neu aufsetzen nach einem Fehler 1. Stop Apply-Prozess 2. Synchronisiere Tabelle auf Problemseite 3. Reinstanziieren der Tabelle 4. Starte Apply-Prozess

48 DML Konflikt Handling In bidirektionaler Replikation kann es zu folgenden Konflikten kommen: Konflikt Update Eindeutigkeit Delete Fremdschlüssel Ursache Der gleiche Datensatz wird von unterschiedlich aktualisiert. Es werden 2 Datensätze mit gleichem Primärschlüssel eingefügt. In einer Datenbank wird ein Datensatz gelöscht, während er in der anderen aktualisiert wird. In einer Datenbank wird der Parent-Schlüssel aktualisiert, während in der andern Datenbank ein Datensatz dazu in der abhängigen Tabelle angelegt wird.

49 Update-DML Konflikt Handling Erstelle Regel für das Update mit Oracle-Streams Manuell: Bei jedem Fehler wird nach den Inhalten geschaut und die Werte korrigiert und die Tabelle neu aufgesetzt. Automatisch: Es gibt folgende automatisierte Fehlerkorrekturmöglichkeiten: - Overwrite und Discard: Eine Datenbank gewinnt im Konfliktfall. - Maximum oder Minimum: In Abhängigkeit einer Spalte wird entschieden. - Selbstgeschriebene Prozedur. In verteilte Umgebungen stellt dieser Konflikt das größte Problem dar und ist selten ganz zu vermeiden. Jede verteilte Datenbanklandschaft muss beobachtet und gepflegt werden.

50 Eindeutigkeit-DML Konflikt Handling Um Eindeutigkeit zu erlangen, z.b. mit Global Unique Identifier arbeiten: Diese Oracle Funktion liefert eine 16Byte GUID: select sys_guid() from dual: A741C791252B3EA0E AE3E0A Eine andere Möglichkeit ist mit Sequenzen zu arbeiten: Parameter Datenbank A Datenbank B Datenbank C Start with Increment by Beispiele 1,11,21,31 3,13,23,33 5,15,25,35

51 Eindeutigkeit-DML Konflikt Handling Man kann auch mit zusammengesetzten Schlüsseln arbeiten und in einen Schlüssel die Rechner oder Datenbank - ID eintragen:

52 Delete-DML Konflikt Handling Am besten ist es in Replikations-Umgebungen kein delete abzusetzen. Besser ist es die Datensätze als gelöscht zu markieren und dann in einer Datenbank z.b. nach 3 Monaten löschen.