Oracle RAC CFS Hochverfügbarkeit

Transkript

1 DOAG Konferenz, SIG Database, Oracle RAC CFS Hochverfügbarkeit Peter Hulm Copyright Trivadis AG - For internal use only 1

2 Agenda A. Das Projekt B. RAC Manageability - Motivation pro CFS C. Architektur, Testenvironment D. Testszenarien im Überblick E. Testergebnisse F. Zusammenfassung Copyright Trivadis AG - For internal use only 2

3 Das Projekt Voruntersuchung Oracle RAC Veritas DBE/AC Zielsetzung:! Primärer Fokus Hochverfügbarkeit! Definition notwendiger Einsatzrichtlinien und Rahmenbedingungen! Zusätzliche Nutzenaspekte Copyright Trivadis AG - For internal use only 3

4 Rahmenbedingungen! Mutliprojektserver N Oracle Instanzen pro Server (bis zu 100) Viele Server (>400)! Standardisierte Betriebsprozeduren Datenbank-Setup Environment Backup & Recovery! Standardisiertes HA-Cluster Konzept! Sehr hohe Anforderungen hinsichtlich " Stabilität " und vor allem Manageability Copyright Trivadis AG - For internal use only 4

5 Agenda A. Das Projekt B. RAC Manageability - Motivation pro CFS C. Architektur, Testenvironment D. Testszenarien im Überblick E. Testergebnisse F. Zusammenfassung Copyright Trivadis AG - For internal use only 5

6 Manageability Dreh- und Angelpunkt Backup Archivelogs Backup Datenbank RAW Devices / LVM Recovery Prozedur File Handling Upgrades / Updates Zusätzliche DBA Skills Monitoring Tuning Maßnahmen Copyright Trivadis AG - For internal use only 6

7 RAC Filehandling Varianten! Raw Devices! Cluster File System OCFS (open source) General purpose - z.b. Veritas DBE/AC! NetApp Filer (NFS)! Oracle10 g Automated Storage Management Copyright Trivadis AG - For internal use only 7

8 RAW Device Setup public network Listener GSD Node1 ORACM Interconnect Node2 ORACM Listener GSD /u00/app/oracle /dev/sdb Instance TEST1 Instance TEST2 /dev/sdb /u01/ /admin/test1/arch /backup oravgadm01 oravgadm02 /dmp 136GB 136GB /u11/ /TEST2 /dev/oraraw/ oravgdb01 oravgdb02 36GB 36GB 36GB 36GB 36GB 36GB Copyright Trivadis AG - For internal use only 8

9 OCFS Setup public network Listener GSD Node1 ORACM Interconnect Node2 ORACM Listener GSD /u00/app/oracle /dev/sdb Instance TEST1 Instance TEST2 /dev/sdb oravgadm01 oravgdb01 oravgdb02 136GB 36GB 36GB 36GB 36GB 36GB 36GB /u01/ /admin/test1/arch /backup /dmp /u02/oradata/test /u03/oradata/test Copyright Trivadis AG - For internal use only 9

10 CFS DBE/AC Setup public network Node1 Node2 Listener GSD GSD Listener Interconnect Veritas VCS Instance TEST1 Instance TEST2 Veritas VCS oravg01 oravg02 oravg03 136GB 36GB 36GB 36GB 36GB 36GB 36GB /u00/app/oracle/admin/test1 /admin/test2 /product /u01/oradata/test /u02/oradata/test Copyright Trivadis AG - For internal use only 10

11 Oracle10 g ASM Setup public network Listener Node1 Node2 Listener /u00/app/oracle /dev/sdb GSD Interconnect GSD /dev/sdb ASM Instance Instance TEST1 Instance TEST2 ASM Instance Kein OS Mount! ASM Diskgroup 1 36GB 36GB 36GB ASM Diskgroup 2 36GB 36GB 36GB Copyright Trivadis AG - For internal use only 11

12 RAC Filehandling Unterschiede R A W D EV I C E Listener GSD Node1 Node2 Listener ORACM ORACM Instance TEST1 Instance TEST2 GSD /u00 /u00 /u01 /u11 /dev/oraraw /dev/oraraw Listener Node1 Node2 Listener ORACM ORACM GSD GSD Instance TEST1 Instance TEST2 /u00 /u00 /u01 /u02 /u03 O CF S D B E/ A C Node1 Node2 Listener GSD GSD Listener VCS Instance TEST1 Instance TEST2 VCS /u00 /u01 /u02 Listener Node1 GSD Instance TEST1 Node2 GSD Instance TEST2 Listener /u00 /u00 ASM Diskgroup1 ASM Diskgroup2 A S M Copyright Trivadis AG - For internal use only 12

13 Motivation pro CFS! Manageability Raw Devices - Separate Admin- und Archive-Verzeichnisse - Erzeugen / Ändern von Datenbankdateien - Kein User Managed Backup - Betriebsprozeduren - Root-Rechte zum Anlegen - Betriebs-/Ausbildungskosten Anpassungen der Betriebsprozeduren Zusätzliches DBA Know How! Gründe für Veritas DBE/AC Gewaltenteilung (Hardware,OS,Cluster,DB) Verfügbar auf den Oracle betriebsrelevanten Plattformen " nur eine Clustersoftware Copyright Trivadis AG - For internal use only 13

14 Agenda A. Das Projekt B. RAC Manageability - Motivation pro CFS C. Architektur, Testenvironment D. Testszenarien im Überblick E. Testergebnisse F. Zusammenfassung Copyright Trivadis AG - For internal use only 14

15 Architektur (betriebsrelevant) Corporate Network Server 1 Oracle SGA Instance 1 Interconnect Server 2 Oracle SGA Instance 2 SAN Oracle Datenbank Copyright Trivadis AG - For internal use only 15

16 Komponenten / Versionen(1)! Gbit Ethernet! Sun V880 4 CPU / 8 GB RAC Cluster! Oracle ! VERITAS DBE/AC 3.5 Instanz 1 Instanz 2! SAN! HP XP 1024 Datenbank Copyright Trivadis AG - For internal use only 16

17 Komponenten / Versionen(2)! HP Superdome Domäne 20 Prozessoren! HP/UX Treibermaschine Benchmark! Oracle NET Client Instanz 1 Instanz 2 Datenbank Copyright Trivadis AG - For internal use only 17

18 Testapplikation! Oracle Benchmark Embedded SQL, Pro*C DB-Zugriff über Oracle Net Client OLTP Transaktionsprofil bestehend aus 17 Einzel- Transaktionen Datenzugriffe zufallsverteilt Lastskalierung: - Anzahl User parallel - Denkzeiten - Anzahl Durchläufe Fokus: Messung Antwortzeiten Einsatz auch im Rahmen von RDBMS Regressiontests bei Oracle Treibermaschine Benchmark! Reproduzierbare Lastsituation Copyright Trivadis AG - For internal use only 18

19 Agenda A. Das Projekt B. RAC Manageability - Motivation pro CFS C. Architektur, Testenvironment D. Testszenarien im Überblick E. Testergebnisse F. Zusammenfassung Copyright Trivadis AG - For internal use only 19

20 Testszenarien! Primärer Fokus High Availability: Ausfalltests - Zusammenspiel aller Komponenten - Erfahrungen mit Fehlerszenarien sammeln Failover - Verhalten - Zeiten! Zusatznutzen Skalierung Intra-Node Parallelisierung Load Balancing Möglichkeiten Copyright Trivadis AG - For internal use only 20

21 Ausfalltests Corporate Network Server 1 Oracle SGA Instance 1 Interconnect Server 2 Oracle SGA Instance 2 SAN Oracle Datenbank Copyright Trivadis AG - For internal use only 21

22 Testszenarien! Primärer Fokus HA: Ausfalltests - Zusammenspiel aller Komponenten - Erfahrungen mit Fehlerszenarien sammeln Failover - - Verhalten - Zeiten! Zusatznutzen Skalierung Intra-Node Parallelisierung Load Balancing Möglichkeiten Copyright Trivadis AG - For internal use only 22

23 Failover Zeiten CRASH Quelle: Oracle9i Real Application Clusters - Administraion 1. Alle RAC Knoten aktiv 2. Ein Knoten crasht - Fehlererkennung 3. GES, GCS Reconfiguration, Redistribution Abhängig von der Art des Fehlers, sowie der verwendeten Clusterware 4. SMON - liest Redolog-Thread der gecrashten Instanz und ermittelt Blocks für die Instanz-Recovery. 5. SMON Anforderung aller Blöcke für die Recovery. Anschließend sind alle anderen Blöcke verfügbar. 6. Rollforward Recovery 7. Rollback Recovery 8. Die Datenbank ist komplett über die verbleibenden RAC-Instanzen verfügbar Copyright Trivadis AG - For internal use only 23

24 Failover Tests! 1000 User! jeweils 10 Wiederholungen der Testtransaktionen CRASH Testlauf! Denkzeit 5 Sekunden! Failover Situation während des Testlaufes! Ergebnis: Durchschnittliche Antwortzeit der Transaktionen 90% der Antwortzeiten < x Sekunden 95% der Antwortzeiten < y Sekunden Copyright Trivadis AG - For internal use only 24

25 Cold Failover Testapplikation 1000 User Server 1 Serverprozess Serverprozess Server 2 Oracle CRASH Serverprozess Serverprozess Oracle Oracle Datenbank Copyright Trivadis AG - For internal use only 25

26 RAC Failover: Aktiv/Passiv Testapplikation 1000 User Server 1 Oracle CRASH Serverprozess Serverprozess 1000 Serverprozess Serverprozess 1000 Server 2 Oracle Oracle Datenbank Copyright Trivadis AG - For internal use only 26

27 RAC Failover: Aktiv/Aktiv Testapplikation 500 User Testapplikation 500 User Server 1 Oracle CRASH Serverprozess 500 Serverprozess 500 Serverprozess 500 Server 2 Oracle Oracle Datenbank Copyright Trivadis AG - For internal use only 27

28 Testszenarien! Primärer Fokus HA: Ausfalltests - Zusammenspiel aller Komponenten - Erfahrungen mit Fehlerszenarien sammeln Failover - Verhalten - Zeiten! Zusatznutzen Skalierung Intra-Node Parallelisierung Load Balancing Möglichkeiten Copyright Trivadis AG - For internal use only 28

29 Agenda A. Das Projekt B. RAC Manageability - Motivation pro CFS C. Architektur, Testenvironment D. Testszenarien im Überblick E. Testergebnisse F. Zusammenfassung Copyright Trivadis AG - For internal use only 29

30 Failover Zeiten (1) A/A Pre-Connect A/A standard A/P Pre-Connect A/P standard Cold Failover A/P Reference A/A Reference Time sec. Ø Response Time per Quote 90% of Response Times < 95% of Response Times < Copyright Trivadis AG - For internal use only 30

31 Failover Zeiten (2) Einflußfaktor Instance-Recovery A/A very long Recovery A/A long Recovery A/A short Recovery A/A standard Time sec. Ø Response Time per Quote 90% of Response Times < 95% of Response Times < Copyright Trivadis AG - For internal use only 31

32 Skalierung User / Config A/A 1000 A/A 1000 A/P 750 A/P 500 A/P Time sec. Ø Response Time per Quote 90% of Response Times < 95% of Response Times < Copyright Trivadis AG - For internal use only 32

33 Agenda A. Das Projekt B. RAC Manageability - Motivation pro CFS C. Architektur, Testenvironment D. Testszenarien im Überblick E. Testergebnisse F. Zusammenfassung Copyright Trivadis AG - For internal use only 33

34 Erkenntnisse! Ausfall einzelner Komponenten wird toleriert, Verbindungen der Clients werden (mehrheitlich) übernommen.! Betriebsart Aktiv Passiv weniger attraktiv.! Die Konfiguration beeinflusst die Recoveryzeiten und Performance.! Skalierung ~ 1,5+ ohne jegliche Optimierung, RAC an der I/O-Grenze. Copyright Trivadis AG - For internal use only 34

35 Hauptvorteile! Ungeplante Hardwareausfälle ohne Serviceunterbrechung abgesichert.! Geplante Downtimes (Hardwarewartung) zum Teil absicherbar.! Das Failoversystem ist permanent verfügbar (Oracle gestartet, CFS gemountet, Files geöffnet) kein Switch erforderlich. Copyright Trivadis AG - For internal use only 35

36 Es gibt aber doch Grenzen! Geplante Downtimes Einspielen von Patches! Netzwerkausfälle ohne zusätzliche Vorkehrungen auf Netzwerkebene nicht 100% absicherbar! logische Fehler in der Datenbank oder im Filesystem erfordern weitergehende Maßnahmen (Standby /erweitertes Volumenmanagement /BC). Copyright Trivadis AG - For internal use only 36

37 Fazit! Gesamtarchitektur funktioniert und ist tragfähig.! Auf Basis eines CFS (Veritas DBE/AC) ist ein produktiver Einsatz mit geringen Zusatzaufwänden darstellbar.! aus HA-Sicht primär eine High End Lösung: Die Kosten für Einführung und Betrieb können mit einem CFS wie Veritas DBE/AC deutlich minimiert werden Insbesondere in Linux Umgebungen empfhielt sich der Einsatz eines CFS Zusätzliche Hardwareanforderungen: gering Lizenzkosten für die Gesamtlösung: erheblich! Die Skalierung funktioniert bemerkenswert gut Copyright Trivadis AG - For internal use only 37

38 Anhang: Platforms & CFS Platform and Cluster Software Storage for Oracle Installation Storage for Datafiles AIX GPFS HP/UX Service Guard Veritas DBE/AC Linux ORACM OCFS Veritas DBE/AC (geplant) OpenVMS Tru64 Unix SUN Solaris Sun Cluster Veritas DBE/AC Windows NT/2000 ORACM OCFS Local FS Cluster FS Raw Device Cluster FS Copyright Trivadis AG - For internal use only 38