Oracle RAC im Einsatz von Oracle 9i bis Oracle Database 10g

Transkript

1 Oracle RAC im Einsatz von Oracle 9i bis Oracle Database 10g Markus Michalewicz BU Database Technologies Oracle Deutschland GmbH 2

2 Oracle Real Application Clusters (RAC) Mit Oracle9i eingeführte Clusterdatenbank Hardware-Grundlage: Shared Disk Cluster Eine Datenbank, mehrere parallele Instanzen Alle Knoten sind gleichzeitig aktiv Revolutionäre Technik: Cache Fusion Cache Fusion = globale SGA Optimale Verfügbarkeit und Skalierbarkeit 3 Oracle RAC bewährte Technologie weltweit ca Kunden über 750+ Produktivsysteme Plattformübergreifend Verfügbar & Skalierbar 4

3 Oracle RAC Konfiguration Clustersoftware ( clusterware ) Server 1 Server 2 Server Interconnect Betriebssystem Betriebssystem Cluster File System (CFS) Data A-Z Shared Disk System 5 Oracle RAC Konfiguration Typische Fragestellungen Welche Hardware Plattform? Welches Betriebssystem? Welches Storage / welche Spiegelung? Oracle Homes / CFS und RAW Devices? Welcher Interconnect / Bandbreite? Wie viele Knoten werden unterstützt? Wie weit kann ich die Knoten entfernen? Skaliert RAC auch über X Knoten? RAC-Installation / RAC-Administration? Data A-Z 6

4 Was setzen unsere Kunden ein? Kundenbeispiele unter: 7 Einige Hersteller Links bzgl. Oracle EMC 2 : FSC: Hitachi: HP: NetApp: Sun: 8

5 Unabhängige RAC SIG für alle RAC User Wer die Wahl hat... Oder: Welches Betriebssystem? Unix / Linux Intel / Itanium 10

6 Betriebssystem und Clusterware Abhängigkeiten umgehen mit der ORACLE Clusterware Ressource Monitoring Ressource Management Cluster Control / Failover APIs Cluster Membership LVM Hardware- / Betriebssystem-Kernel Ressource Monitoring Applikationen Oracle Datenbanken Clusterware Ressource Cluster Management Control / Volume Failover Manager APIs / File-System ASM Hardware- / Betriebssystem-Kernel 11 ORACLE Clusterware - Architektur SGA Pool SGA Pool Buffer Cache Buffer Cache Large Pool Large Pool SQL Cache SQL Cache Java Pool Java Pool Virtuelle IP Adressen Instanzen OEM Prozesse Oracle Cluster Ready Services (CRS) HA Framework Oracle Cluster Synchronisation Services (CSS) Basis für Inter-prozess & -Knoten-Operationen, Node Monitoring & Membership, Client-Dienste Hardware / Betriebssystem Kernel 12

7 Storage und Storage-Absicherung Welche Spiegelung schützt vor Ausfall? aktiv-passiv: Storage-basierte Datenspiegelung (z.b. SRDF) aktiv-aktiv: Host-Based- Mirroring (z.b. Veritas CVM) die aktiv-aktiv Variante ist die einzige Möglichkeit, um nach einem Ausfall des Storage unterbrechungsfrei auf die Daten zugreifen zu können. Storage-basierte Datenspiegelung 13 Oracle Homes / CFS und RAW Devices RAW Device Empfehlungen: Pool von vordefinierten Devices Verschiedene Größen (10MB, 100MB, etc.) Keine Tablespace-Namen Assoziation CFS Empfehlungen: Datenbankdateien (Archivierte) Redo Log Informationen Oracle Home Überlegungen: 1 gemeinsames (shared) Oracle Home mehr als 1 gemeinsames Oracle Home 1 Oracle Home pro Knoten empfohlen: Spfile Sicherung mittels Recovery Manager 14

8 Storage verwalten und absichern mit ASM Automatisches Speichermanagement mit ORACLE Automatic Storage Manager (ASM) Prinzip: Oracle-Software Komponenten Datendateien werden direkt in eine Disk-Gruppe gelegt Sehr große Datendateien möglich ASM übernimmt Aufgaben des Volume Managers und des Dateisystems Oracle ASM 15 Oracle ASM Automatisches Speichermanagement mit ORACLE Stripe And Mirror Everything (SAME) Striping über alle Platten in der Plattengruppe Reduzierter I/O-Tuning-Aufwand Integrierte Spiegelung gegen Datenverlust 16

9 ASM Striping & Mirroring Striping und Mirroring Strategien Spiegelung Keine, doppelte oder dreifache Spiegelung Zugriffszeit-optimiertes I/O vs. Durchsatz Fein oder grob granulares Striping abhängig vom Datei-Typ 17 ASM Striping & Mirroring Striping in Disk-, Spiegelung über Ausfallgruppen ASM-Speicherplatz-Organisation in Disk-Gruppen und Ausfallgruppen Zuweisung manuell oder automatisch Disk- Gruppe 1 Speichern redundanter Kopien eines Extents Controller 1 Controller 2 Sichern gemeinsam genutzter Ressourcen (z.b. Controller) durch Redundanz Ausfallgruppe 1 Ausfallgruppe 2 18

10 Die Verbindung zwischen den Servern Kritische Komponente Server Interconnect Server 1 Server 2 Server Interconnect kritische Größen: Verzögerung und Durchsatz (mind. 1 Gbit) Randbedingungen: Vorgaben des Cluster-HW-Herstellers Redundanz kann die Performance erhöhen (Loadbalancing) hauptsächlich das eingesetzte Protokoll bestimmt die Latency RAC-Vorgaben finden sich in metalink.oracle.com, eine Übersicht unter 19 Die Verbindung zwischen den Servern Interconnect Performance im Vergleich (2KB DB Block Größe) 20

11 Server Interconnect Verbindungen Dedizierte Verbindungen mit Low Latency Protokoll Verzögerungen beim Nachrichtentransfer vorbeugen: Nachrichtentransfer hängt massgeblich vom Protokoll ab wenn möglich sollten low latency Protokolle verwendet werden: HP Hyper Messaging Protocol (HMP) HP / Compaq Reliable Datagram (RDG) SUN Remote Shared Memory (RSM) Veritas Low Latency Transport (LLT) Virtual Interface Architecture (VIA) on Intel Bei Verwendung des UDP Protokolls Parameter optimieren - z.b.: /sbin/sysctl -w net.core.rmem_max /sbin/sysctl -w net.core.wmem_max /sbin/sysctl -w net.core.rmem_default /sbin/sysctl -w net.core.wmem_default 21 Wie viele Knoten werden unterstützt? Server 1 Server 2 Server... Server n maßgebend sind Vorgaben des Hardware-Herstellers zweite Messgröße: Clusterware-Hersteller, wenn nicht Oracle selbst erfolgreiche Tests mit 128 Knoten: grid/index.html?128node_tokyo.html Sun Cluster 8 Knoten Veritas (Solaris / HP UX) 4 (8) Knoten HP UX 16 Knoten / Tru64 8 Knoten IBM AIX 8 / 16 / 128 / 128 Knoten Oracle (Win / Linux): i.d.r. 64 Knoten Oracle 10g Clusterware: z.zt. 64 Knoten Stand: 01. Februar

12 Ausfallsicherheit über Grenzen hinweg? Oder: welche Entfernung zwischen den Knoten ist möglich? Server Interconnect Storage-Verbindung zunehmende Entfernung führt zu größeren Verzögerungen die Hardware und das verwendete Protokoll sind entscheidend problemlos sind Entfernungen bis 3 Km, Standardlösungen bis 10 Km Tests haben gezeigt: mehr Planungen, wenn auch umsetzbar, ab 10 bis 25 Km erforderlich bei Abständen um die 50 Km sind Performance Einbussen zu verzeichnen erste Performance / IO-Einbrüche machen sich bei 100 Km bemerkbar 23 Ausfallsicherheit über Grenzen hinweg? Interconnect Tests: Lokal / Remote mit 1 und 2 Interconnects Server Interconnect hier: Gbit Ethernet über DWDM, optical FC Mehr Informationen unter: 24

13 Ausfallsicherheit über Grenzen hinweg? Cluster Quorum Auswirkungen im Server & Storage Server 1 Server 2 Storage-basierte Datenspiegelung Split-Brain Prävention erfordert zumeist, Quorum Disks vorzuhalten Ablage der Quorum auf dem (gespiegelten) Daten-Storage führt zu einer prim. / sec.-lösung mit Zwang zum manuellen Eingriff bei einem Ausfall Empfehlung: Ablage der Quorum auf einem dritten, unabhängigen Storage 25 Ausfallsicherheit über Grenzen hinweg? Ist der erweiterte RAC-Cluster die ideale HA-Lösung? Server 1 Server 2 Storage-basierte Datenspiegelung Erweiterte RAC-Cluster Konfigurationen scheinen kostengünstige Alternativen Kostenvorteile werden ggf. durch höhere Administrations- und Infrastrukturkosten vor allem auf Kommunikationsebene beeinflusst bzw. geschmälert je höher die Entfernung, je größer Planungsaufwand & Performance-Verlust aber: Desaster Recovery wird mit zunehmender Entfernung verbessert Empfehlung: lokale Sicherung mit RAC / Desaster Sicherung mit Data Guard 26

14 DIGITAL DATA STORAGE Ausfallsicherheit über Grenzen hinweg! Probleme umgehen / Vorteile nutzen mit Oracle Data Guard Clients Primary Site Standby Site Clients SI / RAC SI / RAC Backup Failover/Switchover Log Informationen Gap Detection No Data Loss Protection Modes Broker Agent Broker Agent Data Guard Broker 27 Skaliert RAC auch über X Knoten? Mit Blick auf Support: JA! Server 1 Server 2 Server... Server n 1,200,000 1,000, , , , ,000 SMP 1,008,144 RAC 1,184, % Of Big SMP Result RAC skaliert auch über X Knoten, wenn X Knoten unterstützt werden neueste Benchmarks beweisen: RAC skaliert mit mindestens 90% erfolgreiche Tests mit 128 Knoten: grid/index.html?128node_tokyo.html 0 1X64 16X4 Nodes X CPUs per Node Source Benchmarks: über 750 erfolgreiche Kunden 28

15 Wie funktioniert die RAC-Administration? Schritt 1: Software-Installation mittels OUI Generelle Installationshinweise: Installation gm. Oracle Dokumentation bzw. nach Step by Step Hard- & Softwarevoraussetzungen prüfen (Speicher, Patch-Level) Aktuelles Oracle9i Release nutzen (auf Linux mind ) alternativ: die neueste Oracle Database 10g Version mit Oracle CRS von Disk installieren und OUI zur knotenübergreifenden Inst. nutzen Installation der Clusterware muss zuerst vorgenommen werden nur wenn die Clusterware läuft, kann ein RAC installiert werden 29 Wie funktioniert die RAC-Administration? Schritt 2: srvctl / EM-Administration rechtzeitig vorbereiten Administration mittels srvctl und GSD Oracle9i srvctl nutzt srvconfig als Repository OEM und Oracle Intelligent Agent nutzen srvctl Informationen Global Service Daemon (GSD) übernimmt Anfragen von srvctl GSD Daemon zur Cluster-Administration auf allen Knoten starten Informationen werden in der srvconfig mittels srvctl eingetragen: srvctl add database -d db_name -o oracle_home [-m domain_name] [-s spfile] OH srvctl add instance -d db_name -i sid -n node pro Oracle Instance Oracle Metalink Doc ID How to Configure EM with Oracle 9i Real Application Clusters (RAC) 30

16 Wie funktioniert die RAC-Administration? Schritt 3: Datenbank-Erstellung mittels DBCA generell sollte der DBCA verwendet werden, da: MAXINSTANCES, MAXLOGFILES, MAXLOGMEMBERS, MAXLOGHISTORY, MAXDATAFILES automatisch gesetzt werden Tablespaces automatisch als locally managed angelegt werden ASSM für Tablespaces automatisch eingestellt wird das Automatische UNDO Management per se vorgesehen wird automatisch ein SPFILE anstatt multipler INIT.ORAs verwendet wird 31 Wie funktioniert die RAC-Administration? Schritt 4: Überprüfung der RAC-Konfiguration Laufen alle Instanzen auf allen Knoten? SQL> select * from gv$instance; Kommuniziert RAC über den private Interconnect? SQL> oradebug setmypid SQL> oradebug ipc SQL> oradebug tracefile_name $OH/admin../udump/*.trc Überprüfung des tracefiles in user_dump_dest: SSKGXPT 0x2ab25bc flags info for network 0 socket no 10 IP UDP sflags SSKGXPT_UP info for network 1 socket no 0 IP UDP 0 sflags SSKGXPT_DOWN Wird das richtige IPC-Protokoll verwendet? - Alert.log, IPC Eintrag prüfen... cluster interconnect IPC version:oracle UDP/IP IPC Vendor 1 proto 2 Version 1.0 PMON started with pid=

17 Wie funktioniert die RAC-Administration? Im täglichen Betrieb nicht anders als bei einer Single Instance 33 RAC: auch ein erstes Tuning erfolgt wie in der SI RAC funktioniert ohne Applikationsänderungen mit Applikationen jeder Art! Aus der Oracle Single Instance (SI) bekannte Engpässe können unter RAC eher zu Tage treten. Daher ist ein Tuning ggf. wie bei der SI vorzunehmen: 1. SQL Tuning: möglichst keine Full Table Scans & ausgiebiges Parsen 2. Sequences: zur automatischen Erstellung von Nummernkreisen 3. Cache Hit Ratio: lokaler Zugriff reduziert Interconnect-Auslastung 4. Instance Recovery Tuning: FAST_START_MTTR_TARGET 5. Locally Managed Tablespaces: Verhinderung von DD-Contention 6. ASSM innerhalb von Tablespaces: Verhinderung von DD-Contention 7. Partitioning: Reduzierung der logisch zu lesende Datenmengen 8. Unterschiedliche Blockgrößen: leselastige Tabellen in großen Blöcken Statspack kann auch für RAC verwendet werden vgl. J.Paasch, RAC Statistiken im Statspack: 34

18 Oracle RAC Konfiguration Zusammenfassung Welche Hardware Plattform? - Hardware-Partner des Vertrauens Welches Betriebssystem? - abhängig von Mitarbeiter-Skills / Erfahrung Welches Storage / welche Spiegelung? Oracle Homes / CFS und RAW Devices? Welcher Interconnect / Bandbreite? - CFS / ASM - mindestes 1*1 Gbit Ethernet Wie viele Knoten werden unterstützt? - Oracle derzeit 64 Knoten Wie weit kann ich die Knoten entfernen? Skaliert RAC auch über X Knoten? -JA! RAC-Installation / RAC-Administration? Data A-Z - flexibel / host-based - <3KM, <10KM, <25KM - OUI, DBCA, srvctl, EM 35 Weitere Fragen? Referenzen / Dokumentation Allgemein Oracle Dokumentation - otn.oracle.com/documentation/index.html otn.oracle.com/products/database/clustering/racwhitepapers.html RAC / Step by Step & plattformspezifisch: Oracle Metalink - Doc ID Smooth the Transition to Real Application Clusters Oracle Metalink Doc ID High Availability - Real Application Clusters Library Page Index 36