Oracle 11gR2 ASM Cluster File System

Transkript

1 Oracle 11gR2 ASM Cluster File System Patrick Schwanke Senior Systems Consultant Quest Software GmbH 2009 Quest Software, Inc. ALL RIGHTS RESERVED

2 ACFS (ASM Cluster File System) Kein Ersatz für ASM, sondern komplementär General-purpose Cluster-Filesystem mit Journaling und Readonly Snapshots Nutzt denselben Cluster Manager wie ASM/RAC (Oracle Clusterware) Im Gegensatz zu OCFS2 mit eigenem Cluster-Manager O2CB Baut auf ASM auf Ein Teil einer ASM-Disk-Gruppe kann für ACFS reserviert werden erbt die Funktionen des darunter liegenden ASM: Mirroring, Striping, automatisches Rebalancing Auto-Mount möglich, aber nicht via /etc/fstab Administration über Kommandozeilen: asmcmd, acfsutil Graphische Konsolen: ASMCA oder OEM Remote-Zugriff via NFS/CIFS unterstützt Kein DirectIO! 2

3 Architektur Neu in 11gR2 Datenbankinstanz (Single-Instance oder RAC) Sonstige Dateien / Anwendungen Datenbankdateien ASM Cluster File System (ACFS) ASM Dynamic Volume Manager (ADVM) ASM: Striping, Mirroring, Rebalancing etc. Betriebssystem 3

4 ACFS vs ASM ASM: Für Datenbankdateien (Datafiles, Redologs etc.) Auch RMAN Backups, Archivelogs, Datapump Dumpfiles, SPFile 11gR2: auch OCR und Voting Disk!! ACFS: Für fast alles andere, zum Beispiel Diagnostic Area (Trace-Dateien, Alert-Log) BFiles, externe Tabellen Export Dumps, Dateien für UTL_FILE-Zugriff Anwendungsdateien, Reports, Konfigurationsdateien etc. Shared Oracle Datenbank-Homes!? 4

5 ACFS vs ASM Weder ASM noch ACFS: Grid Infrastructure Home Alles was vor ASM-Start benötigt wird (z.b. boot- und root-partition) Alles, was ASM unterstützt, ist für ACFS NICHT unterstützt technisch möglich, aber nicht unterstützt DBCA warnt beim Versuch Performance: ACFS macht kein DirectIO! 5

6 Ablauf Neu in 11gR2 LUNs erstellen SAN Admin LUN-Zoning (Zugreifbarkeit durch DB-Server) Erstellen der ASM-Diskgruppe Sys Admin Erstellung von Volumes in der ASM-Diskgruppe Erstellung von Dateisystemen auf den Volumes DBA 6

7 Erstellen der ASM-Diskgruppen compatible-parameter der ASM-Instanz wird in 11.2 nicht mehr verwendet Statt dessen drei Einstellungen pro Diskgruppe: compatible.asm muss mindestens 11.2 sein für ACFS compatible.advm muss mindestens 11.2 sein für ACFS compatible.rdbms Wert spielt keine Rolle CREATE DISKGROUP mydg EXTERNAL REDUNDANCY DISKS ' ' SET ATTRIBUTE 'compatible.asm' = '11.2', 'compatible.advm' = '11.2'; ALTER DISKGROUP mydg SET ATTRIBUTE 'compatible.asm'='11.2'; ALTER DISKGROUP mydg SET ATTRIBUTE 'compatible.advm'='11.2'; 7

8 Volumes erstellen / verwalten (ASMCA) Dieser Pfad wird beim OS-Kommando mount benötigt! 8

9 Volumes erstellen / verwalten (Cmdline) SQL> ALTER DISKGROUP data ADD VOLUME myacfsvol SIZE 5G; ASMCMD> volcreate -G DATA -s 5G myacfsvol Volume-Dateien im Standard-Dateisystem Dreistellige cluster-weit eindeutige Nummer (hier: 179) Linux: udev muss laufen $ ls -l /dev/asm brwxrwx--- 1 root asmadmin 252, Sep 21 15:35 myacfsvol-179 Ein-/Ausblenden der Volume-Datei unter /dev/asm Nur für Mounting, Daten bleiben erhalten SQL> ALTER DISKGROUP data ENABLE DISABLE VOLUME myacfsvol; SQL> ALTER DISKGROUP data ENABLE DISABLE VOLUME myacfsvol; ASMCMD> volenable voldisable -G DATA myacfsvol ASMCMD> volenable voldisable -G DATA a 9

10 Volume anzeigen (ASMCA) Free = Size Overhead ACFS-Volumes Usable = Free Redundanz und Mirroring 10

11 Volumes anzeigen V$ASM_VOLUME, ggf. Join mit V$ASM_DISKGROUP Achtung: V$ASM_FILESYSTEM und V$ASM_ACFSVOLUMES sind erst nach dem Mounten gefüllt Auflisten aller Volumes (der Diskgruppe DATA) ASMCMD> volstat [-G DATA] Informationen zu einem oder mehreren Volumes ASMCMD> volinfo -G DATA myacfsvol ASMCMD> volinfo -G DATA -a ASMCMD> volinfo -a Volume-Dateien im Standard-Dateisystem $ ls -l /dev/asm brwxrwx--- 1 root asmadmin 252, Sep 21 15:35 myacfsvol

12 Filesystem erstellen / verwalten (ASMCA) Aktueller Mountpoint Registrierter Mountpoint (Auto-Mount beim Booten) 12

13 Filesystem erstellen / verwalten (ASMCA) CRS Managed Filesystem: - Abhängigkeiten zu anderen Ressourcen - Für Shared Oracle-Homes General Purpose Filesystem: - Keine Abhängigkeiten zu anderen Ressourcen 13

14 Filesystem erstellen / verwalten (Cmdline) Erzeugen des Dateisystems: $ /sbin/mkfs -t acfs /dev/asm/myacfsvol-179 Registrieren des Mountpoints: $ /sbin/acfsutil registry -a -f /dev/asm/myacfsvol-179 /u02 Auto-Mount beim Booten (Pendant zu /etc/fstab) Auto-Mount auf allen Cluster-Knoten (Registry-Check alle 30 Sekunden) Manuelles Unmount / Mount nutzt Standard-Befehle: $ mount -t acfs /dev/asm/myacfsvol-179 /u02 $ umount /u02 Umount unterbindet auch Auto-Mount General Purpose Filesystem 14

15 Filesystem erstellen / verwalten (Cmdline) Erzeugen des Dateisystems: ASMCA erzeugt ein Skript, das als root laufen muss Enthält u.a.: $ srvctl add filesystem -d /myacfsvol-179 -g DATA -v myacfsvol -m <Oracle-Home-Pfad> -u oracle $ srvctl start filesystem -d /dev/asm/myacfsvol-179 Registrieren des Mountpoints: Nicht erforderlich Manuelles Unmount / Mount: $ srvctl start filesystem -d /dev/asm/myacfsvol-179 -n node1 $ srvctl stop filesystem -d /dev/asm/myacfsvol-179 -n node1 CRS Managed Filesystem 15

16 Filesystem erstellt und gemountet $ df -k Filesystem 1K-blocks Used Available Use% Mounted on /dev/mapper/volgroup00-logvol % / /dev/sda % /boot tmpfs % /dev/shm /dev/sdb % /u01 /dev/asm/myacfsvol % /u02 ASM-Instanz: V$ASM_FILESYSTEM V$ASM_ACFSVOLUMES 16

17 ACFS Snapshots Snapshot-Verwaltung noch nicht in ASMCA integriert Erstellen eines Snapshots: $ /sbin/acfsutil snap create mysnapshot1 /u02 Der Snapshot wird unter folgendem Pfad eingeblendet: /u02/.acfs/snaps/mysnapshot1 Copy on Write-Technik ( Sparse Snapshots) Auflisten aller Snapshots eines ACFS-Dateisystems: $ ls /u02/.acfs/snaps SQL> SELECT fs_name, snap_name, create_time FROM v$asm_acfssnapshots; FS_NAME SNAP_NAME CREATE_TIME /u02 mysnapshot :39:15 17

18 ACFS Snapshots $ /sbin/acfsutil info fs /u02 /u02 ACFS Version: flags: MountPoint,Available mount time: Mon Sep 21 15:41: volumes: 1 total size: total free: primary volume: /dev/asm/myacfsvol-179 lots of stuff number of snapshots: 1 snapshot space usage:

19 ACFS Snapshots Löschen von Snapshots: $ /sbin/acfsutil snap delete mysnapshot1 /u02 In beliebiger Reihenfolge Dateien / Verzeichnisse des Snapshots dürfen nicht mehr geöffnet sein (insbesondere Shells schließen!) 19

20 Backup Backup-Software, die Standard Dateisystem-APIs benutzt Read / Write ACFS Snapshots können für konsistente Sicht vom Backup-Tool genutzt werden Andere Backup-Schnittstellen, z.b. Windows VSS, sind nicht unterstützt 20

21 Fazit In der Praxis: Kostenloses Cluster-Dateisystem als Ergänzung zu ASM ACFS ist (auch lizenztechnisch) Teil der Grid Infrastructure Für alle Plattformen, die ASM unterstützen und auf denen 11.2 verfügbar ist Alles Dateien, die ASM bereits unterstützt, sind für ACFS NICHT unterstützt Aufsetzen war insgesamt überraschend einfach 21

22 Fallstricke Redhat / OEL Support: ASM läuft auf RHEL/OEL 4/5. ACFS läuft nur auf RHEL/OEL 5. ACFS-Volumes nicht partitionieren! (fdisk) In /dev/asm gibt es gibt EINEN Device-File für das Volume Es gibt keine Device-Files für die einzelnen Partitionen ACFS-Dateisysteme nicht in /etc/fstab eintragen Nicht für Dateisysteme, die zum Booten benötigt werden Bei Oracle Restart (Clusterware ohne RAC) werden die ACFS-Treiber und Dateisysteme beim Server-Boot nicht automatisch gestartet My Oracle Support Problem-ID

23 Ressourcen ACFS Technical Overview and Deployment Guide My Oracle Support Doc-ID Sehr ausführlich und gut: 26 Seiten PDF Managing ACFS Tutorial acfs.htm Oracle Database 11.2 Storage Administrator's Guide 23

24 Q / hoffentlich auch A 2009 Quest Software, Inc. ALL RIGHTS RESERVED

25 Vielen Dank! 2009 Quest Software, Inc. ALL RIGHTS RESERVED