Automatic Storage Management Sebastian Solbach ORACLE Deutschland B.V. & Co. KG. Automatic Storage Management

Transkript

1 Release 2 Automatic Storage Management Sebastian Solbach ORACLE Deutschland B.V. & Co. KG Automatic Storage Management Der bevorzugte Storage Manager für Oracle Datenbanken ( Striping / Mirroring ) Einfache Verwaltung Performance von Raw Volumes ASM Status > 65% aller RAC-Installationen > 25% aller Kunden > 10TB auf ASM (VLDB)

2 ASM: Operationaler Stack Vor ASM ASM Tabellen Tablespace Dateien Tabellen Tablespace Dateien Datei-System Logical Vol Disk-Gruppe Datei-System Logical Vol Disk-Gruppe ASM Networked Storage (SAN, NAS, DAS) ASM: Innere Werte Administration Einfache Provisionierung Storage Array Migration VM/FS CO-Existenz SQL, EM, Command line Konsolidierung Performanz Verteilte I/O über das komplette verfügbare Storage Auto-Tuning ASM nicht im I/O Pfad Verfügbarkeit Automatische Wiederherstellung eines Spiegels Automatische Block Reparatur Rolling Upgrades RAC & Clusterware Support Kosten Einsparungen. Shared Storage Pool Just-in-Time Provisionierung Keine Lizenz Kosten Keine Support Kosten

3 ASM: Storage Grid Storage Pool Gemeinsame Ressourcen Freier Plattenplatz IOPs Ermöglicht durch einen einzigartigen Striping Algorithmus Hinzufügen von neuem Storage Platz wird sofort gleichmäßig verwendet, nach dem Hinzufügen (Rebalance Operation) ASM Storage Pool LUN 1 LUN 2 LUN 3 LUN 4 ASM Skalierung und Performance TB 40 EB 1 Mio Diskgruppen ASM Disks /ASM Disk Storage Dateien/Diskgruppe External redundancy: 140 PB Maximale Dateigrößen Normal redundancy: 42 PB High redundancy: 15 PB

4 ASM Basics: Striping erfolgt immer ASM striped grundsätzlich über alle Disks einer Diskgruppe Standard Stripe Size: 1MB für Datafiles, 128K für Controlfiles (generelle Granularität: K auf Datei-Typen-Ebene) Das ASM Standard-Striping kann nicht unterbunden werden Bei Disks im o.g. Sinne handelt es sich um ASM-Disks Als ASM-Disks können fungieren: SAN (LVM?)-basierte LUNs, physikalische Disks, RAW Devices Die Daten werden über alle Disks in der DG gleichmäßig (prozentual gesehen) verteilt. Es empfiehlt sich, gleich große Disks mit ähnlichen IO-Parametern in einer DG zu verwenden Disk Group ASM Basics: Spiegeln kann, muss aber nicht Die ASM Spiegelung (einzige Möglichkeit der Absicherung der Daten gegen Disk-Ausfall) kann konfiguriert werden Die ASM Spiegelung wird für eine Diskgruppe festgelegt (einmal festgelegt, ist die Spiegelung nicht abänderbar) ASM Spiegelung: extern (keine), einfach & zweifach Gespiegelt wird immer über Failgroups (Ausfallgruppen) Der DBA (ASM) weist die ASM-Disks den Failgroups zu Dabei sollte berücksichtigt werden: Disks an demselben Controller in eine Ausfallgruppen Disk Group

5 Agenda Grid Infrastructur ASM Dynamic Volume Manager ASM Cluster File System Spezialthemen Grid Infrastructur Installation Grid Infrastructure Home verwaltet von priviligierten Benutzern Clusterware ASM ACFS Database Home verwaltet von DBAs /apps/oracle/product/11.2.0/db_1 /apps/11.2.0/grid

6 Grid Infrastructur Rollenverteilung Clustering, Filesystem- und Volumemanagement werden klassisch von System Administratoren (SAs) verwaltet 11.2 Grid Infrastructure trennt priviligierte SA Nutzer von DBAs passt die Verwaltung der Sicht der SAs an beinhaltet umfangreiche Erweiterungen des CLI asmcmd und das GUI asmca Oracle empfiehlt diese Rollenverteilung zu nutzen Oracle Grid Infrastructure Universell in 2 Versionen Siebel PSFT RAC DB1 RAC One FREE Oracle Grid Infra- structure Für Cluster Umgebungen Für Standalone Systeme Oracle Grid Infrastructure

7 Oracle Grid Infrastructure In 2 Versionen Was muss ich installieren? Siebel PSFT RAC DB1 RAC One FREE Oracle Grid Infra- structure Für Cluster Umgebungen Der Wechsel zwischen den beiden Varianten erfordert derzeit eine Neuinstallation Oracle Grid Infrastructure Für Standalone Systeme Oracle Grid Infrastructure Für Standalone Systeme Oracle Grid Infrastructure für Standalone Systeme: Grundlage für alle Oracle ASMbasierten Single Instance-Datenbanken Standalone System File System Binaries Oracle Grid Infrastructure für Standalone Systeme enthält: DB Dateien Oracle ASM ASM Cluster File System (ACFS) Und Oracle Restart Oracle Grid Infrastructure

8 Oracle Grid Infrastructure Oracle Restart Watchdog für Oracle Instanzen Listener Services Verwaltung mit SRVCTL Kein Shared Storage Kein Interconnect Oracle Grid Infrastructure Software Gleiche Software Andere Konfiguration Standalone System LMON LMD0 DIAG Global Resource Log buffer Dicti Directory onar Library Buffer ycache Cache LCK0 LGWR DBW0 Cac he LMS0 SMON PMON File System Binaries DB Dateien Oracle Grid Infrastructure Grid Infrastructure Speicherprovisionierung vor 11.2

9 Grid Infrastructure Speicherprovisionierung ab 11.2 deutlich vereinfache Provisionierung Storage wird für ASM bereitgestellt alles Weitere wird mit ASM verwaltet Grid Infrastructure ASM Configuration Assistant (asmca) Das empfohlene Werkzeug zur Konfiguration von ASM ADVM ACFS Basis für die Installation der Datenbank

10 Grid Infrastucture asmca Create Disk Group die empfohlene AU Größe in 11g ist 4MB ASM Compatibility Grid Infrastructure asmcmd Erweiterungen einfacher Zugang für Systemadministratoren zur Verwaltung von Cluster, ASM und ACFS für alle ASM-Funktionen in SQL*Plus existiert ein Pendant in asmcmd ein Wechsel zwischen asmcmd und SQL*Plus ist nicht mehr nötig

11 Grid Infrastructure asmcmd Erweiterungen Startup und Shutdown der ASM-Instanz Create (mkdg) / Drop (dropdg) / Mount (mount) / Dismount (umount) von ASM Disk Groups Hinzufügen / Entfernen von Disks (chdg) Disk I/O-Statistiken anzeigen (iostat) Disk Group-Information anzeigen (lsdg) Disk-Information anzeigen (lsdsk) Rebalance einer Disk Group(rebal)... Grid Infrastructure asmcmd Erweiterungen # asmcmd mkdg dg_external.xml # cat dg_external.xml <dg name="dg_external" redundancy="external"> <dsk string="orcl:data1" /> <dsk string="orcl:data2" /> <dsk string="orcl:data3" /> <a name="compatible.asm" value="11.2"/> <a name="compatible.rdbms" value="11.2"/> <a name="compatible.advm" value="11.2"/> </dg>

12 Wie komm ich zu ASM? RMAN Data Guard Minimal Downtime Migration to ASM 0gr2_asmmigrationwithdg.pdf Auf Files Zugreifen: RMAN asmcmd cp FTP/HTTP Packages Agenda Grid Infrastructur ASM Dynamic Volume Manager ASM Cluster File System Spezialthemen

13 ASM Dynamic Volume Manager ADVM ein neuer Volume Management Service für Cluster und Single Server Oracle und generelle Volume Nutzung Linux, Windows und UNIX Plattformen dynamisch ladbarer Kernel Treiber ein neuer ASM Filetyp: ASMVOL Beispiel: volcreate -G dga -s 5G vol01 alle ASM Funktionalitäten werden genutzt verwaltet mit SQL, asmcmd, asmca, Enterprise Manager V$ASM_VOLUME auf OS-Seite wird automatisch ein Device File erzeugt Linux: /dev/asm/vol01-54 Windows: \\.\asm_vol1-54 ASM Dynamic Volume Manager Anlegen eines Volume $ sqlplus / as sysasm SQL> ALTER DISKGROUP data ADD VOLUME volume2 SIZE 256M; $ asmcmd ASMCMD> volcreate -G data -s 256M volume2 ASMCMD> volinfo a Diskgroup Name: DATA Volume Name: VOLUME2 Volume Device: /dev/asm/volume2-54 State: ENABLED Size (MB): 256 Resize Unit (MB): 256 Redundancy: MIRROR Stripe Columns: 4 Stripe Width (K): 128 Usage: Mountpath:

14 ASM Dynamic Volume Manager Volumes in SQL*PLUS SQL> ALTER DISKGROUP DGROUPA ADD VOLUME vol1 SIZE 10G;... RESIZE VOLUME vol1 SIZE 15G;... DROP VOLUME vol1;... ENABLE VOLUME vol1; SQL> ALTER DISKGROUP ALL DISABLE VOLUME ALL; SQL> ALTER DISKGROUP DGROUPA MODIFY VOLUME vol1 USAGE ACFS ; ASM Dynamic Volume Manager asmcmd Erweiterungen volcreate -G <dgname> -s <size> [--redundancy <redundancy>] [--width <stripe_width>] [--column <stripe_columns>] [--primary <hot cold>] [--secondary <hot cold>] <volname> volresize -G <dgname> -s <newsize> [-f] <volname> voldelete -G <dgname> <volname> volenable [-G <dgname> <volname> -G <dgname> -a -a] voldisable [-G <dgname> <volname> -G <dgname> -a -a] volset -G <dgname> [--usagestring <usage_message>] [--mountpath <path>] [--primary <hot cold>] [--secondary <hot cold>] <volname> volinfo [-G <dgname> <volname> -G <dgname> -a -a] [--show_diskgroup --show_volume] <volume_device_name> volstat [-G <dgname>] [--show_volume <volname>]

15 ASM Dynamic Volume Manager Enterprise Manager ASM Dynamic Volume Manager aus OS Sicht # file /dev/asm/vol_01-54 /dev/asm/vol_01-54: block special (252/27650) # mkfs t etx2 /dev/asm/vol_01-54 # mount /dev/asm/vol_01-54 /space_01 Vorsicht! ADVM Volumes sind clusterweit nutzbar das Filesystem wird dadurch aber nicht automatisch clusterfähig

16 Agenda Grid Infrastructur ASM Dynamic Volume Manager ASM Cluster File System Spezialthemen ASM Cluster File System ACFS General Purpose Filesystem basiert auf ADVM Extent basiert, Journaling auf Single Server und im Cluster POSIX, X/OPEN kompatibel auf UNIX/Linux Plattformen Windows Filesystem kompatibel auf Windows Plattformen kann mit NAS-Protokollen (NFS, CIFS) exportiert werden integriert in die Oracle Grid Infrastructure z.b shared Oracle Home integriert in die Oracle und OS System Management Werkzeuge Oracle Installation und Konfiguration Enterprise Manager und ASM Werkzeuge Erweiterung der OS Filesystem Management Werkzeuge

17 ASM Cluster File System praktische Anwendungen Single Instance und RAC Oracle Home Installationsbasis für Anwendungen Datenbank Log- und Tracedateien Anwendungs Log- und Tracedateien Datenbank Exports UTL_FILE_DIR Directories für External Procedure Calls Directories für BFILES und External Tables Reports Dokumente ASM Cluster File System Anlegen eines Shared Filesystems Data DG rac01 rac02 DATA_VOL1 ACFS Mount Registry /u01 auf rac01 /u01 auf rac02 1. Disk Group anlegen (mkdg) 2. Volume anlegen (volcreate) 3. ACFS Filesystem anlegen (mkfs t acfs) 4. acfsutil registry -a 5. /bin/mount -t acfs -o all none none zwei Knoten Grid Infrastructure

18 ASM Cluster File System asmca ACFS für Database Home ASM Cluster File System Linux-Unix Erweiterungen ACFS Filesystem anlegen ACFS Filesystem mount ACFS Filesystem umount ACFS Filesystem check mkfs.acfs [-vf] [-n name ] device # mkfs.acfs /dev/asm/vol1-123 mount.acfs [-v] [-o options] device dir # mount.acfs /dev/asm/vol1-123 /u01/oracle/acfsmounts umount [-v] device dir # umount /u01/oracle/acfsmounts fsck.acfs [-avnf] [info] device # fsck.acfs /dev/asm/vol1-123

19 ASM Cluster File System neue V$Views V$ASM_FILESYSTEM V$ASM_ACFSVOLUMES V$ASM_ACFSSNAPSHOTS ASM Cluster File System Dynamisches Vergrößern/Verkleinern ein priviligierter Nutzer kann die Größe eines aktiven Filesystem verändern (acfsutil) die Größe des ADVM Volumes wird automatisch angepasst zum Vergrößern / Verkleinern eines ACFS Filesystems ist kein Unmount nötig # /sbin/acfsutil size +4G /apps/oracle/product/11.2.0/db acfsutil size new file system size: (10240MB)

20 ASM Cluster File System Snapshots Snapshot anlegen Snapshot löschen bis zu 63 Snapshots readonly sichtbar /mnt/.acfs/snaps # /sbin/acfsutil snap create 11oct2009_db_1.before.patch /apps/oracle/product/11.2.0/db acfsutil snap create: Snapshot operation is complete. ASM Cluster File System Snapshots für Upgrade and Patching Filesystem ACFS Snapshots für Datenbankpatches und -upgrades ACFS Snapshots für Anwendungspatches und -upgrades Datenbank Guaranteed Restore Points (GRP) Flash Recovery Area (FRA)

21 Agenda Grid Infrastructur ASM Dynamic Volume Manager ASM Cluster File System Spezialthemen Mehr als ein Storage? = ASM Host Based Mirroring Server 1 Server 2 Storage-basierte Datenspiegelung ASM kann i.d.r. für remote Mirroring (Host-Based Mirroring) eingesetzt werden. Die Anwendbarkeit ist im Einzelfall zu prüfen. Voraussetzung sollte sein: lokale Sicherung der Daten-Disks im Storage (lokales RAID) Basis ist eine entsprechende Konfiguration im System

22 ASM Preferred Mirror Read Ermöglicht das Lesen vom lokalen Spiegel Eliminiert Latenzzeit des Netzwerks bei Extended Cluster Site A Site B P Extended Cluster S ASM_PREFERRED_READ_FAILURE_GROUPS DATA.SITEA DATA.SITEB SELECT preferred_read FROM v$asm_disk; SELECT * FROM v$asm_disk_iostat; ASM Fast Mirror Resync 1 Bruchteil der Zeit, um die Spiegelung wiederherzustellen Nur geänderte Blöcke müssen synchronisiert werden 2 Fehlerzeit < DISK_REPAIR_TIME Vorteil Schnelleres Recovery von temporären Fehlern Erlaubt pro-aktive Wartungen Platte wieder verfügbar: Nachziehen geänderter Extents Offen ALTER DISKGROUP <dg> DISK <disk> ONLINE;

23 Spezialthemen QUORUM FAILURE GROUP SQL> CREATE DISKGROUP TEST NORMAL REDUNDANCY FAILGROUP fg1 DISK SAN1_disk*' FAILGROUP fg2 DISK 'SAN2_disk*'; QUORUM FAILGROUP fg3 DISK 'SAN3_disk1' ATTRIBUTE 'compatible.asm' = ' '; ASM für alle Daten Database RAC Application 3 rd Party FS Automatic Storage Management (ASM) ACFS Snapshot ASM Instance managing Oracle DB Files ASM Cluster & Single Node File System (ACFS) Dynamic Volume Manager ASM Files DB Datafiles DB DB Datafiles DB DB Datafiles DB Datafiles OCR OCR & & Voting Voting files files Dynamic Volumes ACFS FS Oracle Bin 3 rd Party FS

24 ASM für alle Daten weitere Informationen Oracle Technet - Oracle 11g Automatic Storage Management Oracle Database Storage Administrator's Guide 11g Release 2 (11.2) Oracle Grid Infrastructure Installation Guide 11g Release 2 (11.2) for Linux DBA Community DBA Blog 50