Automatic Storage Management Grundlagen und Umstellung auf ASM

Transkript

1 Automatic Storage Management Grundlagen und Umstellung auf ASM Daniel Schulz, Seniorberater OPITZ CONSULTING Gummersbach GmbH Seite 1

2 ASM Überblick und Funktionsweise Redundanz und Striping im ASM ASM Administration Migration nach ASM ASM Best Practices Fragen und Antworten Agenda Seite 2

3 Herausforderungen für DBAs Datenbanken werden immer größer, wachsen teilweise schnell Schwierig, jedes Datafile und Verzeichnis im Auge zu behalten DBs brauchen Platz zum Wachsen Überdimensionierung des Storage auch nicht gewünscht Vermeidung von I/O Bottlenecks 24x7x365 Betrieb: Wartungsfenster immer seltener Erhöhte Verfügbarkeitsanforderungen IT Budgets steigen nicht unbedingt mit den Anforderungen Oftmals verschiedene Betriebssysteme, Storagelösungen und LVMs Teilweise sind notwendige Komponenten wie Online JFS lizenzpflichtig Hier kann ASM helfen! Seite 3

4 RAW Devices NFS Aber nur auf Hardware Filern Exkurs: Speicheroptionen im RAC Umfeld OCFS(2) - Oracle Cluster File System (Linux, Windows) Cluster FS eines Drittanbieters (z.b. Veritas) ASM - Automated Storage Management Konventionelle Dateisysteme sind nicht geeignet! Seite 4

5 ASM Die Grundlagen Seite 5

6 Vereinfachung des Storage Management Online Platten hinzufügen/entfernen Automatisches Re-balancing bei Änderungen SAME Ansatz (Stripe And Mirror Everything) Storagesystemunabhängig Verwaltung per SQL oder DB/Grid Control Ziele von ASM Eingebaute Best Practice Unterstützung von Shared Storage im RAC Umfeld ohne Drittsoftware Vereinfachung der Datenbank Administration Fileverwaltung (Daten, Redo, Log, Temp, Backup, Flashback, ) Backup/Recovery Raw Device Performance bei einfacher Administration und großer Flexibilität

7 Eingebaute Best Practice ASM unterstützt SAME - Stripe and Mirror Everything Daten werden gleichmäßig auf alle Platten verteilt I/O Durchsatz steigt mit mehr Spindeln Automatisches Rebalancing bei Änderungen Optional Spiegelung der Daten Beste Kombination aus Hochverfügbarkeit und Performance I/O Hotspots werden vermieden Manuelles I/O Tuning entfällt Seite 7

8 Was ist ASM? Automatic Storage Management Eingeführt mit 10g Virtualisierung der physikalischen Platten Vereinfacht den Umgang mit Raw Devices Spezielle Form einer Datenbankinstanz: *.instance_type='asm' Verwaltet nur die Extentinformationen I/O der RDBMS Instanz erfolgt direkt, ASM Instanz übermittelt nur die Koordinaten Mehrheit der RAC Installationen verwenden ASM RAC mit der Standart Edition erfordert zwingend ASM Für Clusterdatenbanken und Einzelinstanzen (deshalb läuft der cssd auf einer 10g non-rac Installation mit) Seite 8

9 Besonderheiten einer ASM Instanz Kein Data Dictionary Keine eigenen Datenbankdateien nur (S)pfile 4tNur dynamische V$ Views Metainformationen werden in den verwalteten Platten abgelegt und benötigen MB ASM Instanz hat kein automatisches SGA Tuning Pro Server/Cluster Knoten gibt es nur eine ASM Instanz ASM Instanz wird nur bis MOUNT gestartet Kein spezieller Download, Teil der RDBMS Software Seite 9

10 ASM: Unterstützte Dateitypen Datafiles Redologs Datapump Dumpsets Externe Tabellen (Datapump) Tempfiles Flash Recovery Area Flashback Logs spfile Controlfiles Archivelog Dateien RMAN Backups Dataguard Disaster Recovery Konfigurationen Autobackups Seite 10

11 Erstellen einer ASM Instanz ASM kann eigenes ORACLE_HOME haben oder das der RDBMS Instanz verwenden Eigenes Home empfehlenswert Erstellung bedeutet: Starten aus pfile/spfile, Diskgroup erstellen Beispiel init.ora: *.background_dump_dest=/u01/app/oracle/admin/+asm/bdump *.core_dump_dest=/u01/app/oracle/admin/+asm/cdump *.user_dump_dest=/u01/app/oracle/admin/+asm/udump *.instance_type=asm *.large_pool_size=12m *.remote_login_passwordfile=exclusive Seite 11

12 Organisation ASM Kleinste Einheit im ASM ist eine Disk entspricht einer Partition oder LUN Disks werden zusammengefaßt zu Diskgroups entspricht einem Laufwerksbuchstaben bzw. Mountpoint Diskgroups können untereinander Failure Groups bilden Spiegelung über Storagesysteme und Serverräume /dev/raw/raw1 /dev/raw/raw2 +DATA1 FG controller1 /dev/raw/raw11 /dev/raw/raw12 +DATA1 FG controller2 Seite 12

13 Raw Devices werden in ASM eingebunden Alternative: Unter Linux gibt es das ASMLib Kernelmodul Unter Windows: Logisches Laufwerke in der Erweiterten Partion als Basic Disk nicht Dynamic Disk Rawdevices sollen unter Linux mittelfristig abgeschafft werden und durch DirectI/O auf Blockdevices ersetzt werden: Metalink Note: Wichtig! Pfade müssen auf allen Knoten identisch sein! Ggf nach Metalink Note: anpassen ASM Disk Seite 13

14 Diskgroups Datenbankdateien werden in Diskgroups angelegt Diskgroup ist gleichzusetzen mit Laufwerksbuchstaben oder Mountpoint Unterhalb der Diskgroup hat ASM eine feste Verzeichnis Struktur ASM verwendet Oracle Managed Files (OMF) Benutzer definierte Namen sind nur ein ALIAS, wie Symlink unter Unix Bereits bei der Erstellung wird die Redundanz festgelegt Achtung! Damit Diskgroups beim ASM Start eingebunden werden, müssen sie im asm_diskgroups Parameter stehen Seite 14

15 Typischer Pfad im ASM +<DG_NAME>/<DB_NAME>/<FILETYPE>/<OMF_FILENAME> Dateien im ASM z.b. +DATA/RACDB/DATAFILE/system Ein benutzerdefinierter Name wie +DATA/RACDB/system01.dbf würde nur als Alias existieren, das auf diese Datei verweist ASM sorgt bei System generierten Namen automatisch für die Ordnerstruktur Bei Benutzer definierten Namen müssen die Ordner zuvor erstellt worden sein Seite 15

16 ASM: Spiegelung der Daten Diskgroup kann optional in Failure Groups unterteilt werden Mögliche Einstellungen der Redundanz Extern Normal (2-fach) Hoch (3-fach) Unterstützt Spiegelung über Storage Systeme hinweg, z.b. SAN Boxen in getrennten Server Räumen Art der Spiegelung kann nachträglich nur durch Neuerstellung der Diskgroup geändert werden Seite 16

17 Striping in ASM Dateien werden je nach Typ entweder in kleine Teile oder in große Stücke aufgeteilt: Coarse Striping Fest 1MB in 10g ASM 1,2,4,8,16,32,64 MB in 11g ASM Fine immer 128 KB, z.b. für Redologs Ob Coarse oder Fine wird in den Templates für jeden Dateityp festgelegt Die Stripegröße in 11g wird auf Diskgroup Ebene definiert Ziel des Striping ist die Vermeidung von Hotspots Eine neue Platte wird automatisch in das Striping eingeschlossen Seite 17

18 ASM - Administrationsbeispiele Seite 18

19 Diskgroup erstellen Einfache Redundanz: SQL> create diskgroup DATA1 external redundancy disk /dev/raw/raw4, /dev/raw/raw5 ; Normale Redundanz: SQL> create diskgroup DATA normal redundancy failgroup controller1 disk /dev/raw/raw5, /dev/raw/raw6 failgroup controller2 disk /dev/raw/raw7, /dev/raw/raw8 ; Seite 19

20 Hinzufügen einer Platte bei externer Redundanz: SQL> ALTER DISKGROUP DATA ADD DISK '/dev/raw/raw9'; Diskgroup verändern Hinzufügen einer Platte bei normaler Redundanz: SQL> ALTER DISKGROUP DATA2 ADD FAILGROUP controller2 ADD DISK '/dev/raw/raw10'; Entfernen einer Platte: SQL> ALTER DISKGROUP DATA DROP DISK DATA_0003; In der View V$ASM_OPERATION kann der Status des Rebalancing eingesehen werden Seite 20

21 Rebalancing im ASM Hinzufügen einer zusätzlichen Platte Seite 21

22 Rebalancing im ASM löst ein automatisches Rebalancing aus Seite 22

23 Rebalancing im ASM bis alle Platten der Diskgroup die gleiche prozentuale Belegung aufweisen. Die Priorität der Umverteilung (I/O Last vs. Zeit) kann gesetzt werden Daten sind permanent online während des Rebalancing Seite 23

24 Effizientere Festplattennutzung Anforderung: Anwendungen sollen stets ausreichend Speicherplatz zur Verfügung haben Längerfristiger Platzbedarf teils schwer zu planen Entweder Überdimensionierung oder Gefahr ungeplanter Ausfälle durch Platzmangel Ohne ASM Mit ASM Eine Platte weniger benötigt Seite 24

25 ASM Administration im OEM Database Control Seite 25

26 ASM Administration im OEM Database Control Seite 26

27 ASM Views Nützliche ASM Views: View V$ASM_ALIAS V$ASM_CLIENT V$ASM_DISK V$ASM_DISKGROUP V$ASM_FILE V$ASM_OPERATION V$ASM_TEMPLATE ASM Instance Displays a row for each alias present in every disk group mounted by the ASM instance. Displays a row for each database instance using a disk group managed by the ASM instance. Displays a row for each disk discovered by the ASM instance, including disks which are not part of any disk group. Displays a row for each disk group discovered by the ASM instance. Displays a row for each file for each disk group mounted by the ASM instance. Displays a row for each file for each long running operation executing in the ASM instance. Displays a row for each template present in each disk group mounted by the ASM instance. DB Instance Returns no rows Displays a row for the ASM instance if the database has open ASM files. Displays a row for each disk in disk groups in use by the database instance. Displays a row for each disk group mounted by the local ASM instance. Displays no rows. Displays no rows. Displays a row for each template present in each disk group mounted by the ASM instance with which the database instance communicates Seite 27

28 Schnittstellen Seite 28

29 ASM Schnittstellen In 10g R2 kann auf verschiedenen Wegen von Außen auf die Daten im ASM zugegriffen werden: FTP (lesen/schreiben) - Neu WebDAV (lesen/schreiben) - Neu asmcmd - Neu DBMS_FILE_TRANSFER PL/SQL Paket Erweitert Recovery Manager (RMAN) ASM FTP/HTTP/WebDAV Zugang verwendet Funktionalitäten der XMLDB In 11g hat asmcmd den cp Befehl bekommen Seite 29

30 ORACLE_HOME und ORACLE_SID müssen gesetzt sein Unix-artige Kommandozeile asmcmd Seite 30

31 asmcmd Kommandos (10gR2) Command help [command] pwd cd <dir> find [-t <type>] <dir> <alias> ls [-lsdrtlah] [alias] mkdir <dir1 dir2...> rm <alias1 alias2...> mkalias <system_alias> <user_alias> du [oeh] [dir] lsdg [-H] [group] lsct [-H] [group] rmalias [-r] <user_alias1 user_alias2...> Description Help listing Show current dir Change directory File search Directory listing Directory creation File and directory deletion User alias creation Disk usage Diskgroup info Client info User alias deletion cp erst in 11g asmcmd Seite 31

32 DBMS_FILE_TRANSFER ist ein PL/SQL Paket zum kopieren von Dateien ASM1 (10.1): Dateisystem Dateisystem ASM ASM (z.b. zwischen Diskgroups) ASM2 (10.2) zusätzlich: ASM Dateisystem Dateisystem ASM DBMS_FILE_TRANSFER Subprogramme: COPY_FILE, GET_FILE, PUT_FILE Neue Möglichkeit, Datenbank-Dateien von und nach ASM zu migrieren, auch über das Netzwerk via DB_Link Seite 32

33 Über WEBDav als Webfolder in Windows XP: XML DB Virtual Folder Seite 33

34 Backup/Recovery RMAN ist DAS Backupwerkzeug für Dateien im ASM Jede Backuplösung, die mit RMAN integriert ist, kann Dateien aus dem ASM sichern OS Kommandos (cp etc.) können nicht auf ASM zugreifen Seite 34

35 Migration nach ASM Seite 35

36 Überblick Migrationsansätze Ansätze lassen sich in Hot- und Cold-Migration unterteilen RMAN ist das zentrale Tool Entweder manuel oder über Assistenten in DB Control und Grid Control Export/Import geht natürlich auch, wird hier nicht näher betrachtet Metalink Note: Whitepaper: hnical_wp_asm_migration.pdf Seite 36

37 Manuelle Cold-Migration per RMAN Controlfile-Pfad ändern: SQL> alter system set control_files= '+DATA1' scope=spfile; Shutdown der Instanz Startup bis NOMOUNT: SQL> STARTUP NOMOUNT; Kopieren des Controlfiles mittles RMAN: RMAN> RESTORE CONTROLFILE FROM '/opt/oracle/dbf/meinedb/control01.dbf ; Kopieren der DB und Anpassen der Pfade: RMAN> BACKUP AS COPY DATABASE FORMAT '+DATA1'; RMAN> SWITCH DATABASE TO COPY; Öffnen mit Resetlogs: SQL> ALTER DATABASE OPEN RESETLOGS; Seite 37

38 Manuelle Cold-Migration per RMAN Nacharbeiten: SQL> ALTER DATABASE DROP LOGFILE <old_fname_of_log_member_1> SQL> ALTER DATABASE ADD LOGFILE '+ASM_Disk_group'; SQL> ALTER DATABASE SWITCH LOGFILE; SQL> ALTER DATABASE DROP LOGFILE '<old_fname_of_log_member_2>'; SQL> ALTER DATABASE ADD LOGFILE '+ASM_Disk_group'; usw. bis alle im ASM abgelegt sind Anschließend noch tempfile droppen und im ASM neu erstellen Alternativer Ansatz: Nach Verschieben des Controlfiles Restore aus Backup unter Verwendung von SET NEWNAME FOR oder db_file_name_convert Seite 38

39 Manuelle Hot Migration Die wesentlichen Schritte erfolgen ohne Downtime Verwendet die RMAN Funktionalität 'INCREMENTAL MERGE' Kopien der Datafiles werden durch inkrementelle Backups auf den aktuellen Stand gebracht Zur Beschleunigung sollte das Block Change Tracking aktiv sein (leider nur in der EE möglich) Schließlich Switch auf die Dateien im ASM hier kurze Downtime und Recovery Denkbar ist auch der Weg über eine Standby DB dabei erfolgt gleichzeitig der Umzug auf einen neuen Server Seite 39

40 Hot Migration Zentrale Schritte Initiale Kopie: RMAN> backup device type disk incremental level 0 as copy tag 'ASM_Migration' database format '+DATA'; Refresh der Kopien: RMAN> run { backup incremental level 1 for recover of copy with tag 'ASM_Migration' database; recover copy of database with tag 'ASM_Migration';} Switch (im MOUNT Status): RMAN> switch database to copy; RMAN> recover database; Seite 40

41 Überprüfen, dass alle Dateien im ASM sind: SQL> select name from v$datafile union select name from v$tempfile union select member from v$logfile union select name from v$controlfile union select filename from v$block_change_tracking union select name from v$flashback_database_logfile; Post Migration Seite 41

42 Migration über DB/Grid Control Seite 42

43 ASM Best Practice Seite 43

44 ASM: Best Practice ASM Installation Empfehlungen ASM in eigenes ORACLE_HOME installieren ASM kann separat von Datenbanken gepatched werden in 10g allerdings nur mit Tricks möglich Immer aktuelles Patchset installieren Bei einem Patch ggf mit Oracle Support klären, ob auch RDBMS gepatched werden muß Jede DB Instanz macht direkt Raw Device I/O Auf Verwendung von ASMLib verzichten (persönliche Meinung) Kein messbarer Mehrwert durch die Nutzung Bei Kernel Upgrade wird eine passende Version der Library benötigt Seite 44

45 ASM: Best Practice ASM Instanz Empfehlungen Anzahl der Prozesse und Session vor der Inbetriebnahme berechnen und setzen. Formel: n, n = Anzahl der DB Der Defaultwert von 40 Prozessen reicht theoretisch gerade für 1 DB Instanz! Tatsächlich treten aber selbst bei 3 Instanzen noch keine Fehler auf Missachtung führt zu ORA-00020: Maximum Number of processes exceeded im ASM, archiver stuck möglich Die Default Parameter für db_cache_size, shared_pool und large_pool reichen i.d.r aus. Sollten durch ASM viele Instanzen bzw. größere Diskgroups bedient werden - diese Parameter hoch setzen Allgemein ist das Tuning der ASM Parameter noch wenig dokumentiert Seite 45

46 ASM: Best Practice ASM Disks Empfehlungen Möglichst nur Platten mit gleichem physikalischem Verhalten und Größe zu einer Diskgroup zusammenfassen Kleine Spindeln mit möglichst hohe Rotationsgeschwindigkeiten LUNs anlegen nach den Regeln die äußeren Zylinder der Platten für die höchste Performance Place frequently accessed data on the outside half of the disk drives (S.A.M.E) Seite 46

47 ASM: Best Practice ASM Diskgroup Empfehlungen Failure Groups einer Diskgroup dürfen keinen Single Point of Failure wie gemeinsame Controller haben Im Schadensfall stehen auch die gespiegelten Daten nicht zur Verfügung Möglichst viele Spindeln in der Disk Group Platten in einer Diskgroup sollten gleiche Größe haben ASM verteilt die Daten auf Platten prozentual gleichmäßig, sollte einer der Platten viel größer als der Rest sein, besteht Gefahr von Hot-Spots Seite 47

48 ASM: Best Practice ASM Diskgroup Empfehlungen Je nach Geschäftsanforderungen und Budget Hardware RAID und ASM Spiegelung kombinieren Häufigsten Konstellationen: Luns mit Hardware RAID5 und Storage übergreifende Spiegelung durch ASM Ausfallgruppe (Lizenzkosten für das SAN Mirroring entfallen) Luns mit Hardware RAID0 + 1 und ASM Redundanz extern (hohe Kosten) Luns mit Hardware RAID3/4 und Storage übergreifende Spiegelung durch ASM Ausfallgruppe (z.b. Netapp Filer) Niemals ASM Spiegelung ohne lokale Absicherung der Daten (z.b. Hardware RAID 5)!!!!! Seite 48

49 ASM: Best Practice Multipathing Aus Hochverfügbarkeitsgründen sollten redundante Wege zum Storage konfiguriert werden. Fällt ein Weg aus, kann die Verbindung zur Storage über den alternativen Weg hergestellt werden ASM kann diese multiplen Wege nicht automatisch nutzen! Das muss auf OS Ebene konfiguriert werden. Wichtig beim Multipathing: ASM darf die Disks nur einmal sehen, sonst kann die Disk nicht in die Diskgroup eingebunden werden Wichtig: Zertifizierung des MP Treibers beachten, z.b. EMC Powerpath und Linux Kernel Seite 49

50 ASM: Limits Die ASM Grenzen (11g): 63 Disk-Gruppen ASM-Platten 4 Peta-Byte pro ASM Platte 40 Exa-Byte maximaler Speicher ASM Filelimit: 140 PB (ext. Red.) 42 PB (Normal Redundancy) 15 PB (external Redundancy) 1 Million Dateien pro Disk-Gruppe RDMS: 128 TB maximale Dateigröße (Bigfile TS mit 32 kb Blocksize) Seite 50

51 Neue Funktionalitäten in 11g Fast Mirror Resync Ausgefallene Platten können schnell wieder integriert werden, in 10g müssen sie komplett neu aufgebaut werden Preferred Mirror Read Jede ASM Instanz liest zuerst auf ihrem Storage Device ASM Rolling Upgrades ASM wird Knotenweise gepatched, unterschiedliche Versionen können gleichzeitig aktiv sein Neue asmcmd Befehle, z.b. cp Seite 51

52 Kompatibilität Goldene Regel: Clusterware hat die höchste Software Version ASM ab unterstützt RDBMS bis einschließlich 11g ASM 11g kann von x RDBMS genutzt werden Es kann ein ASM für diverse RDBMS Versionen verwendet werden In gemischten Umgebungen sind nicht alle neuen Funktionalitäten verfügbar! Näheres in Metalink Note: Seite 52

53 Zusammenfassung ASM vereinfacht ( automatisiert ) das Storage Management Eliminiert Ungewissheiten bei Kapazitätsplanung und I/O Optimierung Optimiert die Storageauslastung (Kapazität und I/O) Erhöht die Produktivität von DBAs Administration über bekannte Tools Storageänderungen bis hin zum Austausch einer Storage Box sind Online möglich Optimiert für RAC Shared Storage Kein Cluster-File System Kein Shared-Volume-Manager Keine zusätzlichen Lizenzkosten Seite 53

54 Kontakt: Daniel Schulz Fragen und Antworten Quellen: Seite 54