OPITZ CONSULTING GmbH 2011 Seite 1
Grid Infrastructure 11.2 Disaster Recovery mit 2 Rechenzentren Thorsten Bruhns Senior Berater OPITZ CONSULTING Bad Homburg GmbH Nürnberg, 17.11.2011 OPITZ CONSULTING GmbH 2011 Seite 2
Ihr ORACLE Center of Excellence Leistungsangebot Java SOA/BPM ORACLE BI/DWH Outtasking Exadata Exalogic Kunden / Kollegen Über 450 Kollegen An 8 Standorten Über 600 Kunden Branchenübergreifend Tätigkeitsfelder IT-Strategie Beratung Implementierung Betrieb Training OPITZ CONSULTING GmbH 2011 Seite 3
Besuchen Sie auch die anderen Vorträge von OPITZ CONSULTING und unseren Stand (Nr. 236)! Dienstag, 15. November 2011 Mittwoch, 16. November 2011 Donnerstag, 17. November 2011 MySQL in an Oracle driven datacenter 10:00 bis 10:45 Uhr, Raum Singapur Oracle Forms meets BI 10:00 bis 10:45 Uhr, Raum Kiew Minimale Latenz Bedarfsgerechte Bereitstellung von Daten im DWH 10:00 bis 10:45 Uhr, Raum Kopenhagen ESSBASE und die OBIEE 11g Aufbruch zu echten OLAP-Analysen 12:00 bis 12:45 Uhr, Raum Helsinki SOA Continuous Integration 12:00 bis 12:45 Uhr, Raum Riga Agile BI mit OBIEE 11g 14:00 bis 14:45 Uhr, Raum Helsinki Die Crux mit dem Delta vom Fullload zum Incremental Load 16:00 bis 16:45 Uhr, Raum Kopenhagen Automatisiertes Konfigurationsmanagement mit Puppet 16:00 bis 16:45 Uhr, Koferenzraum EG Das ungleiche Paar Koexistenz von OWB und ODI 09:00 bis 09:45 Uhr, Raum Kopenhagen Praxis Knowhow: Skalierung von SOA Suite 11g Cluster 09:00 bis 09:45 Uhr, Raum Budapest RAC ONE Node 11.2.0.2. Wo ist meine Instanz? 13:00 bis 13:45 Uhr, Raum St. Petersburg Oracle BAM Die unentdeckten Möglichkeiten 13:00 bis 13:45 Uhr, Raum Oslo Neues zur Oracle Lizenzierung 15:00 bis 15:45 Uhr, Raum Kopenhagen Grails Die Suche ist vorbei 09:00 bis 09:45 Uhr, Raum Riga Enterprise Architecture Deliverables Let s talk about results! 09:00 bis 09:45 Uhr, Raum Prag Brückentechnologie Min. Downtime Plattform- Migration / Upgrade von 9 nach 11.2 10:00 bis 10:45 Uhr, Raum St. Petersburg Versteckte Schätze in BPM&SOA Suite 11g gesammelte Projekterfahrungen 10:00 bis 10:45 Uhr, Raum Oslo Unterbrechungsfreies Reporting: Hochverfügbarkeit von OWB bis BIEE 11g 12:00 bis 12:45 Uhr, Raum Stockholm Oracle Resource Management 13:00 bis 13:45 Uhr, Raum St. Petersburg Forms Legacy ein ADF Panorama 14:00 bis 14:45 Uhr, Konferenzraum EG Disaster Recovery bei Grid Infrastructure 11.2 mit zwei Rechenzentren 15:00 bis 15:45 Uhr, Raum Hongkong Effizientere ETL mit Table Function 16:00 bis 16:45 Uhr, Raum Stockholm youtube.com/opitzconsulting slideshare.net/opitzconsulting xing.com/group-51062.460375 @OC_WIRE OPITZ CONSULTING GmbH 2011 Seite 4
Agenda 1. Wichtigste Neuerungen, Begriffe 2. Aufbau mit 1 Rechenzentren 3. Aufbau mit 2 Rechenzentren 4. Grid Infrastructure reparieren OPITZ CONSULTING GmbH 2011 Seite 5
1 Wichtigste Neuerungen, Begriffe OPITZ CONSULTING GmbH 2011 Seite 6
Wichtigste Neuerungen in 11.2 ASM ist nun fester Bestandteil der Clusterware Getrenntes ASM von der Infrastructure nicht supportet! Voting liegt in einer ASM-Diskgruppe Ausnahme bei NFS-Anbindung Henne/Ei-Problem beim Start der Clusterware cssd benötigt Voting, Voting liegt im ASM, ASM benötigt cssd OCR liegt in einer ASM-Diskgruppe Ist eine Datei in der Diskgruppe vergleichbar mit SPFile, Controlfiles etc. Nutzt automatisch Redundancy der Diskgruppe Es gibt normalerweise nur noch ASM-Disks Keine dedizierten Devices für Voting/OCR mehr notwendig/vorhanden Einzige Ausnahme ist NFS OPITZ CONSULTING GmbH 2011 Seite 7
Wichtigste Neuerungen in 11.2 crsctl löst crs_-befehle ab crs_-befehle sind aus Kompatibilitätsgründen noch vorhanden Voting-Backup automatisch Bestandteil des OCR-Backups Kein zusätzlicher dd für die Voting-Disk mehr notwendig Deseaster-Recovery wird wesentlich einfacher Backups liegen in $CRS_HOME/cdata/<clustername>/ ASM-Diskgruppen sind nun eigene Resourcen Jede Diskgruppe wird als Resource in der Infrastructure automatisch angelegt ASM kann abhängig von Datenbankinstanzen Diskgruppen mounten Pflege der init.ora wird überflüssig OPITZ CONSULTING GmbH 2011 Seite 8
Ein paar Begriffe Wichtige Clusterwareprozesse cssd (Cluster Support Service Daemon) Wichtigster Prozess für Split-Brain Benötigt mehr als 50% aller Voting Disks, um starten zu dürfen CRSD (Cluster Resource Service Daemon) Benötigt cssd und ASM zum starten Resourcedaemon für Verwaltung aller Resourcen (z.b.: Instanzen, Services ) OCR (Oracle Cluster Repository) liegt im ASM ASM Diskgruppe Failuregruppen (FG) Redundancy: external (1FG), normal (mind. 2FG) oder high (mind. 3FG) Daten werden in Form von Extents über Failuregruppen einer Diskgruppe gespiegelt ASM-Disk Block/RAW-Device in dem die Daten gespeichert werden OPITZ CONSULTING GmbH 2011 Seite 9
Was gibt es nun dringend zu beachten? Verlagerung ASM in Clusterware erfordert Umdenken! Wie kann die Clusterware ASM starten, wenn Voting-Disks in ASM-Disks liegen? Lösung: Voting verwendet reservierten Bereich Wieso liegt die OCR im ASM? Einheitlicher Ablageort von Voting und OCR => Administration wird vereinfacht. (In welchem Device lagen noch mal Voting und OCR?) OCR ist eine Datei im ASM, vergleichbar mit SPFile, Controlfile etc. zusätzliche Redundanz automatisch über Diskgroup Redundancy möglich 11gR2 Clusterware and Grid Home - What You Need to Know [ID 1053147.1] OPITZ CONSULTING GmbH 2011 Seite 10
2 Aufbau mit 1 Rechenzentren OPITZ CONSULTING GmbH 2011 Seite 11
RAC mit 1 Rechenzentrum und 1 Storage Typische Konfiguration: Interconnect Diskgruppe GRID OCR OCR OCR Vote Vote Vote FG1 FG2 FG3 Diskgruppe DATA DBF DBF Redo Redo FG1 FG2 Diskgruppe GRID üblicherweise immer normal redundancy Diskgruppe DATA je nach System external oder normal redundancy (hier normal) OCR/Voting über alle Failuregroups (FG1-3) der Diskgruppe GRID verteilt Zeitgleicher Ausfall von 2 Failuregruppen einer Diskggruppe zerstört die Diskggruppe!!! (normal Redundancy) => Cluster tot wenn DG GRID stirbt OPITZ CONSULTING GmbH 2011 Seite 12
Warum stirbt die Diskgruppe? Daten im ASM werden über 2 Failuregroups verteilt (normal redundancy) ASM verteilt Daten in Form von Extents über die Failuregruppen Garantie, das ein Extent Bestandteil einer weiteren Failuregruppe ist => 2 tote Failuregruppen ohne zwischenzeitlichem Rebalancing => ASM-Diskgruppe tot => Cluster tot, da Voting nicht mehrheitsfähig! Gibt es eine Lösung? Eigentlich nicht, aber: alter diskgroup grid add quorum failgroup ASM speichert in einer Quorum Failuregroup NUR Votinginformationen => 1*Quorum + 1*Regular => 2*Regular => Cluster tot => Diskgruppe überlebt => Cluster tot => Diskgruppe tot Die Diskgruppe kann überleben, was im Fehlerfall weniger Reparaturarbeiten erfordert. OPITZ CONSULTING GmbH 2011 Seite 13
RAC mit 1 Rechenzentrum und 1 Storage select name,failgroup_type from v$asm_disk; Interconnect NAME FAILGRO ------------------------ ------- FG3 REGULAR FG2 QUORUM FG1 REGULAR Empfehlung: Voting-Diskgruppe sollte maximal noch OCR enthalten! Diskgruppe GRID Verlust von 2 Failuregroups => Cluster tot => ggf. Diskgruppe tot OCR Vote Vote OCR Vote FG1 FG2 FG3 OPITZ CONSULTING GmbH 2011 Seite 14
RAC mit 2 Rechenzentrum und 2 Storages RZ1 RZ2 Interconnect Diskgruppe GRID OCR Vote RZ1FG1 Vote RZ1FG2 Diskgruppe GRID erstreckt sich über beide Rechenzentren gilt für alle nachfolgenden Bilder OCR Vote RZ2FG3 OPITZ CONSULTING GmbH 2011 Seite 15
Wozu das 4. LUN? Was passiert bei geplanten Wartungsarbeiten in RZ1? Shutdown oder fehlende Verbindung zum Storage im RZ1 => keine Votingmehrheit => Cluster tot Lösung: 4. LUN als 2. quorum failgroup der Diskgruppe hinzufügen Failgroup RZ1FG2 entfernen Rebalancing abwarten Votingstatus prüfen (SEHR wichtig!) crsctl query css votedisk (Achtung! Physische Pfade der LUNs!) Die Lösung kann im laufenden Betrieb umgesetzt werden! OPITZ CONSULTING GmbH 2011 Seite 16
RAC mit 2 Rechenzentrum und 2 Storages RZ1 RZ2 Interconnect GRID RZ2FG3 verloren => Cluster lebt weiter GRID OCR Vote RZ1FG1 Vote RZ1FG2 ACHTUNG! Nach Reboot von RZ1 ggf. manueller Eingriff notwendig OCR Vote RZ2FG3 OPITZ CONSULTING GmbH 2011 Seite 17
RZ2 tot: Was passiert? RZ2FG3 fehlt 1 Regular Failgroup verloren Mehrheitsfähigkeit bei Voting vorhanden => Cluster lebt weiter! Achtung beim Reboot von RZ1 ASM-Failuregruppe RZ2FG3 vor Reboot im Status OFFLINE nichts zu tun ASM-Failuregruppe RZ2FG3 vor Reboot nicht OFFLINE CRSD startet nicht, da GRID-Diskgruppe NICHT automatisch gemountet crsctl stat res t init sqlplus / as sysasm alter diskgroup grid mount force; OPITZ CONSULTING GmbH 2011 Seite 18
RAC mit 2 Rechenzentrum und 2 Storages RZ1 RZ2 Interconnect GRID RZ2FG1 und 2 gehen verloren => Cluster stirbt GRID OCR Vote RZ1FG1 Vote RZ1FG2 ACHTUNG! Reboot von RZ2, kein Neustart vom cssd OCR Vote RZ2FG3 OPITZ CONSULTING GmbH 2011 Seite 19
RZ1 tot: Was passiert? RZ2FG1 und RZ2FG2 fehlen 1 Regular und 1 Quorum Faigroup verloren Mehrheitsfähigkeit bei Voting verloren => Cluster stirbt Automatischer Reboot von RZ2 cssd wird nicht starten Fehlende Mehrheit an Votings GRID Diskgruppe wird überleben Wiederherstellung von SPFile und OCR nicht erforderlich Manuelle Reparatur erforderlich! OPITZ CONSULTING GmbH 2011 Seite 20
3 Grid Infrastructure reparieren OPITZ CONSULTING GmbH 2011 Seite 21
Was tun, wenn die Grid Infrastructure tot ist? Ruhe bewahren MOS: Note-ID 1062983.1 als Hilfe bereit halten Läuft irgendwo noch eine Clusterware? crsctl stat res init t auf jedem Knoten ausführen Kein cssd gestartet Votingmehrheit meist nicht vorhanden Diskgruppe GRID tot? => cssd kann nicht starten! OPITZ CONSULTING GmbH 2011 Seite 22
Was tun, wenn die Grid Infrastructure tod ist? cssd auf einem Knoten exclusiv starten erstmal ohne crsd crsctl start crs excl nocrs crsctl stat res init t => jetzt kann der Status erneut abgefragt werden Wurden ASM-Disks gefunden? asmcmd lsdsk SPFile der ASM-Instance liegt in GRID-Diskgruppe! ASM ggf. mit init.ora neu starten sqlplus / as sysasm startup pfile= init.ora ; OPITZ CONSULTING GmbH 2011 Seite 23
Was tun, wenn die Grid Infrastructure tod ist? ASM-Diskgruppen GRID tot? Diskgruppe neu anlegen create diskgroup grid normal redundancy optional mit 4. LUN wenn RZ1 tot ist SPFile in GRID wiederherstellen sqlplus / as sysasm create spfile= +GRID from pfile= ; OCR wieder herstellen ocrconfig -showbackup ocrconfig -restore <backup> Backups liegen in $CRS_HOME/cdata/<cluster-name>/<autobackup> Besser: regelmäßig geplante Backups an definierten Ort mit SPFile aus ASM OPITZ CONSULTING GmbH 2011 Seite 24
Was tun, wenn die Grid Infrastructure tod ist? CRSD kann gestartet werden crsctl start res ora.crsd init crsd ist von asm abhängig, daher muß ASM vorher funktionieren Votings vorhanden? crsctl query css votedisk keine Votings wenn die ASM-Diskgruppe 3 Failuregroups hat crsctl replace votedisk +GRID wenn der 2. Storage nicht vorhanden ist: OPITZ CONSULTING GmbH 2011 Seite 25
Was tun, wenn die Grid Infrastructure tod ist? keine Votings (Fortsetzung) wenn der 2. Storage nicht vorhanden ist: Problematisch, da Voting 3 Failuregruppen benötigt temporäre Lösung: Voting lokal erzeugen - nur 1 Node möglich! crsctl add css votedisk /tmp/vote1 crsctl add css votedisk /tmp/vote2 crsctl add css votedisk /tmp/vote3 Diskgruppe ergänzen alter diskgroup add quorum failgroup Voting umziehen crsctl replace votedisk +GRID OPITZ CONSULTING GmbH 2011 Seite 26
Was tun, wenn die Grid Infrastructure tod ist? Grid Infrastructure stoppen crsctl stop crs f Grid Infrastructure normal starten Nur im RZ2 starten, wenn Votings lokal erzeugt wurden Liegt Voting in der Diskgruppen dann kann optional der Node im RZ1 zusätzlich gestartet werden, wenn nur der 2. Storage ausgefallen ist crsctl start crs Was läuft denn alles wieder? crsctl check cluster all crsctl stat res t Cluster läuft wieder! OPITZ CONSULTING GmbH 2011 Seite 27
Tipps & Tricks Wie kann ich die Failuregruppennamen ändern? alter diskgroup grid offline disk..; alter diskgroup grid rebalance power 10 wait; Voting wird aus dem Cluster mit entfernt! alter diskgroup grid add failgroup rz1fg1 disk force rebalance power 10; OPITZ CONSULTING GmbH 2011 Seite 28
Fazit Cluster mit 2 Rechenzentren geht, aber Votingmehrheit ist immer ein Problem NFS ist keine Lösung Wo soll denn der Server stehen, wenn nur 2 Rechenzentren vorhanden sind? Administrativ etwas aufwendiger funktioniert aber ganz gut Neue Funktionen für Backup von Voting/OCR sehr praktisch Ergänzung um Backup für SPFile von ASM sehr empfehlenswert Immer schön auf die Votings achten sind das einzige Problem! OPITZ CONSULTING GmbH 2011 Seite 29
Fragen und Antworten OPITZ CONSULTING GmbH 2011 Seite 30
Ansprechpartner bei OPITZ CONSULTING Thorsten Bruhns Senior Berater OPITZ CONSULTING Bad Homburg GmbH thorsten.bruhns@opitz-consulting.de Telefon +49 6172 66 26 0-1541 Mobil +49 174 30 49 64 2 OPITZ CONSULTING GmbH 2011 Seite 31