Der Cluster ist mein!

Transkript

1 Der Cluster ist mein! Dr. Martin Wunderli, Trivadis AG Principal Consultant, Partner Peter Hulm, Trivadis GmbH Principal Consultant

2 Ich mach' alles mit Oracle > Es begann 1998 mit Raw Iron: Schlankes OS mit einer Oracle Datenbank, alles aus einer Hand. Nur wollte das kaum einer > Auch die Umbenennung auf Oracle 8i Appliance brachte nicht viel mehr Interesse > Einer der Gründe lag sicher darin, dass Raw Iron dem Trend zur Server Konsolidierung widersprach. Auch gehört zu einem Oracle Server mehr als ein OS und eine Datenbank > Dieses 'mehr' kam mit Oracle 10g: Clusterfähiges Storage Management (ASM), Oracle Secure Backup (aufgeschoben ist nicht aufgehoben ) und der Cluster Manager auf allen RAC Plattformen > Um letzteren soll es hier gehen Der Cluster ist mein!

3 Was ist ein Cluster? > Ein Cluster ist ein 'Netz von Rechnern'. Die wichtigsten Formen: > Die parallele Abarbeitung von Aufgaben kann durch Active- Active Cluster in der Form von Shared Nothing Systemen (weder Hauptspeicher noch Diskspeicher werden von mehr als einem Rechner genutzt) unterstützt werden > Zur Verbesserung der Verfügbarkeit sind Active-Passive Cluster (Failover Cluster) in der Form von Shared Disk Systemen geeignet > Die gleichzeitige Erfüllung beider Ziele verspricht Oracle mit den Real Application Clusters (RAC), einem Active-Active Cluster basierend auf einer Shared Disk Architektur Der Cluster ist mein!

4 Wieso einen Cluster Manager? > Nur Hardware zusammenstecken genügt nicht für einen Cluster > Der Cluster Manager ist eine Vermittlungsschicht, der die Mitgliedschaft in einem Cluster regelt und Änderungen an der Mitgliedschaft kommuniziert Anwendung Anwendung Anwendung Cluster Manager Cluster Manager OS OS OS Der Cluster ist mein!

5 Oracle Clusterware Der Oracle Cluster Manager > Separate CD, installiert in eigenes Home > Bei der Installation wird das Cluster Repository initial angelegt (kann/sollte gespiegelt werden), ebenso die Voting Disks (ungerade Anzahl, mindestens 3 sind empfohlen) > Dieses kann mit ocrcheck geprüft, mit ocrdump ausgelesen werden und mit ocrconfig -export/-import exportiert/importiert werden (Sicherungskonzept!) > Die sogenannten Nodeapps (Oracle Notification Service ONS, Global Service Daemon GSD, Virtual IP VIP) werden ebenfalls bei der Installation angelegt Der Cluster ist mein!

6 Die Oracle Clusterware Architektur > Die einzelnen Komponenten sind durch Prozesse implementiert, gestartet unter UNIX über /etc/inittab Anwendung CSS CRS EVM ONS RACG OPROCD Cluster Repository OS Voting Disk(s) Der Cluster ist mein!

7 Oracle Clusterware Die Komponenten > Cluster Synchronisation Service: Knotenmitgliedschaft im Cluster > Cluster Ready Services: Management der Resourcen, d.h. Start, Stop, Monitoring, Relocate etc. > Event Management: Publikation von Events via Callout Scripts > Oracle Notification Service: Publish/Subscribe Dienst für JDBC, ADO.NET etc. Applikationen um auf Cluster Events reagieren zu können. Stichwort: Fast Application Notification (FAN) > RACG: Oracle Erweiterungen wie Instanz/Listener Überwachung > Process Monitor: Split Brain Handling Der Cluster ist mein!

8 Unser Beispielcluster > Bagheera, Hathi, (Kaa) Der Cluster ist mein!

9 Oracle Clusterware Real Application Clusters > Bei einem Real Application Cluster sind für das weitere Füllen des Oracle Cluster Repositorys srvctl und netca massgebend Real Application Clusters srvctl, netca Nicht-Oracle Anwendung oder Single Instance Cluster Manager crs_profile, crs_register, crs_relocate, crs_stat, crs_stop, crs_start etc. OS Der Cluster ist mein!

10 Beispiel: RAC mit ASM (1) > Zuerst die ASM Instanzen auf den Knoten erzeugen > Wohin mit dem Parameterfile? > Die erste Instanz in den Cluster einbinden, analog auch auf dem anderen Knoten srvctl add asm \ -n bagheera -i +ASM1 \ -o /u00/app/oracle/product/asm / \ -p /dev/oraraw/spfileasm Der Cluster ist mein!

11 Beispiel: RAC mit ASM (2) > Die Datenbank mit den Threads (welche von den Instanzen geöffnet werden) erzeugen > Dabei das spfile direkt ins ASM legen und jeweils ein minimales init.ora File erzeugen. Beispiel für initrac10a.ora auf bagheera: SPFILE='+DATA_01/RAC10/spfileRAC10.ora' > Jetzt die Datenbank und die Instanzen dem Cluster anmelden: srvctl add database -d RAC10_MUNICH \ -o /u00/app/oracle/product/10.2.0/ srvctl add instance -d RAC10_MUNICH -i RAC10A -n bagheera srvctl add instance -d RAC10_MUNICH -i RAC10B -n hathi > Fertig? Der Cluster ist mein!

12 Beispiel: RAC mit ASM (3) > Die Abhängigkeiten der Datenbank Instanzen von Ihren ASM Instanzen fehlen noch! srvctl modify instance -d RAC10_MUNICH -i RAC10A -s +ASM1 srvctl modify instance -d RAC10_MUNICH -i RAC10B -s +ASM2 > Dann starten alle Resourcen richtig: HA Resource Target State ora.rac10_munich.rac10a.inst ONLINE ONLINE on bagheera ora.rac10_munich.rac10b.inst ONLINE ONLINE on hathi ora.rac10_munich.db ONLINE ONLINE on hathi ora.bagheera.asm1.asm ONLINE ONLINE on bagheera ora.hathi.asm2.asm ONLINE ONLINE on hathi Der Cluster ist mein!

13 Oracle Clusterware - Jenseits von RAC und srvctl > Benötigt man einen Failover Cluster, so muss man etwas mehr in die Tiefen von Oracle Clusterware hinabsteigen Real Application Clusters srvctl, netca Nicht-Oracle Anwendung oder Single Instance crs_profile, crs_register, crs_relocate, crs_stat, crs_stop, crs_start etc. OS Der Cluster ist mein!

14 Wichtige Konzepte der Oracle Clusterware > Resource: Eine Entität im Cluster, z.b. eine Virtuelle IP, ein Dämon etc. > Action Program: Wrapper für die eigentliche Applikation. Reagiert auf Parameter stop, start und check. Wird generiert, kann modifiziert oder ersetzt werden > Application Profile: Textdatei, die generiert wird und modifiziert werden kann um das Verhalten der Resource bzw. deren Management festzulegen/zu ändern > Resource Dependency: Resourcen können voneinander abhängen > Oracle Cluster Registry: Das Repository aller Resourcen > Template: Default Werte für Resourcen Der Cluster ist mein!

15 Failover Cluster Beispiel: ftp Dämon > Im Beispiel wollen wir einen ftp Service realisieren, der seine Dateien auf einem OCFS2 Filesystem abgelegt hat > Wir verwenden vsftpd (Very secure FTPD), der über ftpcluster.trivadistraining.com erreichbar ist > Der Abhängigkeitsgraph der Resourcen: Resource ftp.daemon Resource ftp.vip Clusterware > OCFS2? War doch tot seit ASM Der Cluster ist mein!

16 Vorgehen beim Resourcen Erstellen/Managen > Profile für Resource erstellen > Resource registrieren > Resource starten/stoppen/relozieren/abfragen > Evtl. Profile modifizieren > Evtl. Resource updaten Der Cluster ist mein!

17 Die Resource für die virtuelle IP > Als erstes die virtuelle IP. Das Action Script muss mit root Rechten ablaufen, aber vom Applikationsuser (hier oracle) gestartet werden können sudo -s crs_profile -create ftp.vip -t application \ -a /u00/app/oracle/product/crs /bin/usrvip \ -o oi=eth0,ov= ,on= ,ci=5 crs_register ftp.vip crs_setperm ftp.vip -u user:oracle:r-x exit crs_start ftp.vip > Hierbei wird nur eine Profile-Datei unter crs/profile generiert, das Action Script wird von Oracle schon mitgeliefert > Profiles für nicht root Resourcen werden unter crs/public abgelegt Der Cluster ist mein!

18 Die Resource für den FTP Dämon > Auf der VIP aufbauend der eigentliche Dämon. Für diesen wird ein Action Script generiert, welches editiert (siehe nächste Folien) und manuell verteilt werden muss sudo -s crs_profile -create ftp.daemon -t application \ -B /usr/sbin/vsftpd -r ftp.vip \ -o pt=10,rt=10,ci=5 crs_register ftp.daemon crs_setperm ftp.daemon -u user:oracle:r-x cd /u00/app/oracle/product/crs /crs/script/ # some editing... scp ftp.daemon.scr hathi:$pwd exit crs_start ftp.daemon Der Cluster ist mein!

19 Management der Resourcen > Relozieren, Stoppen, Starten und Failover sind kein Problem crs_stop ftp.daemon Attempting to stop `ftp.daemon` on member `bagheera` Stop of `ftp.daemon` on member `bagheera` succeeded. crs_relocate -f ftp.daemon -c hathi Attempting to stop `ftp.daemon` on member `bagheera` Stop of `ftp.daemon` on member `bagheera` succeeded. Attempting to stop `ftp.vip` on member `bagheera` Stop of `ftp.vip` on member `bagheera` succeeded. Attempting to start `ftp.vip` on member `hathi` Start of `ftp.vip` on member `hathi` succeeded. Attempting to start `ftp.daemon` on member `hathi` Start of `ftp.daemon` on member `hathi` succeeded. Der Cluster ist mein!

20 Die Gemeinheiten (1) > Die Applikation ist zwar /usr/bin/vsftpd, der ps Aufruf des generierten Scripts prüft aber auf den Basisnamen. Man muss also die Probe Variable anders setzen als das Startkommando (macht der Script Generator falsch) > Im Falle von vsftpd will dieser via Clusterware gestartet nicht als Dämon laufen. Wenn man den Startaufruf manuell absetzt, verschwindet vsftpd aber sauber in den Hintergrund?!?!. Daher ist eine Modifikation des Startcommandos notwendig $START_APPCMD # was: out=`$start_appcmd` Der Cluster ist mein!

21 Die Gemeinheiten (2) > Damit ein Restart einer abgestürzten Applikation durchgeführt wird, muss ein Stop Aufruf des Action Scripts einen Erfolg zurückliefern, auch wenn die Applikation vorher nicht lief. Dies ist beim verwendeten killall unter Linux aber nicht der Fall. Weitere Modifikation also: out=`$stop_appcmd` if [ "echo $out grep 'no process killed'"!= "" ] then postevent "" success exit 0 fi > Anstatt die Resource als root zu generieren und zu registrieren könnte man sie auch als oracle generieren und den Ausführungsuser ändern (analog dem VIP Beispiel im Manual) Dafür sind aber die Exec Permissions des generierten Scripts falsch Der Cluster ist mein!

22 Was fehlt? > Default Action Scripts à la usrvip für Filesysteme, FTP Server, NFS Server etc. Zumindest zum Einstieg und falls wenig Erfahrung vorhanden sehr nützlich > Ein GUI, analog wie das von Veritas. Aber vielleicht kann GridControl 10.2 ja etwas Datenbank Resourcen Listener Filesystem Volume Group Der Cluster ist mein!

23 Der Cluster ist mein! Kernaussagen > Oracle Clusterware bietet praktisch alles, was das Clusterherz begehrt > Recht gute Dokumentation, es könnte aber noch mehr Beispiele haben > der Trivadis Im Kern geht es um Daten. > Bugs/Features können den Einstieg etwas erschweren > Ein CFS ist abseits von ASM sehr empfehlenswert > srvctl heisst zwar so wie in Oracle9i, macht aber viel mehr und ist kein optionales Tool mehr... Der Cluster ist mein!

24 OCFS2 Oracle Cluster File System 2 > Der Nachfolger von OCFS1, aber mit völlig überarbeiteter Prozessarchitektur und Filesystem-Layout (keine Migration, keine Mount-Kompatibilität) > Für Oracle Datenfiles und Oracle Home/Binaries/Traces/Logs etc. > Für Linux Kernel 2.6 (RedHat Enterprise Linux 4 und SuSE Linux Enterprise Server 9) und Solaris (angekündigt für nach dem 10gR2 Release) > Gute Doku (FAQ, Users Manual) unter Der Cluster ist mein!

25 Benötigte Software > Bei SLES-9 ist das OCFS2 Kernelmodul im Online Update oder ab SP2 inbegriffen. SLES-9 ist die Basis für die folgende Beschreibung, für andere OS siehe Homepage von OCFS2 > Ein weiteres Paket ins zwingend notwendig (mit mkfs etc.): ocfs2- tools, z.b. von (User/Passwort notwendig) > Falls man das GUI will: Die Pakete ocfs2console und python-gtk (plus dessen Abhängigkeiten) einspielen Der Cluster ist mein!

26 ocfs2console Das GUI Der Cluster ist mein!

27 OCFS 2 Konfiguration über Textdatei > Mi vi /etc/ocfs2/cluster.conf erzeugen und auf alle Knoten kopieren (immer die gleiche Datei) node: ip_port = 7777 ip_address = number = 0 name = bagheera cluster = zoo node:... cluster: node_count = 2 name = zoo Der Cluster ist mein!

28 OCFS2 Der Dienst > Den Dienst (ein abgespeckter Cluster Manager) starten /etc/init.d/o2cb configure Load O2CB driver on boot (y/n) [n]: y Cluster to start on boot (Enter "none" to clear) []: zoo Writing O2CB configuration: OK Der Cluster ist mein!

29 OCFS2 Das Filesystem > Das Filesystem auf einem Knoten erzeugen mkfs.ocfs2 -b 4K -C 1M -L AppData -N 4 /dev/sdf5 > Der /etc/fstab Eintrag LABEL=AppData /u51 ocfs2 _netdev,datavolume 0 0 > Mounten der OCFS2 Filesysteme auf allen Knoten, am besten in ein Startscript verpacken (macht der o2cb Service doch nicht ) mount t ocfs2 -a Der Cluster ist mein!

30 OCFS2 Wieso? + Shared Oracle Homes (Wir raten aber davon ab) + Komplett gesharete Admin Verzeichnisse (d.h. incl. Trace Verzeichnisse, Dump Verzeichnisse etc.) + Für Oracle Cluster Repository und Oracle Cluster Manager Voting Disks/Files, falls man keine RAW Devices nutzen will + Lokation für das gesharete SPFILE der ASM Instanzen + Vereinfachung bei Failover Cluster (keine Resource, die Filesysteme checked und mounted) Aber: Noch sehr neu Der Cluster ist mein!