RAC Prozessarchitektur Ist der Überblick noch zu retten?

Transkript

1 RAC Prozessarchitektur Ist der Überblick noch zu retten? DOAG Nürnberg, Jahrestreffen 2010 Thorsten Grebe science + computing ag IT-Dienstleistungen und Software für anspruchsvolle Rechnernetze Tübingen München Berlin Düsseldorf

2 Agenda Begriffsklärung Die Prozesse Die logische Sicht Die chronologische Sicht Die funktionale Sicht Die wahre Sicht Zusammenfassung Seite 2

3 Agenda Begriffsklärung Die Prozesse Die logische Sicht Die chronologische Sicht Die funktionale Sicht Die wahre Sicht Zusammenfassung Seite 3

4 Begriffsklärung Was ist Clusterware? Seite 4

5 Definition aus: Clusterware Administration and Deployment Guide (e16794, ) Aus dem Glossar: Begriffsklärung Begriffsklärung: Was ist Clusterware? Oracle Clusterware Software that allows groups (clusters) of connected servers to operate or be controlled as a unit. Oracle Clusterware stack The Oracle Clusterware stack includes Oracle Clusterware, Event Manager, Cluster Synchronization Services, and Oracle ASM (if used). RAC-Semantik Clusterware Stack = Clusterware + EVM + CSS + ASM Seite 5

6 Aus Anhang E (CRSCTL Command Reference): Aus Befehlshilfe: Begriffsklärung Begriffsklärung: Was ist Clusterware? Definition aus: Clusterware Administration and Deployment Guide (e16794, ) RAC-Semantik Clusterware Stack = Clusterware + EVM + CSS + ASM crsctl stop cluster... Oracle Clusterware stops the Oracle Clusterware stack... [root@node1 ~]# crsctl stop --help... crsctl stop crs [-f] Stop OHAS on this server... crsctl stop cluster [[-all] [-n <server>[...]]] [-f] Stop CRS stack CRS Stack!= CRS CRS Stack = Cluster = Clusterware Stack? CRS = High Availability Services? Seite 6

7 Begriffsklärung? Definition aus: Clusterware Administration and Deployment Guide (e16794, ) Aus Introduction to Oracle Clusterware 1-1: What is Oracle Clusterware? Oracle Clusterware enables servers to communicate... Oracle Clusterware provides the infrastructure... Aus Introduction to Oracle Clusterware 1-7: The Oracle Clusterware Stack Oracle Clusterware consists of two separate stacks: an upper stack anchored by the Cluster Ready Services (CRS) daemon (crsd) and a lower stack anchored by the Oracle High Availability Services daemon (ohasd). Clusterware (Stack) = zwei Stacks, nämlich: 2 Stacks oder 3 Stacks? Seite 7 Stack 1 wird kontrolliert vom CRSD Cluster Ready Services Stack Stack 2 wird kontrolliert vom OHASD High Availability Services Stack Erkenntnis: Der Umgang mit den Begriffen Clusterware (Stack), CRS (Stack), High Availability Services (Stack) ist entspannt.

8 Begriffsklärung? Die Stacks der/des Clusterware (Stacks) Auszug aus Clusterware Administration and Deployment Guide (e16794, ), Seite 1-8: Seite 8 The Cluster Ready Services Stack The list in this section describes the processes that comprise CRS.... Cluster Ready Services (CRS)... Cluster Synchronization Services (CSS)... Oracle ASM... Cluster Time Synchronization Service (CTSS)... Event Management (EVM)... Oracle Notification Service (ONS)... Oracle Agent (oraagent)... Oracle Root Agent (orarootagent)... The Oracle High Availability Services Stack The list in this section describes the processes that comprise the Oracle High Availability Services stack.... Cluster Logger Service (ologgerd)... System Monitor Service (osysmond)... Grid Plug and Play (GPNPD)... Grid Interprocess Communication (GIPC)... Multicast Domain Name Service (mdns)... Oracle Grid Naming Service (GNS)...

9 Agenda Begriffsklärung Die Prozesse Die logische Sicht Die chronologische Sicht Die funktionale Sicht Die wahre Sicht Zusammenfassung Seite 9

10 Die Prozesse: Testsystem RAC - Testsystem Oracle VM Template Oracle Enterprise Linux (OEL) bit Grid 11.2 plus Oracle Enterprise Edition 11.2 Storage auf Openfiler 2.1 über iscsi angebunden RAC mit 3 Knoten Basisinstallation mit ASM und ACFS-Dateisystem Seite 10

11 ~]$ ps -ef egrep 'init.d grid' root... /bin/sh /etc/init.d/init.ohasd run root... /opt/oracle/app/grid/11.2.0/bin/ohasd.bin reboot oracle... /opt/oracle/app/grid/11.2.0/bin/oraagent.bin oracle... /opt/oracle/app/grid/11.2.0/bin/gipcd.bin oracle... /opt/oracle/app/grid/11.2.0/bin/mdnsd.bin oracle... /opt/oracle/app/grid/11.2.0/bin/gpnpd.bin root $... ps -ef /opt/oracle/app/grid/11.2.0/bin/cssdmonitor egrep -i 'init.d grid acfs oks asm ora_ orcl' grep -v grep wc -l root... /opt/oracle/app/grid/11.2.0/bin/cssdagent 118 root... /opt/oracle/app/grid/11.2.0/bin/orarootagent.bin oracle... /opt/oracle/app/grid/11.2.0/bin/ocssd.bin oracle... /opt/oracle/app/grid/11.2.0/bin/diskmon.bin -d -f root... /opt/oracle/app/grid/11.2.0/bin/octssd.bin ca. 120 RAC Prozesse auf jedem Knoten reboot oracle... /opt/oracle/app/grid/11.2.0/bin/evmd.bin nach Basisinstallation mit ASM und ACFS oracle... /opt/oracle/app/grid/11.2.0/bin/oclskd.bin root... /opt/oracle/app/grid/11.2.0/bin/crsd.bin reboot root... /opt/oracle/app/grid/11.2.0/bin/oclskd.bin oracle... /opt/oracle/app/grid/11.2.0/bin/evmlogger.bin -o... oracle... /opt/oracle/app/grid/11.2.0/bin/oraagent.bin root... /opt/oracle/app/grid/11.2.0/bin/orarootagent.bin oracle... /opt/oracle/app/grid/11.2.0/opmn/bin/ons -d oracle... /opt/oracle/app/grid/11.2.0/opmn/bin/ons -d oracle... /opt/oracle/app/grid/11.2.0/jdk/jre//bin/java...eonsd... root... /opt/oracle/app/grid/11.2.0/bin/gnsd.bin... oracle... /opt/oracle/app/grid/11.2.0/bin/tnslsnr LISTENER -inherit Seite Architektur / Installation Die Prozesse

12 Agenda Begriffsklärung Die Prozesse Die logische Sicht Die chronologische Sicht Die funktionale Sicht Die wahre Sicht Zusammenfassung Seite 12

13 Komplexität Clusterware Prozesse: Die logische Sicht Zeichnung aus Metalink-Note (11gR2 Clusterware and Grid Home - What You Need to Know) ursprünglich aus: Clusterware Administration and Deployment Guide (E , ) nicht sichtbar auf Prozessebene? Ressourcen einzelne Prozesse dutzende Prozesse (es fehlen Diskmon,GIPCD, ACFS-Treiber, ACFS-Registry, Diskgroup, Services) Seite 13

14 Komplexität Clusterware Prozesse: Die logische Sicht Zeichnung aus Metalink-Note (11gR2 Clusterware and Grid Home - What You Need to Know) ursprünglich aus: Clusterware Administration and Deployment Guide (E , ) nicht sichtbar auf Prozessebene The orarootagent starts ctssd, Ressourcen einzelne Prozesse dutzende Prozesse Stand , Fehlerhafte Dokumentation zur Abbildung the CSSD Monitor, diskmon (Disk Monitor daemon), gipcd (Grid IPC daemon), and crsd. Sind Überblick, Vollständigkeit und Fehlerfreiheit bei dem aktuellen Komplexitätsgrad der Clusterware nicht mehr miteinander vereinbar?? (es fehlen Diskmon,GIPCD, ACFS-Treiber, ACFS-Registry, Diskgroup, Services) Seite 14

15 Komplexität Clusterware Prozesse: Die logische Sicht Zeichnung aus Metalink-Note (11gR2 Clusterware and Grid Home - What You Need to Know) ursprünglich aus: Clusterware Administration and Deployment Guide (E , ) Vier Level zum Clusterstart: crsctl status res -t -init Level 1: Ohasd Agenten CSSD-Monitor Level 2: HA-Ressourcen ACFS-Treiber Level 2 Level 4 crsctl status res -t Level 3: Agenten Level 3 Level 4: CRS-Ressourcen Level 1 Seite 15

16 Clusterware Prozesse: Die logische Sicht- Korrektur NEU: Zeichnung aus dem Clusterware Administration and Deployment Guide (E , ) Nach Korrektur: CSSD-Monitor fehlt (neu) (noch falsch im Kommentar) network fehlt (neu) ora.gns.vip fehlt (neu) cssdagent verwaist (neu) GNSD jetzt unter CRS-Oraagent und unter OHASD-Rootagent?? Seite 16?

17 alte Version von August 2009 Clusterware Prozesse: Die logische Sicht- Korrektur NEU: Zeichnung aus dem Clusterware Administration and Deployment Guide (E , ) Nach Korrektur: CSSD-Monitor fehlt (neu) (noch falsch im Kommentar) network fehlt (neu) ora.gns.vip fehlt (neu) cssdagent verwaist (neu) GNSD jetzt unter CRS-Oraagent und unter OHASD-Rootagent?? Seite 17?

18 Clusterware Prozesse: Die logische Sicht- Korrektur NEU: Zeichnung aus dem Clusterware Administration and Deployment Guide (E , ) Nach Korrektur: CSSD-Monitor fehlt (neu) (noch falsch im Kommentar) network fehlt (neu) ora.gns.vip fehlt (neu) cssdagent verwaist (neu) GNSD jetzt unter CRS-Oraagent und unter OHASD-Rootagent? Tragik der Korrektur? Seite 18 Zu komplex?? GNSD

19 Agenda Begriffsklärung Die Prozesse Die logische Sicht Die chronologische Sicht Die funktionale Sicht Die wahre Sicht Zusammenfassung Seite 19

20 Clusterware Prozesse: Die Chronologische Sicht Seite init.ohasd (r) CSS oclskd.bin Kill Daemon 1 oclskd.bin Kill Daemon 2 7 cssdagent.bin 10 ocssd.bin CSSD Ressourcen Network Node VIP GNS VIP SCAN VIP ACFS Registry 11 2 cssdmonitor OHASD (r) 19 9 diskmon.bin I/O-Fencing in Exadata Storage CRS crsd.bin (r) 22 orarootagent.bin 2 25 orarootagent.bin 1 gnsd GNS 12 CTSS octssd.bin (r) Cluster Time Synchronization Service 23 ons 1 24 ons 2 Notification Service 3 oraagent.bin 1 mdns mdnsd.bin Multicast Domain Name Service 29 eons 4 GIPC 5 gipcd.bin 27 tnslsnr Listener 13 EVM evmd.bin 21 oraagent.bin 2 28 tnslsnr SCAN- Listener ASM-Instanz 6 GPNP gpnpd.bin Grid Plug & Play evmlogger.bin Ressourcen ASM Res.? Diskgroups DB Res. Services 30 DB-Instanz 15 oks_wkq acfsioerrorlog acfs_bast[0-7] 18 oks_rbld 3x oks_conn asmerror0 asmshutdown 26 oks_comm 3x acfsvol0 acfsds0 acfssnap0

21 Clusterware Prozesse: Die Chronologische Sicht Seite 21 1 init.ohasd (r) 2 OHASD (r) 3 oraagent.bin 1 4 GIPC 5 mdns gipcd.bin mdnsd.bin CSS 7 Multicast Domain 6 GPNP 8 cssdmonitor Name Service gpnpd.bin cssdagent.bin Grid Plug & Play 9 10 orarootagent.bin 1 ocssd.bin CSSD 11 diskmon.bin 12 CTSS octssd.bin (r) 13 EVM evmd.bin 17 oclskd.bin Kill Daemon 1 I/O-Fencing in Exadata Storage CRS Cluster Time Synchronization Service Level ASM-Instanz evmlogger.bin 19 crsd.bin (r) 20 oclskd.bin Level 3 21 oraagent.bin 2 Ressourcen Kill Daemon 2 22 ASM Res.? orarootagent.bin 2 23 Ressourcen Diskgroups ons 1 Network DB Res. Node VIP ons 2 gnsd Services Notification GNS VIP GNS 27 Service SCAN VIP tnslsnr 28 Die "logische" 29 Listener ACFS Registry Level Sicht auf 4 die Clusterprozesse tnslsnr stimmt nicht eons SCAN- 30 exakt mit der "chronologischen" Sicht auf Prozessebene DB-Instanz überein. Listener Level 2 15 oks_wkq acfsioerrorlog acfs_bast[0-7] 18 oks_rbld 3x oks_conn asmerror0 asmshutdown 26 oks_comm 3x acfsvol0 acfsds0 acfssnap0

22 Agenda Begriffsklärung Die Prozesse Die logische Sicht Die chronologische Sicht Die funktionale Sicht Die wahre Sicht Zusammenfassung Seite 22

23 Clusterware Prozesse: Die funktionale Sicht Seite 23 Verwirrend CSS wird direkt vom OHASD gestartet ASM, CTSS, EVM werden von OHASD- Agenten gestartet, gehören aber in den CRS-Stack Nicht in der Standardinstallation (CHM muss manuell nachinstalliert werden) GNS steht unter Kontrolle des CRS-Stacks es fehlen: ACFS-Prozesse Kill-Daemon Diskmon OHASD-Agenten DB-Instanz Die Stacks der Clusterware Auszug aus Clusterware Administration and Deployment Guide (e16794, ), Seite 1-8: The Cluster Ready Services Stack The list in this section describes the processes that comprise CRS.... Cluster Ready Services (CRS)... Cluster Synchronization Services (CSS)... Oracle ASM... Cluster Time Synchronization Service (CTSS)... Event Management (EVM)... Oracle Notification Service (ONS)... Oracle Agent (oraagent)... Oracle Root Agent (orarootagent)... The Oracle High Availability Services Stack The list in this section describes the processes that comprise the Oracle High Availability Services stack.... Cluster Logger Service (ologgerd)... System Monitor Service (osysmond)... Grid Plug and Play (GPNPD)... Grid Interprocess Communication (GIPC)... Multicast Domain Name Service (mdns)... Oracle Grid Naming Service (GNS)...

24 Clusterware Prozesse: Die Chronologische Sicht Seite init.ohasd (r) CSS oclskd.bin Kill Daemon 1 oclskd.bin Kill Daemon 2 7 cssdagent.bin 10 ocssd.bin CSSD Ressourcen Network Node VIP GNS VIP SCAN VIP ACFS Registry 11 2 cssdmonitor OHASD (r) 19 9 diskmon.bin I/O-Fencing in Exadata Storage CRS crsd.bin (r) 22 orarootagent.bin 2 25 orarootagent.bin 1 gnsd GNS 12 CTSS octssd.bin (r) Cluster Time Synchronization Service 23 ons 1 24 ons 2 Notification Service 3 oraagent.bin 1 mdns mdnsd.bin Multicast Domain Name Service 29 eons 4 GIPC 5 gipcd.bin 27 tnslsnr Listener 13 EVM evmd.bin 21 oraagent.bin 2 28 tnslsnr SCAN- Listener ASM-Instanz CRS Stack laut Doku 6 GPNP gpnpd.bin Grid Plug & Play evmlogger.bin Ressourcen ASM Res.? Diskgroups DB Res. Services 30 DB-Instanz OHASD Stack laut Doku 15 oks_wkq acfsioerrorlog acfs_bast[0-7] 18 oks_rbld 3x oks_conn asmerror0 asmshutdown 26 oks_comm 3x acfsvol0 acfsds0 acfssnap0

25 Agenda Begriffsklärung Die Prozesse Die logische Sicht Die chronologische Sicht Die funktionale Sicht Die wahre Sicht Zusammenfassung Seite 25

26 Clusterware Prozesse: Die wahre Sicht ~]# crsctl stop --help... crsctl stop crs [-f] Stop OHAS on this server... crsctl stop cluster [[-all] [-n <server>[...]]] [-f] Stop CRS stack Was nach crsctl stop cluster übrig bleibt, muss der OHASD-Stack sein. Seite 26

27 Clusterware Prozesse: Die wahre Sicht Seite oclskd.bin Kill Daemon 1 init.ohasd (r) CSS oclskd.bin Kill Daemon 2 7 cssdagent.bin 10 ocssd.bin CSSD Ressourcen Network Node VIP cssdmonitor 11 2 OHASD (r) 19 9 diskmon.bin I/O-Fencing in Exadata Storage crsd.bin (r) 22 orarootagent.bin CTSS octssd.bin (r) Cluster Time Synchronization Service 23 ons 1 3 oraagent.bin 1 4 GIPC 5 mdns gipcd.bin mdnsd.bin 6 GPNP Name Service gpnpd.bin Multicast Domain 24 ons 2 27 Service tnslsnr 29 Listener eons 13 EVM evmd.bin 21 oraagent.bin ASM-Instanz Grid Plug & Play evmlogger.bin Notification sind GNS nicht VIP deckungsgleich GNSmit Level 1 oder Level 2 aus Metalink-Note SCAN VIP ACFS Registry ausgeblendet: CRS Stack der wahre orarootagent.bin 1 CRS gnsd # crsctl stop cluster 28 tnslsnr SCAN- Listener Ressourcen ASM Res.? Diskgroups DB Res. Services 30 DB-Instanz OHASD Stack der wahre 15 oks_wkq acfsioerrorlog acfs_bast[0-7] 18 oks_rbld 3x oks_conn asmerror0 asmshutdown Diese Prozesse, die nach crsctl stop cluster (Stop des CRS-Stacks) übrigbleiben, 26 oks_comm 3x acfsvol0 acfsds0 acfssnap0 Sie sind nicht deckungsgleich mit den Prozessen des OHASD-Stacks aus dem Clusterware Guide.

28 Clusterware Prozesse: Die wahre Sicht # crsctl stop crs 1 1 init.ohasd (r) 2 2 OHASD (r) 3 3 oraagent.bin 1 4 GIPC 4 5 mdns gipcd.bin 5 mdnsd.bin 6 CSS 7 Multicast Domain 6 GPNP 7 8 cssdmonitor Name Service gpnpd.bin 8 cssdagent.bin Grid Plug & Play orarootagent.bin 1 10 ocssd.bin 11 CSSD # crsctl 11 diskmon.bin stop 12 crs CTSS 12 I/O-Fencing in octssd.bin (r) 13 EVM 13 Exadata Storage Cluster Time evmd.bin Synchronization evmlogger.bin 15 Service hat die gleich Wirkung wie ASM-Instanz oclskd.bin 18 CRS Kill Daemon # crsd.bin (r) 20 /etc/init.d/ohasd stop 20 oclskd.bin oraagent.bin 2 Ressourcen Kill Daemon ASM Res.? orarootagent.bin Ressourcen Diskgroups ons 1 24 Network DB Res Node VIP ons 2 gnsd Services Notification 26 GNS VIP GNS 27 Service 27 SCAN VIP tnslsnr Listener ACFS Registry tnslsnr 29 eons SCAN- 30 DB-Instanz Seite 28 Listener Kontraintuitive Begriffswahl. "stop crs" stoppt nicht den CRS-Stack, sondern den OHASD-Stack 15 oks_wkq acfsioerrorlog acfs_bast[0-7] 18 oks_rbld 3x oks_conn asmerror0 asmshutdown 26 oks_comm 3x acfsvol0 acfsds0 acfssnap0

29 Agenda Begriffsklärung Die Prozesse Die logische Sicht Die chronologische Sicht Die funktionale Sicht Die wahre Sicht Zusammenfassung Seite 29

30 Zusammenfassung Postiv: Die Automatisierung der RAC-Verwaltung wurde in 11gR2 deutlich erweitert. IP-Adressen werden vom GNS automatisch verwaltet, GPnP erlaubt das automatisierte Erweitern eines RAC um neue Knoten. ACFS lässt sich spielerisch verwalten. Negativ: Der Umgang mit den Begriffen Clusterware (Stack), CRS (Stack), OHAS (STACK) ist nicht immer stimmig. Die Clusterware Dokumention 11.2 wirkt teilweise unvollständig. Sehr hoher Komplexitätsgrad. Take Home: Die Clusterprozesse können chronologisch, logisch (Level 1-4) oder funktional (OHAS-Stack, CRS-Stack) betrachtet werden. Die verschiedenen Sichten lassen sich nicht 1:1 aufeinander abbilden. "Die frühen Prozesse", ps -ef "die Level 1 und Level 2 Prozesse", Metalink "die Prozesse des OHASD-Stacks", Clusterware Guide beschreiben nicht das selbe, sondern nur ungefähr das gleiche. Seite 30

31 RAC-Poster Seite 31 Download: