Oracle 11gR2 Grid Infrastruktur "in the box"

Transkript

1 Oracle 11gR2 Grid Infrastruktur "in the box" Oracle 11gR2 Grid Peter Schläger

2 Was ist ein Grid / RAC in the box Installation der 11.2 Grid Infrastruktur unter einer kleinen Virtualisierungslösung Oracle Virtual Box VMware Player Lauffähig auf einem Notebook 8GB Ram Intel Core i7 SSD 100 GB Ubuntu Seite 2

3 Warum benötigt man eine solche Installation RAC Testsysteme stehen zu Administrationstests nicht zur Verfügung, da diese für Applicationstests benötigt werden. Oft werden neben dem Handbuch auch noch so einige Tricks aus Metalink Notes benötigt, die aber auch erst mal getestet werden müssen. Erstellung von SOP s für Ausfallszenarien im Cluster.. Seite 3

4 Beispiele für die Notwendigkeit einer RAC Testumgebung Beispiele für die Notwendigkeit einer RAC Testumgebung für Administratoren Restore der OCR und Voting Disk bei Verlust der sie beinhaltenden Diskgroup Tests von Nodeadd und Nodedel Managing Voting Disks und OCR ( mirror ) HAIP tests IP-Addressenänderung im Cluster Funktionstests für neue Oracle Versionen Clustering beliebiger Applikationen Patching Upgrade Schulung Dataguard Konfiguration für RAC. Seite 4

5 Ablauf der Installation des Clusters Die Installation des Clusters verläuft in folgenden Schritten ab: 1. Konfiguration des Netzwerks 2. Erstellung der virtuellen Maschine 3. Installation des Betriebssystems 4. Preinstallation für einen Oracle Clusterknoten 5. DNS und DHCP für die Clusterinstallation 6. Cloning des Clusterknotens 7. Konfiguration des shared Storage 8. Überprüfung der Konfiguration des Clusters mit Cluvfy 9. Installation der Grid Infrastruktur 10. Setup ACFS für ein Shared Oracle Home der Datenbank 11. Installation der RAC Datenbank 12. Installationsprüfung mit RACcheck script. Seite 5

6 Konfiguration des Netzwerks Gewählte Netzwerkkonfiguration für die Beispiele VMware Player Public Netz : Interconnect : Virtual Box Public Netz : Interconnect : Seite 6

7 Konfiguration des Netzwerks beim VMware Player Anpassen der Konfigutationsdateien des VMware Netzwerkes /etc/vmware/networking answer VNET_1_DHCP no answer VNET_1_HOSTONLY_NETMASK answer VNET_1_HOSTONLY_SUBNET answer VNET_1_NAT yes answer VNET_1_VIRTUAL_ADAPTER yes answer VNET_2_DHCP no answer VNET_2_HOSTONLY_NETMASK answer VNET_2_HOSTONLY_SUBNET answer VNET_2_NAT no. Seite 7

8 Konfiguration des Netzwerks beim VMware Player Anpassen der Konfigutationsdateien des VMware Netzwerkes /etc/vmware/vmnet1/nat/nat.conf # NAT gateway address ip = netmask = /etc/vmware/vmnet2/nat/nat.conf # NAT gateway address ip = netmask = sudo vmware-networks stop sudo vmware-networks start. Seite 8

9 Konfiguration des Netzwerks bei der Virtual Box Netzwerk Adapter konfigurieren unter file-> preferences-> Network. Seite 9

10 Konfiguration des Netzwerks bei der Virtual Box Netzwerk Adapter konfigurieren unter file-> preferences-> Network. Seite 10

11 Netzwerkkonfiguration prüfen mittels vboxmanage vboxmanage list hostonlyifs Name: vboxnet0 GUID:786f e a Dhcp:Disabled IPAddress: NetworkMask: HardwareAddress: 0a:00:27:00:00:00 MediumType:Ethernet VBoxNetworkName: HostInterfaceNetworking-vboxnet0 Name:vboxnet1 GUID:786f e a Dhcp:Disabled IPAddress: NetworkMask: HardwareAddress: 0a:00:27:00:00:01 MediumType:Ethernet VBoxNetworkName: HostInterfaceNetworking-vboxnet1. Seite 11

12 Erstellung der ersten virtuellen Maschine Erstellung der ersten virtuellen Maschine Arbeitsspeicher : 2GB RAM 4GB RAM Betriebssysten : OEL 6.1, Redhat 5.6, Sles 11 Netzwerk : Zwei Netzwerkkarten gebunden an die vorab besprochenen Netzwerkadapter. (Falls auch HAIP Tests geplant sind, sind entsprechend mehr Netzwerkkarten vorzusehen ) Um ACFS in OEL und einsetzen zu können, ist der unbreakable Kernel in der /etc/grub.conf zu disablen ( Metalink : BUG behoben in ).. Seite 12

13 Oracle Preinstallation Oracle Preinstallation a) Oracle Enterprise Linux Installation des Oracle Packages zur Preinstallation yum install oracle-validated b) Andere Linux Distributionen Download Cluster Verify Utility ( cluvfy ) von otn.oracle.com cluvfy stage -pre crsinst -n <firstnode> -verbose Installation der Libraries die vom cluvfy vermisst werden. Schließlich cluvfy stage -pre crsinst -n <firstnode> -runfixup und dann das script /tmp/cvu/runfixup.sh ausführen.. Seite 13

14 Oracle Preinstallation Zusätzliche Packages a) oracleasmlib Packages für die Storageanbindung. b) named für die Simulation eines DNS-Servers c) dhcpd für die Simulation eines DHCP-Servers bei Verwendung von GNS Zeitsynchronisation Testumgebung ohne ntp Server ctss Service der Grid Infrastruktur mv /etc/ntpd.conf /etc/ntpd.conf.org. Seite 14

15 DNS und DHCP Konfiguration für die Clusterinstallation Konfiguration des DNS Servers falls kein GNS verwendet werden soll: /etc/named.conf.. Seite 15

16 DNS und DHCP Konfiguration für die Clusterinstallation /var/named/peter.de.zone.. Seite 16

17 DNS und DHCP Konfiguration für die Clusterinstallation /var/named/peter.de.reverse.. Seite 17

18 DNS und DHCP Konfiguration für die Clusterinstallation /etc/resolv.conf search peter.de nameserver Beim Clonen der Maschine muß nur hier die IP-Addresse des Clones eingegeben werden. (Dies führt aber zu einer Fehlermeldung im Cluvfy des Installers ) Starten des name servers chkconfig named on service named start. Seite 18

19 DNS und DHCP Konfiguration für die Clusterinstallation Konfiguration des DNS Servers falls der GNS verwendet werden soll: Die virtuelle IP des GNS ist hier /var/named/peter.de.zone. Seite 19

20 DNS und DHCP Konfiguration für die Clusterinstallation Konfiguration des DHCP-Servers für die Subdomain rac.peter.de /etc/dhcpd.conf. Seite 20

21 Cloning des Clusterknotens Cloning des Clusterknotens a) VMware Player Kopieren der Direktory mit den Files der VM in ein neues Verzeichnis. Umbenennen aller Dateien und Anpassen der Namen in den Dateien.vmx und.vmxf. Danach ist noch die UUID und die korrespondierenden MAC Adressen der Netzwerkkarten anzupassen. b) Oracle Virtual Box In der aktuellen Version der Virtual Box ( 4.1.4), wird das Cloning direkt auf Kommandozeile unterstützt: vboxmanage clonevm <name> --mode all --options keepdisknames --name <newname> --register Schließlich sind in beiden Fällen nach dem Start der geclonten Maschine die neuen MAC Adressen im Linux Betriebssystem anzupassen sowie auch der Hostname. Des weiteren sind die Anpassungen durch zu führen, die schon in DNS und DHCP notwendig sind.. Seite 21

22 Konfiguration des shared Storage Für das shared Storage benötigen wir folgende Disks CRS 2GB RAW OCR und Voting Disk ORAHOME 8GB ACFS Shared Oracle Home der Datenbank ( mit ACFS ) ORADATA 10GB RAW ASM Diskgroup für die Datenbankfiles ORABACKUP 4GB ACFS Oracle Backup tests sowie Shared Files anderer Applikationen. Seite 22

23 Konfiguration des shared Storage beim VMware Player VMware Player : In alle virtuellen Maschinen in das vmx-file eintragen: #begin disk locking disk.locking = "FALSE" disklib.datacachemaxsize = "0 disklib.datacachemaxreadaheadsize = "0" disklib.datacacheminreadaheadsize = "0" disklib.datacachepagesize = "4096" disklib.maxunsyncedwrites = "0" #end disk locking Die shared Disks mit allocate disk space now als "independent-persistent" in die vmx-files eintragen: scsi0:3.present = "TRUE" scsi0:3.filename = "asmdg-crs.vmdk" scsi0:3.mode = "independent-persistent scsi0:3.redo = " Suchpfad zu den shared Disks: FileSearchPath = ".;../storage". Seite 23

24 Konfiguration des shared Storage bei der virtual box Virtual Box: In der Virtual Box läßt sich das shared Storage sehr schön und schnell mittels folgender Kommandos erzeugen : # create disks vboxmanage createhd --filename crs.vdi --size format VDI --variant Fixed vboxmanage createhd --filename orahome.vdi --size format VDI --variant Fixed vboxmanage createhd --filename oradata.vdi --size format VDI --variant Fixed # Connect them to the VM. vboxmanage storageattach oel56-racnode1 medium crs.vdi --storagectl "SATA Controller" --port 3 --device 0 --type hdd --mtype shareable vboxmanage storageattach oel56-racnode2 medium crs.vdi --storagectl "SATA Controller" --port 3 --device 0 --type hdd --mtype shareable vboxmanage storageattach... # make shareable. vboxmanage modifyhd crs.vdi --type shareable vboxmanage modifyhd orahome.vdi --type shareable vboxmanage modifyhd oradata.vdi --type shareable. Seite 24

25 Einbindung der shared disks in die Knoten Shared Disks mit einer Partition versehen. Mittels oracleasm die Disks für die ASM Diskgroups zu erstellen: oracleasm createdisk CRSDISK1 /dev/sdd1 oracleasm createdisk ORAHOMEDISK1 /dev/sde1 oracleasm createdisk CRSDISK1 /dev/sdd1 schießlich auf beiden Knoten oracleasm scandisks oracleasm listdisks. Seite 25

26 Plattenplatz für ein solches virtuelles Cluster Benötigter Plattenplatz für das virtuelle Cluster 1.Knoten : root 6 GB swap 2 GB gridhome 8 GB orainstall 4 GB 2.Knoten: root 6 GB swap 2 GB gridhome 8 GB Storage: crs 2 GB orahome 8 GB oradata 10 GB orabackup 4 GB ===== Summe: 60 GB. Seite 26

27 Überprüfen der Konfiguration mittels Cluvfy Überprüfung der Konfiguration des Clusters mit Cluvfy Nach der Erstellung des Shared Storage sollte noch eimal die readyness der beiden Knoten mittels cluvfy überprüft werden.. Seite 27

28 Installation der Grid Infrastruktur Auf die Installation der Grid Infrastruktur will ich hier nicht weiter eingehen. Seite 28

29 Installation der Grid Infrastruktur mit GNS Installation der Grid Infrastruktur mit GNS. Seite 29

30 Konfiguration ACFS für shared Oracle Home der Datenbank Software Die Erstellung des ACFS für das shared Oracle Home läßt sich am schnellsten mit ASMCMD erledigen : xml-file der Diskgroup ORAHOME ASMCMD> mkdg DATA.xml ASMCMD> lsdg ORAHOME State Type Rebal Sector Block AU Total_MB Free_MB Usable_file_MB Offline_disks Voting_files Name MOUNTED NORMAL N N 0 ORAHOME/. Seite 30

31 Konfiguration ACFS für shared Oracle Home der Datenbank Software Die Erstellung eines Volumes für das ACFS Oracle Home ASMCMD> volcreate -G ORAHOME -s 7G --width 128 column 4 volorahome. Seite 31

32 Konfiguration ACFS für shared Oracle Home der Datenbank Software Die Erstellung des ACFS Filesystems für das Oracle Home 1. mkfs -t acfs /dev/asm/volorahome srvctl add filesystem -d /dev/asm/volorahome-484 -g ORAHOME -v volorahome -m /u01/app/oracle/product/ /db -u oracle 3. chown oracle:oinstall /u01/app/oracle/product/ /db 4. chmod 755 /u01/app/oracle/product/ /db 5. srvctl start filesystem -d /dev/asm/volorahome-484. Seite 32

33 Installation der Clusterdatenbank. Seite 33

34 Installation der Clusterdatenbank. Seite 34

35 Installation der Clusterdatenbank. Seite 35

36 Post Installation Check mittels RACcheck script Installationsprüfung mit dem RACcheck script Metalink Note : RACcheck - RAC Configuration Audit Tool Das Tool überprüft 1. OS kernel parameters 2. OS packages 3. Many other OS configuration settings important to RAC. 4. CRS/Grid Infrastructure 5. RDBMS 6. ASM 7. Database parameters 8. Many other database configuration settings important to RAC. Aufruf : unzip raccheck.zip chmod 755 rackcheck./rackcheck -a. Seite 36

37 Fazit Wie auch für das echte RAC ist für die Installation eines Testsystems für Administratoren einiges zu bedenken und die Installation kann einige Zeit in Anspruch nehmen. Der Vorteil eines Testsystems für die Administratoren liegt darin eine Reihe von Wartungs- und Reconfigurationsarbeiten an einem Cluster testen zu können. Schließlich sei noch bemerkt, das die Virtual Box in der aktuellen Version aus meiner Sicht dem VMware Player, insbesondere wegen des mächtigen Comandline Tools vboxmanage vorzuziehen ist.. Seite 37

38 Oracle Cluster in your Hand. Seite 38

39 Contact up to data Professional services GmbH Schornsheimer Chaussee Wörrstadt Tel.: ( ) Fax:( ) e_contact@uptodata.de Seite 39