Beratung Software Lösungen Oracle RAC 11g erfahren Installation unter Oracle Enterprise Linux 5 mit VMWare TEAM Partner für Technologie und angewandte Methoden der Informationsverarbeitung GmbH Ralf Appelbaum TEAM, ein Oracle Certified Advantage Partner Firmenzentrale - Gründung 1982 - Unternehmensgruppe Materna 1.300 Mitarbeiter - 175 Mio. Euro Umsatz in 2007 Geschäftsführung Michael Baranowski - Heike Käferle 55 Mitarbeiter 30.11.2008 TEAM - Ihr Partner für IT 2
Oracle RAC mit VMware beschreiben möchte ich die Installation eines Oracle 11g Real Application Clusters unter Oracle Enterprise Linux 5 mit VMware Server 1.0.7 Instanz1 Service Instanz2 Knoten 1 Knoten 2 ASM ASM Storage 30.11.2008 TEAM - Ihr Partner für IT 3 Motivation für diese RAC Installation Wunsch von Administratoren, Trainer und Berater: Oracle RAC 11g ausgiebig testen neuen Möglichkeiten persönlich erfahren Komandozeilenwerkzeugen und Enterprise Manager Database Konsole im RAC praktisch erlernen Problem: hohe Hardwareanforderungen und damit verbundene Kosten für Oracle Real Application Clusters Ziel dieser Installation: durch Virtualisierung eine RAC Umgebung kostengünstig nachzustellen neueste Versionen und einen echten Cluster evaluieren 30.11.2008 TEAM - Ihr Partner für IT 4
generelle (Warn-) Hinweise Installation niemals als produktive Umgebung nutzen möglichst nicht zur Entwicklung nutzen RAC Umgebung mit virtuellen Maschinen unter VMware wird von Oracle nicht supported! In der hier dargestellten Konfiguration mit zwei RAC Knoten in zwei virtuellen Maschinen auf einem VMWare Wirtssystem können immer mal wieder Performanceprobleme auftreten, die zum unvermittelten Booten eines der Knoten oder zu Hängern der VMware Maschinen führen. 30.11.2008 TEAM - Ihr Partner für IT 5 Installationsschritte virtuelle Maschine mit VMware Server konfigurieren Oracle Enterprise Linux 5 installieren Linux für Oracle RAC konfigurieren 1te virtuelle Maschine kopieren und Netzwerk anpassen SSH Äquivalenz herstellen ASM Lib konfigurieren OCFS2 konfigurieren Oracle Clusterware installieren Oracle Datenbanksoftware installieren Listener / SQL-Net konfigurieren ASM Instanz einrichten RAC Datenbank aufsetzen 30.11.2008 TEAM - Ihr Partner für IT 6
verwendete Hardware Notebook mit folgender Ausstattung: CPU: Hauptspeicher: Betriebssystem: freier Plattenplatz: 2,50 GHz Intel Core2 Duo 3 GB Windows XP Professional (32 bit), Service Pack 2 ca. 30 GB knapp über 1 GB Hauptspeicher für jede VM Rest Hauptspeicher für das Hostbetriebssystem unter welchem VMware Server läuft die Dateien für die Platten der virtuellen Maschinen benötigen zusammen minimal ca. 25 GB an Plattenplatz 30.11.2008 TEAM - Ihr Partner für IT 7 benötigte Software VMware Server (Version 1.0.7) http://register.vmware.com/content/download-107.html Oracle Enterprise Linux 5 (32 bit) http://edelivery.oracle.com/linux Oracle ASMLib (für Red Hat Enterprise Linux Server 5) http://www.oracle.com/technology/software/tech/linux/asmlib/rhel5.html (Im Abschnitt Intel IA32 (x86) Architecture ) Oracle Clusterware 11g und Oracle Database 11g Release 1 (11.1.0.6.0) für Linux x86 http://www.oracle.com/technology/software/products/database/oracle11g/11 1060_linuxsoft.html 30.11.2008 TEAM - Ihr Partner für IT 8
Performance Anpassungen auf dem Rechner Performanceeinstellungen des Rechners bzw. Notebook alle Powermanagementfunktionen deaktivieren auf maximale Performance einstellen automatischen Standby Modus, automatische Plattenabschaltung usw. deaktivieren den Bildschirmschoner abstellen Konfiguration der Antivirensoftware Echtzeit Virenscan deaktivieren für VMware Virtual Memory Dateien VMware Virtual Disk Dateien (.vmem Endung) (.vmdk Endung) 30.11.2008 TEAM - Ihr Partner für IT 9 Installation Vmware Server Bei der Installation zu beachten: VMware Version 1.0.7 verwenden, da dann die VMware Tools in OEL5 übersetzt werden können In den Virtual Network Settings von VMware DHCP Service und NAT Service stoppen entsprechende Windows Dienste VMware DHCP Service VMware NAT Service deaktivieren VMware Virtual Memory Dateien ausschalten mainmem.usenamedfile = FALSE in C:\Documents and Settings\All Users\Application Data\VMware\VMware Server\settings.ini 30.11.2008 TEAM - Ihr Partner für IT 10
Verzeichnisse für die virtuellen Maschinen (VM) Dateien auf 3 Verzeichnisse aufteilen keine Namenskonflikte beim Kopieren der 1ten VM Verwendung Name der VM Pfad RAC Knoten 1 RAC Knoten 1, Oracle Enterprise \Virtual Machines 11g\OEL5_RAC\rac1 Linux 5, DB11g Rel.1 RAC Knoten 2 RAC Knoten 2, Oracle Enterprise \Virtual Machines 11g\OEL5_RAC\rac2 Linux 5, DB11g Rel.1 Shared Disks \Virtual Machines 11g\OEL5_RAC\share 30.11.2008 TEAM - Ihr Partner für IT 11 neue VM konfigurieren Gast Betriebssystem: Linux Version : Other Linux 2.6.x kernel Hauptspeicher: knapp über 1024MB auf 1048 MB festlegen Oracle Universal Installer klagt sonst über zu wenig Hauptspeicher 1te Netzwerkkarte: Use bridged networking Für das Public Netzwerk 30.11.2008 TEAM - Ihr Partner für IT 12
Konfiguration der VM ergänzen löschen: falls vorhanden, Floppy Disk hinzufügen: 2te Netzwerkkarte Host-only (für Interconnect) weitere virtuelle Platten Verwendung Größe Dateiname Device Node Systemplatte 20 GB OEL5_OraDB11gR1_Lokal.vmdk SCSI 0:0 ASM Raw Platte (Daten) 3 GB OEL5_OraDB11gR1_ASM1.vmdk SCSI 1:0 ASM Raw Platte (Daten) 3 GB OEL5_OraDB11gR1_ASM2.vmdk SCSI 1:1 ASM Raw Platte 3 GB OEL5_OraDB11gR1_ASM3.vmdk SCSI 1:2 (Recovery) OCFS2 Platte 600 MB OEL5_OraDB11gR1_OCFS2.vmdk SCSI 1:3 30.11.2008 TEAM - Ihr Partner für IT 13 vmx-datei der VM manuell anpassen absolute Pfadnamen für die Shared Disks durch die relative Angabe..\share\ ersetzen Zeitaktualisierung durch VMware Tools einschalten: tools.synctime = "TRUE" Für die Shared Disk Funktion notwendig: disk.locking = "FALSE" disklib.datacachemaxsize = "0" disklib.datacachemaxreadaheadsize = "0" disklib.datacacheminreadaheadsize = "0" disklib.datacachepagesize = "0" scsi1.sharedbus = "virtual" 30.11.2008 TEAM - Ihr Partner für IT 14
Performance Ergänzungen für VMware ebenfalls in der vmx-datei: In der VMware Maschine das Memory Page Trimming deaktivieren MemTrimRate = "0" oder über: VM > Settings > Options > Advanced Memory Sharing zwischen den VM ausschalten sched.mem.pshare.enable = "FALSE" Timeout für Zugriff auf shared Virtual Disk Dateien erhöhen reslck.timeout="1200" 30.11.2008 TEAM - Ihr Partner für IT 15 Oracle Enterprise Linux 5 installieren dabei erste virtuelle Platte in 4 Volumes aufteilen logical Volume-Name Einhängepunkt Größe swap /swap 2048 MB tmp /tmp 1024 MB root / 4096 MB system /u01 13184 MB IPv6 Support deaktivieren Netzwerkadapter manuell im IPv4 Support konfigurieren 1te Netzwerkkarte (bridged): Public Netzwerk 2te Netzwerkkarte (Host-only): Interconnect 30.11.2008 TEAM - Ihr Partner für IT 16
Oracle Enterprise Linux 5 Optionen Linux Pakete Auswahl entsprechend des Oracle Clusterware Installation Guide zusätzlich Pakete zu OCFS2 und ASM komplett abgewählt werden können Anwendungen / Audio und Video Anwendungen / Grafik Anwendungen / Spiele und Zeitvertreib Deaktivieren der Optionen Firewall Security Enhanced Linux (SELinux) 30.11.2008 TEAM - Ihr Partner für IT 17 Linux Kernel Start anpassen Geschwindigkeit der Uhr in der Linux Umgebung innerhalb der VM korrigieren, dazu in /boot/grub/grub.conf an die Zeile mit kernel folgendes anhängen: clock=pit nosmp noapic nolapic Parameter clock=pit verhindert, dass die Uhr zu schnell läuft und nosmp noapic nolapic verhindert, dass sie zu langsam geht. aktivieren der Änderung durch Reboot der VM 30.11.2008 TEAM - Ihr Partner für IT 18
weitere OEL5 Konfiguration VMware Tools installieren automatische Zeitanpassung der VM besser Grafik / Maus Performance Copy & Paste zw. Wirt srechner und VM ASMLib nachinstallieren ASM Kernel Treiber werden bereits mit OEL 5 mitgeliefert / installiert mittels fdisk auf den noch unpartitionierten Platten Devices für die Shared Disks (sdb, sdc, sdd, sde) jeweils eine Partition anlegen übrige Linux Konfiguration (Kernelparameter, Gruppen, Benutzer usw.) richtet sich nach dem Oracle Clusterware Installation Guide 30.11.2008 TEAM - Ihr Partner für IT 19 2te virtuelle Machine einrichten VMware Dateien der 1ten VM in das Verzeichnis der 2ten VM (rac2) kopieren 2te VM alleine starten und Netzwerk-Konfiguration anpassen 2te VM herunterfahren uuid.action="keep" in den vmx-dateien beider VM setzen verhindert, dass beim Kopieren der virtuellen Maschinen in ein neues Verzeichnis eine neue UUID (universally unique identifier) generiert wird mit der UUID ändert sich auch die MAC Adresse der Netzwerkkarten die Netzwerkkonfiguration innerhalb des Clusters ist dann fehlerhaft beide VM gemeinsam bzw. nacheinander starten 30.11.2008 TEAM - Ihr Partner für IT 20
Clusterware und DB Software installieren zuvor SSH Äquivalenz herstellen ASM Lib konfigurieren OCFS2 konfigurieren Die Installation von Oracle Clusterware Oracle Datenbanksoftware läuft voll nach Plan, wie in Oracle Clusterware Installation Guide und Oracle Real Application Clusters Installation Guide beschrieben 30.11.2008 TEAM - Ihr Partner für IT 21 ASM und Datenbank konfigurieren Listener / SQL-Net konfigurieren ASM Instanz einrichten RAC Datenbank aufsetzen Die letzten zwei Schritte das Erstellen der Datenbank das Starten im Clustermodus dauern sehr lange (1,5 Std. und mehr)! 30.11.2008 TEAM - Ihr Partner für IT 22
Probleme Warnung beim Star beider VM, wenn in den VM ein Diskettenlaufwerk enthalten ist Fehler beim Erstellen einer ASM Disk, Ursache unklar Warnung beim Installieren der Clusterware, wenn die Zeiten der VM zu sehr auseinander laufen gelegentlich Hänger / Abbrüche der VM, nach Installation der Clusterware, durch Hartbeat auf die Votingdisk Datei 30.11.2008 TEAM - Ihr Partner für IT 23 Beratung Software Lösungen Vielen Dank für Ihre Aufmerksamkeit! Haben Sie noch Fragen? TEAM Partner für Technologie und angewandte Methoden der Informationsverarbeitung GmbH Hermann-Löns-Str. 88 33104 Paderborn Fon +49 5254 8008-0 Fax +49 5254 8008-19 Mail team@team-pb.de Web www.team-pb.de
Beratung Software Lösungen Besuchen Sie TEAM auch in der Ausstellung: Stand 324 Ebene 3 (blau) TEAM Partner für Technologie und angewandte Methoden der Informationsverarbeitung GmbH Hermann-Löns-Str. 88 33104 Paderborn Fon +49 5254 8008-0 Fax +49 5254 8008-19 Mail team@team-pb.de Web www.team-pb.de