Exadata und OVM: Dos & Don ts. Präsentiert von Jessica Steger und Stefan Seck

Transkript

1 Exadata und OVM: Dos & Don ts Präsentiert von Jessica Steger und Stefan Seck

2 Logicalis Deutschland Niederlassungen in Berlin, Düsseldorf, Frankfurt, Köln, München & Stuttgart Über 330 Mitarbeiter Über 930 Kunden aus allen Branchen ISO Zertifizierung 2

3 Partnerschaft Logicalis & Oracle Seit über 20 Jahren Oracle Partner Umsatzstärkster Partner bei Oracle in Deutschland Zertifizierter Oracle Exadata und ZDLRA Installation & Configuration Partner Exadata-Testmaschine für Exadata und ZDLRA POCs, auch im Kunden-RZ möglich Eigene Cloud-Credits für Oracle IaaS & PaaS POCs Managed Services Provider für Oracle Database & Oracle Engineered Systems sowie Oracle IaaS und PaaS Cloud-Umgebungen Lizenzberatung durch unser zertifiziertes LMS Team 3

4 Agenda 1. Exadata & OVM: Grundlagen 2. OVM & Exadata aus der Praxis 4

5 Exadata & OVM Grundlagen

6 Architektur

7 Gründe für den Einsatz von OVM Kosteneinsparung lizenzrechtlich anerkannte Virtualisierungs-Lösung, welche Segmentierung der CPU-Lizensierung einer physikalischen Maschine ermöglicht Datenbank-Lizenzen der einzelnen VMs, welche auf den Exadata DB-Servern laufen, werden als Trusted Partition entsprechend der von ihnen verwendeten CPUs lizensiert Compliance / Isolierung bei gleichzeitiger Konsolidierung über Instance-Caging werden CPU-Ressourcen der Datenbanken getrennt. Alleinstellungsmerkmal von Exadata: Separierung von I/O-Zugriffe über Ressourcemanager Trennung Oracle DB-Homes durch separate Filesysteme Trennung ASM-Bereiche durch mehrere Diskgruppen & DB-scoped Security geht ohne OVM Betrieb mehrerer ASM Cluster durch ASM-scoped Security => ab Exadata HR ohne OVM möglich Trennung Betriebssysteme => nur mit OVM 7

8 Pro & Contra Pro Trennung genutzter DB-Optionen Minimierung der Abhängigkeiten konsolidierter Datenbanken durch Trennung von: Betriebssystem DB-Home-Software und deren Filesysteme System-Ressourcen Contra Höherer Komplexitätsgrad Zusätzliche Virtualisierungs-Schicht mit Overhead 1 Core (2 vcpus) pro domu / VM 2 Cores für dom0 für OS der VM zugewiesenen CPU-, RAM- und Storage- Ressourcen nicht durch andere VMs nutzbar (mit CPU-Pinning) Keine Live Migration Kein Loadbalancing Mehr Systeme zu Patchen und verwalten, z.b. pro domu / VM ein Exacheck Geringe Installed Base < 5 % der On-Prem Exas => Support Tickets brauchen länger

9 VM Sizing einer Exadata Max. 8 VMs pro Database-Server Memory kann offline, CPUs online angepasst werden dom0 benötigt 8 GB RAM, 2 Cores (4 vcpus) domus min. 16 GB RAM, max 720 GB RAM pro VM und min. 1 Core (2 vcpus) => S 16 GB 2 Cores / 4 vcpus M 32 GB 4 Cores / 8 vcpus L 64 GB 8 Cores / 16 vcpus Dom0 Filesystem: [root@exa01dbadm01 ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/vgexadb-lvdbsys3 30G 15G 14G 51% / tmpfs 7.6G 4.0K 7.6G 1% /dev/shm /dev/sda1 488M 68M 385M 15% /boot /dev/mapper/vgexadb-lvdbexavmimages 1.6T 131G 1.5T 9% /EXAVMIMAGES none 3.8G 112K 3.8G 1% /var/lib/xenstored 9

10 dom0 Files für domus EXAVMIMAGES]# ls -l drwxr-xr-x 2 root root 3896 Apr 26 13:00 conf -rw-r root root Apr 26 12:43 db-klone-linux-x iso -rw-r root root 85 Apr 26 12:43 db-klone-linux-x md5 -rw-r--r-- 1 root root Apr 26 11:32 db-klone-linux-x zip -rw-r root root Apr 26 12:41 grid-klone-linux-x iso -rw-r root root 87 Apr 26 12:41 grid-klone-linux-x md5 -rw-r--r-- 1 root root Apr 26 11:33 grid-klone-linux-x zip drwxr root root 3896 Apr 26 13:03 GuestImages drwxr-xr-x 3 root root 3896 Apr 29 22:35 onecommand -rw-r root root Apr 26 10:31 System.first.boot img -rwxr-xr-x 1 root root May System.first.boot img [root@exa01dbadm01 EXAVMIMAGES]# ls GuestImages/ exa01adm01vm01.ifc.demo [root@exa01dbadm01 EXAVMIdemo-vmMAGES]# ls conf/ exa01adm01vm01.ifc.demo-vm.xml 10

11 Lokaler Plattenplatz pro VM Pro domu jeweils: 70 GB als root-filesystem pro Grid-Home 50 GB (OCFS2 Reflink) pro DB-Home 50 GB (OCFS2 Reflink) /u01 mit 20, 40 oder 60 GB; je nach VM-Shape, enthält diagnostic_dest DB-Homes werden in weiteren Filesystem darunter installiert ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/vgexadb-lvdbsys1 24G 4.9G 18G 22% / tmpfs 16G 468M 15G 4% /dev/shm /dev/xvda1 488M 32M 431M 7% /boot /dev/mapper/vgexadb-lvdbora1 20G 3.9G 15G 21% /u01 /dev/xvdb 50G 11G 37G 23% /u01/app/ /grid /dev/xvdc 50G 6.0G 41G 13% /u01/app/oracle/product/ /dbhome_1 11

12 Image-Files der domus exa01adm01vm01.ifc.demo]# ls -l -rw-r root root May 16 07:45 db img -rw-r root root 2486 Apr 26 13:03 exa01adm01vm01.ifc.demo.cell.3162e1c e8b52e9c239b0b0baa.conf -rw-r root root 4210 Apr 26 13:03 exa01adm01vm01.ifc.demo.virtualmachine.3162e1c e8b52e9c239b0b0baa.conf -rw-r root root May 16 09:23 grid img -rw-r root root May 16 09:23 pv1_vgexadb.img <= für / und /u01 -rwxr root root May 16 09:23 System.img <= /dev/xvda für /boot, bios-grub -rw-r root root 2286 Apr 26 13:05 vm.cfg 12

13 Reflinks und Sparse Files VM01: exa01adm01vm01.ifc.demo] # du -hc --apparent-size *.img 50G db img 50G grid img 62G pv1_vgexadb.img 25G System.img 187G total [root@exa01dbadm01 exa01adm01vm01.ifc.demo] # du -hc *.img 7.0G db img 14G grid img 8.6G pv1_vgexadb.img 25G System.img 54G total VM02: [root@exa01dbadm01 exa01adm01vm02.ifc.demo] # du -hc --apparent-size *.img 50G db img 50G grid img 62G pv1_vgexadb.img 25G System.img 187G total [root@exa01dbadm01 exa01adm01vm02.ifc.demo] # du -hc *.img 7.0G db img 16G grid img 8.7G pv1_vgexadb.img 9.9G System.img 42G total 13

14 Anbindung VMs über VLANs MOS: Implementing Tagged VLAN Interfaces in Oracle VM Environments on Exadata (Doc ID ) 14

15 oedacli oedacli um Konfiguration im /EXAVMIMAGES/onecommand/Logicalis-exa01.xml zu ändern : add + remove node from virtual cluster add + remove database home from physical cluster add + remove Storage cell resize ASM disk groups add + remove Databases add + remove database homes to a virtual cluster Infos und Beispiele im Exadata Installation and Configuration Guide Kapitel 3.4 OEDA Command Line Interface /EXAVMIMAGES/onecommand/linux-x64/oedacli oedacli> LOAD FILE NAME= /EXAVMIMAGES/onecommand/Logicalis-exa01.xml 15

16 Cluster-Knoten hinzufügen mit oedacli 1. LOAD FILE NAME= /EXAVMIMAGES/onecommand/Logicalis-exa01.xml 2. clone guest srcname=exa01adm01vm01.ifc.demo set parent name='exa01dbadm01.ifc.demo' set adminnet name='exa01adm03vm01.ifc.demo',ip=' ' set clientnet name='exa0103vm01.ifc.demo',ip=' ' set privnet name1='exa01db03vm01-priv1',ip1=' ', name2='exa01db03vm01-priv2',ip2=' ' set vipnet name='exa0103vm01-vip.ifc.demo',ip=' ' 3. SAVE ACTION 4. MERGE ACTIONS FORCE 5. DEPLOY ACTIONS 6. SAVE FILE Probleme bei falscher Konfiguration: /etc/hosts oracle User ssh-zugriff, Passwörter Belegte IPs 16

17 Dokumentationen OVM auf Exadata Best Practices: Maintenance Guide: Managing Oracle VM Domains on Oracle Exadata Database Machine Backing Up Management Domains (dom0) and User Domains (domu) Security Guide: ASM scoped Security & DB scoped Security Performance slower in Oracle VM when compared with Baremetal (Doc ID ) für Cluster_Databases=TRUE; gefixt ab OVM

18 OVM auf Exadata aus der Praxis

19 Überlegungen vor OEDA Filesystem Aufteilung => VM-Größen ASM Storage Aufteilung 80 % / 20 % mehrere Cluster VLANs & LACP 19

20 OEDA: VLANs 20

21 OEDA: VM Größen CPUs und Memory auch nachträglich skalierbar /u01 Filesystem der VM durch oeda VM-Größe festgelegt! 20 GB Small, 40 GB Medium, 60 GB Large DB-Homes werden in anderem Filesystem darunter installiert => Default Filesystem Größe 50 GB Planung VMs mit mehreren DB-Homes nicht mit 8 VMs möglich, wenn nur 4x 600 GB local Disks, da 1,6 TB Platz für domus 8 VMs mit mindestens je 190 GB bei Größe Small GB notwendiger Plattenplatz von 1,6 TB in /EXAVMIMAGES Mit X8-2 wegen 4x 1,2 TB Disks mehr Platz verfügbar 21

22 OEDA: mehrere Cluster 1 22

23 OEDA: mehrere Cluster 2 23

24 Installationsschritte für OVM 1. /opt/oracle.supporttools/switch_to_ovm.sh auf jedem DB-Node 2. /opt/oracle.supporttools/reclaimdisks.sh auf jedem DB-Node 3. Anlegen des Verzeichnisses /EXAVMIMAGES und Ablage der OEDA Files im Verzeichnis 4. /EXAVMIMAGES/onecommand/linux-x64/install.sh 1. Validate Configuration File 2. Create Virtual Machine 3. Create Users 4. Setup Cell Connectivity 5. Calibrate Cells 6. Create Cell Disks 7. Create Grid Disks 8. Install Cluster Software 9. Initialize Cluster Software 10. Install Database Software 11. Relink Database with RDS 12. Create ASM Diskgroups 13. Create Databases 14. Apply Security Fixes 15. Install Exachk 16. Create Installation Summary 17. Resecure Machine Bemerkung: /opt/oracle.supporttools/switch_to_nonovm.sh auf jedem DB-Node Vor dem Deploy sollte der Computenode stromlos gemacht werden 24

25 Installations-Schritt 2: Problem mit Netz-Konfig Im Schritt 2: Start network discovery in DOM0 to check and to create bridges for DOMU => Fehler: More than two single interfaces are found in DOM0 that match criteria. Single interfaces; IP; Netmask, Gateway: ; ; ; Warum? Netzwerk-Dateien ifcfg-eth1, ifcfg-eth2, ifcfg-bondeth0, ifcfg-vmbondeth0 fehlen => Skript /opt/exadata_ovm/exadata.img.domu_maker findet Konfig nicht => obiger Fehler Lösung: Files selbst anlegen, dann Bridge erzeugen: /opt/exadata_ovm/exadata.img.domu_maker add-bonded-bridge-dom0 vmbondeth0 eth1 eth2 25

26 VM Anlage linux-x64]#./install.sh -cf../logicalis-exa01.xml -s 2 Initializing Executing Create Virtual Machine Creating guests for cluster ifc-cluster01 Checking status of remote files... Checking status of existing files on remote nodes... Getting status of local files... Creating guest using /EXAVMIMAGES/conf/final-exa01adm01vm01.ifc.demo-vm.xml on node exa01dbadm01.ifc.demo Creating guest using /EXAVMIMAGES/conf/final-exa01adm02vm01.ifc.demo-vm.xml on node exa01dbadm02.ifc.demo Nach Installation: [root@exa01dbadm01 log]# xm list Name ID Mem VCPUs State Time(s) Domain r exa01adm01vm01.ifc.demo b

27 VMs Administrieren Managing Oracle VM Domains on Oracle Exadata Database Machine VM anlegen /opt/exadata_ovm/exadata.img.domu_maker start-domain /EXAVMIMAGES/conf /final-test08adm01vm01.example.com-vm.xml VM löschen /opt/exadata_ovm/exadata.img.domu_maker remove-domain /EXAVMIMAGES/conf /final-test08adm01vm01.example.com-vm.xml VMs stoppen und starten # xm shutdown <user domain name> # xm create /EXAVMIMAGES/GuestImages/<user domain name>/vm.cfg Autostart der domu abstellen Softlink unter /etc/xen/auto entfernen: rm /etc/xen/auto/domainname.cfg lrwxrwxrwx exa01adm01vm01.ifc.demo.cfg ->/OVS/Repositories/3162e1c e8b52e9c239b0b0baa/vm.cfg 27

28 xm top xentop - 20:44:32 Xen 4.4.4OVM 3 domains: 2 running, 1 blocked, 0 paused, 0 crashed, 0 dying, 0 shutdown Mem: k total, k used, k free CPUs: 2294MHz NAME STATE CPU(sec) CPU(%) MEM(k) MEM(%) MAXMEM(k) MAXMEM(%) VCPUS Domain r exa01adm r exa01adm01 --b xm list Name ID Mem VCPUs State Time(s) Domain r exa01adm01vm01.ifc.demo r exa01adm01vm02.ifc.demo r

29 ASM Größen bei einem Cluster 1. VM ~]$ asmcmd -p ASMCMD [+] > lsdg State Type Rebal Sector Logical_Sector AU Total_MB Free_MB Usable_file_MB Voting_files Name MOUNTED NORMAL N Y DATAC1/ MOUNTED NORMAL N N RECOC1/ 2. VM : [oracle@exa01adm01vm02 grid]$ asmcmd -p ASMCMD [+] > lsdg State Type Rebal Sector Logical_Sector AU Total_MB Free_MB Usable_file_MB Voting_files Name MOUNTED HIGH N Y DATAC2/ MOUNTED NORMAL N N RECOC2/ 29

30 Exacheck einer virtualisierten Exadata 1. Run Oracle EXAchk in the first user domain (domu) for the first cluster. 2. Run Oracle EXAchk in the first user domain (domu) for the second cluster. 3. Run Oracle EXAchk in the first management domain (dom0). /opt/oracle.supporttools/exachk/exachk Ressource-Check domu dom0 DB-Home, DB-Patches, DB-Config, DB-Parameter, DB-Objects ü û Grid-Home, Grid-Patches, ASM-Config, Cluster, Vote, SCAN ü û OS, Filesystem, IP-Settings, Kernel, Memory, Logical Volumes ü û Exadata SW Versionen, Platinum Service, ASR ü û ILOM, Exadata HW (Controller, LAN-Ports), Mgmt Net, DNS, NTP û ü Infiniband-Config, Cell-Server-Config, Image-Info Cells û ü 30

31 CPU: DOs Pin vcpu einer domu an pcpu, da debugging bei Crash einer VM leichter xm vcpu-pin <Dom> <VCPU> <PCPU> ~]# xm vcpu-list Name ID VCPU CPU State Time(s) CPU Affinity Domain b any cpu Domain r any cpu Domain b any cpu Domain b any cpu exa01adm01vm01.ifc.demo b exa01adm01vm01.ifc.demo b exa01adm01vm01.ifc.demo b exa01adm01vm01.ifc.demo b Crash-Analyse: dom0 /crashfiles/ und bei Crash einer VM /var/log/xend.log domu /u01/crashfiles/ 31

32 Filesysteme: Don ts keine Oracle-Homes (DB & GI) von Hand in VM installieren, da /u01 zu klein 32

33 Deploy New Oracle_Home 33

34 Deploy New Oracle_Home 34

35 Passwörter oedacli erwartet bestimmte Passwörter: - root - non-root non-root: oracle,grid und sys Passwörter OEDA Deployment - Generating new or non-default hash password for root and non-root users (Doc ID ) Für OEDACLI ändern mit:./genpasswordhash.sh [-root -non-root -all] Auf Exadata ändern mit:./changepassword.sh -cf../logicalis-exa01.xml -username oracle oedacli-error: Setting up ssh for users in cluster ifc-cluster01 ERROR: Auth fail ERROR: Err Create Step CREATE_USERS exception : Errors occured... 35

36 Fazit OVM sollte nur genutzt werden, wenn zwingend notwendig Konfiguration über OEDA und oedacli anfällig, Debugging ist schwierig Support benötigt länger 36

37 Vielen Dank! Kontakt: Jessica Steger Solution Architect Mobil: Stefan Seck Senior Solution Engineer Mobil: