Virtual RAC. Sebastian Solbach BU Datenbank, ORACLE Deutschland B.V. Co. KG Month 10, 2014

Transkript

1

2 Virtual RAC Sebastian Solbach BU Datenbank, ORACLE Deutschland B.V. Co. KG Month 10, 2014 Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted

3 Agenda Warum? RAC auf OVM Zertifizierung Installation / Best Practices Netzwerk / Platte Overprovisioning Diverses Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 3

4 Virtualisierung Konsolidierung Life Migration Standardisierung Unabhängigkeit Hardware Life Migration Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 4

5 Generell: VM & Datenbanken Performance: VM Layer sind schlecht bei I/O und Context Switches (Memory) MultiUser Datenbanken: Viel I/O und viel Context Switches Messungen: Keine Aussage über Konsolidierung Performance Zahlen: 1 VM pro Server Konsolidierungszahlen: Viele VMs pro Server Lifemigration unter Last nicht möglich Lizenzierung: Es zählt das Blech (Ausnahme: OVM, Solaris, AIX, HP) Keine Überwachung der DB Prozesse und anderer Ressourcen Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 5

6 Virtualisierung VM Layer Konsolidierung Server - Jeder Gast benötigt CPU & Speicher Betriebssystem - Anzahl bleibt gleich + Hypervisor HA Failover ( ) Rolling Upgrade Performance Auswirkung % Scale Up Load Balancing Innerhalb Server Isolation Flexibilität Andere Applikationen Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 6

7 Oracle Clusterware Vollwertige Clusterware Bewährteste Linux Clusterware Überwachung nicht nur von Oracle Ressourcen Rollierendes Upgrade (OS / Clusterware / Datenbank) RAC Datenbanken können auch Activ/Passiv betrieben werden Integriertes Cluster Filesystem (ACFS) Einheitliche Verwaltung (Enterprise Manager) Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 7

8 RAC vs. Virtualisierung VM Layer RAC Konsolidierung Server Betriebssystem HA Failover ( ) Rolling Upgrade Performance Auswirkung % 0 % Scale Up Load Balancing Innerhalb Server Server Übergreifend Isolation ( ) Flexibilität Andere Applikationen Nur HA Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 8

9 Oracle RAC Auch in virtuellen Umgebungen von Vorteil RAC und virtuelle Umgebungen ergänzen sich Oracle VM sorgt für den Server-Failover, RAC schützt die Datenbank Rolling Datenbank- und Betriebssystem Patching Konsolidierung von Datenbanken und anderen Anwendungen auf einem physikalischen Server Schnelle Provisionierung OVM erlaubt Sub-Capacity Lizenzierung RAC One Node Instanz OVM Application RAC One Node Instanz OVM ON-DEMAND RAC One Node Instanz Copyright 2014, Oracle and/or its affiliates. All rights reserved.

10 RAC und Virtualisierung VM Layer RAC RAC & OVM Konsolidierung Server Betriebssystem HA Failover ( ) Rolling Upgrade Performance Auswirkung % 0 % % Scale Up Load Balancing Innerhalb Server Server Übergreifend Isolation ( ) Flexibilität Andere Applikationen Nur HA Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 10

11 Oracle RAC VM Templates für OVM Schnelle automatische Installation Deploycluster Tool (nicht mit OVM 3.3) Oracle VM Templates for Oracle Database - Single Instance, Oracle Restart (SIHA) and Oracle RAC (Doc ID ) Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 11

13 Zertifizierung RAC & VM Platform Virtualization Technology Operating System Certified Oracle Single Instance Database Releases Linux x86-64 Oracle VM Oracle VM v3 11gR2 Note 12cR1 Note Oracle VM Live Migration Oracle VM v2 10gR2 Note 11gR1 Note 11gR2 Note 12cR1 Note Microsoft Windows x86-64 Microsoft Hyper-V Server Windows Server 2008 R2 11gR2 ( ) cR1 ( ) Windows Server gR2 ( ) 12cR1 ( ) Certified Oracle RAC Database Releases 11gR2 Note 12cR1 Note 10gR2 Note 11gR1 Note 11gR2 Note No Windows Server 2012 R2 12cR1 ( ) 12cR1 ( ) No Supported Virtualization and Partitioning Technologies for Oracle Database and RAC Product Releases Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 13

14 Support: RAC & VM Support Position for Oracle Products Running on VMWare Virtualized Environments (Doc ID ) For Oracle RAC, Oracle will only accept Service Requests as described in this note on Oracle RAC and later releases. Gilt letztlich für alle nicht zertifizierten VM Layer Life Migration erfordert separate Zertifizierung Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 14

16 Generelles Setup Test Für Testszwecke Auf einem Server Verwendung von Image Files Kein Switch notwendig Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 16

17 Generelles Setup Produktion Mehrere Server DB auf LUNs 2 NICs (Separate für IC) VM Type: PVM (zeritifziert) PV/HVM (ODA) Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 17

18 RAC & VM Einschränkungen Keine Dynamischen vcpu + Memory Änderungen Life Migration nicht empfohlen Gast: Maximal vcpu Anzahl = Kerne Overprovisioning: Max 2x CPU Kerne Hard Partitioning nicht empfohlen Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 18

20 Informationen & Patches RAC Starter Kits: : RAC and Oracle Clusterware Best Practices and Starter Kit Linux Solaris Windows AIX HP-UX Patches: : OPatch Utility : Oracle Recommended Patches -- Oracle Database Copyright 2014, Oracle and/or its affiliates. All rights reserved.

21 Oracle RDBMS Server Preinstall Setzt Kernel Parameter Setzt Limits Überprüft Installierte RPMs Oracle Linux Linux OS Installation with Reduced Set of Packages for Running Oracle Database Server : The Oracle Validated RPM Package for Installation Prerequisites Copyright 2014, Oracle and/or its affiliates. All rights reserved.

22 CLUVFY Erweiterungen Checken von Binary Berechtigungen Weitere Kernel Parameter und Prozesse Integriert im DBCA Baselining (HTML Report) Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 22

23 ORACHK Proaktiver Scan auf bekannte Probleme kompletter Stack Datenbank, Cluster, Enterprise Manager, EBS, ODA,... Risiko Analyse und Best Practices Schlankes Tool (ohne Call Home Funktion) Reporting über System Health Benachrichtigung, bei periodischen Scans Collection Manager (APEX Applikation) ORAchk - Health Checks for the Oracle Stack (Doc ID ) Copyright 2014, Oracle and/or its affiliates. All rights reserved.

25 Konfiguration Public LAN Public Network Cluster Interconnect Redundantes LAN im Hypervisor (Bonding in Dom0) Andere physikalische NIC als Interconnect Gast sieht nur ein Netzwerk Falls möglich: QoS Oracle VM 3: 10GbE Network Performance Tuning (PDF) pdf Copyright 2014, Oracle and/or its affiliates. All rights reserved.

26 RAC auf Vituellen Plattformen / VIP Failover VIP Failover Erkennung Anhand von Netzwerk Down Events (IFDOWN) VIP schwenkt In virtuellen Umgebungen bleibt das Netzwerk UP! Alternative: Ping (Switch / Gateway / Applikation)./runInstaller oracle_install_crs_ping_targets=host1/ip1,host2/ip Setting Ping Targets for Network Checks: Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 26

27 Konfiguration Interconnect (IC) Public Network Cluster Interconnect Zertifizierung: Redundantes LAN im Hypervisor (Bonding in Dom0) => Kein HAIP Netzwerk zwischen den RAC Knoten muss private sein (separate NIC) QoS und Jumbo Frames (Note ) Oracle RAC and Oracle Clusterware Interconnect VLAN Deployment Considerations (PDF) Copyright 2014, Oracle and/or its affiliates. All rights reserved.

28 Cluster Interconnect CSS Timeout (30 sec) Disk Timeout (200 sec) Die Oracle Clusterware hat zwei unterschiedliche Heartbeats: CSS misscount (30 Sekunden) CSS disktimeout (200 Sekunden) Metalink Note: CSS Timeout Computation in Oracle Clusterware Copyright 2014, Oracle and/or its affiliates. All rights reserved.

29 ASM Überblick Oracle Database Operating System Oracle Database ASM File System and Volume Management File System Logical Volume Manager Operating System Server Server Copyright 2014, Oracle and/or its affiliates. All rights reserved.

30 Storage Anzahl LUNs Best Practices in ASM = Anzahl LUNs = 4x Zugriffspfad Vorsicht: VM Limits von LUNs (64 107) Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 30

31 Storage Dom0 Managed Storage: SAN, iscsi Guest Managed Storage: iscsi, NFS SAN: Multipathing durch Hypervisor Phy: Device (Block Device) bevorzugt (OVM) Vorsicht: Multipathing Konfiguration muss vom Storage Vendor kommen (Dom0) => Timeout Parameter bei RAC berücksichtigen Berechtigungen in DomU Achtung: Disk Alignment Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 31

32 Storage Management + Multipath Timeouts MOS Note ASM diskgroup dismount with "Waited 15 secs for write IO to PST If possible, please check with multipath vendor if OS level timeout value can be reduced to at least 15 seconds or less. If not, then set parameter " _asm_hbeatiowait" from 15 to XX secs at ASM level for this kind of issue. select b.ksppstvl value from sys.x$ksppi a, sys.x$ksppcv b where a.indx = b.indx and a.ksppinm = '_asm_hbeatiowait'; Copyright 2014, Oracle and/or its affiliates. All rights reserved. 32

33 ASM Filter Driver: Noch nicht getestet... Ersetzt ASMLIB Device Persistenz Open Handle Sharing Storage Sicherheit Thin Provisioning Support Nicht nur Linux Administering Oracle ASM Filter Driver: Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 33

34 ASM Filter Driver: Feature/Platform Support Matrix Linux Solaris AIX Windows Permissions persistence & sharing open handles YES YES YES YES Storage protection YES YES YES YES Data Integrity YES FUTURE FUTURE FUTURE Thin Provisioning support YES FUTURE FUTURE FUTURE Copyright 2014, Oracle and/or its affiliates. All rights reserved.

36 Overprovisioning 3 Möglichkeiten Overprovisioning: Hyperthreading Hypervisor CPU_COUNT RAC auf OVM: Max 2x CPU Anzahl Persönliche Emfpehlung: Hypervisor macht Overprovisioning In Datenbanken CPU_COUNT Hyperthreading ausschalten Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 36

37 Hugepages HugePages on Linux: What It Is... and What It Is Not... (Doc ID ) Shell Script to Calculate Values Recommended Linux HugePages / HugeTLB Configuration (Doc ID ) Keine Transparent HugePages (Linux6) Alert in MOS note Unter OVM 3.3. können im Moment VMs mit Hugepages nicht gemischt werden mit VMs ohne Hugepages. PVM Hugepages: UEK How to Enable HugePages for a Para-Virtualized Machine ( PVM ) on Oracle VM 3.2 (Doc ID ) Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 37

39 NTP Generell im Gast aktivieren. xen.independent_wallclock=1 gibt es bei neueren Kernels nicht mehr Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 39

40 VM HA Aktivieren erlaubt, wenn Produktive Cluster die einzelnen RAC VMs nicht auf einen Server legen können. Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 40

41 Extended Distance Clusters Nicht von OVM Unterstützt Serverpool muss innerhalb eines Rechenzentrums sein Nicht Rechenzentren übergreifend OCFS2 Filesystem (Poolfilesystem / Heartbeat Filesystem) kann nicht Stretched sein Innerhalb der Gäste ist ein Stretched Cluster möglich. Vorsicht: Timings Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 41

42 Extended Distance Cluster Automatic Storage Management DISKGROUPS ON BOTH NODES DISMOUNTED WITH BROKEN STORAGE LINK ON RAC Keep _asm_storagemaysplit =TRUE in all ASM instances of a cluster. MOS Note Normal Redundancy : Storage split caused crash of ASM diskgroup Copyright 2014, Oracle and/or its affiliates. All rights reserved. Oracle Confidential Internal/Restricted/Highly Restricted 42

43 Client Cluster Ein voll Funktionsfähiger Cluster ohne ASM Instanz Verbindung zu ASM - Storage Server für Voting files, OCR Besonders geeignet: Virtuelle Installationen Generischer Client Clusters DB A DB A DB A DB A DB A ASM ASM ASM Node1 Node2 Oracle Clusterware Oracle ASM Node3 GNS Node4 DB B DB B DB B DB B DB A Oracle Grid Infrastructure Storage Server Node1 Node2 Node3 Node4 Flex ASM managed shared storage Client Cluster Copyright 2014, Oracle and/or its affiliates. All rights reserved.

45