Ist das Einfach? Apple Inc.

Sebastian Solbach

Oracle Database Appliance Einfach schnelle Installation, einfache Verwaltung und Support verfügbar seit September 2011 Komplettsystem Hard + Software voll integriert, aufeinander optimiert Hochverfügbare Datenbanklösung für selbstentwickelte und Standard OLTP- und DW-Anwendungen 2011 Oracle Corporation

Agenda Oracle Database Appliance Hardware Erste Installations-Erfahrungen Konfiguration & Setup Oracle 11gR2 Diverses

Chassis Vorderseite Rückseite 4 U (Höheneinheiten) 2 Knoten mit je 2 Sockel (mit je 6 Kernen) 2 internen Platten Storage 24 Platten im JBOD vor den Servern 20x 600GB 15K RPM SAS 4x 73GB STEC GEN3 SSD Alles redundant: Stromversorgungen, Lüfter, Netzwerk

1 Server Knoten Weiterentwicklung Sun Fire X4170/X4270 M2 2 x Intel Xeon Processor X5675 (6C, 3.06 GHz, 95W) Davon 2 bis 12 Kernen pro Knoten auf Bedarf aktivierbar 12 x 8 GB DDR3-1333 DIMMs (6 pro Sockel) = 96 GB Memory Mainboard intern: 1 PCI Express SAS Host Bus Adapter (HBA) von LSI 2x 1GbE interne Netzverbindung (Interconnect) 2x 1GbE Netzwerkports 2 externe und 1 internen USB Anschluss 3 PCI Express Steckplätze Slot 2: Zweiter SAS HBA, Slot 1: 1GbE Netzwerkkarte (Intel quad port Northstar) Slot 0: 10GbE Netzwerkkarte (Intel dual port Niantic) Service Prozessor (Serial, Netzwerk, VGA) OS Boot Disk Internal HBA Internal USB

Netzwerk Bonding

SAS Anbindung

Agenda Hardware Erste Installations-Erfahrungen Konfiguration & Setup Oracle 11gR2 Diverses

ODA Installations Überblick Build System Image Firmware Install OS Connect System to Network & Power ON Download SW from MOS Provide Basic info to Configurator Deploy Grid, DB with best Practices Initiate HealthCheck Fully Configured Database

Vorbereitung My Oracle Support Notes: 1417713.2: Information Center: Oracle Database Appliance 1373617.1: End User Deployment 888888.1: Supported Versions ODA Setup Poster: http://docs.oracle.com/cd/e22693_01/doc.21/e35554.pdf Umgebungsinformationen: DNS Server vorhanden? Ja: Hostnamen, Virtuelle Hostnamen und SCAN (2 IP Adressen Round-Robin) in den DNS Server eintragen Nein: Benutzerdefinierte Installation im ODA Konfiguratior verwenden Appliance Manager (Offline Konfiguration) vorher ausführen: Download und Installation von OTN (Windows, Linux, OSX) http://www.oracle.com/technetwork/server-storage/engineered-systems/database-appliance/index.html Konfigurator im zukünftigen ODA Netz ausführen zum Check der Netzwerkkonfiguration Konfigurationsfile abspeichern

Erste Schritte ODA Software auf My Oracle Support Datenbank und Clusterware https://updates.oracle.com/download/12978712.html Suchen des aktuellen ODA Patch Bundles (2.3.0.0.0) Anschalten der ODA: Leiser als erwartet Login auf Knoten 0 USB Keyboard, Mouse + Monitor Sobald ILOM konfiguriert auch via. ILOM (DHCP is default, root / changeme) User: root Password: welcome1 Verwendung von loadkeys für nicht US Tastatur Layouts

Software Installation Vorbereitung Netzwerk Konfiguration # cd /opt/oracle/oak/bin #./oakcli configure firstnet Select the interface to configure network on [bond0 bond1 bond2 xbond0]:bond0 Configure DHCP on bond0?(yes/no):no INFO: Static configuration selected Enter the IP address to configure:192.168.0.1 Enter the netmask address to configure:255.255.252.0 Enter the gateway address to configure:192.168.0.0 Plumbing the IPs now Restarting the network ::::::::::::::::: Kopieren der Software mit sftp Entpacken der Software: # cd /opt/oracle/oak/bin #./oakcli unpack -package /tmp/p12978712_21030_linux-x86-64.zip

Patching (beiden Knoten) & Konfiguration Kopieren des Patches mit sftp auf beide Knoten (scp auf den 2.) Entpacken und Installation des Patches (README beachten) # cd /opt/oracle/oak/bin #./oakcli unpack -package /tmp/p13982331_23000_linux-x86-64.zip #./oakcli update -patch 2.3.0.0.0 Optional: Konfigurationsfile # cd /opt/oracle/oak/bin #./oakcli copy -conf /tmp/testconf.file Daraus wird /opt/oracle/oak/onecmd/onecommand.params erstellt.

Pay-As-You-Grow Keine Aktion bei Verwendung aller CPUs Zum Anpassen des CPU Core Counts: MyOracleSupport Angabe der Serverkonfiguration Erhalt eines Lizenzschlüssels Lizenzeschlüssel mit oakcli anwenden (System startet durch) # /opt/oracle/oak/bin/oakcli apply core_configuration_key /tmp/myfile.txt Wichtig: Einmal für Sub-capacity aktiviert, kann der CPU Count nur noch erhöht werden

End User Installation Login auf Knoten 0 (als root) Start X Window System startx setxkbmap de (für Deutsche Tastatur) Installation Starten # cd /opt/oracle/oak/bin #./oakcli deploy Welcome Page <NEXT> Optional: <BROWSE> um das onecommand.param file zu laden Überprüfen der Konfiguration Auf der Summary Page <INSTALL>

ODA Reality Check Plug in the power Yes Plug in the network Yes Wizard-driven install Yes* * Plus some CLI commands The RAC Installation could be done with minor RAC & Clusterware knowledge

Fallstricke Keine Großbuchstaben im Hostnamen RAC One Node Deployment steigt bei Schritt 21 aus Default Passwort nicht vor Ende der Installation ändern

CPU Kerne auf Bedarf nutzen CPU Kerne: 4, 8, 12, 16, 20 oder 24 Kerne werden immer gleich auf beiden Knoten aktiviert Immer paarweise pro Socket (Memory Zugriff) ODA Knoten bei Auslieferung: Alle 12 Kerne aktiviert Zur Konfiguration von SubCapacity Konfiguration bei MyOracleSupport angeben Lizenzschlüssel herunterladens OAKCLI aufrufen (Auswirkung auf das BIOS) => Knoten Reboot Wurden Kerne deaktiviert, ist danach nur noch eine Erhöhung möglich Richtige Lizenzierung liegt in der Verantwortung des Kunden

MOS UI: Core Configuration Key Nur Administratoren der (ODA)-CSI können einen Lizenzschlüssel erzeugen Support Identifier der ODA im MOS Profil enthalten Angabe der # der Kerne pro Server Asset Privilege für normale MOS Benutzer für den Zugriff auf den Schlüssel Copy & Paste des Schlüssels in eine Datei auf die Knoten Kunde hat jederzeit Zugriff auf die vorangegangenen Schlüssel MOS erlaubt nur einen Neuerzeugung des Schlüssels mit einer höheren Kern Anzahl Oracle Store auditiert die Schlüssel Erzeugung

MOS Asset Page: Schlüsselmanagement

Schlüsselmanagement

Generierung des Schlüssels

Copy-n-Paste

Beispiel

Verifizierung # cd /opt/oracle/oak/bin #./oakcli show core_config_key Optional core_config_key is not applied on this machine yet! #./oakcli show core_config_key Host's serialnumber = 1132FMW003 Configured Cores = 20 # cat /proc/cpuinfo grep -i processor wc l 10 Vorsicht: Falls Hyperthreading aktiviert...

Details für die Konfiguration Cluster Namen Region, Zeitzone, Domäne DNS Server Client Access Public Network Hostnamen, IP Adressen und Netzmaske Virtuelle IP Namen, IP Adressen (Default -vip) Scan Namen (Default: -scan) und 2 IP Adressen Datenbank Typ, Namen, Klasse und Sprache/Character Set NTP Server ILOM Netzwerk Informationen ACFS? Backup? ASR Proxy und MOS Username/Passwort

Oracle Appliance Manager Defaults Private ip address: 192.168.16.24, 192.168.16.25 und 192.168.17.24, 192.168.17.25 NIC names eth0, eth1, bond0, bond1, bond2, xbond0 Grid user grid, oracle user oracle Grid home - /u01/app/11.2.0/grid, Grid base - /u01/app/grid Oracle home - /u01/app/oracle/product/11.2.0/dbhome_1, Oracle base - /u01/app/oracle Inventory location - /u01/app/orainventory Scan port number 1521 Diskgroup name - +DATA, +RECO, +REDO Data disk name - HDD_Ex_Sxx_<wwid>p1 (S00-S19) Reco disk name HDD_Ex_Sxx_<wwid>p2 (S00-S19) Redo disk name SSD_Ex_Sxx_<wwid>p1 (S20-S23) Oracle GI & RDBMS version: Aktuell 11.2.0.2 + PSU 5 (Initial PSU 3) OL 5.5

OAKCLI Command line interface der ODA Immer als ROOT ausführen Aufrufe werden protokolliert: /opt/oracle/oak/log/<hostname>/client/oakcli.log oakcli Usage: oakcli <command> <object> [<options>] commands: show locate apply deploy update validate manage unpack copy configure objects : disk diskgroup expander controller storage core_config_key version firstnet For complete usage, use: oakcli h For detailed help on each command and object and its options use: oakcli <command> -h oakcli <command> <object> -h MOS 1417879.1: Oracle Database Appliance: oakcli command reference

OAKCLI oakcli locate oakcli apply oakcli deploy oakcli update oakcli validate oakcli manage oakcli unpack oakcli configure oakcli copy - locates a disk - applies the core_config_key - deploys the Database Appliance - updates the Database Appliance - validates the Database Appliance - manages the oak repository, diagcollect e.t.c - unpack the given package to oak repository - configures the network - copies the deployment config file oakcli show h Usage: oakcli show {disk diskgroup expander controller storage core_config_key version} [<options>] where: disk - About the disk diskgroup - ASM disk group expander - Expander controller - Controller storage - All storage components version - Running software version core_config_key - Core configuration

OAM Konfiguration Typical Custom Erlaubt Einstellungen für ntp, bond1, bond2, xbond1, ilom, asr und ACFS Laden einer Vorkonfiguration (onecommand.params Datei unter /opt/oracle/oak/onecmd)

OAM Database Info Setup the customized Database Name Select the Database Class type

Datenbank Größen Very Small Small Medium Large Very Large CPU 1 2 4 6 12 SGA (MB) PGA (MB) 4096 8192 2048 4096 8192 16384 4096 8192 16384 24576 8192 12228 24576 49152 12228 24576 49152 24576 Log buffer (MB) 16 16 32 64 64 Processes 200 400 800 1200 2400 Redo Log (GB) 1 1 2 4 4 DB Größe (GB) 136 273 546 819 1638

OAM Network Validation

OAM Custom type Generic Network For No DNS Server: OAK 2.1.0.2.0 Patch 13565278

OAM Save the parameter file One Button Install

OAM Click Install, deploy starts

Falls etwas falsch war: Neustart Cleanup: /opt/oracle/oak/onecmd/cleanupdeploy.pl Alles wird zurückgesetzt: Deinstallation Datenbank/Clusterware ASM Netzwerkkonfigration Danach: oakcli configure firstnet

Patching Alle Patches in einem Bundle (Appliance Manager, Datenbank, Betriebssystem, BIOS) Prüft Firmware, Kernel, OAK, HMP, ASR rpms Validiert GI/RDBMS Bundle Patches Ein Befehl, kein weitere Interaktion # /opt/oracle/oak/bin/oakcli update -patch 2.3.0.0.0 Vierteljährlich Nicht Rolling (geplant für die Zukunft)

Example Patch 2.1.0.1.0

One Off Patches? Nicht empfohlen: Aber möglich. Sollte in Absprache mit dem Support geschehen. Auswirkungen: One-Off ist nicht unbedingt kompatibel One-offs normalerweise nicht supported: Dringend testen Zukünftige Patches können den One-Off überschreiben Besser jedoch: Deinstall des One-Offs vor Patch Bundle Support empfiehlt normalerweise das One Command Patch Bundle Keine Empfehlung! Für One-Off Patches auf der ODA

Oracle Datenbanken auf ODA Oracle 11gR2 Enterprise Edition Single Instance RAC One Node RAC Oracle Grid Infrastructure 11g Release 2 (11.2.0.2) Oracle Clusterware Oracle Automatic Storage Management

Wahl zwischen 3 Verfügbarkeitsstufen Single Instance Gute Verfügbarkeit Oracle Database 11g Enterprise Edition Kein Failover, automatischer Neustart Aktiv Passiv Bessere Verfügbarkeit Oracle Database 11g Enterprise Edition Oracle Real Application Clusters One Node Beiderseitiges Failover möglich Aktiv Aktiv Beste Verfügbarkeit Oracle Database 11g Enterprise Edition Oracle Real Application Clusters Beiderseitiges Failover und Lastverteilung Kunden können auf der Oracle DB Appliance Single Instance Datenbanken ODER RAC One Node ODER RAC Clusterdatenbanken betreiben 2011 Oracle Corporation

Oracle 11gR2 Datenbank Optionen Oracle Active Data Guard Partitioning Real Application Testing Advanced Compression Total Recall Advanced Security Label Security Database Vault Audit Vault OLAP Data Mining GoldenGate Spatial

Weitere Datenbanken: DBCA/oakcli # oakcli create h Usage: oakcli create {database dbhome db_config_params } [<options>] Where: database - creates the database dbhome - creates the database home db_config_params - creates the database config parameter file. # oakcli create dbhome -version 11.2.0.3.3 # oakcli create database -db newdb -version 11.2.0.3.3 -params newconf # oakcli create database -db newdb oh OraDb11203_home2tiger MOS 1485846.1 ODA (Oracle Database Appliance): HowTo Create additional database post deploy MOS 1362116.1 How to Convert Single-Instance database to RAC on Oracle Database Appliance Using Rconfig Utility

Backup RMAN, Oracle Secure Backup Whitepaper: Backup and Recovery Strategies for the Oracle Database Appliance

Whitelist für Agenten Company Backup Application Version RMAN Client Media Server OS Symantec Netbackup 7.1 7.1 Client OEL 5.7 CommVault Simpana 9 SP3 ida for Oracle Databases - Linux EMC Networker 7.6.2 "SP2" Networker Module for Databases and Application (NMDA) V1.1 IBM MOS 1415713.1: Oracle Database Appliance ( ODA ) Software Agents and Multiple Oracle Homes support (Doc ID 1415713.1) Tivoli Storage Manager New 6.3 Data Protection for Oracle 6.3 OEL 5.7 Beginning immediately software release, all Oracle or 3rd-party software agents, including management, monitoring, and authorization agents, will be supported on ODA OEL 5.7 We will no longer maintain a white list of agents that will be supported Customers may load any software agent, or write and deploy their own agents OEL 5.7 Oracle will provide patches for Oracle software and Linux libraries. Agents that ship as part of the Oracle Linux distribution will be automatically patched as part of our appliance patching process HP Data Protector A.06.20 A.06.20 Client OEL 5.5

4 Backup Strategien Back up auf FRA (Fast Recovery Area) auf Platte Back up auf ein NAS filesystem (NFS) Back up auf Band Replikation mit Data Guard (Disaster Recovery)

ODA Backup Sizing Da alle Diskgruppen High Redundancy verwenden, stehen nur 4TB (der 12 TB RAW) zur Verfügung. Sollte ACFS verwendet werden, geht das auch zu Lasten der Daten! Diskgruppe Mehr Plattenplatz? FRA Backup Read/Write!Tablespaces dürfen auf NFS (dnfs, iscsi) liegen Advanced Compression Option NFS Backup DATA 1,6 TB 3,2 TB FRA 2,4 TB 0,8 TB REDO 97,3 GB 97,3GB

Diverses Mehrere Datenbank Instanzen sind möglich Mehrere Datenbank Homes möglich ODA ist ein reiner Datenbank Server Andere Applikationen sind (nicht) empfohlen Agenten sind erlaubt: All Oracle or 3rd-party software agents, including management, monitoring, and authorization agents, are now supported ASM Setup kann nicht geändert werden ASR (Automatic Service Request) ist Optional

Diverses Auch bei Sub Capacity Lizenzierung immer Zugriff auf Alle Platten Kompletter Speicher Alle Netzwerk Interfaces Keine Änderung der Hardware Konfiguration Kein Infiniband, FC Erweiterung, SAS Erweiterung, Memory Upgrade 192.168.16.0 & 192.168.17.0 Netze sind intern verwendet 10GbE geht nicht Out of the Box (Kabel fehlen) http://blogs.oracle.com/estep/entry/oda_what_is_needed_for

MOS Notes Oracle Database Appliance - 2.X Supported Versions & Known Issues (Doc ID 888888.1) Oracle Database Appliance ( ODA )End User Deployment (Doc ID 1373617.1) Oracle Database Appliance Bare Metal Restore Procedure. (Doc ID 1373599.1) ODA (Oracle Database Appliance): Patching (Doc ID 1397680.1) How To Install And Configure EM 12c For Oracle Database Appliance (ID 1409193.1) How to Convert Single-Instance database to RAC on Oracle Database Appliance Using Rconfig Utility (ID 1362116.1) Oracle Database Appliance (ODA): Simulated Failure tests (ID 1391655.1) Inside the Oracle Database Appliance (ODA) (ID 1385831.1)

ODA External Documents & Links Landing Page: http://www.oracle.com/us/products/database/database-appliance/index.html Oracle Technology Network: http://www.oracle.com/technetwork/server-storage/engineered-systems/database-appliance/index.html Documentation Library: http://docs.oracle.com/cd/e22693_01/index.htm ODA Setup Poster http://docs.oracle.com/cd/e22693_01/doc.21/e35554.pdf ODA Appliance Manager http://www.oracle.com/technetwork/server-storage/engineered-systems/database-appliance/overview/index.html

Oracle Database Appliance Zusammengefasst Einfach. Ausfallsicher. Erschwinglich. Datenbankkonsolidierung Höhere Verfügbarkeit Modernisierung der IT Infrastruktur Einsparung von Lizenzkosten 2011 Oracle Corporation