Patchen der Exadata - eine Herausforderung? Reinhold Boettcher, Systemarchitekt Infrastruktur, arvato Systems Lars Hendrik Bußmann, Systemarchitekt Infrastruktur, arvato Systems
Agenda arvato Systems GmbH wer ist denn das? Systemübersicht Historie Vorgehensweise Zeitplanung weitere Herausforderungen Fazit 2 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
UMSATZ 382 M MITARBEITER > 3.000 GLOBALE REICHWEITE GERMANY, USA, CHINA STANDORTE > 25 FACTS & FIGURES San Francisco Los Angeles Birmingham Toronto Amsterdam New YorkZurich Duncan Beijing Gütersloh Wien Nanjing SalzburgGuangszhou Kuala Lumpur Shanghai Hauptsitz Standort Weitere Standorte in Deutschland: z. B. Baden-Baden, Bielefeld, Berlin, Bremen, Dortmund, Düsseldorf, Hamburg, Kiel, Köln, Leipzig, München, Neckarsulm, Neuss, Rostock, Walldorf 3 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Serviceangebot Branchenfokus Consulting Systemintegration Infrastruktur Services Management Consulting Business Consulting Technologie Consulting Prozessberatung Digitale Transformationslösungen IP-basierte Lösungen für fokussierte Branchen Cloud, Big Data, Mobile Solutions ERP, BW, WMS, CRM, Finance, etc. Technologie-Expertise/Partner: SAP, Microsoft, Adobe, hybris, etc. Infrastrukturberatung & -planung Application Management Managed Services Hosting Technologie-Expertise / Partner: SAP, Adobe, Microsoft Manufacturing Commerce Media Public Sector Utilities 4 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Systemübersicht eine X2 Half Rack + X2 Storage Expansion Rack aufgerüstet von einem Quarter Rack 2 RAC Datenbanken (Produktion und Integration), 2 Single- Instances (Test) Ressourcensteuerung über DBRM/IORM zwei X2 Quarter Rack mit X4 Storage Server 3 RAC-Datenbanken + Standby-DB eine X3 Quarter Rack mit X4 Storage Expansion Rack Produktion + zugehörige X3 Eighth Rack als Testumgebung Konsolidierung von 7 Single-Instances 5 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Historie (1) erste Exadata mit komplettem ACS Supportpaket (Sept. 2011) 4 Wochen Consulting vor Ort Patch Support für 12 Monate zweite Exadata nur mit Patch Support (Mai 2012) Patching mit ACS-Support vor Ort immer derselbe Support-Engineer (Vertrauensverhältnis!) Nutzung internes Oracle-Netzwerk durch ACS-Support immer mit proaktivem Servicerequest 6 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Historie (2) Auslaufen der ACS-Supportverträge zwei weitere Maschinen ohne ACS-Supportvertrag Alternativen? weitere Unterstützung durch ACS vor Ort telefonische Bereitschaft durch ACS Kosten 7 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Historie (3) Unterschiede zum normalen Patchen von Oracleumgebungen? Betriebssystem? spez. Updateskripte RAC? kein Unterschied Datenbanken mit unterschiedlichem Oraclehome? kein Unterschied Aber: Storage Server Betriebssystem + DB-Software Aber: Infinibandswitche Aber: KVM, PDU Sehr gute Dokumentation! keine negativen Erfahrungen während vergangener Aktionen => Do it yourself 8 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Vorgehensweise (1) Einstieg: Exadata Database Machine and Exadata Storage Server Supported Versions (Doc ID 888828.1) wird ständig aktualisiert (auch außerhalb von PSU-Zyklen) für jede Komponente und Version der notwendige Patch Kompatibiltätsmatrix welche Patche werden benötigt? Verweis auf Upgradedokumente 9 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Vorgehensweise (2) Beispiel Component Exadata Storage Server Note: All system firmware and software is automatically maintained by the Exadata software, unless otherwise indicated. Do NOT manually update firmware or software unless directed by Oracle Support. Latest Release Exadata Storage Server 12c Exadata Storage Server software 12.1.2.1.0 (Note 1947476.1) Recommended to use Exadata 12c with Database 12c Exadata Storage Server 11g Exadata Storage Server software 11.2.3.3.1 (Note 1667414.1) Database Server Note: Oracle Database and Grid Infrastructure software patches in addition to those listed in this document may be applied as required. If OPatch reports a conflict, you should not force apply your patch. Contact Oracle Support for assistance to resolve the patch conflict. For all system firmware and software on database servers, unless a specific version is indicated, a later version may be installed provided the requirements in the column to the right are met, including those for Oracle Database and Grid Infrastructure. Oracle Database 12c Release 1 (12.1.0.2) Patch Set 1 12.1.0.2.4 (Jan 2015) Database Patch for Engineered Systems and Database In-Memory Recommended to use Exadata 12c with Database 12c Oracle Database 12c Release 1 (12.1.0.1) 12.1.0.1.6 (Jan 2015) Grid Infrastructure Patch Set Update (GI PSU) Recommended to use Exadata 12c with Database 12c Oracle Database 11g Release 2 (11.2.0.4) Patch Set 3 11.2.0.4 Database Patch for Exadata (Jan 2015-11.2.0.4.15) Oracle Database 11g Release 2 (11.2.0.3) Patch Set 2 11.2.0.3 Quarterly Database Patch for Exadata (Jan 2015-11.2.0.3.26) System firmware and software Refer to Database Server Operating System section below. 10 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Vorgehensweise (3) Download der benötigten Patche Bundlepatch und/oder Einzelpatch Verteilen der Patche auf alle Maschinen (identische Verzeichnisse) Spiegeln der neuen Exadata Repos via Oracle ULN Anpassen der internen Dokumentation Installationsverzeichnis Patchnummern 11 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Vorgehensweise (4) Storage Server # auf allen DB-Servern crsctl stop crs cd $PATCHDIR/patch_12.1.2.1.1.150316.2 #cell_group Datei anlegen #unter root ausführen./patchmgr -cells cell_group -reset_force./patchmgr -cells cell_group -cleanup./patchmgr -cells cell_group -patch_check_prereq./patchmgr -cells cell_group -patch [-rolling]./patchmgr -cells cell_group cleanup crsctl start crs #Kontrolle mit imageinfo =>./patchmgr -cells cell_group -patch_check_prereq vorab einmal ausführen!!!!! 12 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Vorgehensweise (5) Infiniband cd $PATCHDIR/patch_12.1.2.1.1.150316.2./patchmgr -ibswitches -upgrade -ibswitch_precheck./patchmgr -ibswitches -upgrade 13 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Vorgehensweise (6) Database Server #neuestes dbnodeupdate.sh im Patch 16486998 #Cluster auf DB-Knoten stoppen #Prüfen cd $OS_PATCHDIR/dbnodeupdate-4.44./dbnodeupdate.sh -u -l http://<exadata-repository> -v #Durchführen cd $OS_PATCHDIR/dbnodeupdate-4.44./dbnodeupdate.sh -u -l http://<exadata-repository> #Eigene RPM Pakete updaten (z.b. Backup-Client) #Post Commands: cd $OS_PATCHDIR/dbnodeupdate-4.44./dbnodeupdate.sh -c 14 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Vorgehensweise (7) Grid Infrastructure Home #neuestes opatch im Patch 6880880 # zusätzliche Patche installiert? # im Patchset enthalten? oder Patch für aktuellen laden/anfordern #Response-File erzeugen cd $DB_PATCHDIR $ORA_CRS_HOME/Opatch/ocm/bin/emocmrsp cd $DB_PATCHDIR/20059387 #OPatch Conflict Check opatch prereq CheckConflictAgainstOHWithDetail... #OPatch SystemSpace Check opatch prereq CheckSystemSpace... #Durchführen opatch auto $DB_PATCHDIR/20059387 -oh <Grid-Home> -ocmrf $DB_PATCHDIR/ocrm.rsp #Prüfen opatch lsinventory 15 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Vorgehensweise (8) Database Home #neuestes opatch im Patch 6880880 # zusätzliche Patche installiert? # im Patchset enthalten? oder Patch für aktuellen laden/anfordern cd $DB_PATCHDIR/20059387 #OPatch Conflict Check opatch prereq CheckConflictAgainstOHWithDetail #OPatch SystemSpace Check opatch prereq CheckSystemSpace #Durchführen opatch auto $DB_PATCHDIR/20059387 -oh <Oracle-Home> -ocmrf $DB_PATCHDIR/ocrm.rsp #Prüfen opatch lsinventory #Nacharbeiten catbundle.sql exa apply für jede DB 16 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Vorgehensweise (9) Probleme Timeout beim Storage Server-Patch DB-Server meldet sich nicht zurück (ILOM eingefroren) defekte Festplatte defekte Verbindung Storage Server <-> Infiniband Switch online eingespielte One-Off-Patches Lösung: selbst recherchieren SR Prio 1 17 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Zeitplanung ca. 1,5 Stunden Patchen eines Storage Server online (rolling) offline: einen zum Test, dann übrige offline: alle gleichzeitig ca. 40 Minuten Patchen Infiniband Switches Quarter Rack ca. 1,5 Stunden OS- und Firmware-Patchen pro DB-Server Varianten wie oben ca. 30 Minuten pro Oraclehome (Grid-, DB-Software) bei Bedarf Systemmanagement (CloudControl) 18 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
weitere Herausforderungen Erweiterung Quarter Rack auf Half Rack Anbinden Storage Expansion Rack Ersatz X2-Cellserver durch X4-Cellserver Austausch von Kabelarmen physikalischer Umzug (anderes Gebäude) Verschieben in ein neues Netzwerk: Neukonfiguration 19 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Fazit Exadata Dokumentation besser als herkömmliche Prechecks mit notwendigem Zeitversatz vorher Kochbuch notwendig, inklusive Applikation aktuell: Patchen jeweils Januar und Juli Regel: Storage Server >= Grid >= DB Version Risiko vs. Zeitaufwand Bereitstellung von Fixes: aktuell 12.1.2.1.1 statt 12.1.2.1.0 Einzel-Bugfix-Patches => 20 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Vielen Dank für Ihre Aufmerksamkeit. Fragen? 21 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015
Ihr Kontakt arvato Systems GmbH Reinhold Boettcher Systemarchitekt Infrastruktur An der Autobahn 200 33333 Gütersloh Reinhold.Boettcher@bertelsmann.de Phone: +49 5241 80 3571 arvato Systems GmbH Lars Hendrik Bußmann Systemarchitekt Infrastruktur An der Autobahn 200 33333 Gütersloh LarsHendrikBussmann@bertelsmann.de Phone: +49 5241 80 41511 www.arvato-systems.de www.arvato-systems.de 22 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015