Reinhold Boettcher, Systemarchitekt Infrastruktur, arvato Systems Lars Hendrik Bußmann, Systemarchitekt Infrastruktur, arvato Systems

Transkript

1 Patchen der Exadata - eine Herausforderung? Reinhold Boettcher, Systemarchitekt Infrastruktur, arvato Systems Lars Hendrik Bußmann, Systemarchitekt Infrastruktur, arvato Systems

2 Agenda arvato Systems GmbH wer ist denn das? Systemübersicht Historie Vorgehensweise Zeitplanung weitere Herausforderungen Fazit 2 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

3 UMSATZ 382 M MITARBEITER > GLOBALE REICHWEITE GERMANY, USA, CHINA STANDORTE > 25 FACTS & FIGURES San Francisco Los Angeles Birmingham Toronto Amsterdam New YorkZurich Duncan Beijing Gütersloh Wien Nanjing SalzburgGuangszhou Kuala Lumpur Shanghai Hauptsitz Standort Weitere Standorte in Deutschland: z. B. Baden-Baden, Bielefeld, Berlin, Bremen, Dortmund, Düsseldorf, Hamburg, Kiel, Köln, Leipzig, München, Neckarsulm, Neuss, Rostock, Walldorf 3 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

4 Serviceangebot Branchenfokus Consulting Systemintegration Infrastruktur Services Management Consulting Business Consulting Technologie Consulting Prozessberatung Digitale Transformationslösungen IP-basierte Lösungen für fokussierte Branchen Cloud, Big Data, Mobile Solutions ERP, BW, WMS, CRM, Finance, etc. Technologie-Expertise/Partner: SAP, Microsoft, Adobe, hybris, etc. Infrastrukturberatung & -planung Application Management Managed Services Hosting Technologie-Expertise / Partner: SAP, Adobe, Microsoft Manufacturing Commerce Media Public Sector Utilities 4 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

5 Systemübersicht eine X2 Half Rack + X2 Storage Expansion Rack aufgerüstet von einem Quarter Rack 2 RAC Datenbanken (Produktion und Integration), 2 Single- Instances (Test) Ressourcensteuerung über DBRM/IORM zwei X2 Quarter Rack mit X4 Storage Server 3 RAC-Datenbanken + Standby-DB eine X3 Quarter Rack mit X4 Storage Expansion Rack Produktion + zugehörige X3 Eighth Rack als Testumgebung Konsolidierung von 7 Single-Instances 5 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

6 Historie (1) erste Exadata mit komplettem ACS Supportpaket (Sept. 2011) 4 Wochen Consulting vor Ort Patch Support für 12 Monate zweite Exadata nur mit Patch Support (Mai 2012) Patching mit ACS-Support vor Ort immer derselbe Support-Engineer (Vertrauensverhältnis!) Nutzung internes Oracle-Netzwerk durch ACS-Support immer mit proaktivem Servicerequest 6 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

7 Historie (2) Auslaufen der ACS-Supportverträge zwei weitere Maschinen ohne ACS-Supportvertrag Alternativen? weitere Unterstützung durch ACS vor Ort telefonische Bereitschaft durch ACS Kosten 7 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

8 Historie (3) Unterschiede zum normalen Patchen von Oracleumgebungen? Betriebssystem? spez. Updateskripte RAC? kein Unterschied Datenbanken mit unterschiedlichem Oraclehome? kein Unterschied Aber: Storage Server Betriebssystem + DB-Software Aber: Infinibandswitche Aber: KVM, PDU Sehr gute Dokumentation! keine negativen Erfahrungen während vergangener Aktionen => Do it yourself 8 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

9 Vorgehensweise (1) Einstieg: Exadata Database Machine and Exadata Storage Server Supported Versions (Doc ID ) wird ständig aktualisiert (auch außerhalb von PSU-Zyklen) für jede Komponente und Version der notwendige Patch Kompatibiltätsmatrix welche Patche werden benötigt? Verweis auf Upgradedokumente 9 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

10 Vorgehensweise (2) Beispiel Component Exadata Storage Server Note: All system firmware and software is automatically maintained by the Exadata software, unless otherwise indicated. Do NOT manually update firmware or software unless directed by Oracle Support. Latest Release Exadata Storage Server 12c Exadata Storage Server software (Note ) Recommended to use Exadata 12c with Database 12c Exadata Storage Server 11g Exadata Storage Server software (Note ) Database Server Note: Oracle Database and Grid Infrastructure software patches in addition to those listed in this document may be applied as required. If OPatch reports a conflict, you should not force apply your patch. Contact Oracle Support for assistance to resolve the patch conflict. For all system firmware and software on database servers, unless a specific version is indicated, a later version may be installed provided the requirements in the column to the right are met, including those for Oracle Database and Grid Infrastructure. Oracle Database 12c Release 1 ( ) Patch Set (Jan 2015) Database Patch for Engineered Systems and Database In-Memory Recommended to use Exadata 12c with Database 12c Oracle Database 12c Release 1 ( ) (Jan 2015) Grid Infrastructure Patch Set Update (GI PSU) Recommended to use Exadata 12c with Database 12c Oracle Database 11g Release 2 ( ) Patch Set Database Patch for Exadata (Jan ) Oracle Database 11g Release 2 ( ) Patch Set Quarterly Database Patch for Exadata (Jan ) System firmware and software Refer to Database Server Operating System section below. 10 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

11 Vorgehensweise (3) Download der benötigten Patche Bundlepatch und/oder Einzelpatch Verteilen der Patche auf alle Maschinen (identische Verzeichnisse) Spiegeln der neuen Exadata Repos via Oracle ULN Anpassen der internen Dokumentation Installationsverzeichnis Patchnummern 11 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

12 Vorgehensweise (4) Storage Server # auf allen DB-Servern crsctl stop crs cd $PATCHDIR/patch_ #cell_group Datei anlegen #unter root ausführen./patchmgr -cells cell_group -reset_force./patchmgr -cells cell_group -cleanup./patchmgr -cells cell_group -patch_check_prereq./patchmgr -cells cell_group -patch [-rolling]./patchmgr -cells cell_group cleanup crsctl start crs #Kontrolle mit imageinfo =>./patchmgr -cells cell_group -patch_check_prereq vorab einmal ausführen!!!!! 12 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

13 Vorgehensweise (5) Infiniband cd $PATCHDIR/patch_ /patchmgr -ibswitches -upgrade -ibswitch_precheck./patchmgr -ibswitches -upgrade 13 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

14 Vorgehensweise (6) Database Server #neuestes dbnodeupdate.sh im Patch #Cluster auf DB-Knoten stoppen #Prüfen cd $OS_PATCHDIR/dbnodeupdate-4.44./dbnodeupdate.sh -u -l -v #Durchführen cd $OS_PATCHDIR/dbnodeupdate-4.44./dbnodeupdate.sh -u -l #Eigene RPM Pakete updaten (z.b. Backup-Client) #Post Commands: cd $OS_PATCHDIR/dbnodeupdate-4.44./dbnodeupdate.sh -c 14 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

15 Vorgehensweise (7) Grid Infrastructure Home #neuestes opatch im Patch # zusätzliche Patche installiert? # im Patchset enthalten? oder Patch für aktuellen laden/anfordern #Response-File erzeugen cd $DB_PATCHDIR $ORA_CRS_HOME/Opatch/ocm/bin/emocmrsp cd $DB_PATCHDIR/ #OPatch Conflict Check opatch prereq CheckConflictAgainstOHWithDetail... #OPatch SystemSpace Check opatch prereq CheckSystemSpace... #Durchführen opatch auto $DB_PATCHDIR/ oh <Grid-Home> -ocmrf $DB_PATCHDIR/ocrm.rsp #Prüfen opatch lsinventory 15 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

16 Vorgehensweise (8) Database Home #neuestes opatch im Patch # zusätzliche Patche installiert? # im Patchset enthalten? oder Patch für aktuellen laden/anfordern cd $DB_PATCHDIR/ #OPatch Conflict Check opatch prereq CheckConflictAgainstOHWithDetail #OPatch SystemSpace Check opatch prereq CheckSystemSpace #Durchführen opatch auto $DB_PATCHDIR/ oh <Oracle-Home> -ocmrf $DB_PATCHDIR/ocrm.rsp #Prüfen opatch lsinventory #Nacharbeiten catbundle.sql exa apply für jede DB 16 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

17 Vorgehensweise (9) Probleme Timeout beim Storage Server-Patch DB-Server meldet sich nicht zurück (ILOM eingefroren) defekte Festplatte defekte Verbindung Storage Server <-> Infiniband Switch online eingespielte One-Off-Patches Lösung: selbst recherchieren SR Prio 1 17 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

18 Zeitplanung ca. 1,5 Stunden Patchen eines Storage Server online (rolling) offline: einen zum Test, dann übrige offline: alle gleichzeitig ca. 40 Minuten Patchen Infiniband Switches Quarter Rack ca. 1,5 Stunden OS- und Firmware-Patchen pro DB-Server Varianten wie oben ca. 30 Minuten pro Oraclehome (Grid-, DB-Software) bei Bedarf Systemmanagement (CloudControl) 18 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

19 weitere Herausforderungen Erweiterung Quarter Rack auf Half Rack Anbinden Storage Expansion Rack Ersatz X2-Cellserver durch X4-Cellserver Austausch von Kabelarmen physikalischer Umzug (anderes Gebäude) Verschieben in ein neues Netzwerk: Neukonfiguration 19 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

20 Fazit Exadata Dokumentation besser als herkömmliche Prechecks mit notwendigem Zeitversatz vorher Kochbuch notwendig, inklusive Applikation aktuell: Patchen jeweils Januar und Juli Regel: Storage Server >= Grid >= DB Version Risiko vs. Zeitaufwand Bereitstellung von Fixes: aktuell statt Einzel-Bugfix-Patches => 20 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

21 Vielen Dank für Ihre Aufmerksamkeit. Fragen? 21 Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015

22 Ihr Kontakt arvato Systems GmbH Reinhold Boettcher Systemarchitekt Infrastruktur An der Autobahn Gütersloh Phone: arvato Systems GmbH Lars Hendrik Bußmann Systemarchitekt Infrastruktur An der Autobahn Gütersloh Phone: Reinhold Boettcher arvato Systems GmbH DOAG Exaday 2015