Engineered System Ab ins Rechenzentrum. Ingo Frobenius Systems Engineer

Transkript

1 Engineered System Ab ins Rechenzentrum Ingo Frobenius Systems Engineer

2 Tech Data Broadline/Volume Collection of Specialists 2

3 3

4 4 Azlan O(racle) A(thorized) S(olution) C(enter)

5 Geld allein macht nicht glücklich Aktien Gold Immobilien Edelsteine Anleihen Autos 5

6 Engineered System heisst nicht Exadata Exalytics Exadata Big Data Appliance SPARC M6 Supercluster ZFS Filer Exalogic Oracle Database Appliance SPARC T5 Supercluster Virtual Compute Appliance 6

7 7 Engineered Systems Views

8 Business View Schnell Optimierte Ergebnisse Bessere Unterstützung von Geschäftsprozessen durch die IT Höhere Agilität Produktivitätssteigerung Quelle: Commons.wikimedia.org/gemeinfrei Hypercube: Commons.wikemedia.org/mate2code 8

9 9 Engineered Systems Business View

10 10 DB-Admin / SW Entwickler

11 Systemadministrator Quelle: commons.wikimedia.com, Friedrich Böhringer Einhof, Schrecken 179 in Au, Vorarlberg 11

12 Konfliktpotential Betriebssystem Datenbank Storage Server commons.wikimedia.org / Robert.Harker Netzwerk 12

13 Beispiel: Wir bekommen eine Exadata wir brauchen ein paar IP-Adressen IP-Adressen: 8 IP Adressen für DB-Server Admin Netzwerk 14 IP Adressen für Storage Server Admin Netzwerk 8 IP Adressen für DB-Server ILOM 14 IP Adressen für Storage Server ILOM 4 IP Adressen für die Infiniband Switches 2 IP Adressen für die PDUs 1 IP Adresse für den Netzwerkswitch 8 IP Adressen für das Public Netzwerk 8 IP Adressen für Oracle RAC VIP 3 IP Adressen für SCAN 22 IP Adressen für internes Netzwerk 8 IP Adressen für jedes weitere Netzwerk (Backup, DR-Netzwerk) 13

14 Konfliktpotential Welchem Bereich wird die Maschine zugeordnet? Wer überwacht die Funktion der Maschine? Wie setze ich mein Patchmanagement auf? Wer patched? Wann wird gepatched? Changemanagement Erfassung, Dokumentation und Genehmigung von Änderungen Backup Das System muss ins Backupnetzwerk integriert werden Häufig keine Fremdsoftware auf dem Engineered System gestattet 14

15 Konfliktpotential Desaster Recovery Häufig vernachlässigt Call-Home Funktionalität Automatic Service Request im Falle eines HW Ausfalls Zugang zur Maschine Physikalischer Zugang Absicherung bei sensiblen Daten Strom und Kühlung 15

16 Engineered Systems Datacenter View Quelle: Wikimedia.org A picture of 123Net Datacenter walkway in Southfield, MI, 123net 16

17 Verschiedene Arten von Engineered Systems Fertiges komplexes System, für das keine zusätzliche Entwicklung / Planung notwendig ist. 17

18 Schulung Für ein Engineered System ist Training unerlässlich Das betrifft auch die vermeindlich kleinen Systeme 18

19 Zuordnung Wem gehört die Maschine Aufbrechen vorhandener Strukturen Bilden eines Engineered Systems Team Server Know-How Storage Know-How Netzwerk Know-How Datenbank Know-How (Exadata) OVM Know-How (OVCA) Middleware Know-How (Exalogic) 19

20 Patching Patches kommen als Bundle-Patch DB meist online patchbar Downtimes erforderlich bei Firmwarepatch Betriebssystempatch Netzwerkpatch (z.b. Infinibandkomponenten in der ODA) Vorteile: Ein einziger Patch Getestet Kein Patch Research mehr 20

21 Changemanagement Einbringen eines Engineered Systems ist ein Change! Änderungen an der Physik (Verkabelung) meist nicht zulässig Logische Veränderungen müssen exakt dokumentiert werden Änderungen am internen Netzwerk Schulung erforderlich Zugriff durch root / DB Admin 21

22 Backup Einige Engineered Systems sind closed systems Bei einigen Systemen ist zusätzliche Software gestattet Exadata und ODA RMAN Backup to Disk (empfohlen externen NAS Storage) Exalogic, Exalytics Backup to Disk auf NAS Storage OVCA, SPARC Supercluster Einsatz von Dritthersteller Software möglich 22

23 Nicht vergessen Netzwerkkomponenten müssen ebenfalls ein Backup haben! Management Switche Infinibandswitche Oracle Network Fabric ILOM sollten ebenfall ein Backup erfahren Nach jedem Patchvorgang Vor dem Going-Live sollte auch ein Restore getestet werden 23

24 Desaster Recovery Meist vernachlässigt Kosten bei Datenverlust? Verlust von Kundendaten Datenbankenreplikation (DataGuard oder GoldenGate) Zweitmaschine erforderlich DR Szenario sollte vor der Beschaffung evaluiert werden 24

25 Call Home Funktionalität Viele Oracle Systeme bieten heute ASR Automatic Service Request Im Falle eines HW-Fehlers wird automatisch Oracle benachrichtigt Entspricht dies den Compliance Anforderungen? Wie werden HW-Fehler ansonsten erkannt? Eingliederung in eine Monitoring Umgebung über SNMP Traps 25

26 Physikalischer Zugang Für einige Administrationen ist ein physikalischer Zugang notwendig Müssen bestimmte Complianceanforderungen erfüllt werden? Zugriff auf Festplatten Wer darf hier im Fehlerfall tauschen? Engineered Systems müssen entsprechend mit in die QS des Compliance Management mit aufgenommen werden 26

27 Strom und Kühlung In modernen Rechenzentren kein Problem Beispiel Exadata 12,1 kva Leistung BTU SPARC Supercluster 32,8 kva Leistung BTU 27

28 Vorteile durch Engineered Systems Fertig, vorintegriert Keine Bastelarbeiten notwendig Ein Patch läuft mit 99,99999% Wahrscheinlichkeit durch Single Point of Contact Vereinfachung für Integration neuer Projekte 28

29 Beispiel: Integration einer neuen Infrastruktur 29 3-tier Infrastruktur DB-Layer mit 4 Servern und Oracle RAC 4 ILOM IP Adressen 4 Admin Adressen 3 Scan Adressen 4 RAC-VIP Adressen 4 Public-Lan Adressen App-Layer mit 8 Servern 8 ILOM 8 Public LAN Presentation-Layer mit 4 Servern und einem Load-Balancer 4 ILOM 4 Webserver-IP 1 Öffentlich sichtbare IP-Adresse 4 IP ins Backend

30 Lösung: OVCA Network Four 4x10GbE Storage 40Gb/s Server-to-Server Compute Nodes Fabric Interconnect InfiniBand expansion Ethernet switch InfiniBand expansion Fabric Interconnect Compute Nodes Mgmt Nodes Management Storage Networking Management Oracle Sun X3-2 Servers 2 to 25 nodes CPU: Up to 400 cores / 800 threads aggregate Memory: Up to 6.4TB aggregate Only 3 cables per server, fully redundant Oracle Fabric Interconnect F1-15 Oracle Sun Data Center InfiniBand Switch 36 Oracle Switch ES1-24 Oracle Sun Data Center InfiniBand Switch 36 Oracle Fabric Interconnect F1-15 Oracle Sun X3-2 Servers Oracle Sun X3-2 Servers Oracle Sun ZFS Storage Appliance 7320 Redundant controllers, RAID storage 30 Intern: Infiniband Extern nur 3 Adressen notwendig (2 x Management, 1 öffentlich Adresse), Keine vlans

31 Fazit Ein Engineered System bringt häufig neue Herausforderungen für das RZ Wichtig: Change in den Köpfen Bildung eines Teams Viele Probleme sind keine Probleme, weil es tatsächlich einfacher wird Berchtesgadener Problem 31

32 32 Lösungsschritt 1

33 33 Lösung

34 Engineered Systems Ab ins Rechenzentrum