Das Doppelte Lottchen: Ops Center und redundante I/O- Domains in OVM für SPARC. Elke Freymann Oracle Deutschland B.V. & Co. KG

Transkript

1

2 Das Doppelte Lottchen: Ops Center und redundante I/O- Domains in OVM für SPARC Elke Freymann Oracle Deutschland B.V. & Co. KG

3 Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle s products remains at the sole discretion of Oracle. 3

4 Oracle VM Server for SPARC Best Virtualization for Your Enterprise Workloads Isolated OS and applications in each logical (or virtual) domain Oracle Solaris 10 GP Domain Oracle Solaris 10 GP Domain Oracle Solaris 10 GP Domain Oracle Solaris 10 GP Domain Oracle Solaris 11 Oracle Solaris 11 Oracle Solaris 11 Oracle Solaris 11 Database Domain Database Domain Database Domain Database Domain Firmware-based hypervisor Each logical domain runs in dedicated CPU thread(s) on dedicated memory SPARC Hypervisor SPARC Server

5 SPARC Hypervisor SPARC Hypervisor It s always there Firmwareschicht verwaltet Zugriffe auf Hardware No overhead involved Initialzustand: der primary Domain gehören alle Hardwarekomponenten

6 Virtual I/O Control Domain - Guest Domain Guests & Virtual I/O Guest Domains haben immer eigene CPU- und Memory Resourcen Guest Domains können dezidiert zugeordnete I/O Hardware besitzen Guest Domains können virtual I/O benutzen. Virtual IO Services werden durch IO Domains, die I/O Hardware besitzen, bereit gestellt.

7 Redundant Virtual I/O Kombination von Root Domains mit Virtual I/O für High Availability

8 Motivation Redundanzen, die die HW bietet auch durch Konfiguration der Logical Domains in den Gast-LDOMs ausnutzen redundante Pfade für Netzwerkzugriff redundante Pfade für Disk-I/O Schutz gegen Fehler / Vermeidung SPOF Erhöhung der Wartbarkeit - z.b. Patchen der Control Domain ohne Downtime für alle Gast-LDOMs 8

9 Oracle Enterprise Manager Ops Center Complete Management for Oracle Hardware, OS & Virtualization Asset Discovery, Organization and Grouping Automated Firmware and OS Provisioning Server, Network, Storage and OS Management Operating System Analytics My Oracle Support (MOS) and Auto Service Request (ASR) Integration Virtualization Management: Solaris Zones OVM Server for SPARC OVM Server for x86 9

10 Ops Center und Logical Domains Vor Ops Center 12c Release 2: einfaches Konfigurationsmodell : Control Domain ist auch einzige Service Domain und stellt allen Gästen I/O Resourcen via Virtual I/O zur Verfügung Seit 12c R2 u.a.: Erweiterungen um MPxIO, direct I/O und SR-IOV für Oracle VM Server for SPARC zu nutzen Discovery und komplettes Management von Control Domains und anderen LDOMs, die nicht mit Ops Center erzeugt wurden Hinzufügen solcher Control Domains zu Server Pools passenden Typs inklusive Migrationsfunktionalität für Gast-LDOMs Whole-Core CPU allocation, Support VLAN Tagging, Layered virtualization 10

11 Redundante I/O Domain aufsetzen Generelle Schritte 1) Konfiguration/Anlegen und Provisionierung Control Domain / Primary Domain 2) Ggf. Zuordnung PCIe Bus an CDOM auf Commandline, Aggregat einrichten, vswitch erzeugen 3) Konfiguration/Anlegen und Provisionierung Secondary I/O Domain 4) auf Secondary I/O Domain: Aggregat einrichten, 2x vswitch erzeugen 5) HA-Gast anlegen und mit OS Provisionieren 11

12 0) Zielkonfiguration als Referenz 12

13 0) Ausgangslage Ops Center Update 2 T5-2 ILOM discovered im Ops Center ZFS Storage Appliance 7120 discovered im Ops Center FC LUNs auf ZFS Storage Appliance 7120 NFS share auf 7120 Vlan tagged network created in Ops Center 13

14 1) Control Domain erzeugen OS Provisionierung Navigation -> Plan Management -> Profiles and Policies -> OS Provisioning Profil anlegen: Oracle VM Server for SPARC / V-class (sun4v) Navigation -> Plan Management -> Profiles and Policies -> OS Configuration Profil anlegen: auch Oracle VM Server for SPARC / V-class (sun4v) Navigation -> Plan Management -> Deployment Plans -> Provision OS: Plan anlegen, die beiden erzeugten Profile als Teilschritte erzeugten Plan auf ILOM der Zielmaschine anwenden 14

15 1) wichtig: Parameter für Control Domain 15

16 2) Zuordnung PCIe Bus(se) CDOM war mit detach unused busses erzeugt, daher um redundante Netzwerkpfade aufzubauen: pci1 wieder zu CDOM hinzufügen (commandline) und anschließend Aggregat einrichten (Ops Center): Danach Reboot. 16

17 2) OS der CDOM selektiert - Aggregat einrichten 17

18 2) Hypervisor selektiert - vswitch anlegen 18

19 3) Secondary I/O Domain anlegen Navigation -> Plan Management -> Profiles and Polices -> Logical Domain: Profil anlegen; Typ Root Domain, Anzahl PCIe Busse spezifizieren Create Logical Domain Plan gegen Control Domain ausführen und damit Secondary I/O Domain anlegen; PCIe Bus(se) auswählen Plan Management -> Profiles and Polices -> OS Provisioning: Profil anlegen: Logical Domain / Virtual Machine Plan Management -> Profiles and Polices -> OS Configuration: Profil anlegen: auch Logical Domain / Virtual Machine Navigation -> Plan Management -> Deployment Plans -> Provision OS: mit diesen Profilen Plan erzeugen, Ausrollen gegen Secondary I/O Domain 19

20 3) LDOM vom Typ Root Domain auswählen 20

21 3) Anzahl PCIe Busse 21

22 3) Planausführung Zuweisung PCIe Busse 22

23 3) Auswahl Bootinterface bei OS Provisionierung 23

24 3) OS Provisionierung beobachten Auf der Control Domain: /var/log/vntsd/secondary/console-log 24

25 25

26 4) Aggregat auf Secondary I/O Domain anlegen 26

27 4) vswitch anlegen: Attach Network 27

28 4) noch einen vswitch anlegen: Attach Network 28

29 5) HA Gast anlegen Navigation -> Plan Management -> Profiles and Polices -> Logical Domain Profil anlegen: Typ HA Guest Domain Control Domain auswählen, Aktion Create Logical Domain normale OS Provisionierung auf den neuen HA-Gast 29

30 5) Typauswahl HA Guest 30

31 5) Auswahl für Storage 31

32 5) Beide Netzwerke anhängen 32

33 5) bei Planausführung: Multipathing in den Storage 33

34 5) Untagged mode für Netzwerk 34

35 5) Netzwerkpfade Gast an beide CDOM und Secondary I/O 35

36 5) OS Provisionierung HA-Gast 36

37 5) OS Provisionierung HA-Gast 37

38 5) OS Provisionierung: Bootinterface wählen 38

39 5) Assign Network Resources 39

40 5) Assign Network Resources 40

41 Einfacher Test tail f /var/adm/messages auf weiter laufenden ha-guest: < init 6 in der Control Domain> Nov 19 16:38:45 bookable mac: [ID kern.info] NOTICE: vnet0 link down Nov 19 16:38:45 bookable in.mpathd[106]: [ID daemon.error] The link has gone down on net0 Nov 19 16:38:45 bookable in.mpathd[106]: [ID daemon.error] IP interface failure detected on net0 of group ipmp1 < init 6 in der Secondary I/O Domain> Nov 19 16:42:02 bookable mac: [ID kern.info] NOTICE: vnet0 link up, 0 Mbps, unknown duplex Nov 19 16:42:02 bookable in.mpathd[106]: [ID daemon.error] The link has come up on net0 41

42 Ops Center Produktdokumentation How-to-Dokumente für Deployment: 42

43 43

44

45 Auch seit Ops Center 12c R2 Specialized Virtualization Agent Controllers: Zone VC Agent: The global zone is reflected in the UI. Using this agent enables full zone monitoring and management actions. Oracle VM Server VC Agent: The Oracle VM Server, control domain and operating system are reflected in the UI. Using this agent enables full monitoring and management actions for the Oracle VM Server system NUR in der Control Domain # grep virtualization.type /opt/sun/n1gc/lib/xvm_agent.properties virtualization.type=zone virtualization.type=ldom 45

46 Wahl des Virtualization Type bei der Discovery Nur für Control Domains sonst nie (auch nicht für redundante I/O Domains etc.) 46