Komplexe Netzwerke mit Oracle VM Server SPARC

Transkript

1 Komplexe Netzwerke mit Oracle VM Server SPARC Roman Gächter Principal Consultant Trivadis AG DOAG Jahrestagung 21. November 2013 BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 1

2 Unser Unternehmen Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution-Engineering und der Erbringung von IT-Services mit Fokussierung auf und Technologien im D-A-CH-Raum. Unsere Leistungen erbringen wir aus den strategischen Geschäftsfeldern: BETRIEB Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme. Trivadis das Unternehmen 18/11/13

3 Mit über 600 IT- und Fachexperten bei Ihnen vor Ort Hamburg 12 Trivadis Niederlassungen mit über 600 Mitarbeitenden Düsseldorf Frankfurt Stuttgart Freiburg München Basel Brugg Bern Zürich Lausanne Wien 200 Service Level Agreements Mehr als 4'000 Trainingsteilnehmer Forschungs- und Entwicklungsbudget: CHF 5.0 / EUR 4 Mio. Finanziell unabhängig und nachhaltig profitabel Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden 3 3 Trivadis das Unternehmen 18/11/13 Stand 12/2012

4 AGENDA 1. Einleitung 2. Ausgangslage 3. Netzwerke mit Oracle VM Server SPARC 1. IPMP 2. Link Agregation 802.3ad 4. Lösungssuche Netzwerk 1. POC 2. Gewählte Lösung 5. Konfigurationsbeispiele 6. Fazit 4

5 Einleitung 5

6 Einleitung Erfahrugsbericht zum In-Sourcing einer Bankenplatform Virtualisierung mit Oracle VM Server SPARC und Solaris Zonen Hardware T4-2 SPARC Systeme Fokus Netzwerk Konfiguration Direkter Anschluss an Cisco Core Switches Cisco Trunking ISL/802.1Q Link Aggregation 802.3ad Solaris IPMP exclusive IP der Zonen 6

7 Ausgangslage 7

8 Ausgangslage Zwei autonome Rechenzentren Vollendete Tatsachen Hardware Konfiguration schon festgelegt Zwei SPARC T4-2 Boxen Integration in bestehende SAN und Netzwerk Infrastruktur Solaris 10 8/11 U10 VM Server SPARC Version redundante Umgebungen Produktion Entwicklung Abnahme 8

9 Konzept Virtualisierung 9

10 Netzwerke mit VM Server SPARC 10

11 Netzwerke mit VM Server SPARC 11

12 Netzwerke mit VM Server SPARC 12

13 Netzwerke mit VM Server SPARC Best Practices Oracle 2 I/O Domains Spilt PCI-Buses resiliency against a service domain failure resiliency against a path or device failure ermöglicht rolling upgrade von Service Domains 13

14 Netzwerke mit VM Server SPARC Unterstützte Solaris und VM Server Protokolle für NIC Bündelung Ziele Verfügbarkeit Bandbreite Technologien IPMP (IP network multipathing) Link Aggregation 802.3ad 14

15 Netzwerke mit VM Server SPARC IPMP 15

16 Netzwerke mit VM Server SPARC IPMP IP Layer Support link-based detection failure Support probe based failure detection Test adresses Standby Interfaces Unabhängig von Switch HW Kann on top von Link Aggregation konfiguriert werden 16

17 Netzwerke mit VM Server SPARC Link Aggregation 802.3ad 17

18 Netzwerke mit VM Server SPARC Link Aggregation 802.3ad MAC Layer Verhält sich wie physisches NIC Support link-based detection failure Support porbe based failure detection LACP (Link Aggregation Control Protocol) Keine standby Interfaces 18

19 Netzwerke mit VM Server SPARC Link Aggregation 802.3ad underlying driver to use Nemo/GLDv3 bge, e1000g, xge, nge, rge, ixgb Switch HW Support notwendig configuration can be automated using LACP Load balancing finer grain congtrol 19

20 Lösungssuche Netzwerk 20

21 Lösungssuche Netzwerk Best Practices Oracle 2 I/O Domains Spilt PCI-Buses resiliency against a service domain failure resiliency against a path or device failure ermöglicht rolling upgrade von Service Domains 21

22 Lösungssuche Netzwerk Split PCI Buses T4-2 PCI HW Limitation 22

23 Lösungssuche Netzwerk Vorgaben Nur eine I/O Domain 1 Primary Domain und 3 Guest Domains Zwei quad port NIC s vorhanden 8 x 1 GB Ports pro Box 5 Zonen pro Umgebung Zusätzliche Trennung der Zonen durch Firewalls Unabhängige Mandanten SPARC HW direkt an Cisco Core Switches Trunking Ports Virtuelle Switches und Vnet s der LDOM s mit VLAN Netzperformance kritisch Ausfallsicherheit gewährleisten 23

24 Lösungssuche Netzwerk Link Aggregation 802.3ad Einfachere Konfiguration MAC Layer Aggregate einfach erweiterbar Aggregate wie physisches NIC aus Sicht VM Server 24

25 Lösungssuche Netzwerk POC Variante I Link-Fehler bleibt unbemerkt Wartet auf gratuitous arp der Zone 5 Minuten Intervall 802.3ad und Cisco Trunking nicht kompatibel Cisco Switches 802.3ad zusammen mit 802.1Q Nicht unterstützt! disconnect is 25

26 Lösungssuche Netzwerk POC Variante II 2 Aggregate Nicht Switch übergreifend IPMP über zwei virtuelle Switches Auch Ausfall Switch abgefangen Vnet s link_state physical disconnect is disconnect is disconnect is 26

27 Gewählte Lösung 27

28 Gewählte Lösung Flexible Aggregate Redundanz der Aggregate 2 Core-Switches 2 Quad-NIC s 2 NIC Ports Produktive Umgebung Bandbreite von 2 x 1 GB exklusiv und Bandbreite von 4 x 1 GB shared mit Global Domains Mehrere VLAN s pro Vswitch Vnet s mit IPMP Jeweils 2 Vswitches 28

29 Konfigurationsbeispiele 29

30 Konfigurationsbeispiele Aggregate auf Primary Domain erstellen dladm show-link ifconfig -a eeprom local-mac-address? eeprom local-mac-address?=true dladm create-aggr -d nxge0 -d igb0 1 dladm modify-aggr -P L2 1 Virtueller Switch auf Aggregat mit mehreren VLAN s ldm add-vsw mac-addr=00:14:4f:fc:00:00 vid=100,200,300,400 net-dev=aggr1 primary-vsw0 primary ldm add-vsw mac-addr=00:14:4f:fc:00:01 vid=100,200,300,400 net-dev=aggr2 primary-vsw1 primary 30

31 Konfigurationsbeispiele Erstellen von Vnet s ldm add-vnet mac-addr=00:14:4f:fc:00:03 linkprop=physstate pvid=100 excl_rose_1 primary-vsw0 prodldom ldm add-vnet mac-addr=00:14:4f:fc:00:04 linkprop=physstate pvid=100 excl_rose_2 primary-vsw1 prodldom ldm add-vnet mac-addr=00:14:4f:fc:00:05 linkprop=physstate pvid=200 excl_tulpe_1 primary-vsw0 prodldom ldm add-vnet mac-addr=00:14:4f:fc:00:06 linkprop=physstate pvid=200 excl_tulpe_2 primary-vsw1 prodldom 31

32 Konfigurationsbeispiele Erstes NIC File /etc/hostname.vnet0 tulpe netmask + broadcast + group pz1 up Zweites NIC File /etc/hostname.vnet1 group pz1 up 32

33 Konfigurationsbeispiele VSW NIC Konfiguration on Primary: Erstes NIC file /etc/hostname.vsw0 prodldom netmask + broadcast + group pp1 up Zweites NIC File /etc/hostname.vsw1 group pp1 up 33

34 Gutes Load Balancing 34

35 Fazit 35

36 Fazit Netzwerke mit VM Server SPARC Bündelung von NIC s Performance Verfügbarkeit Anzahl Systeme grösser als physische NIC s Link Aggregation 802.3ad Kann mit IPMP kombiniert werden Gutes Load Balancing VLAN Konfiguration unproblematisch POC wichtig Anbindung an Core Switches heikel 36

37 Literatur und Links Netzwerke mit VM Server SPARC

38 Fragen und Antworten... BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN

39 Trivadis an der DOAG Ebene 3 - gleich neben der Rolltreppe Wir freuen uns auf Ihren Besuch Denn mit Trivadis gewinnen Sie immer Trivadis das Unternehmen