Komplexe Netzwerke mit Oracle VM Server SPARC Roman Gächter Principal Consultant Trivadis AG DOAG Jahrestagung 21. November 2013 BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 1
Unser Unternehmen Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution-Engineering und der Erbringung von IT-Services mit Fokussierung auf und Technologien im D-A-CH-Raum. Unsere Leistungen erbringen wir aus den strategischen Geschäftsfeldern: BETRIEB Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme. Trivadis das Unternehmen 18/11/13
Mit über 600 IT- und Fachexperten bei Ihnen vor Ort Hamburg 12 Trivadis Niederlassungen mit über 600 Mitarbeitenden Düsseldorf Frankfurt Stuttgart Freiburg München Basel Brugg Bern Zürich Lausanne Wien 200 Service Level Agreements Mehr als 4'000 Trainingsteilnehmer Forschungs- und Entwicklungsbudget: CHF 5.0 / EUR 4 Mio. Finanziell unabhängig und nachhaltig profitabel Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden 3 3 Trivadis das Unternehmen 18/11/13 Stand 12/2012
AGENDA 1. Einleitung 2. Ausgangslage 3. Netzwerke mit Oracle VM Server SPARC 1. IPMP 2. Link Agregation 802.3ad 4. Lösungssuche Netzwerk 1. POC 2. Gewählte Lösung 5. Konfigurationsbeispiele 6. Fazit 4
Einleitung 5
Einleitung Erfahrugsbericht zum In-Sourcing einer Bankenplatform Virtualisierung mit Oracle VM Server SPARC und Solaris Zonen Hardware T4-2 SPARC Systeme Fokus Netzwerk Konfiguration Direkter Anschluss an Cisco Core Switches Cisco Trunking ISL/802.1Q Link Aggregation 802.3ad Solaris IPMP exclusive IP der Zonen 6
Ausgangslage 7
Ausgangslage Zwei autonome Rechenzentren Vollendete Tatsachen Hardware Konfiguration schon festgelegt Zwei SPARC T4-2 Boxen Integration in bestehende SAN und Netzwerk Infrastruktur Solaris 10 8/11 U10 VM Server SPARC Version 3.0 3 redundante Umgebungen Produktion Entwicklung Abnahme 8
Konzept Virtualisierung 9
Netzwerke mit VM Server SPARC 10
Netzwerke mit VM Server SPARC 11
Netzwerke mit VM Server SPARC 12
Netzwerke mit VM Server SPARC Best Practices Oracle 2 I/O Domains Spilt PCI-Buses resiliency against a service domain failure resiliency against a path or device failure ermöglicht rolling upgrade von Service Domains 13
Netzwerke mit VM Server SPARC Unterstützte Solaris und VM Server Protokolle für NIC Bündelung Ziele Verfügbarkeit Bandbreite Technologien IPMP (IP network multipathing) Link Aggregation 802.3ad 14
Netzwerke mit VM Server SPARC IPMP 15
Netzwerke mit VM Server SPARC IPMP IP Layer Support link-based detection failure Support probe based failure detection Test adresses Standby Interfaces Unabhängig von Switch HW Kann on top von Link Aggregation konfiguriert werden 16
Netzwerke mit VM Server SPARC Link Aggregation 802.3ad 17
Netzwerke mit VM Server SPARC Link Aggregation 802.3ad MAC Layer Verhält sich wie physisches NIC Support link-based detection failure Support porbe based failure detection LACP (Link Aggregation Control Protocol) Keine standby Interfaces 18
Netzwerke mit VM Server SPARC Link Aggregation 802.3ad underlying driver to use Nemo/GLDv3 bge, e1000g, xge, nge, rge, ixgb Switch HW Support notwendig configuration can be automated using LACP Load balancing finer grain congtrol 19
Lösungssuche Netzwerk 20
Lösungssuche Netzwerk Best Practices Oracle 2 I/O Domains Spilt PCI-Buses resiliency against a service domain failure resiliency against a path or device failure ermöglicht rolling upgrade von Service Domains 21
Lösungssuche Netzwerk Split PCI Buses T4-2 PCI HW Limitation 22
Lösungssuche Netzwerk Vorgaben Nur eine I/O Domain 1 Primary Domain und 3 Guest Domains Zwei quad port NIC s vorhanden 8 x 1 GB Ports pro Box 5 Zonen pro Umgebung Zusätzliche Trennung der Zonen durch Firewalls Unabhängige Mandanten SPARC HW direkt an Cisco Core Switches Trunking Ports Virtuelle Switches und Vnet s der LDOM s mit VLAN Netzperformance kritisch Ausfallsicherheit gewährleisten 23
Lösungssuche Netzwerk Link Aggregation 802.3ad Einfachere Konfiguration MAC Layer Aggregate einfach erweiterbar Aggregate wie physisches NIC aus Sicht VM Server 24
Lösungssuche Netzwerk POC Variante I Link-Fehler bleibt unbemerkt Wartet auf gratuitous arp der Zone 5 Minuten Intervall 802.3ad und Cisco Trunking nicht kompatibel Cisco Switches 802.3ad zusammen mit 802.1Q Nicht unterstützt! disconnect is 25
Lösungssuche Netzwerk POC Variante II 2 Aggregate Nicht Switch übergreifend IPMP über zwei virtuelle Switches Auch Ausfall Switch abgefangen Vnet s link_state physical disconnect is disconnect is disconnect is 26
Gewählte Lösung 27
Gewählte Lösung Flexible Aggregate Redundanz der Aggregate 2 Core-Switches 2 Quad-NIC s 2 NIC Ports Produktive Umgebung Bandbreite von 2 x 1 GB exklusiv und Bandbreite von 4 x 1 GB shared mit Global Domains Mehrere VLAN s pro Vswitch Vnet s mit IPMP Jeweils 2 Vswitches 28
Konfigurationsbeispiele 29
Konfigurationsbeispiele Aggregate auf Primary Domain erstellen dladm show-link ifconfig -a eeprom local-mac-address? eeprom local-mac-address?=true dladm create-aggr -d nxge0 -d igb0 1 dladm modify-aggr -P L2 1 Virtueller Switch auf Aggregat mit mehreren VLAN s ldm add-vsw mac-addr=00:14:4f:fc:00:00 vid=100,200,300,400 net-dev=aggr1 primary-vsw0 primary ldm add-vsw mac-addr=00:14:4f:fc:00:01 vid=100,200,300,400 net-dev=aggr2 primary-vsw1 primary 30
Konfigurationsbeispiele Erstellen von Vnet s ldm add-vnet mac-addr=00:14:4f:fc:00:03 linkprop=physstate pvid=100 excl_rose_1 primary-vsw0 prodldom ldm add-vnet mac-addr=00:14:4f:fc:00:04 linkprop=physstate pvid=100 excl_rose_2 primary-vsw1 prodldom ldm add-vnet mac-addr=00:14:4f:fc:00:05 linkprop=physstate pvid=200 excl_tulpe_1 primary-vsw0 prodldom ldm add-vnet mac-addr=00:14:4f:fc:00:06 linkprop=physstate pvid=200 excl_tulpe_2 primary-vsw1 prodldom 31
Konfigurationsbeispiele Erstes NIC File /etc/hostname.vnet0 tulpe netmask + broadcast + group pz1 up Zweites NIC File /etc/hostname.vnet1 group pz1 up 32
Konfigurationsbeispiele VSW NIC Konfiguration on Primary: Erstes NIC file /etc/hostname.vsw0 prodldom netmask + broadcast + group pp1 up Zweites NIC File /etc/hostname.vsw1 group pp1 up 33
Gutes Load Balancing 34
Fazit 35
Fazit Netzwerke mit VM Server SPARC Bündelung von NIC s Performance Verfügbarkeit Anzahl Systeme grösser als physische NIC s Link Aggregation 802.3ad Kann mit IPMP kombiniert werden Gutes Load Balancing VLAN Konfiguration unproblematisch POC wichtig Anbindung an Core Switches heikel 36
Literatur und Links Netzwerke mit VM Server SPARC http://www.trivadis.com https://blogs.oracle.com/droux/entry/link_aggregation_vs_ip_multipathing http://docs.oracle.com/cd/e19253-01/816-4554/ http://docs.oracle.com/cd/e37707_01/html/e29665/preface.html http://www.ieee802.org/3/hssg/public/apr07/frazier_01_0407.pdf http://standards.ieee.org/findstds/standard/802.1q-2011.html 37
Fragen und Antworten... BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN
Trivadis an der DOAG Ebene 3 - gleich neben der Rolltreppe Wir freuen uns auf Ihren Besuch Denn mit Trivadis gewinnen Sie immer Trivadis das Unternehmen