SPARC LDom Performance optimieren Marcel Hofstetter hofstetter@jomasoft.ch http://www.jomasoftmarcel.blogspot.ch Mitgründer, Geschäftsführer, Enterprise Consultant JomaSoft GmbH 1
Inhalt Wer ist JomaSoft? SPARC & LDom Technologie Virtuelle Devices / Live Migration Virtual Functions (VF) DIO und I/O Domains Generelle Performance Empfehlungen VDCF: Management und Deployment Tool 2
Wer ist JomaSoft? Software Unternehmen gegründet im Juli 2000 Spezialisiert im Bereich Solaris und Software Entwicklung Produkt VDCF (Virtual Datacenter Control Framework): Installation, Management, Monitoring und DR von Solaris 10/11, sowie Virtualisierung mittels LDoms und Solaris Zonen VDCF wird seit 2006 produktiv in Europa genutzt 3
SPARC CPU Übersicht 2010 SPARC T3 Systeme: T3-x 1.67 GHz 16 Core 2011 SPARC T4 Systeme: T4-x 2.85-3.0 GHz 2013 SPARC T5 Systeme: T5-x 3.6 GHz 16 Core 2015 SPARC T7/M7? GHz 32 Core 8 Core 4
SPARC M7 - Software in Silicon 32 SPARC Cores (1-8 Threads per Core) 20nm Technology 8 Sets of 4 Core-Cluster mit L2 Cache 64MB L3 Cache SMP 1-32 CPUs Software in Silicon - DB Query Acceleration Engine - ADI (Application Data Integrity) Memory Protection / Keine Heartbleed mehr - Decompress https://blogs.oracle.com/rajadurai/entry/sparc_m7_chip_32_cores 5
Oracle VM Server for SPARC Isoliertes Betriebssystem und Applikationen in jeder Logical Domain Firmware basierter Hypervisor Jede Logical Domain läuft mit dediziertem Memory und CPU Threads Zero Overhead SPARC Hypervisor 6
Logical Domains (LDoms) Nur auf Oracle CMT Server Systeme: T5xx0, T3-x, T4-x, T5-x M5, M6, M10, (M7) Mehrere, separate Solaris Instanzen auf einer Hardware Kombinierbar mit Zonen Live Migration (auf andere Hardware ohne Unterbruch) 7
Control Domain Setup Benötigt ausreichende Ressourcen für die Verarbeitung des virtuellen I/O Solaris Version: - Solaris 11 / Aktuelle Version per März 2015: 11.2 Mindestens: Solaris 11.1 1.19.0.6.0 (U1.SRU19) - Optimierte Verarbeitung des virtuellen I/O - Guest Domain Console History Hardware Ressourcen: - Mindestens 2 CPU Cores - Mindestens 8 GB RAM 8
Guest Domain Setup Solaris Solaris 10 U11+ (150400-13) / Solaris 11.1 SRU19 Produktion Test Ganze CPU Cores zuweisen CPU Cache bringt für Single Thread bis +100% Nicht Performance kritisch Einzelne vcpu (Threads) Memory Abhängig von Applikation Disk Ganze LUN / Keine Files Netzwerk Buffer für verbesserte Netzperformance Seit LDom 3.1 für neue LDoms extended-mapin-space=on Bestehende LDoms nachrüsten mit ldm set-domain extended-mapin-space=on myldom 9
Virtuelle Disk Devices (vdisk) 10
vdisk Performance Welche Solaris Version läuft auf Ihren Control und Guest Domains? Solaris 11: 1.19.0.6.0 (U1.SRU19) Solaris 10: Kernel 150400-13 (U11+) 19.05.2014 12.06.2014 11
Virtuelle Netzwerk Devices (vnet) 12
Virtual Functions (VF) 13
Virtual Functions (VF) NIC mit SR-IOV Support notwendig (igb, ixgbe) Hardware direkt von Guest Domain genutzt Keine Live Migration WANBOOT mit vnet 20Min 1Min mit VF (OBP Issue) Nutzung (ab LDom 3.1): ldm create-vf -n max /SYS/MB/NET0/IOVNET.PF0 ldm add-io /SYS/MB/NET0/IOVNET.PF0.VF0 guest1 ldm add-io /SYS/MB/NET0/IOVNET.PF0.VF1 guest2 Kein Performancegewinn zwischen T4 mit 1 Gb Netz (868 Mbit/s mit VF und vnet) 14
Vergleich: Lokale Nutzung vnet und VF LDoms mit 2 GB RAM und 1 Core auf SPARC T4-1 Durchsatz auf SPARC T4-1 mit lokalen LDoms Kommunikations-Variante vnet->vnet 1 Thread 2 Threads 4 Threads 6 Threads vf->vf vnet->vf vf->vnet 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 MBit/s 15
Direct-IO (DIO) 16
Root I/O Domain 17
Generelle Performance Empfehlungen Genügend Memory für Applikationen und Caching Mehrere Disk/LUN verwenden um vom Striping zu profitieren Bei ZFS auf SAN mit vielen physischen Disks: zfs_vdev_max_pending (Default 10) erhöhen 18
VDCF Virtual Datacenter Control Framework Management Werkzeug für Zonen und LDOMs für Solaris 10 + 11 Sehr Stabil / Seit 2006 produktiv genutzt Zentral installiert mit Datenbank Dynamische Virtualisierung: Unterstützt Migrationen und Failover/DR Ressource Konfiguration und Monitoring 19
VDCF Architektur 20
VDCF Dynamische Virtualisierung 21
VDCF - Vorteile Einfachheit Mittels einer handvoll intuitiver Befehle können virtuelle Solaris Umgebungen auch von unerfahrenen Solaris Admins erstellt und betrieben werden. Standardisierung VDCF baut auf den existierenden Solaris Technologien für Zones und LDOMs auf. Virtuelle Server können innerhalb von Minuten anstatt Stunden in einer standardisierten Form bereitgestellt werden. Verfügbarkeit und Failover VDCF erlaubt das manuelle und automatische Auslösen von virtuellen Server Migrationen. Dies führt zu verbesserter Verfügbarkeit und schnellerem Desaster Recovery. 22
VDCF LDom WANBOOT Performance VDCF nutzt Virtual Function für LDom Installation Temporäre Konfiguration der Virtual Function (VF) für schnelle WANBOOT Installation Nach der Installation wird temporäre Virtual Function (VF) automatisch entfernt Damit ist Netzwerk voll virtualisiert und LDom kann Live migriert werden. Voraussetzung: LDom 3.1, Solaris 11 23
VDCF Mehr Infos Produkt Dokumentation Online Komplette Dokumentation und Videos ab Webpage verfügbar Free Edition Kostenlose Test-Version in der Anzahl verwaltbare Objekte limitiert. Voller Funktionsumfang. Testen via POC Zusammen mit JomaSoft vor Ort eine Installation in Ihrer Testumgebung. Webpage http://www.jomasoft.ch/vdcf 24
Links/Blogs uperf "A network performance tool" http://www.uperf.org/ Stefan Hinker Blog https://blogs.oracle.com/cmt/de/ Raghuram Kothakota's Weblog https://blogs.oracle.com/raghuram/ Angelo https://blogs.oracle.com/rajadurai/ http://www.solarisinternals.com/wiki/index.php/zfs_evil_tuning_guide 25
SPARC LDom Performance optimieren Fragen? Marcel Hofstetter hofstetter@jomasoft.ch http://www.jomasoftmarcel.blogspot.ch 26