LDom Performance optimieren Marcel Hofstetter hofstetter@jomasoft.ch Mitgründer, Geschäftsführer, Enterprise Consultant JomaSoft GmbH 1
Inhalt Wer ist JomaSoft? SPARC LDom Technologie Virtuelle Devices / Live Migration Virtual Functions (VF) DIO und I/O Domains Generelle Performance Empfehlungen VDCF: Management und Deployment Tool 2
Wer ist JomaSoft? Software Unternehmen gegründet im Juli 2000 Spezialisiert im Bereich Solaris und Software Entwicklung Produkt VDCF (Virtual Datacenter Control Framework): Installation, Management, Monitoring und DR von Solaris 10/11, sowie Virtualisierung mittels LDoms und Solaris Zonen VDCF wird seit 2006 produktiv in Europa genutzt 3
Oracle VM Server for SPARC Isoliertes Betriebssystem und Applikationen in jeder Logical Domain Firmware basierter Hypervisor Jede Logical Domain läuft mit dediziertem Memory und CPU Threads Zero Overhead SPARC Hypervisor 4
Logical Domains (LDoms) Nur auf Oracle CMT Server Systeme: T5xx0, T3-x, T4-x, T5-x M5, M6, M10, (M7) Mehrere, separate Solaris Instanzen auf einer Hardware Kombinierbar mit Zonen Live Migration (auf andere Hardware ohne Unterbruch) 5
Control Domain Setup Benötigt ausreichende Ressourcen für die Verarbeitung des virtuellen I/O Solaris Version: - Solaris 11 / Aktuelle Version per November 2014: 11.2 Mindestens: Solaris 11.1 1.19.0.6.0 (U1.SRU19) - Optimierte Verarbeitung des virtuellen I/O - Guest Domain Console History Hardware Ressourcen: - Mindestens 2 CPU Cores - Mindestens 8 GB RAM 6
Guest Domain Setup Solaris Solaris 10 U11+ (150400-13) / Solaris 11.1 SRU19 Produktion Test Ganze CPU Cores zuweisen Nicht Performance kritisch Einzelne vcpu (Threads) Memory Abhängig von Applikation Disk Ganze LUN / Keine Files Netzwerk Buffer für verbesserte Netzperformance Seit LDom 3.1 für neue LDoms extended-mapin-space=on Bestehende LDoms nachrüsten mit ldm set-domain extended-mapin-space=on myldom 7
Virtuelle Disk Devices (vdisk) 8
vdisk Performance Welche Solaris Version läuft auf Ihren Control und Guest Domains? Solaris 11: 1.19.0.6.0 (U1.SRU19) Solaris 10: Kernel 150400-13 (U11+) 19.05.2014 12.06.2014 9
Virtuelle Netzwerk Devices (vnet) 10
Virtual Functions (VF) 11
Virtual Functions (VF) NIC mit SR-IOV Support notwendig (igb, ixgbe) Hardware direkt von Guest Domain genutzt Keine Live Migration WANBOOT mit vnet 20Min 1Min mit VF (OBP Issue) Nutzung (ab LDom 3.1): ldm create-vf -n max /SYS/MB/NET0/IOVNET.PF0 ldm add-io /SYS/MB/NET0/IOVNET.PF0.VF0 guest1 ldm add-io /SYS/MB/NET0/IOVNET.PF0.VF1 guest2 Kein Performancegewinn zwischen T4 mit 1 Gb Netz (868 Mbit/s mit VF und vnet) 12
Vergleich: Lokale Nutzung vnet und VF LDoms mit 2 GB RAM und 1 Core auf SPARC T4-1 Durchsatz auf SPARC T4-1 mit lokalen LDoms Kommunikations-Variante vnet->vnet 1 Thread 2 Threads 4 Threads 6 Threads vf->vf vnet->vf vf->vnet 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 MBit/s 13
Direct-IO (DIO) 14
Root I/O Domain 15
Generelle Performance Empfehlungen Genügend Memory für Applikationen und Caching Mehrere Disk/LUN verwenden um vom Striping zu profitieren Bei ZFS auf SAN mit vielen physischen Disks: zfs_vdev_max_pending (Default 10) erhöhen 16
VDCF Virtual Datacenter Control Framework Management Werkzeug für Zonen und LDOMs für Solaris 10 + 11 Sehr Stabil / Seit 2006 produktiv genutzt Zentral installiert mit Datenbank Dynamische Virtualisierung: Unterstützt Migrationen und Failover/DR Ressource Konfiguration und Monitoring 17
VDCF Architektur 18
VDCF Dynamische Virtualisierung 19
VDCF - Vorteile Einfachheit Mittels einer handvoll intuitiver Befehle können virtuelle Solaris Umgebungen auch von unerfahrenen Solaris Admins erstellt und betrieben werden. Standardisierung VDCF baut auf den existierenden Solaris Technologien für Zones und LDOMs auf. Virtuelle Server können innerhalb von Minuten anstatt Stunden in einer standardisierten Form bereitgestellt werden. Verfügbarkeit und Failover VDCF erlaubt das manuelle und automatische Auslösen von virtuellen Server Migrationen. Dies führt zu verbesserter Verfügbarkeit und schnellerem Desaster Recovery. 20
VDCF LDom WANBOOT Performance VDCF nutzt Virtual Function für LDom Installation Temporäre Konfiguration der Virtual Function (VF) für schnelle WANBOOT Installation Nach der Installation wird temporäre Virtual Function (VF) automatisch entfernt Damit ist Netzwerk voll virtualisiert und LDom kann Live migriert werden. Voraussetzung: LDom 3.1, Solaris 11 oder Solaris 10 Update 11+ 21
VDCF Mehr Infos Produkt Dokumentation Online Komplette Dokumentation und Videos ab Webpage verfügbar Free Edition Kostenlose Test-Version in der Anzahl verwaltbare Objekte limitiert. Voller Funktionsumfang. Testen via POC Zusammen mit JomaSoft vor Ort eine Installation in Ihrer Testumgebung. Webpage http://www.jomasoft.ch/vdcf 22
Links/Blogs uperf "A network performance tool" http://www.uperf.org/ Stefan Hinker Blog https://blogs.oracle.com/cmt/de/ Raghuram Kothakota's Weblog https://blogs.oracle.com/raghuram/ http://www.solarisinternals.com/wiki/index.php/zfs_evil_tuning_guide 23
LDom Performance optimieren Fragen? Weitere JomaSoft Vorträge an der #DOAG2014 Di, 18.11. 17:00 17:45 Effizienter Solaris 11 Betrieb mit VDCF Do, 20.11. 13:00 13:45 Wie setzt Swisscom Solaris 11 ein Verpasst? email an hofstetter@jomasoft.ch oder DOAG Präsentation Download nutzen Marcel Hofstetter hofstetter@jomasoft.ch 24