What's new? Comming soon.. best Open Systems Day April Dornach. Marco Kühn Wolfgang Stief

Transkript

1 What's new? Comming soon.. best Open Systems Day April 2009 Dornach Marco Kühn Wolfgang Stief best Systeme GmbH

2 Agenda OpenSolaris Zone Clusters Nehalem-Systeme Sun und IBM Sun Blade 6000 Network Module ZFS Encryption ZFS Deduplication 2 / 26

3 Features in 5.0 Verfügbarkeit Online grow & shrink Non-disruptive upgrades Solaris Zone Support SMF Support Neue Storage Devices Performance & Skalierbarkeit Directory Lookup Archiver & Stager Samfsdump SAM sideband MySQL Datenbank 3 / 26

4 Online Grow On-line grow durch Hinzufügen einer neuen LUN meta, data oder stripe group LUN samu command: add eq Für QFS standalone ist der LUN Status ON Für shared QFS ist der LUN Status noalloc Solaris Clients für ein samd buildmcf aus gefolgt von einen samd config ( Applikatione können weiterlaufen ) Linux Clients müssen ein umount & samd config ausführen SANergy Clients müssen ein umount & fuse ausführen Nachdem alle Clients ihre mcf Datei aktuallisiert haben, kann die LUN auf Status alloc geändert werden. Samu command: alloc eq QFS on-line grow erweiterte Filesysteme sind nicht kompatibel zu QFS 4.x 4 / 26

5 Online Shrink On-line shrink durch wegnehmen einer LUN data oder stripe group LUN Samu command: remove eq Nach dem remove Kommando ist der LUN Status noalloc Daten auf der LUN werden auf andere verfügbare LUNs kopiert Nach dem Kopieren ist der LUN Status off Samu command: release eq Nach dem release Kommando ist der LUN Status noalloc Archivierte Files auf der Lun werden released und als offline markiert Dateien ohne Archive Copy werden auf andere verfügbare LUN kopiert Nach dem alle Dateien released wurden, ist der LUN Status off 5 / 26

6 Shared QFS Rolling Upgrades shared QFS Umgebungen können ohne Downtime des gesamten QFS Cluster upgegraded werden MDS und alternativer MDS werden zuerst upgegraded Client können individuell upgegraded werden Basis Support startet mit / 26

7 Directory Performance Verbesserungen Trust the Cache Vertraue dem Cache, wenn der Eintrag existiert, dann lies nicht mehr den Eintrag von Platte zum Verifizieren Erhöhen der max. empfohlenen Anzahl Dateien je Verzeichnis auf Performance Messungen: Rewrite von Dateien im gleichen Verzeichnis ist 33% schneller Löschen ist 800% schneller 7 / 26

8 Zone Support Es gibt die globale Zone und lokale Zone: QFS wird zunächst in der globalen Zone gemounted, dann via Loopback in der lokalen Zone gemounted SAM läuft in globalen Zone Benutzer SAM Kommandos können von der lokalen Zone aus ausgeführt werden, wie z.b. stage, archive, etc. Administrative SAM Kommandos werden nur in der globalen Zone ausgeführt 8 / 26

9 Archiver Skalierbarkeit Verbesserungen Examine List Feature verbessert die Performance durch Austausch der samarfind Arbeitsliste von der Liste der Verzeichnisse zu der Liste der aktuell modifizierten Dateien In 4.6 wurden Verzeichnisse gescannt, um modifierte Dateien zu finden Stager Performace Verbesserungen Align stager writes in den Disk Cache Bisher nie aligned geschrieben aufgrund 512 Byte TAR Header Eliminieren von read/modify/write, wenn der stager in den Disk Cache schreibt 9 / 26

10 samfsdump Performance Benutzt MySQL Datenbank für File Metadaten. MM Device bleibt primäres Device für File Metadaten. Erhöht full Fileystem samfsdump Performance durch Reduzieren des samfsdump Data Capturing Datenbank und Inode Informationen werden post-processed ins samfsdump File Format geschrieben Existierende samfsdump Funktionalität bleibt bestehen 10 / 26

11 SAM-FS 5.1 SAM-FS 5.1 SAM Integration mit Lustre Solaris Cluster PxFS Ersatz User Extended Attributes 11 / 26

12 Agenda OpenSolaris Zone Clusters Nehalem-Systeme Sun und IBM Sun Blade 6000 Network Module ZFS Encryption ZFS Deduplication 12 / 26

13 OpenSolaris Firefox 3.1b3 Open video/audio OGG Container Theora video Vorbis audio Mozilla DTrace WebStack PHP PHP DTrace Probes MySQl Python Package Manager Performance (Cache) Remote Search Publisher.p5i - WebInstall Xen 3.3 SPARC x86 Gnome Pidgin X Server Multimedia Gstreamer 0.10 mit fluendo codecs. Plugin Framework Codeina Songbirg, Elisa, Audacity Crossbow Mercurial / 26

14 Agenda OpenSolaris Zone Clusters Nehalem-Systeme Sun und IBM Sun Blade 6000 Network Module ZFS Encryption ZFS Deduplication 14 / 26

15 Zone Clusters Ab Solaris Cluster 3.2 Update 2, gibt es ein neues Feature: Zone Clusters oder auch bekannt als Solaris Container Clusters. Was ist ein Zone Cluster? Ein Zone Cluster ist ein virtuelles Cluster, wo jeder virtuelle Node eine non-global Zone ist. Ein Zone Cluster erscheint der Applikation als ein dediziertes Cluster und hatte folgende bedeutende Features: Application Fault Isolation Security Isolation Resource Management Ein Zone Cluster Node setzt voraus, dass die globale Zone im Cluster Mode bootet. Ein Zone Cluster ist eine branded Zone vom Type cluster. 15 / 26

16 Zone Clusters Zone Clusters Anwendungsfälle: Datenbank Konsolidierung RAC 10, RAC 11 Funktionionelle Konsolidierung Test & Entwicklung Lizenzkosten Ersparnis 16 / 26

17 Agenda OpenSolaris Zone Clusters Nehalem-Systeme Sun und IBM Sun Blade 6000 Network Module ZFS Encryption ZFS Deduplication 17 / 26

18 Sun Server mit Intel Nehalem X4170, X4270, X4275, X6270 schon auf der Preisliste Intel Xeon 5500 CPU, 144GB max., Intel 5520 Chipset 12x 3.5 SAS/SATA (X4275), HW-RAID 8/16x 2.5 SAS/SATA (X4170/X4270), HW-RAID SSD Support 18 / 26

19 IBM Server mit Intel Nehalem x3550m2, x3650m2, HS22 Intel Xeon 5500 CPU, 128GB max (16 DIMMs) 6/12x 2.5 SAS/SATA, HW-RAID SSD Support 19 / 26

20 Agenda OpenSolaris Zone Clusters Nehalem-Systeme Sun und IBM Sun Blade 6000 Network Module ZFS Encryption ZFS Deduplication 20 / 26

21 Sun Blade 6000 Virtualized Multi-Fabric 10GBE NEM 10x 10/100/1000 MBit 4x x4 mini SAS 2x SFP+ 10GBE 10:1 Reduktion in der Verkabelung 21 / 26

22 Agenda OpenSolaris Zone Clusters Nehalem-Systeme Sun und IBM Sun Blade 6000 Network Module ZFS Encryption ZFS Deduplication 22 / 26

23 ZFS Encryption Original feature set seit April 2008 fertig Ziel für Integration in (Open)Solaris: Q4CY09 Verschiebung wg. gewollter Kompatibilität zu anderen ZFS Features Verschlüsselung per Dataset, incl. Algorithmus und Keylänge Wrapping Key über Passphrase (PKCS#5) Wrapping Key über file/stdin (raw oder Hex) Verschlüsseltes Swap über verschlüsseltes ZVOL möglich Noch kein Support für verschlüsseltes Root FS und ZVOL dump device in Planung / in Arbeit: verschlüsselte ZVOL dump devices Schlüssel in PKCS#11 keystore (z. B. TPM, Smartcard) PAM module für User Home Directory 23 / 26

24 Agenda OpenSolaris Zone Clusters Nehalem-Systeme Sun und IBM Sun Blade 6000 Network Module ZFS Encryption ZFS Deduplication 24 / 26

25 ZFS Deduplication Yes dedup is my (and Bill's) current project. Prototyped in December. Integration this summer. I'll blog all the details when we integrate, but it's what you'd expect of ZFS dedup synchronous, no limits, etc. Jeff [zfs-code] Mailing List, 31. März ZFS nutzt bereits Prüfsummen je Block 25 / 26

26 Fragen? Danke! 26 / 26