CIFS-Server mit WAFL oder ZFS? best OpenSystems Day Herbst 2008 Dornach Wolfgang Stief stief@best.de Senior Systemingenieur best Systeme GmbH GUUG Board Member
Motivation Was braucht ein Fileserver? redundante Platten Freigaben Userverwaltung bzw. Usermatching Snapshots Backup Nice to have (derzeit noch) Langzeit-Archivierung (mgl. gesetzeskonform) Deduplikation volle Flexibilität (Protokolle, Plattenverwaltung) 2 / 21
NetApp Plattenverwaltung Einzelne Platten in einem Pool. Je Pool ein oder mehrere Aggregate (RAID-Level) Je Aggregat ein oder mehrere Volumes + zugehörige Snapshot-Bereiche RAID-DP und RAID-4, Mirror nur über gespiegelte Aggregate n WAFL auf Volume Block-Devices als Containerfile (iscsi, FCP) 3 / 21
Konfiguration CIFS-Parameter und -Share Web-GUI, graphisch Domain-Join, jederzeit wiederholbar Kommandozeile: cifs <subcommand> User Authentication bei Setup konfigurieren local files PDC, ADS NIS, LDAP 4 / 21
NetApp Snapshots Begriffsklärung FlexVol Abstraktion von Volume und Aggregat kann wachsen und schrumpfen kann mit FlexClon geclont werden. Snapshot, SnapRestore friert Volume zu einem beliebigen Zeitpunkt t ein Sichtbarkeit ist konfigurierbar CIFS \\filer\share\.snapshot\snapshot_name\* NFS filer:/share/.snapshot/snapshot_name/* abhängiger Snapshot, copy on write (COW) kann automatisiert und zeitgesteuert werden SnapRestore stellt komplette Snapshots wieder her (extra Lizenz!) 5 / 21
NetApp Snapshots Begriffsklärung SnapMirror Snapshots an entfernte Standorte automatisiert, synchron oder asynchron überträgt nur Änderungen lizenzpflichtig SnapVault schnelles Backup, disk-basiert auf remote NetApp erzeugt read-only Kopien von Snapshots lizenzpflichtig SnapLock eigenständiges Volume mit WORM-Funktion lizenzpflichtig 6 / 21
NetApp Snapshots HowTo grafisch per Web-GUI Kommandozeile: filer> snap create vol0 snap1-vol0 filer> snap sched vol0 2 6@8,10,14,16,18,20,22,24 7 / 21
NetApp Performance selbst machen ist aufwändig Materialschlacht (Filer, Clients, Switches, Komponenten) Technical Reports: http://www.netapp.com/us/library/ keine aktuellen, brauchbaren CIFS-Messungen fast nur Vergleich iscsi mit FCP Im folgenden zwei Betrachtungen: Comparison of Storage Protocol and Disk Drive Performance with Microsoft Exchange Server 2003 Workloads November 2006 (TR-3514) Linux (RHEL 4) 64-Bit Performance with NFS, iscsi, and FCP Using an Oracle Database on NetApp Storage October 2006, TR-3495 8 / 21
NetApp Performance MS Exchange 2003 Workloads 1x FAS3050, dual-controller, active/active 2x Server mit je 2x 3.6GHz Xeon 2x 2Gbit/s FC, 2x 1Gbit/s Ethernet 224x FC 15k disk drive, 144GB Jetstress Last-Generator read-latency iscsi bis zu -6% (10ms-Bereich) log write latency iscsi bis zu -46% (1ms-Bereich) iscsi ~5%...10% mehr CPU-Last @ Host 9 / 21
NetApp Performance Oracle 10g R1 @ RHEL 4 U4 3x FAS960, 252x FC 15k disk drive (84 disks je Controller) 1x Server 4x 2.2GHz Opteron (dual core) 3x 2Gbit/s FC, 3x 1Gbit/s Ethernet gemessen werden OET: Order Entry Transactions pro min durch Tuning über doppelte Leistung FCPtun ca. +18% proportional steigt auch CPU-Last im Host-System 30%+ 75%+ 10 / 21
NetApp Lizensierung filer> license a_sis cifs cluster cluster_remote compression fcp flex_clone flex_scale flexcache_nfs http 1 iscsi multistore nearstore_option nfs snaplock snaplock_enterprise snapmanager_oracle snapmanager_sap snapmanager_sharepoint snapmanagerexchange snapmirror snapmirror_sync snapmover snaprestore snapvalidator sv_ontap_pri sv_ontap_sec sv_unix_pri syncmirror_local 1 vld http://now.netapp.com/now/cgi-bin/simulator CIFS kommt mit fast alles sonst muss gesondert lizensiert werden Aus Simulator 41 Features Lizenzierung je nach Feature unterschiedlich: Kapazität Volumen Anzahl Nodes etc. site DZDACHD site ANLEAZL site NAZOMKC site BSLRLTG site NQBYFJJ site BQOEAZL site ZOJPPVM site PTZZESN site DFVXFJJ site XJQIVFK site DNDCBQH site JQAACHD site PVOIVFK site PDXMQMI RQAYBFE for 500 nodes site RIQTKCL 11 / 21
Kann Solaris da mithalten? Von Sun viele neue Storage-Ideen in OpenSolaris: FC + iscsi Target/Initiator COMSTAR FiberChannel over Ethernet ZFS mit ADM Lustre, pnfs, QFS 12 / 21
Sun OpenSolaris Storage Stack 13 / 21
COMSTAR Common Multiprotocol SCSI Target Sammlung von Tools, Treibern, Kommandos ermöglicht kostengünstigen, flexiblen Storage auf Grundlage von OpenSolaris Targets: iscsi, SAS, iser, FCoE, OSD u. a. Open Source 14 / 21
COMSTAR Beispiel iscsi Target prinzipiell: Dienste einschalten Storage anlegen Logical Unit initialisieren view erzeugen remote mounten 15 / 21
COMSTAR Beispiel iscsi Target Dienste einschalten: root@ultra ~$ svcadm enable system/stmf root@ultra ~$ svcadm enable iscsi/target root@ultra ~$ svcs -a... online 0:04:29 svc:/system/stmf:default online 0:04:29 svc:/network/iscsi/target:default Storage anlegen (ZFS): root@ultra ~$ zfs create pool/comstar root@ultra ~$ zfs create -V 10g pool/comstar/vol_01 Quelle: Ben Rockwood, http://www.cuddletech.com/blog 16 / 21
COMSTAR Beispiel iscsi Target Logical Unit initialisieren: root# sbdadm create-lu /dev/zvol/rdsk/pool/comstar/vol_01 Created the following LU: GUID -------------------------------600144f077000000000048c62bf00001 DATA SIZE ------------------10737352704 SOURCE ---------------/dev/zvol/rdsk/pool/comstar/vol_01 Target und View erzeugen: root# itadm create-target Target iqn.1986-03.com.sun:02:98110339-45ff-ce0c-9e28-e6a330eddd92 successfully created root# stmfadm add-view 600144F077000000000048C62BF00001 root# stmfadm list-view --lu-name 600144F077000000000048C62BF00001 View Entry: 0 Host group : All Target group : All LUN : 0 Quelle: Ben Rockwood, http://www.cuddletech.com/blog 17 / 21
COMSTAR iser ersetzt TCP/IP-Verbindungen mit RDMA-Connects zunächst nur für Infiniband http://www.opensolaris.org/os/project/iser/ 18 / 21
COMSTAR Fiber Channel over Ethernet (FCoE) http://www.opensolaris.org/os/project/fcoe/ 19 / 21
Quellen Blogs @ Sun, NetApp http://blogs.sun.com/ http://www.netapp.com/us/communities/communities-blogs.html NetApp Library Technical Reports http://www.netapp.com/us/library/technical-reports/ Storage Mojo http://storagemojo.com/ OpenSolaris http://www.opensolaris.org/ 20 / 21
Danke für die Aufmerksamkeit. Fragen? best OpenSystems Day Herbst 2008 Unterföhring Wolfgang Stief stief@best.de Senior Systemingenieur best Systeme GmbH GUUG Board Member