ZFS: Die Zukunft 12. November 2009

Größe: px

Ab Seite anzeigen:

Download "ZFS: Die Zukunft 12. November 2009"

Hetty Boer
vor 6 Jahren
Abrufe

1 ZFS: Die Zukunft 12. November 2009 Constantin Gonzalez Principal Field Technologist Sun Microsystems GmbH

2 ZFS Architektur ZPL: ZFS POSIX Layer ZVOL: ZFS Volumes ZIL: ZFS Intent Log ZAP: ZFS Attribute Processor DMU: Data Management Unit DSL: Dataset & Snapshot Layer ARC: Adaptive Replacement Cache ZIO: ZFS I/O Pipeline VDEV: Virtual Devices LDI: Layered Driver Interface USER KERNEL Interface Layer Transactional Object Layer Pooled Storage Layer Filesystem Consumers ZIL ZPL ZAP Device Consumers DMU ARC ZIO VDEV LDI ZVOL GUI JNI Management Apps libzfs DSL /dev/zfs Traversal Configuration

3 Jetzt schon in ZFS Hybride Pools Log Devices (aka Slog, WriteZilla, Write-Cache) L2ARC (aka ReadZilla, Read-Cache) Am besten mit SSDs User/Group Quotas RAID-Z3: RAID-Z mit 3-facher Parität Mind the gap -Optimierung: RAID-Z schneller als Spiegel Parallel Device Open Zero-Copy I/O...weitere nützliche Features

4 Hybride Pools ZFS Intent Log Zwischenspeicher für synchrones Schreiben Gute Enterprise SSDs, gespiegelt Einige GB reichen L2ARC (Lese-Cache) Günstige, Lese-SSDs USER KERNEL Interface Layer Transactional Object Layer Genug GB für das working set RAM groß genug für Metadaten Keine Redundanz nötig Pooled Storage Layer Filesystem Consumers ZIL ZPL ZAP Device Consumers DMU ARC ZIO VDEV LDI ZVOL GUI JNI Management Apps libzfs DSL /dev/zfs Traversal Configuration

5 Beispiel für hybriden ZFS Pool 4 Xeon 7350 CPUs (16 Cores) 32GB FB DDR2 ECC DRAM OpenSolaris mit ZFS Konfiguration A: Konfiguration B: 1x32G Flash ZIL Platte 1x80GB Flash L2ARC Platte 7x146GB rpm SAS Platten 5x400GB 4200 RPM SATA Platten

6 Ergebnisse: Hybrider ZFS Pool Hybrider Storage Pool: (DRAM + Read SSD + Write SSD + 5x 4200 RPM SATA) Traditioneller Storage Pool (DRAM + 7x 10K RPM 2.5 ) 3.2x 4% 4.9x 2x 11% Read IOPs Write IOPs Preis Stromverbrauch (Watt) Kapazität (TB) Gleiche Kosten, mehr Performance, weniger Verbrauch Je größer die Konfig, desto eher zahlt sie ihre Kosten zurück

7 User/Gruppen-Quotas Beispiel: # zfs set userquota@user1=5g tank/data # zfs set groupquota@staff=10g tank/staff/admins # zfs get userused@user1 tank/data NAME PROPERTY VALUE SOURCE tank/data userused@user1 5.13G local # zfs userspace tank TYPE NAME USED QUOTA POSIX USER ahrens 14M 1G POSIX USER lling 256M none POSIX GROUP staff 3.75G 32T SMB USER marks@sun 103M 3G Deferred Enforcement : 1 Transaktions-Gruppe darf über Quota liegen.

8 Demnächst in ZFS wird gebraucht für... Performanc e Infrastruktur - Baustein Neue Funktionalitä t De- Duplikation Block Pointer Rewrite Verschlüsselung Besserer Scrub Devices entfernen Neuer Block Allocator Pool Recovery JIT Shadow Migration Sync Mode Decompr. Decrypt Native iscsi

9 Block-Pointer Rewrite Zieht atomar Blöcke um, passt alle Pointer an Muss alle Referenzen finden Muss auch mit De-Duplikation funktionieren Grundlegende Technologie in ZFS, erlaubt Devices entfernen, Online-Defragmentierung, Re-Komprimierung, Deduplikation alter Daten, etc. Copy-on-Write macht's möglich Ist aber sehr anspruchsvoll Subtile Probleme, Race-Conditions, schwer zu debuggen Muss perfekt werden!

10 Scrub-Verbesserungen Raw Scrub Unabhängig von komprimierten und verschlüsselten Blöcken Wichtig, damit man ohne Schlüssel ein Resilvering von Spiegeln oder RAID-Z durchführen kann Nutzt jetzt die Prefetch-Engine Wird von Block Pointer Rewrite mit übernommen

11 De-Duplikation Nur 1 Kopie von identischen Blöcken speichern 3 Teile: Auf Platte, im Speicher, in send/receive Funktioniert über Prüfsummen-Vergleich Referenz-Zähler für Blöcke Gleiche Checksummen, gleiche Daten? SHA256: Wahrscheinlichkeit für zwei verschiedene Blöcke mit gleicher Prüfsumme 50 Größenordnungen weniger wahrscheinlich als ein unentdeckter ECC-Fehler! Block-Kontrolle ist daher optional, bei fletcher4- Prüfsummen aber dringend empfohlen

12 De-Duplikation: Beispiele #zfs set dedup=on tank #zfs set dedup=off tank/home #zfs set dedup=verify tank #zfs set dedup=fletcher4,verify tank De-Duplikation geschieht sofort (synchron) Nur Daten, die nach Aktivierung geschrieben werden Speicherplatz wird trotzdem den Usern, Quotas etc. zugeordnet Anwendungen: Virtualisierung, Backup, Mail, SW- Entwicklung Spart Plattenplatz, RAM und Netzwerk-Bandbreite

13 Schreiben Verschlüsselung Filesystem Consumers Device Consumers GUI Management Apps JNI USER libzfs Lesen KERNEL Interface Layer Transactional Object Layer ZPL ZVOL ZIL ZAP DMU /dev/zfs Traversal DSL 1. Checksumme Verifizieren 2. Entschlüsseln 3. Auspacken Pooled Storage Layer ARC ZIO VDEV LDI Configuration 1. Einpacken 2. Verschlüsseln 3. Checksumme berechnen

14 Verschlüsselung: Ziele Verschlüsselung aller Daten und ZPL Metadaten (Name, Owner, etc.) Verschlüsselte auch ganze ZVOLs Erlaube sichere Löschung Ohne spezielle Hardware Nutzt sie aber wenn vorhanden Darf nicht mit Copy-on-Write kollidieren Sauber integriert mit ZFS Administration Klartext und verschlüsselte Datasets sollen gemischt werden können

15 Schlüssel-Management Zwei Schlüssel-Modell Äusserer Schlüssel, vom User angegeben Innerer Schlüssel für Daten, zufällig generiert, durch den äußeren Schlüssel geschützt Sicheres Löschen: Vergiss den Schlüssel! Der äußere Schlüssel kann gewechselt werden, ohne alle Daten neu verschlüsseln zu müssen.

16 ZFS Encryption: Administration Verschlüsselung kann nur bei Erzeugung eingeschaltet werden Schlüssel-Quelle und Algorithmus angeben SHA-256-Checksummen automatisch aktiviert Schlüssel-Quelle gilt für äußeren Schlüssel Anfangs zwei Algorithmen unterstützt: AES-128-CCM, AES-256-CCM (default) Beispiel: # zfs create -o encryption=on \ -o keysource=passphrase,prompt tank/fs

17 Neuer Block Allocator Der alte war sehr simpel First fit : Nimm die erste zusammenhängende Gruppe von Blöcken Schnell, wenn der Pool leer ist, aber dann... Neue Strategie: Erst First fit, dann Best fit Erfordert mehr Daten in den Space Maps

18 Pool Recovery ZFS ist sehr robust, aber: Die Schreib-Reihenfolge ist wichtig! Wenn der Überblock geschrieben wurde, aber die Daten dazu nicht, dann ist der Pool korrupt! Manche (Consumer-, USB-) Platten: Schicken falsche Bestätigungen Können die Reihenfolge durcheinander bringen Sind daher anfällig für Pool-Korruption Tritt nicht bei Laptops, oder professionellen Systemen auf, umso mehr bei Heim-Servern Reparatur bisher sehr aufwändig

19 Pool Recovery: Die Lösung Repariert den Pool, auch wenn die Platten die Schreib-Reihenfolge durcheinander bringen Nutzt den Überblock-Ring, der noch alte Überblöcke enthält Freie Blöcke werden erst verzögert wirklich frei gegeben Man könnte sie ja doch noch brauchen... Pool korrupt? Dann auf die nächst-ältere Transaktions-Gruppe zurückrollen Bis der Pool wieder korrekt gelesen werden kann.

20 Shadow Migration Migration von Daten kann sehr lange dauern Manchmal Tage... Mit Shadow-Migration geht das in Minuten! Arbeitet als Proxy im VFS/vnode-System Daten, die noch nicht migriert wurden: werden vom alten NFS-Server gelesen, an den Client weitergereicht, und dann in das neue ZFS-Filesystem eingepflegt. Alles transparent für den Client Vorerst nur für NFS

21 Sync Mode NFS Standard verlangt: Daten müssen auf stable Storage sein, wenn der COMMIT-Befehl beendet ist! Das ist nicht immer optimal Z.B. bei Installation, Restore, Benchmarks In Zukunft als Tunable konfigurierbar: Langsam+Standard-konform (wie heute), Reihenfolge strikt eingehalten, aber schnelles OK Schnell+gefährlich: OK kommt sofort, auch wenn die Daten noch nicht auf Platte sind.

22 Just-in-Time Dekompression/Decrypt Vorher: Daten wurden gelesen und gleich ausgepackt Ob sie benutzt wurden, oder auch nicht! Z.B.: Prefetch, Scrub, etc. Just-in-Time: Daten werden komprimiert/verschlüsselt gelassen Erst bei Benutzung dekomprimiert/entschlüsselt Spart Speicher und bringt Performance Vor allem beim Scrubben/Resilvering Erlaubt Resilvering/Scrub ohne Schlüssel

23 Noch ein paar Kleinigkeiten Dynamische LUN-Expansion Snapshot Holds/Unholds Verhindert versehentliches Löschen wichtiger Snapshots Schutz vor versehentlichem Multi-Mount Heartbeat-Protokoll auf der Platte Offline von ZIL Volumes (Slogs, Writezillas)

24 Mehr Infos: Jeff Bonwick, Bill Moore ZFS: The Next Word In Google nach den Folien suchen Als Video auf SLX.sun.com: ZFS Community auf opensolaris.org ARC Case Log arc.opensolaris.org

25 Vielen Dank! Constantin Gonzalez blogs.sun.com/constantin twitter.com/zalez

Ähnliche Dokumente

OPEN STORAGE + ZFS. Constantin Gonzalez Principal Field Technologist Sun Microsystems GmbH

OPEN STORAGE + ZFS. Constantin Gonzalez Principal Field Technologist Sun Microsystems GmbH OPEN STORAGE + ZFS Constantin Gonzalez Principal Field Technologist Sun Microsystems GmbH 1 Opensolaris Storage Software Eine wahre Geschichte Mail-Server für eine ganze Uni 2 Server, 2x RAID-Storage,