ZFS Dateisytem ohne Schmerzen

Transkript

1 ZFS Dateisytem ohne Schmerzen Jonas Lerch OpenSolaris Community WARNUNG: Nachfolgender Vortrag enthält erschreckende Details. Empfindliche oder stark religiöse Personen wie z.b. Linux-Kernel Entwickler sollten nun den Raum verlassen :P

2 OpenSolaris??? Open Source, CDDL ich werde nicht über Lizenzen sprechen! Erst mal nur der Kernel, quasi wie kernel.org Jung Juni, 2005 Die Kronjuwelen Sun's, nicht nur der Bodensatz Distros: Solaris Express [Community Developer] Edition, martux, NexentaOS, SchilliX, Solaris 10 2

3 Aber das läuft doch nur auf Sparc? Weit gefehlt. Seit Solaris 7 gibt es eine X86 Version Seit Solaris 10 ist X86 gleichberechtigte Plattform es gibt 700+ zertifizierte X86-Systeme, der größte Teil nicht von Sun. (mehr als Redhat) und das ist nur Solaris 10 3

4 Warum neues Dateisystem? Neuer Aufbau, kein altes Design, keine Wurzeln Hardware ist und bleibt Abfall, Vendors verkaufen jeden Schrott Hardware-Raid ist teuer, undurchsichtig, extra Layer und am Ende auch nur Software 64bit Adressraum wird knapp format, mkfs, growfs, fssnap, Volume Manager, etc sind complex und nerven 4

5 Zfs Fasttrack Storage Pools statt Volume Manager/Filesystem Skalierbare Baum-Struckur mit 128-Bit Transaktions-orientiert mit Copy-on-Write Snapshots und Clones schnell und ohne overhead Nie wieder fsck! immer integer durch endto-end Checksumme Self-Repair Raid & Mirrors Easy! zu erstellen und zu warten 5

6 Storage Pools Vorher Volume Manager und Dateisystem getrennt keiner weiß vom anderen Sehr statisch (Kapazität) schlechte Auslastung der Hardware (IO) Nachher Volume Manager und Dateisystem in einem Durchgängige Optimierung Absolut flexibel Beste Nutzund der Hardware (IO) 6

7 Skalierbare 128 Bit Baum-Struktur 128-Bit Adressierung Schnell und skallierbar: Neues FS = nur wenige Blöcke. Datenstruktur wächst mit der Nutzung mit Flache Hierarchie: 256 Pointer pro Md-Block Wenig Ebenen Dynamic Block-Size 7

8 Copy-on-Write Transaktionen 8

9 Snapshots Read-only, Zeitpunkt-Kopie eines ganzen Dateisystems Dank Baumstruktur und CoW einfach zu implementieren: Aktuellen Über-Block merken = Neuer Snapshot Platzsparend - nur Änderungen verbrauchen Platz Clone = Snapshot, der schreibbar ist. 9

10 Immer Korrekt keine Chance für Daten-Korrosion 10

11 Und wenn was Kaputt geht? Copy-on-write + verkettete Checksummen = Verläßlicher RAID-Durchblick Erkennung kaputter Datenblöcke durch Checksummen Kaputte Blöcke durch redundante Daten reparieren Im laufenden Betrieb ( on access ), oder manuell per Scrub d.h. man könnte sogar Platten mit defekten Sektoren einsetzen, wenn genügend Kopien der Daten vorhanden 11

12 Raid-Z und Raid-Z2 Der Tot des HW-Raids Classic Raid5 n+1 Platten, toleriert 1Ausfall Read-Modify-Write = 3 Operationen Random-Writes = Alptraum Vorsicht: Schreib-Loch! Deswegen: Raid-Controller mit Cache Raid-Z n+1 Platten, toleriert 1Ausfall Nur Write, da CoW = 1 Op Random-Writes -> Sequential Writes Kein Schreib-Loch da CoW Dynamische Stripe-Breiten Raid-Z2 Wie RAID-Z, aber mit 2 Parity-HDs Toleriert 1 oder 2 defekte Platten Analog zu Raid-6 aber mit den Vorteilen von CoW 12

13 Daten Sicherheit ohne Raid oder Mirror ZFS stripped default über alle Devices in einem Zpool Mirrors oder Raid nur bei Erstellen/Hinzufügen auf Zpool-Ebene möglich Metadaten und Überblocks werden immer mehrfach angelegt. (editierbar) Genauso kann man pro (Z-)FS die anzahl der Datenkopien festlegen Wenn Speicher frei ist -> werden Kopien über die Devices im Zpool verteilt (quasi mirror). Anzahl der Kopien beliebig Schutz auf Single-Disk Systemen z.b. bei Bad-Sektors # zfs set copies=2 $POOL/$FS 13

14 Interface 14

15 ZFS kann alles! (fast oder bald) Attribute für jedes (Z-)FS Kompression (GZ,BZ2), NFS-Share, Quotas (hard und soft) ISCSI-Share, bald SMB-Share Alle Attribute auch vererbbar über alle SubDateisysteme Replikation/Backup per internen Tool zfs send/receive wandelt Snapshots in Bit-Ströme die dann per ssh/http/netcat oder was auch immer getunnelt werden können NFS V4/NT(FS) ACLs ZVOLs:Block Device Volumes mit ZFS Für andere FS, Datenbanken, ISCSI-Targets 15

16 gibt s das auch von Ratiopharm? ZFS ist OpenSource... Seit 6. April 07 in FreeBSD In Mac OS X Leopard (teilweise aktiviert) ZFS in Linux: F nicht im Kernel < kein Problem der CDDL clusterfs.com wird ZFS als Backend benutzen (auch für Linux) ZFS unter GPL? zur Zukunft kann und will ich nichts sagen aber schon jetzt teile unter GPLv2 da in GRUB 16

17 Zukunft ZFS Crypto via Solaris Crypto-Framework ZFS Boot, jetzt schon möglich bald im Installer more to come! Probleme (ja die gibt es) Database Performance (Oracle) ZFS und HW-Raid (klar... aber meistens trotzdem schneller) NFS-Perfomance 17

18 Thank you! Jonas Lerch solaris.no-decaf.de one-truth.no-decaf.de weitere Links im final Paper online geklaut wurde z.b. hier: uxtagzfs_ pdf open artwork and icons by chandan: