ZFS. Manuel Sträßer Sun Campus Ambassador

Transkript

1 ZFS Manuel Sträßer Sun Campus Ambassador 1

2 ZFS Eine neue Generation Daten-Integrität > Volume Manager ist integriert > Alle Blöcke mit Prüfsummen gesichert Kapazität ist zukunftssicher > 128 Bit Filesystem > Alle Parameter automatisch anpassend Einfachste Administration > Ein Filesystem mit einem Kommando Performance durch Transaktionen Sun Confidential: Internal Only 2

3 Existierende Filesysteme Datenkorruption ist möglich Prüflesen direkt nach Schreiben (in Platten Firmware) Volume Manager kennt nicht die Struktur der Daten => Schreib-Optimierung unmöglich Filesystem kennt nicht den Spiegel / das physikalische Layout => Zugriff zu intaktem Spiegel nur manuell Hoher Administrationsaufwand Ein Filesystem erfordert (nacheinander!): Partitionieren Volume erzeugen (Wartezeit) Filesystem erzeugen (Wartezeit) vfstab Eintrag dfstab Eintrag grow/shrink ist zeitaufwendig Sun Confidential: Internal Only 3

4 Ziel der ZFS Entwicklung End the Suffering Data Management Soll einfach sein Mächtige Kommandos haben Ohne lange Wartezeiten oder Befehlsketten Daten sollen inhärent sicher sein Sun Confidential: Internal Only 4

5 ZFS wie Entwickeln? Es gibt keinen Weg vom jetzigen Modell: Volume Manager + Filesystem Jahre alte Annahmen stimmen nicht mehr, wie z.b. > Prüfsummen sind zu teuer (nicht mehr bei 64 Bit / >>1 Ghz ) > Sparsame Metadaten (heute: Geschwindigkeit wichtiger) Volume Manager sind aus der Not geboren > Flexiblere Verwaltung von Daten Concat / Stripe / Mirror / Raid-5, Feingranulare Partitionierung > Aber: Verhindern Optimierungen im Filesystem Keine Integrität Diese Design-Entscheidungen enden in einer Sackgasse => Neuentwicklung Sun Confidential: Internal Only 5

6 ZFS Design Prinzipien Pooled Storage > Filesystem auf mehreren Disks > Hierarchische Aufteilung > Vereinfachung der Administration durch Vererbung End-to-end Daten-Integrität > Prüfsummen auf jedem Block (heute machbar) > Automatische Korrektur durch Zugriff auf Spiegel / Raid-5 aus dem Filesystem Transaktionen für jede Veränderung im Filesystem > fsck niemals notwendig > Jederzeit Konsistenzprüfung möglich (online!) > Erhöht die Schreib-Performance Sun Confidential: Internal Only 6

7 ZFS Design Paradigmen Elemente > Plattenpools > Volume Manager > Große Filesysteme > Transaktionen auf der Platte > Prüfsummen > Self-Healing > Adminstrative Vereinfachung durch Vererbung Alles ist bisher schon mal dagewesen... Allerdings: nicht in dieser Kombination! Sun Confidential: Internal Only 7

8 Warum gibt es Volumes? Vorher: Filesystem auf einer Platte oder Slice Kunden wollten kleinere und größere Filesysteme > Es erschien schwer die Filesysteme zu ändern > Man ging den (vermeintlich) leichteren Weg: Volume Manager Probleme: > Filesystem kann nicht optimieren (parallel lesen/schreiben) > Filesystem kann den Spiegel nicht lesen > Volume darf Schreibreihenfolge nicht optimieren (Integrität) FS FS FS FS Volume (2G concat) Volume (2G stripe) Volume (1G mirror) 1G Disk Lower 1G Upper 1G Even 1G Odd 1G Left 1G Right 1G Sun Confidential: Internal Only 8

9 FS/Volume Modell vs. ZFS Traditionelle Volumes Abstraktion: virtuelle Disk (fest) Volume für jedes Filesystem Grow/shrink nur koordiniert Bandbreite / IOs aufgeteilt Fragmentierung des freien Platzes ZFS Pooled Storage Abstraktion: Datei (variabel) Keine feste Platzeinteilung Grow/shrink via Schreiben/Löschen Volle Bandbreite / IOs verfügbar Freier Platz wird geshart FS FS FS ZFS ZFS ZFS Volume Volume Volume Storage Pool Sun Confidential: Internal Only 9

10 ZFS Daten Integrität Copy-On-Write > Daten werden niemals überschrieben (= Rücksetzen ist möglich) > Neuer Zustand wird in freien Blöcken vorbereitet Transaktionen (ausschließlich) > Neue uberblock-version -> neuer Zustand (128 zyklisch benutzte uberblocks, 4 Kopien in Header und Trailer) > Transaktionen umfassen auch die Daten im FS > Journaling nicht notwendig! Prüfsummen auf jedem Block des Filesystems > Daten und Metadaten > Uberblock via Seriennummer und CRC > Filesystem Header Sun Confidential: Internal Only 10

11 Copy-On-Write Transaktionen 1. Konsistenter Zustand 2. Dateien schreiben 3. Zufügen Metadaten 4. Schreiben uberblock Sun Confidential: Internal Only 11

12 ZFS Snapshot: Verweis im uberblock zeigt auf Snapshot-Zustand + Aufpassen beim Wegwerfen von Blöcken > used und referenced Blöcke Snapshot root Live root Sun Confidential: Internal Only 12

13 End-to-End Daten Integrität Disk Block Prüfsummen Prüfsummen bei Datenblock Auf Disks meist kurz (Fehler unentdeckt) Einige Disk Fehler bleiben unentdeckt ZFS Daten Integrität Prüfsumme bei Adresse Fehler auf beiden Spiegeln: unwahrscheinlich Storage Pool ist ein validierener Baum Data Data Address Address Checksum Checksum Checksum Checksum Address Address Checksum Checksum Nur Fehler auf Medium erkennbar Bit rot Phantom writes Misdirected reads and writes DMA parity errors Driver bugs Accidental overwrite Data Data ZFS validiert alle Blöcke Bit rot Phantom writes Misdirected reads and writes DMA parity errors Driver bugs Accidental overwrite Sun Confidential: Internal Only 13

14 Traditionelles Volume/FS Modell 1. read liefert defekten Block Application 2. Falsche Metadaten: Filesystem hat Probleme, Absturz OS möglich Application 3. Falsche Daten: Applikation bekommt Probleme oder rechnet falsch (ggf. unbemerkt!!!) Application FS xxvm mirror FS xxvm mirror FS xxvm mirror Sun Confidential: Internal Only 14

15 Self-Healing in ZFS 1. read liefert defekten Block 2. ZFS berechnet Prüfsumme; da diese falsch ist, wird der Spiegel gelesen (Metadaten sind also korrekt) 3. ZFS liefert korrekte Daten an die Applikation; UND korrigiert defekten Block! Application Application Application ZFS mirror ZFS mirror ZFS mirror Sun Confidential: Internal Only 15

16 Transaktionen + Self Healing vs. fsck Traditionell: fsck > Filesystem Code verläßt sich auf die Inhalte der Metadaten > Online Prüfung der Metadaten zu teuer (Prüfsumme fehlt) > Daher mount erst dann, wenn fsck ok ist (sonst Crash durch system panic ) > Weiterhin: Annahme: FS geht während Betrieb nicht kaputt (heute noch gültig?) Online-Check nicht möglich! (Synchronisation ist im FS Code und Disk-Layout nicht vorgesehen ZFS: Transaktionen > Erkennt online defekte Daten und Metadaten > Online check möglich (zpool scrub) > fsck (~= zpool scrub) vor mount unnötig Sun Confidential: Internal Only 16

17 ZFS Skalierbarkeit Immense Kapazität (128-bit) > Moore's Law: Bit 65 bis 2020 notwendig > Zetabyte = 70-bit (ISO Vorsilbe für 1 Milliarde TB) tera = heutige Disks peta = kleine Unternehmen exa = große Unternehmen zeta = größte ISO Vorsilbe??? = max Größe eines ZFS > Max Filegröße durch Posix API limitiert, bei Bedarf anpassbar Metadaten: dynamisch, automatisch anpassend Einstellungen: online durch Attribute Parallele Nutzung aller Basis-Disks Sun Confidential: Internal Only 17

18 ZFS Performance Copy-on-write Design > Geschriebene Daten werden neu allokiert sonst sind Transaktionen nicht rücksetzbar > Viele kleine Random writes => wenige größere sequential writes Multiple Blockgrößen, pipelined IO > 512 Byte Kbyte Blöcke > Automatische Anpassung nach Datenaufkommen > Details: Intelligente Algorithmen (slab allocator, gang chaining) Scoreboard Pipeline (24 Stufen) mit I/O Abhängigkeits-Analyse Parallelisierung über Disks Priority, deadline scheduling, out-of-order issue, sorting, aggregation Dynamic striping, multi-user Prefetch pro Datei Sun Confidential: Internal Only 18

19 Dynamic Striping Automatische Migration von 4 auf 5 Spiegel Hinzufügen von 5. Spiegel -> ZFS ZFS ZFS write: 5-fach Stripe existierende Daten bleiben bestehen ZFS ZFS ZFS Storage Pool Storage Pool Sun Confidential: Internal Only 19

20 Intelligent Prefetch Multi User Prefetch Für Streaming Service Provider The Matrix (2 hours, 16 minutes) Jeff 0:07 Bill 0:33 Matt 1:42 Length & Stride Erkennung Volume/FS Modell: Prefetch meist nur auf Volume ggf konkurrierende Mechanismen auch mit Storage Subsystemen The Matrix (10M rows, 10M columns) Sun Confidential: Internal Only 20

21 ZFS Security Features ACLs wie bei NFSv4 und Windows NT-style Allow/deny mit Vererbung Daten-Authentifizierung mittels Prüfsummen Benutzer-definierbarer Algorithmus (auch SHA-256) Daten können nur schwer verfälscht werden uberblock Prüfsumme ist die Signatur für den gesamten Pool Encryption (future) Wichtig für mobile Geräte und zugängliche Platten Auswählbarer Algorithmus aus Solaris Security Framework Sicheres Löschen (future) Freigegebene Blöcke werden gelöscht Sun Confidential: Internal Only 21

22 ZFS:... und was ist mit Linux btrfs Inittiert von Oracle, > Jetzt OpenSource Projekt > Oracle Beteiligung heruntergefahren > User-Eigenschaften von ZFS... ein bisschen umlackiert Größte Unterschiede > Arbeitet mit Volume-Manager nur zusammen keine Integration, man will die Projekte nicht verärgern bisher kein Self Healing > Snapshots sind direkt writable Kein genauer Stand SOX Problematik Sun Confidential: Internal Only 22

23 ZFS Administration per Web Graphisches User Interface mitgeliefert. Einschalten Webserver bei Boot: > /usr/sbin/smcwebserver enable > /usr/sbin/smcwebserver start Webserver ist erreichbar unter Sun Confidential: Internal Only 23

24 ZFS Administration Pooled storage > Wie Volume Gruppen / Disk Gruppen > Nur Filesysteme, Volumes entfallen > Platz wird geshart benutzt, keine Fragmentierung mehr Hierarchische Filesysteme > Vererbung von Properties Policies einzeln oder für Hierarchie-Ebenen setzbar ZFS ist zentraler Konfigurationspunkt Mount-Point, NFS-Share, Quota, Reservierung, Compression,... > Filesysteme erzeugen ist schnell Online everything Sun Confidential: Internal Only 24

25 Zpool Kommandos zpool create zpool add zpool destroy zpool export zpool import Erzeugen eines Zpool und ZFS Vergrößern eines Zpool Löschen eines Zpool Zpool exportieren Zpool importieren Ein Zpool ist immer auch ein ZFS. Sun Confidential: Internal Only 25

26 ZFS Kommandos zfs create zfs create -V zfs set zfs snapshot zfs clone zfs rollback zfs send zfs receive Erzeugen ZFS (Hierarchie) Erzeugen Zvol (~raw device) Verändern von Attributen Snapshot erzeugen Schreibbare Kopie eines Snapshot Zurücksetzen auf Snapshot Stand ZFS Snapshot serialisieren Serielle Form als ZFS erzeugen Nur das ZFS in der Wurzel der Hierarchie ist auch ein Zpool. Sun Confidential: Internal Only 26

27 ZFS: Erzeugen Das einfachste ZFS Filesystem # zpool create tank c1t0d0 > Erzeugt einen zpool namens tank auf der Platte c1t0d0 (Inklusive Erzeugen eines EFI-Labels auf der Platte) > Erzeugt ein Filesystem des gleichen Namens > Mounted das Filesystem unter /tank > Merkt sich die Einstellung für Mount nach Reboot Sun Confidential: Internal Only 27

28 ZFS: Erzeugen (2) Gespiegelter zpool mit Filesystem # zpool create tank mirror c0t0d0 c1t0d0 Hierarchisch untergeordnetes Filesystem mit Mountpoint # zfs create tank/home # zfs set mountpoint=/export/home tank/home Home Directories (für das ZFS Team) Automatisch unter /export/home/{ahrens,bonwick,billm} durch Vererbung # zfs create tank/home/ahrens # zfs create tank/home/bonwick # zfs create tank/home/billm Vergrößern des zpool # zpool add tank mirror c2t0d0 c3t0d0 Sun Confidential: Internal Only 28

29 ZFS Properties NFS-export aller Directories # zfs set sharenfs=rw tank/home Kompression (gesamter zpool) # zfs set compression=on tank Quota (Limit nach oben) # zfs set quota=10g tank/home/eschrock Reservation (garantierter Platz) # zfs set reservation=20g tank/home/tabriz Sun Confidential: Internal Only 29

30 ZFS Snapshots Snapshot ist read/only (sofort und beliebig viele) > quasi: Kopie des uberblock Platz wird nur für die Unterschiede gebraucht Snapshot optional sichtbar in.zfs/snapshot des Filesystems Benutzer können selbst Zugriff auf alten Stand nehmen Snapshot erzeugen # zfs snapshot tank/home/joeuser@tuesday Rollback: Filesystem zurück auf alten Stand # zfs rollback tank/home/joeuser@monday Zugriff auf alte Version via Filesystem $ cat ~joeuser/.zfs/snapshot/wednesday/foo.c Sun Confidential: Internal Only 30

31 ZFS Clones Clone ist eine schreibbare Version des Snapshot > Sofort und beliebig viele > Mittel für Varianten eines FS Erzeugen eines Clone # zfs clone tank/solaris@monday tank/ws/lori/fix Clone ist abhänging vom Snapshot Befördern eines Clone zum unabhängingen Filesystem # zfs promote tank/ws/lori/fix Der Snapshot kann nun gelöscht werden Sun Confidential: Internal Only 31

32 ZFS Serialisierung Serielle Repräsentation eines ZFS Snapshots > Nutzung für Backup und Restore (Snapshot: fester Zustand) > Bewegen eines Filesystems zwischen Systemen oder Disks > Inkrementelle Serialisierung (Unterschiede zwischen Snapshots) Full backup # zfs send tank/fs@a >/backup/a Incremental backup # zfs send i tank/fs@a tank/fs@b >/backup/b A Remote replication: send incremental once per minute # zfs send i tank/fs@11:31 tank/fs@11:32 ssh host zfs receive d /tank/fs Sun Confidential: Internal Only 32

33 ZFS Daten Migration Endian neutrales on-disk format Strukturen enthalten endianness, ZFS interpretiert beide ZFS schreibt in der endianess des Hosts (kein Verlust) ZFS enthält alle Informationen des Data Management Label, Device Pfade, Striping, Mount-Point, NFS-Share Ein integrierter Punkt zur Administration Platten werden an anderen Stellen erkannt (auch als Kopien) Export zpool old# zpool export tank Import nach Umbau der Platten new# zpool import tank Sun Confidential: Internal Only 33

34 ZFS: Self Healing in Praxis Gespiegelter ZFS auf Dateien unter /test # dd if=/dev/zero of=/tmp/d1 bs=1024 count= # dd if=/dev/zero of=/tmp/d2 bs=1024 count= # lofiadm a /tmp/d1 # lofiadm a /tmp/d2 # zpool create test mirror /dev/lofi/3 /dev/lofi/4 # ### hier richtige lofi Nummern verwenden! Parallel: Störfeuer und Datei-Operationen # cd /test # dd if=/dev/urandom of=/dev/lofi/3 bs=1024 count= & \ > ( cd /; tar cf etc ) tar xf Sun Confidential: Internal Only 34

35 ZFS: Self Healing in Praxis Inhalt prüfen; ZFS wiederherstellen # zpool status # ein paar Fehler # zpool unmount test # Cache im OS löschen # zpool mount test # tar cvf /tmp/test.tar /test # Filesystem ist ok # zpool status # Fehler beheben # zpool scrub test # zpool status Sun Confidential: Internal Only 35

36 ZFS Kommando Historie (S10 8/07) Strukturverändernde Operationen werden im Zpool mitgeschrieben # zpool history History for 'tank': :45:22 zpool create f m none tank c0t1d0s :46:39 zfs create o mountpoint=/zone tank/zone :46:22 zfs create tank/test Sun Confidential: Internal Only 36

37 ZFS Properties: xattr (S10 8/07) xattr Extended Attribute ein/aus > Extended Attributes: Datei pro Attribut > Linux hat 2kByte für alle extended Attribute > Implementiert durch verstecktes Verzeichnis > Siehe Kommando: runat(1) Systemcall: openat(1) Sun Confidential: Internal Only 37

38 ZFS Properties: canmount (S10 8/07) canmount Mountpoint ein/aus > Deaktivieren Mounten ohne Löschen von mountpoint # zfs get canmount,mountpoint tank/test NAME PROPERTY VALUE SOURCE tank/test canmount on default tank/test mountpoint /mnt local Sun Confidential: Internal Only 38

39 ZFS Properties allgemein (S10 8/07) User-Attribute > selbst definierbar > Property Name muss : (Doppelpunkt) enthalten # zfs set fs:owner="manuel Straesser" tank/test # zfs get fs:owner tank/test NAME PROPERTY VALUE SOURCE tank/test fs:owner Manuel Straesser local Sun Confidential: Internal Only 39

40 ZFS Properties initial setzen (S10 8/07) Setzen der Properties bei ZFS create > -o <property>=<value> > mehrfach ist erlaubt # zfs create o mountpoint=/mnt \ o compression=on \ o sharenfs=rw tank/test2 # zfs get mountpoint,compression,sharenfs tank/test2 NAME PROPERTY VALUE SOURCE tank/test2 mountpoint /mnt local tank/test2 compression on local tank/test2 sharenfs rw local Sun Confidential: Internal Only 40

41 ZFS - Zusammenfassung Einfach Macht einfach das, was der Administrator vor hat. Mächtig Pooled storage, Snapshots, Clones, Compression, Scrubbing, RAID-Z Sicher Entdeckt und Korrigiert (!!!) stille Daten-Korruption. Schnell Dynamisches Striping, Intelligentes Prefetch, Pipelined I/O Offen Source und Diskussion unter Kostenfrei Sun Confidential: Internal Only 41

42 Fragen? Manuel Sträßer Sun Campus Ambassador 42