ZFS. Eine Einführung. Jörg Möllenkamp Senior Systems Engineer. Sun Microsystems

Transkript

1 ZFS Eine Einführung Jörg Möllenkamp Senior Systems Engineer Sun Microsystems

2 Am Anfang waren Filesysteme relativ einfach... FS 1G Disk Ein Filesystem pro Disk 2

3 Dann wollten die Kunden mehr Platz oder höhere Verfügbarkeit... FS FS FS Volume (2G concat) Volume (2G stripe) Volume (1G Mirror) Erstes 1G Zweites 1G Gerade Bloecke 1G Ungerade Bloecke 1G 1.Spiegel hälfte 1G 2.Spiegel hälfte 1G... und das Konzept des Volumes wurde geboren. (war der einfachste Weg) 3

4 Dieser Ansatz ist allerdings nicht ohne Probleme... FS FS FS FS Volume Volume Volume Volume Abstraktion: Volume/Filesystem Ein Volume für jedes Filesystem Vergroessern/Verkleinern per Hand Jedes Filesystem hat eingeschränkte Bandbreite Der Speicher ist zerteilt. 4

5 ZFS bricht mit vielen alten Vorstellungen... 5

6 Ich sollte daher vielleicht vorher sagen, das ZFS einige gewohnte Dinge nicht kann... 6

7 Volume Management Filesystemchecks Logging/Journaling RAID5 oder RAID6 7

8 ... weil es diese Mechanismen nicht braucht... 8

9 ZFS kann stattdessen... 9

10 Storage virtualisieren immer konsistent bleiben (... dank Copy-on-write) die Datenvalidität garantieren (... mit 99, %) kommt auch ohne teures NVRAM aus (kein Writehole durch RAID-Z/RAID-Z2) 10

11 ZFS ist... 11

12 ... gross 128 Bit Das sind 256 Quadrillion Zetabyte (1 Zetabyte= 1 Mrd. Terabyte) Moores Law gibt vor das das 65-bit in 10 Jahren gebraucht wird Ein Speicher dieser Grösse kann nicht mit Erdmaterie gebaut werden. 12

13 ... anders FS FS FS FS Storage Pool Abstraktion: wie beim malloc für den Arbeitsspeicher Volumes gibt es nicht mehr automatisches Vergroessern/Verkleinern Jedem Filesystem steht die Bandbreite und die IOPS aller Platten zur Verfügung. Ein gemeinsamer Storagepool 13

14 Wo ist nun der Unterschied? ZFS Block Device Interface Schreib diesen Block, dann diesen,... Stromausfall = die Konsistenz auf der Disk geht verloren Workaround: Journaling, das ist aber komplex und langsam Filesystem Volume Object Based Transactions Ändere diese 7 Dinge an diesen drei Dateien Alles oder nichts. Transaction Group Commit Alles oder nichts. Zustand daher immer konsistent DMU Block Device Interface Jeden Block sofort auf beide Platten schreiben, um die Mirror synchron zu halten. Stromausfall = vollständiger Rsync notwendig ziemlich Langsam TX Group batch I/O Daten werden im Batch auf Platte geschrieben. Keine Repositionierung Storage Pool 14

15 Wie stellt ZFS nun die Datenintegrität sicher? Alles wird mit copy on write geschrieben Aktive Daten werden nie überschrieben der Zustand auf Platte ist niemals inkonsistent kein Filesystemcheck Alles wird transaktionsbasiert geschrieben Die Transaktion klappt als ganzes oder garnicht... daher wird kein Journaling benötigt Alles wird mit Checksummen versehen Keine schleichende Datenkorruption angenehmer Nebeneffekt: Keine Panics wegen schleichender Datenkorruption bei den Metadaten... 15

16 Copy on Write So sieht das Filesystem vor der Änderung aus.

17 Copy on Write Die neuen Daten werden an eine neue Position geschrieben... User und Applikationen sehen den alten Zustand 17

18 Copy on Write Copy on Write für die indirekten Blöcke. Auch diese werden an neue Positionen geschrieben User und Applikationen sehen den alten Zustand 18

19 Copy on Write Schreiben des Überblocks in einer einzigen Schreiboperation User und Applikationen sehen jetzt den neuen Zustand 19

20 Angenehmer Nebeneffekt: Snapshots for free Nach Beenden der Transaktion werden die cow-ten Blöcke nicht freigegeben. Live Über block Snap shot Ueber Block (genau genommen spart das Erstellen eines Snapshots sogar noch Schreiboperationen) 20

21 Was ist das besondere an den ZFS Checksummen? Bei den Markbegleitern: Checksumme wird mit dem Block geschrieben Jeder in sich konsistente Block wird als korrekt festgestellt auch wenn er an der falschen Stelle steht... Daten Checksumme Daten Checksumme Was erkennt diese Lösung: Bit Rot Phantom Writes Misdirected Reads/Writes DMA Parity Errors Driver Errors Versehentliches Überschreiben 21

22 Was ist das besondere an den ZFS Checksummen? ZFS Data Authentication Checksumme wird beim Parent Block gespeichert. Fehlerisolation zwischen Checksumme und Daten Die Validität des gesamten Baums kann überprüft werden Adresse Checksumme Adresse Checksumme Daten Daten Was erkennt diese Lösung: Bit Rot Phantom Writes Misdirected Reads/Writes DMA Parity Errors Driver Errors Versehentliches Überschreiben 22

23 Nützliches Beispiel: Mirror Autorepair 23

24 Chronologie einer Dateninkonsistenz Applikation will Daten lesen. Angenommen die Mirrorhälfte ist schleichend defekt. Der VM liest falsche Daten, kann das aber nicht erkennen. Der Volumemanager gibt die Daten ans Filesystem weiter. Ist der Fehler in den Metadaten panict das System, ansonsten bekommt die Applikation falsche Daten Applikation Applikation Applikation Filesystem Filesystem Filesystem Mirror auf Basis eines Volumemanagers Mirror auf Basis eines Volumemanagers Mirror auf Basis eines Volumemanagers 24

25 Was passiert nun bei ZFS? Applikation will Daten lesen. Angenommen die Mirrorhälfte ist schleichend defekt. Der VM liest falsche Daten, überprüft die Checksume und stellt den Fehler fest. ZFS versucht es auf dem zweiten Spiegel. Checksumme stimmt. ZFS liefert die richtigen Daten aus und korrigiert die Daten auf der defekten Spiegelhälfte (oder schreibt sie wo anders hin) Applikation Applikation Applikation ZFS Mirror ZFS Mirror ZFS Mirror 25

26 Das Grundlegende Prinzip von RAID5 Herausforderung: Partial Writes Das Parity Update ist aufwändig: alte Daten und alte Parity lesen neue Parity ausrechnen neue Daten und neue Parity schreiben. 26

27 Die eigentliche Herausforderung? Was passiert wenn der Strom ausfällt, wenn die Daten schon geschrieben sind, die Parity aber noch nicht? 27

28 Richtig... 28

29 29

30 Der Effekt nennt sich write hole Workaround: batteriegebufferter NVRAM ( ) 30

31 Was macht ZFS hier anders? RAID-Z und RAID-Z2 Dynamische Stripe-Size Jeder logische Block ist sein eigener Stripe Dadurch ist jeder Write ein Full-Stripe-Write Kein Lesen-Ändern-Schreiben Kennt kein Write-Hole (... und braucht daher kein NVRAM) 31

32 Dadurch werden solche Systeme erst möglich... 32

33 Zusammengefasst: Was kann ZFS? Checksummen um Datenvalidität zu garantieren. Grosse Filesysteme bereitstellen sehr einfache Administration zpool create homdirectory mirror c1t0d1 c2t0d1 zfs create homedirectory/waldorf aber auch: on the fly compression on the fly encryption (demnächst) filesystem auto repair Ditto Blocks nahezu unbegrenzte Anzahl Snapshots Automatische Neuverteilung der Last (wenn geschrieben wird) 33

34 ZFS wird weiterentwickelt... Sun Confidential: Internal Only 34

35 Was gibt es denn Neues? Sun Confidential: Internal Only 35

36 L2ARC a.k.a Readzilla ARC ist der Cache von ZFS L2 ARC ist eine zweite Cachestufe Wird verwendet auf Speicher mit niedriger Latenz Beschleunigt Random-Reads Sun Confidential: Internal Only 36

37 Seperated ZIL a.k.a Writezilla Das ZIL wird auf einen anderen Datenträger geschrieben als die eigentlichen Daten. Wird verwendet auf Speicher mit niedriger Latenz Beschleunigt Random-Writes Verhindert swiss-cheesing des Datenpools Sun Confidential: Internal Only 37

38 NFS und ZFS In Opensolaris kommt ein neuer Sharemanager Schnelleres Exportieren einer Vielzahl von Shares Sun Confidential: Internal Only 38

39 ZFS Administration Delegated Administration Man kann die Administrationsrechte für einzelne Filesysteme weiterdeligieren Sun Confidential: Internal Only 39

40 Opensolaris als Storageplattform CIFS in Solaris Tiefe Integration in Solaris PNFS/NFSv4.1 in Solaris Referals Mirroring ( Protocol NDMP (Network Data Management VSCAN Sun Confidential: Internal Only 40

41 Vielen Dank für Ihre Aufmerksamkeit!