Lustre/ZFS Verteiltes Dateisystem auf neuen Sohlen

Transkript

1 Lustre/ZFS Verteiltes Dateisystem auf neuen Sohlen Daniel Kobras science + computing ag IT-Dienstleistungen und Software für anspruchsvolle Rechnernetze Tübingen München Berlin Düsseldorf

2 science+computing ag Gegründet Standorte Mitarbeiter Anteilseigner Umsatz 10/ Tübingen München Berlin Düsseldorf 258 Bull S.A. (100%) 26,66 Mio. Euro Portfolio IT Service für komplexe Berechnungsumgebungen Umfassende Lösungen für Linux- und Windows-basiertes HPC scvenus Systemmanagement-Software zur effizienten Administration homogener und heterogener Netze Seite 2

3 High-Performance-Anything Seite 3

4 Vertikale Skalierung (Scale-Up) Größer ist besser 2006 Graham Richardson, CC BY Ben Fredericson, CC BY einfache Handhabung Migrationsaufwand meist hohe Investition nötig Seite 4

5 Horizontale Skalierung (Scale-Out) Wenn einer allein es nicht schafft, nimm zwei Ben Fredericson, CC BY Edgar Jimenez, CC BY-SA Bedarfsgerechtes Wachstum möglich Komplexes verteiltes System Seite 5

6 Wenn Scale-Out schiefgeht 2008 B. Katz, CC BY-SA 2.0 Seite 6

7 Scale-Out benötigt Koordination Wenn Scale-Out schiefgeht 2008 B. Katz, CC BY-SA 2.0 Seite 7

8 Ideale Kombination: So viel Scale-Up wie möglich So viel Scale-Out wie nötig Wenn Scale-Out schiefgeht 2008 B. Katz, CC BY-SA 2.0 Seite 8

9 High-Performance-Storage Seite 9

10 Scale-Up für Dateisysteme Immer mehr Storagekapazität pro Server Anwender wollen immer größere Dateisysteme > Gefahr von fehlerhaften Daten steigt > fsck dauert immer länger Aktuelle lokale Dateisysteme müssen Zu hohe Kapazitäten hin skalieren Mit Plattendefekten umgehen können Integrität ohne fsck sicherstellen können Hybride Architekturen aus SSD und HDD verwalten können Beispiele: ZFS, btrfs Seite 10

11 Scale-Out für Dateisysteme Einzelne Fileserver können hohe Kapazitäten verwalten Bandbreite einzelner Fileserver bleibt beschränkt Umstieg auf schnellere Interconnects erfordert Austausch der kompletten Netzinfrastruktur > Scale-Out-Speichersysteme bündeln mehrere getrennte Fileserver zu logischen Gesamtsystem (Cluster-Dateisysteme, verteilte Dateisysteme) Beispiele: GPFS, Lustre, glusterfs, FhgFS, Ceph, Verwenden in der Regel lokale Dateisysteme im Backend Seite 11

12 Scale-Out für Dateisysteme Einzelne Fileserver können hohe Kapazitäten verwalten Bandbreite einzelner Fileserver bleibt beschränkt Umstieg auf schnellere Interconnects erfordert Austausch der kompletten Netzinfrastruktur > Scale-Out-Speichersysteme bündeln mehrere getrennte Fileserver zu logischen Gesamtsystem (Cluster-Dateisysteme, verteilte Dateisysteme) Beispiele: GPFS, Lustre, glusterfs, FhgFS, Ceph, Verwenden in der Regel lokale Dateisysteme im Backend Ideal: Kombination mit leistungsfähigem lokalen Dateisystem (z.b. ZFS, btrfs) Seite 12

13 Exkurs: Lustre-Funktionsweise Client Client Client Client LAN MetadatenServer BlockGerät ObjektServer 1 ObjektServer 2 BlockGerät BlockGerät Seite 13

14 Exkurs: Lustre-Funktionsweise /fs1/a.ou t? Client MetadatenServer /fs1/a.out = OSS1: obj 7BlockOSS2: obj 19Gerät Client Client Client LAN ObjektServer 1 obj 7 BlockGerät ObjektServer 2 obj 19 BlockGerät Seite 14

15 Exkurs: Lustre-Funktionsweise Client /fs1/a.out = OSS1: obj 7 Client Client Client LAN OSS2: obj 19 MetadatenServer /fs1/a.out = OSS1: obj 7BlockOSS2: obj 19Gerät ObjektServer 1 obj 7 BlockGerät ObjektServer 2 obj 19 BlockGerät Seite 15

16 Exkurs: Lustre-Funktionsweise Client Client Client Client /fs1/a.out = OSS1: obj 7 OSS2: obj 19 j ob LAN ob j 7? MetadatenServer /fs1/a.out = OSS1: obj 7BlockOSS2: obj 19Gerät ObjektServer 1 obj 7 BlockGerät 19? ObjektServer 2 obj 19 BlockGerät Seite 16

17 Lustre mit ZFS-Backend Seite 17

18 Status Lustre/ldiskfs Größte Dateisysteme im Bereich von ca PByte, ca. 1TB/s lokales Backend basiert auf ext3/ext4 ( ldiskfs ) Zertifizierungen/Fault Isolation erfordert Partitionierung der OSTs in kleine lokale Dateisysteme, typisch Raid6 (8+2) à 24 TB Dadurch: starke Fragmentierung, hoher Verwaltungsaufwand, Beschränkung für maximale Dateigröße (ohne Striping) Seite 18

19 Defizite Lustre/ldiskfs 2007: LLNL identifiziert auf seinen Supercomputern Schwachstellen der Skalierbarkeit von Lustre fsck-dauer Maximale Partitionsgröße (OST) pro Server (OSS) Zuverlässigkeit erfordert teure Hardware Performance-Probleme beim Checkpointing großer Jobs Unzulänglichkeiten in ldiskfs und seiner Schnittstelle zu mdraid/device Mapper als Ursache > LLNL evaluiert alternative Dateisystem-Backends > LLNL initiiert Projekt für Lustre mit ZFS als lokalem Backend > LLNL startet Kernel-Port für ZFS unter Linux Seite 19

20 Defizite Lustre/ldiskfs 2007: LLNL identifiziert auf seinen Supercomputern Schwachstellen der Skalierbarkeit von Lustre fsck-dauer Maximale Partitionsgröße (OST) pro Server (OSS) Zuverlässigkeit erfordert teure Hardware Performance-Probleme beim Checkpointing großer Jobs Unzulänglichkeiten in ldiskfs und seiner Schnittstelle zu mdraid/device Mapper als Ursache > LLNL evaluiert alternative Dateisystem-Backends > LLNL initiiert Projekt für Lustre mit ZFS als lokalem Backend > LLNL startet Kernel-Port für ZFS unter Linux Seite 20

21 Exkurs: Checkpointing und CoW Checkpoint von massiv parallelem Job: viele Knoten/Prozesse Rank n Rank 0 schreiben gleichzeitig in dieselbe Datei Blöcke ldiskfs: Allokator weist Blöcke zu, bevor I/O-Muster bekannt Wählt möglichst große, zusammenhängende Bereiche aus ZFS: Copy-on-Write: Allokator weist Blöcke beim Schreiben zu Kann Plattenzugriffe linearisieren Seite 21

22 Dürfen die das? Problem: GPL (Linux-Kernel, Lustre) inkompatibel zu CDDL (ZFS) Daher bislang war ZFS-Ports für BSD, aber unter Linux nur als FUSE-Port im Userland Lösung für vollwertiges ZFS-Kernelmodul: Solaris Porting Layer (SPL) unter GPL als Schnittstelle zwischen Linux-Kernel und ZFS ZFS-Modul nutzt keine GPL-only Symbole ZFS-Modul nutzt nur API-Funktionen ZFS-Modul wird separat von SPL und Linux-Kernel vertrieben nur im Quellcode > keine derived work von GPL- und CDDL-Code Ähnlicher Status wie OpenAFS Seite 22

23 Historie 2008 ZFS Lustre zfson linux LLNL OpenSFS/EOFS CFS Sun Oracle Whamcloud Intel Xyratex Sun Oracle Nexenta Joyent btrfs... Chris Mason/Oracle CM/ FusionIO Seite 23

24 Historie 2008 ZFS Lustre zfson linux LLNL OpenSFS/EOFS CFS Sun Oracle Whamcloud Intel Xyratex Sun Oracle Nexenta Joyent btrfs... Chris Mason/Oracle CM/ FusionIO Seite 24

25 Vereinfachter Aufbau Lustre-Targets MDT/OST fsfilt ldiskfs/ext3 ldiskfs/ext4 Seite 25

26 Neues Backend-Dateisystem (Theorie) MDT/OST fsfilt ldiskfs/ext3 ldiskfs/ext4 ZFS Seite 26

27 Neues Backend-Dateisystem (Praxis) MDT/OST OSD ldiskfs/ext3 ldiskfs/ext4 ZFS Seite 27

28 Komponenten ZFS Posix Interface (ZPL) Block Interface (ZVOL) Transactional Transactional Objects Objects (DMU, ZIL,...) Pooled Storage (VDEV, ZIO, ARC,...) Seite 28

29 Komponenten ZFS + Lustre/ZFS Posix Interface (ZPL) Block Interface (ZVOL) Object Interface (osd-zfs) Transactional Transactional Objects Objects (DMU, ZIL,...) Pooled Storage (VDEV, ZIO, ARC,...) Seite 29

30 Hands-On Lustre/ZFS Seite 30

31 Praxis: zfsonlinux bereitstellen DIY ist ein Muss: % % % # git clone (...) oder wget (...)./configure make rpm rpm -i (...) Solaris Porting Layer: Download-Tarball veraltet Aktuell: spl rc14 ZFS: Download-Tarball und Master-Branch veraltet! Aktuell: zfs rc14 Seite 31

32 Praxis: Lustre/ZFS bereitstellen Quellen für Lustre mit ZFS-Unterstützung: (orion-branches) (orion-branch) (master) Feature Release Lustre 2.3 (Technologie-Preview, nur OSTs) Demnächst: Maintenance Release Lustre 2.4 Übersetzen und installieren: #./configure --without-ldiskfs # make rpms # rpm -i (...) Keine Kernel-Patches für Lustre-Server mehr nötig! Seite 32

33 Praxis: MDS einrichten Beispiel: MDS/MGS mit ZFS-Backend auf vier Platten mit Raid10 in gemeinsamem Pool einrichten # zpool create -f -O canmount=off meta \ mirror /dev/sdb /dev/sdc \ mirror /dev/sdd /dev/sde # mkfs.lustre --mgs fsname=lustre \ --backfstype=zfs meta/mgs # mkfs.lustre --mdt --fsname=lustre \ --index=0 --mgsnode= @tcp \ --backfstype=zfs meta/mdt # mount -t lustre meta/mgs /lustre/mgs # mount -t lustre meta/mdt \ /lustre/lustre-mdt0000 Empfehlung eigentlich: separater Pool für jeden Lustre-Dienst Seite 33

34 Praxis: MDS einrichten Beispiel: MDS/MGS mit ZFS-Backend auf vier Platten mit Raid10 in gemeinsamem Pool einrichten # zpool create -f -O canmount=off meta \ mirror /dev/sdb /dev/sdc \ mirror /dev/sdd /dev/sde # mkfs.lustre --mgs fsname=lustre \ --backfstype=zfs meta/mgs # mkfs.lustre --mdt --fsname=lustre \ --index=0 --mgsnode= @tcp \ --backfstype=zfs meta/mdt # mount -t lustre meta/mgs /lustre/mgs # mount -t lustre meta/mdt \ /lustre/lustre-mdt0000 Empfehlung eigentlich: separater Pool für jeden Lustre-Dienst Seite 34

35 Praxis: OSS einrichten Beispiel: OST mit ZFS-Backend auf zehn Platten mit Raidz2 einrichten # mkdir -p /lustre/lustre-ost0000 # mkfs.lustre --ost --fsname=lustre \ --index=0 --mgsnode= @tcp \ --backfstype=zfs data/ost0000 raidz2 \ /dev/sd[b-k] # mount -t lustre data/ost0000 \ /lustre/lustre-ost0000 Der data-zpool wird implizit durch mkfs.lustre angelegt Seite 35

36 Praxis: OSS einrichten Beispiel: OST mit ZFS-Backend auf zehn Platten mit Raidz2 einrichten # mkdir -p /lustre/lustre-ost0000 # mkfs.lustre --ost --fsname=lustre \ --index=0 --mgsnode= @tcp \ --backfstype=zfs data/ost0000 raidz2 \ /dev/sd[b-k] # mount -t lustre data/ost0000 \ /lustre/lustre-ost0000 Der data-zpool wird implizit durch mkfs.lustre angelegt Seite 36

37 Praxis: Änderungen im Verhalten df auf Servern zeigt Platzbedarf auf Targets nicht mehr an. (Alternativen: zfs list oder lfs df auf Client) Lustre-Mountdata steht in ZFS-Properties: # zfs get all meta/mgs grep lustre: meta/mgs lustre:flags 100 local meta/mgs lustre:svname MGS local meta/mgs lustre:version 1 local meta/mgs lustre:index 0 local meta/mgs lustre:fsname lustre local Zugriff auf Backend-FS über Snapshots: # zfs snap meta/mgs@snap1234 # mount -t zfs meta/mgs@snap1234 \ /lustre/mgs-snap # llog_reader \ /lustre/mgs-snap/configs/lustre-client Seite 37

38 Zusammenfassung Lustre+ZFS kombiniert Scale-Out- mit Scale-Up-fähigem Dateisystem Hoher Datendurchsatz Dateisystem-Limits weit jenseits aktueller Anforderungen Permanente Integritätsprüfung für Daten und Metadaten Online-Scrubbing Nur Commodity-Hardware nötig, kein Vendor-Lock-In In Kürze in Lustre 2.4 Maintenance Release verfügbar (aktuell im Feature Freeze, Release geplant für 30. April 2013) ZFS-Port für Linux als Abfallprodukt Seite 38

39 Ausblick Performance ZFS-Blockgröße anheben auf 1MB Integration ZFS Write-Cache (ZIL) Zuverlässigkeit Integration ZFS-Fault-Management/automatische Verwaltung von Hot-Spares Konsistenter Lustre-Check über sämtliche MDT/OST End-to-end-Checksums Features Snapshots auf Lustre-Ebene Seite 39

40 Quellen ZFS-Port für Linux: Quellcode SPL/ZFS-Port: Lustre: Informationen zu Lustre/ZFS content/uploads/2011/11/lug12_zfs_lustre_for_sequoia.pdf Seite 40

41 Vielen Dank für Ihre Aufmerksamkeit. Daniel Kobras science + computing ag Telefon info@science-computing.de