ein verteiltes und repliziertes Dateisystem XtreemOS IP project is funded by the European Commission under contract IST-FP

Transkript

1 ein verteiltes und repliziertes Dateisystem is funded by the European Commission XtreemOS IPunder project contract IST-FP

2 Das XtreemOS Projekt Europäisches Forschungsprojekt gefördert von der EUXtreemFS with 2 OSDs ZIB 19 Partner aus Europa undatchina in Berlin XtreemFS ist die DatenmanagementKomponente Entwickelt von ZIB, NEC HPC Europe, Barcelona Supercomputing Center und ICAR-CNR Italien ~ 2 Jahre Entwicklungszeit Erste öffentlich Release im August

3 Überblick Was ist XtreemFS? Ein verteiltes und repliziertes POSIX-kompatibles Dateisystem Server "von der Stange" keine Spezialhardware Server in Java, Client in C Client läuft unter Linux / OS X / Windows Sicher (X.509 und SSL) Einfach zu installieren und warten Freie Software (GPL) 3

4 Dateisystem-Landschaft Internet Cluster FS/ Datacenter Network FS/ Zentralisiert PC XtreemFS ext3, ZFS, NTFS NFS, SMB AFS/Coda Lustre, Panasas, GPFS, CEPH... Grid File System GFarm GDM "gridftp" 4

5 Architektur XtreemFS: ein Objektbasiertes Dateisystem XtreemFS with 2 OSDs at ZIB in Berlin MRC speichert Metadaten OSDs speichern Dateiinhalte Client stellt ein normales DateisystemInterface zur Verfügung 5

6 Features: Striping im Cluster Striping XtreemFS with 2 OSDs at ZIB in Berlin paralleler Datentransfer von/ zu mehreren OSDs Bandbreite skaliert mit der Zahl der OSDs aktuell wird RAID0 unterstützt RAID5 etc. in Planung 6

7 Features: Replikation im WAN "Read-only" Replikation effiziente und schnelle Replikation von XtreemFS with OSDsviele at ZIBOSDs read-only Dateien2inauf Berlin geeignet für Grid-Workloads und Caching voraussichtlich in Q1/2009 verfügbar Konsistente Replikation (read/write) garantiert Konsistenz von Dateien auch bei Modifikation (POSIX kompatibel) Master/Slave-Replikation mit Failover verwendet FATLease: skalierbare, verteilte und fehlertolerante Leases 7

8 Forschung: Snapshots & Backups Konsistente Dateisystem-Snapshots Metadaten-Snapshots müssen von der MRC-Datenbank unterstützt werden müssen asynchron erstellt werden konsistente Datei-Snapshots beim schließen (implizit) oder per Befehl (explizit) Versionierung einzelner Objekte effizientes Speichern von mehreren Dateiversionen 8

9 Forschung: Snapshots & Backups Backups nutzt Snapshots um konsistente Backups durchzuführen eingebettet in die XtreemFS Architektur große Systeme (1000+ OSDs, Petabytes) Stromverbrauch und Kosten sparen Data de-duplication 9

10 Vielen Dank! Download, Publikationen und Infos: 10

11 Ende 11

12 Forschung: Effiziente Metadaten Suche nach geeignetem Datenbank-Design optimiert für Datei-Metadaten und Dateisystem-Workloads hohe Verfügbarkeit asynchrone DB Checkpoints kurze Start- und Recovery-Zeiten Replizierter Metadaten-Server (MRC) Replizierte Datenbank (master/slave) gelockerte Konsistenz & POSIX Semantik 12

13 Forschung: Replica Management Atomatisches Management von Replikaten neue Replikate werden erzeugen, wenn (und wo) nötig Zugriffe werden beobachtet und vorhergesagt ersetzen von defekten Replikaten Löschen überflüssiger Replikate Beschränkungen dur Nutzer-Policies (Orte, Zahl der Repliakte) Automatische Auswahl von Replikaten Bandbreite und Latenz zwischen OSDs und Clients werden gemessen Clients benutzen automatisch das beste Replikat Implementation mit Vivaldi 13

14 Aktueller Projekt Status funktionierendes verteiltes Dateisystem mit Striping Server funktionieren unter Linux und Solaris Client arbeitet unter Linux (OS X und Windows sind experimentell) Tools für Konsistenz-checks und OSD cleanup Zur Zeit 8 Entwickler Server: Java SE 6, ~ 30k LOC Client: C, ~ 15k LOC 14

15 XtreemFS vs. Traditional Grid Data Management Traditional Grid Data Management XtreemFS with 2 OSDs at ZIB in Berlin 15

16 XtreemFS vs. Traditional Grid Data Management Traditional Grid data management: Simple access to XtreemFS heterogeneous storage resources, but... with 2 OSDs ZIB to be transferred and stored in general, whole filesathave in Berlin locally high latency to first access potential waste of network and storage resources local access might be slower than network access no automatic replica consistency usually restriction to write-once usage patterns: download of input files, upload of output files no access control on downloaded copies 16

17 XtreemFS Security 17

18 Experimental Read from a Replicated File 18

19 Experimental Write to a Replicated File 19