Lehrveranstaltung Speichersysteme Sommersemester Kapitel 13: Parallele Dateisysteme. André Brinkmann

Transkript

1 Lehrveranstaltung Speichersysteme Sommersemester 2009 Kapitel 13: Parallele Dateisysteme André Brinkmann

2 Gliederung Parallele und Cluster Dateisysteme SemanFk der gemeinsamen Nutzung von Dateien Pufferung Cluster Dateisysteme Parallele Dateisysteme GPFS Lustre

3 Nachteile Netzwerkdateisystem Netzwerkdateisystem ist in der Lage, hunderte von Clients gleichzeifg auf Daten zugreifen zu lassen, aber meisten Server von Netzwerkdateisystemen basieren auf einfachen Einbenutzerdateisystemen sie sind nicht automafsch in der Lage, viele Server simultan die gleichen Daten modifizieren zu lassen Bandbreite eines Servers ist durch dessen Rechenleistung und Bandbreite limifert ParFFonierung zwischen mehreren Servern muss manuell durchgeführt werden Keine Eignung für High Performance Anforderungen

4 Warum Parallelität am Beispiel von Clustern Mehrere Prozesse einer einzigen Anwendungen (Typ: SPMD, MPI) laufen auf verschiedenen Prozessoren/Rechenknoten, "internal parallelism" Die Prozesse kooperien durch direkte KommunikaFon (i. A. Nachrichtentausch) über verteilten gemeinsamen Speicher über ein gemeinsam genutztes Dateisystem Parallelverarbeitung sollte nicht beim Dateizugriff Halt machen: Serielle Stellen in einem parallelen Programm verschlechtern die Performanz wesentlich (Amdahls Gesetz) Es ist wichfg, die im Cluster vorhandene Parallelität auszunutzen! Genauso wie die DSM AbstrakFon für den Speicherzugriff erlaubt der gemeinsame, parallele Zugriff auf eine (möglicherweise große, und möglicherweise auf verschiedene E /A Knoten verteilte) Datei eine elegante Formulierung für einen parallelen Algorithmus Verschiedene Anwendungen, die gleichzeifg auf demselben Cluster ablaufen ("external parallelism") Dateigeber, Datenbanken, Webserver, interakfve Programme

5 Architektur Paralleler Datenserver Client-Rechner Rechnerknoten NFS: PDS: Dateiserver Netzwerk Metadatenserver EA-Knoten 3 Arten von Knoten: E/A Knoten speichern die Dateien auf Ihren Plaeen Die parallele Anwendungen laufen auf Rechenknoten Die Metadaten Knoten verwalten die Dateiaeribute (Metadaten) Speichersysteme können über SAN angeschlossen sein WichFg: Jeder Knoten in einem Rechnerbündel kann mehrere Rollen spielen

6 Paralleles Dateisystem: OperaFonen Jeder Rechenknoten kann mit jedem E/A Knoten direkt kommunizieren Die physikalische Verteilungs InformaFon wird von Metadaten Knoten verwaltet PDS: Rechnerknoten Netzwerk Metadatenserver Rechenknoten können selbst die physikalische PosiFon der Dateiblöcke (E/A Knoten + PlaeenposiFon) berechnen EA-Knoten Daten können auf Rechenknoten oder E/A Knoten zwischengespeichert werden

7 Basistechnologie: Verteilte Dateisysteme Bei einem verteilten Dateisystem sind sowohl Clients, als auch Server und Speichersysteme über die Knoten eines Systems verteilt. Im Gegensatz zu lokalen Dateisystemen sind dabei die Daten nicht in einem zentralen Repository gesichert, sondern liegen auf voneinander unabhängigen Speichersystemen. Ausprägungen von verteilten Dateisystemen: Netzwerkdateisysteme bieten die gemeinsame Nutzung von Dateien für verschiedene Benutzer über ein Netzwerk. Beispiele NFS und CIFS Cluster Dateisysteme sind symmetrisches Out of Band Dateisystem. Jeder Knoten kann sowohl Client, als auch Server und Metadaten Server sein. Der Speicher wird über alle Clients verteilt. Beispiele GFS, GPFS Parallele Dateisysteme verfügen über separate Metadaten Server. Vor dem Zugriff eines Clients auf die Speichersysteme müssen sie die zugehörigen BerechFgungen von dem Metadaten Server anfragen. Beispiele Luster und IBM SAN FS

8 SemanFk der gemeinsamen Nutzung von Dateien I Was garanfert das verteilte Dateisystem, wenn mehrere Prozesse auf dieselbe Datei zugreifen? Probleme treten auf, wenn mindestens ein Schreibzugriff dabei ist. Fragen Sind Änderungen erlaubt? Sehen andere Prozesse diese Änderungen, und wenn ja, wann? Wir unterscheiden Unix SemanFk Sitzungs SemanFk Unveränderliche Dateien TransakFonen

9 SemanFk der gemeinsamen Nutzung von Dateien II Unix SemanFk: Jede DateioperaFon wird von allen anderen Prozessen sofort gesehen. Einfach zu implemenferen in einem lokalen Dateisystem (alle OperaFonen benutzen einen gemeinsamen Puffer) Aufwendig in einem verteilten Dateisystem, insbesondere, falls die Knoten einen lokalen Puffer für die enmernten Dateien benutzen DefiniFon "GleichzeiFgkeit" bei verteilten System schwierig Knoten 1: 1. Write ( 1111 ) Knoten 2: 2. Read () Dateiserver Lokaler Puffer Festplatte Ergebnis Read: 1111

10 Sitzungs SemanFk SemanFk der gemeinsamen Nutzung von Dateien III Abgeschwächte SemanFk. Die Änderungen eines Knotens an einer Datei werden auf den anderen Knoten erst sichtbar, wenn die Datei geschlossen wird. Knoten 1: 1. Write ( 1111 ) 3. Close() Knoten 2: 2. Read () 4. Read () Dateiserver Lokaler Puffer Festplatte Ergebnis 1. Read: 0000 Ergebnis 2. Read: 1111

11 SemanFk der gemeinsamen Nutzung von Dateien IV Unveränderliche Dateien: Erlaube keine Änderungen der Dateien Änderung sind nur möglich durch Herstellung einer modifizierten neuen Datei und Löschung der alten Dieses Schema erlaubt effiziente gemeinsame Nutzung und ReplikaFon der Dateien Schema ist uneffizient für Änderungen an großen Dateien "Abwälzen" der Konsistenz ProblemaFk auf die Anwendung sie muss z.b. selbst die beteiligten Prozesse darüber informieren, wenn eine neue, geänderte Datei angelegt wurde.

12 SemanFk der gemeinsamen Nutzung von Dateien V Atomare TransakFonen Jede Änderung wird vollständig ausgeführt oder scheitert Dieses entspricht der DatenbanksemanFk Hier nicht weiter behandelt

13 Pufferung: einfachster Fall Puffer der Anwendung Read()/Write()-Anweisung Benutzerebene Betriebssystemebene Block-/Page-Cache Speichersystem

14 Pufferung Wo können sich die Dateiblöcke aus der Sicht eines Knotens befinden? Plaee/Puffer des Dateiservers (SD und SC), wenn es einen solchen gibt Lokale Plaee/lokaler Puffer des Knotens (LD und LC) Plaee/Puffer eines enmernten Knotens (RD und RC) Read() Knoten 1: LC SC LD SD Knoten 2: RC RD Dateiserver Welche Daten sind gültig? Puffer Festplatte

15 Rüchblick: Pufferung NFS Suchreihenfolge des Klienten: lokaler Puffer (LC), Puffer des Dateigebers (SC), Plaee des Dateigebers (SD) Änderungen des Klienten werden alle 3s (Daten) bzw. alle 30s (Dateiaeribute) an den Server geschickt (keine UNIX SemanFk!) Read() Knoten 1: LC SC LD SD Knoten 2: RC Dateiserver Puffer RD Festplatte

16 XFS Pufferung Suchreihenfolge des Klienten: lokaler Puffer (LC) Puffer der anderen Knoten (RC) lokale Plaee (LD) Plaeen der anderen Knoten (RD) Puffer werden zuerst durchsucht, weil das Lesen aus dem Puffer eines enmernten Knoten 2 bis 3 Größenordnungen schneller als das Lesen von der lokalen Plaee sein kann (bei einem schnellen Netzwerk: ms vs. μs) Read() Knoten 1: LC Knoten 3: SC LD SD Knoten 2: RC Puffer RD Festplatte

17 Physikalische ParFFonierung einer Datei Eine Datei wird auf mehreren E/A Knoten verteilt. Die häufigste Verteilung ist die Umlauf Verteilung von Dateiblöcken über alle E/A Knoten im SFl von RAID 0 (Beispiele: PVFS der Universität Clemson, GPFS von IBM) Viele weitere Verteilungsformen möglich

18 Logische ParFFonierung einer Datei Wie wird eine Datei zwischen den Prozessen einer parallelen Anwendung parffoniert? Sicht: eine Untermenge einer Datei mit linearen Adressen Eine Sicht wird von einem Rechenknoten gesetzt. Alle DateioperaFonen können auf eine Sicht angewandt werden. Vorteil: komplexe Zugriffsmuster können in einem einzigen Aufrufausgeführt werden Sicht Datei

19 Parallele Anwendungen: E/A Analyse I 0,0 0,1 0,2 0,3 1,0 1,1 1,2 1,3 2,0 2,1 2,2 2,3 3,0 3,1 3,2 3,3 Proc. 0 Proc. 1 Proc. 2 Proc. 3 Logische Partition physikalische Partition Studien der Universität von Illinois und am Dartmouth College über parallele, wissenschaqliche Anwendungen: Eine Datei ist physikalisch auf mehreren Plaeen verteilt Eine Datei wird gemeinsam von mehreren Knoten benutzt Die Dateizugriffe sind oq verschachtelt Die Zugriffe überlappen sich selten MulFdimensionale Felder sind die meistbenutzten Datenstrukturen 0,0 1,0 2,0 3,0 0,2 1,2 2,2 3,2

20 Parallele Anwendungen: E/A Analyse II 0,0 0,1 0,2 0,3 1,0 1,1 1,2 1,3 2,0 2,1 2,2 2,3 3,0 3,1 3,2 3,3 Proc. 0 Proc. 1 Proc. 2 Proc. 3 Logische Partition physikalische Partition Die parallelen E/A Zugriffe ergeben viele kleine Nachrichten Überlastung von Plaeen (Extremfall: alle Prozessoren schicken Anforderungen an alle Plaeen) Die Plaeennutzung kann unbalanciert sein: zu einem besfmmten Zeitpunkt kann eine Plaee Aufforderungen von mehreren Prozessoren empfangen, während andere Plaeen inakfv sind Aus der Sicht eines Prozessors liegen die Daten fragmenfert auf den Plaeen Hauptgrund: schlechte Anpassung zwischen physikalischer und logischer ParFFonierung 0,0 1,0 2,0 3,0 0,2 1,2 2,2 3,2

21 Parallele Anwendungen: E/A Analyse III 0,0 0,1 0,2 0,3 1,0 1,1 1,2 1,3 2,0 2,1 2,2 2,3 3,0 3,1 3,2 3,3 Proc. 0 Proc. 1 Proc. 2 Proc. 3 Logische Partition physikalische Partition In diesem Fall passen physikalische und logische ParFFonierung genau aufeinander Hohe Performanz möglich Man kann es als Aufgabe eines parallelen, verteilten Dateisystems ansehen, eine physikalische ParFFonierung zu finden, die gut zu den verwendeten logischen ParFFonierungen passt Aber: Es können gleichzeifg, oder direkt hintereinander unterschiedliche logische Part. verwendet werden, deshalb keine leichte Aufgabe 0,0 0,1 0,2 0,3 2,0 2,1 2,2 2,3

22 Clusterdateisystem: Beispiel GPFS s. auch Literaturliste

23 Paralleles Dateisystem: Beispiel Lustre

24 Datei E/A und Metadaten Schlüsselmerkmale Lustre Dateisperren auf Byte Ebene GaranFerte E/A Atomarität Konfliktbehaqete Zugriffe werden gegeneinander gesperrt GaranFerte Metadatenkonsistenz MulF Server File Striping (RAID0) Kernel OpFmierungen für große E/A Skalierbare Metadaten Leistung 1000 Clients in einem Verzeichnis mit 5000 creates/sec

25 Verbesserte gemeinsame Nutzung von Speichersystemen und Daten Metadaten in Speichersystemen Server müssen sich nur um Namen kümmern Verbesserte Sicherheit und Skalierbarkeit Speichersysteme verwalten selbst den Zugriff durch die Clients Feinere Granularität als auf LUN Ebene Besser Performanz Speichersystem kann Zugriffe selbst opfmieren und Caching verbessern Leichteres Speichermanagement Mehr Intelligenz in den Speichersystemen MoFvaFon OSD

26 OSD Schniestelle

27 OSD Historie Grundlagen Basiert auf NASD Forschung Seagate führte NSIC OSD 1999 in die SNIA Status Heute Version 1.0 des OSD Standards über T10 verabschiedet Intel, IBM, EMC, HP, Panasas, Seagate, Veritas akfv beteiligt IBM arbeitet an objekt basierten Speicher in Version 2 des Storage Tanks Lustre CFS/ HP/ BlueArc arbeiten für DoE 1,000 Knoten; 225 TB Cluster wurde Oktober 2002 installiert Panasas vertreibt OSD basierte Speichersysteme Skalierbares NAS (300+ Knoten)

28 OSD Historie Grundlagen Basiert auf NASD Forschung OSD ist heute Grundlage der Seagate führte NSIC OSD 1999 in die SNIA skalierbarsten Dateisysteme Status Heute und gleichzeitig der bekannten Active Disk Architekturen Version 1.0 des OSD Standards über T10 verabschiedet RISS von HP und Centera von EMC Intel, IBM, EMC, HP, Panasas, Seagate, Veritas akfv beteiligt IBM arbeitet an objekt basierten Speicher in Version 2 des Storage Tanks Lustre CFS/ HP/ BlueArc arbeiten für DoE an 1,000 Knoten; 225 TB Cluster wurde Oktober 2002 installiert Panasas vertreibt OSD basierte Speichersysteme Skalierbares NAS (300+ Knoten)