SSD-basiertes Caching einer Festplatte auf Dateisystemebene

Transkript

1 , Festplatte auf 30. Januar 2012

2 , , Überblick 2

3 , 1 CPUs entwickeln sich schneller als Festplatten Leistung von CPUs verdoppelt sich alle 18 Monate Leistung von Festplatten stagniert 2 SSDs bisher nicht geeignet, Festplatten zu ersetzen zu wenig Speicher zu teuer 3

4 , Kleine SSD als persistenter Cache einer Festplatte günstiger als Ersatz durch SSD mit viel Speicher schneller als Festplatte allein 4

5 Umsetzung auf welcher Ebene? Anwendung Anwendung, ext4 Mediator (a) (b) Mediator ext4 XFS HDD SSD HDD SSD A) auf Ebene des s B) auf Ebene des s 5

6 Auf Ebene des s, Caching von Blöcken ist bekanntes Territorium unterstützt jedes 6

7 Vorhandene, dm-cache bcache Facebooks flashcache DragonflyBSDs swapcache 7

8 Vorhandene, Caching eines es (bcache, flashcache, dm-cache) Erweiterung Page Cache (swapcache) 8

9 Auf Ebene des s, logischer Zusammenhang von Blöcken bekannt Unterscheidung von Dateien auf Basis der Größe, des Inhalts und des Pfades möglich Beispiel: Selektion von System-Dateien 9

10 Umsetzung, A) Anpassung ausgewählter e B) Caching-Ebene als Stackable file system weniger Aufwand für k e vollständig außerhalb des Kernels realisierbar 10

11 Vorhandene, FS-Cache mcachefs CacheFS Conquest xcachefs ZFS 11

12 Vorhandene, keine differenzierte Behandlung von Datei-Klassen (angedacht bei Conquest, CacheFS) nicht generisch (FS-Cache, Conquest, ZFS) verringern die Zuverlässigkeit (mcachefs, Conquest) verwenden Write-Back-Caching (mcachefs) Aufteilen statt Caching (Conquest) Wartezeiten (CacheFS, xcachefs) 12

13 , Existierende behandeln keine Unterschiede von Datei-Klassen setzen voraus: = Vergangenheit Existierende -basierte haben konzeptionelle Schwächen 13

14 Untersuchter Ansatz, ersten k Byte jeder Datei auf SSD repliziert Algorithmus liefert k zu jedem Zeitpunkt für jede Datei 14

15 , A) statisch B) dynamisch: bei Zugriff C) dynamisch: kontinuierlich 15

16 60 50 Algorithmus equalshare Algorithmus "equalshare" Speicher im Cachedateisystem: 100 Bytes Quell- Cache- 50, Dateigröße [Byte] a b c d e Datei 16

17 60 50 Algorithmus aimfull Algorithmus "aimfull" Speicher im Cachedateisystem: 100 Bytes Quell- Cache- 50, Dateigröße [Byte] a b c d e Datei 17

18 Dateigrößen-basierte, Algorithmus 10 Prozent jeder Datei nicht effizient umsetzbar Wissen über finale Dateigröße vor Kopieren nötig equalshare/aimfull nicht betroffen 18

19 Anwendung Anwendung, ext4 HDD ext4 HDD headcachefs ext4 SSD Erweiterung Vorher Nachher 19

20 , /headcachefs /quelle /cache /HEADCACHEFS STORE /datei1 /datei1 /datei1 /datei2 /datei2 /datei2 /ordner1 /ordner1 /ordner1 /datei3 /datei3 /datei3 20

21 -Aspekte, Paralleles Lesen und Schreiben Inkonsistenzen durch Multi-Threading Caching von Metadaten Integration des Kernel page cache Speicherverbrauch nicht-regulärer Dateien (interne) Zugriffsrechte 21

22 , Schreib-Operationen werden zum Teil repliziert Szenario: erster Operation erfolgreich, zweite Operation schlägt fehl Möglichkeiten: A) Versuch von Rollback B) Abschalten des Cache für die betroffene Datei C) Abschalten des Cache für alle Dateien 22

23 , bedingte Schwäche: TOCTTOU = Time of check to time of use Zeitfenster zwischen zwei Operationen erste Operation muss beobachtbar sein und zweite Operation implizieren Beispiel: access()/lstat() gefolgt von open()/creat() 23

24 Angriffsmöglichkeit TOCTTOU, 1 Vorhersagbarkeit von Operationen auf Quell- durch Beobachtung des Cache-s Lösung: Inhalt durch Bind-Mount mit leerem Ordner verbergen 2 Fenster zwischen bei open/creat zwischen internem open und internem chown Lösung: Erstellen mit Rechten 0000, dann Eigentümer setzen und Rechte reparieren betrifft auch mkdir, mkfifo, mknod, symlink 24

25 , Pass-through als Referenz: hookfs Protokoll-: recordfs + replay + text2binlog Caching-: headcachefs 25

26 headcachefs, FUSE-basiert Erlaubt... Wahl des Algorithmus Pfad-basierte Auswahl von Dateien Kontrolle über Einbeziehung des Kernel Page Cache Caching von Metadaten (optional) jeweils Paralleles Lesen und Schreiben (optional) Reservierung von Speicher für nicht-reguläre Dateien 26

27 , von FUSE für kleine Dateien schlechter als ursprünglich angenommen Vergleich mit n auf Kernel-Ebene nicht möglich Neue Referenz: hookfs auf ext4 auf HDD 27

28 FUSE Lese- von FUSE auf ext4 ext4 auf HDD wrapfs auf ext4 auf HDD hookfs auf ext4 auf HDD, Durchsatz [MB/s] ,68 MB/s MB 32 64MB 5,47 MB/s MB 4MB 1MB 256KB KB KB KB Anzahl Dateien, Größe je Datei 28

29 Laufzeiten (SSD=1GB) Vergleich : Laufzeiten , Laufzeit [Sekunden] Referenz SSD Lesen read() Lesen andere Schreiben write() Schreiben andere open()/close() Referenz Algorithmus HDD "equalshare" Algorithmus Unbeschränkt "aimfull" Konfiguration Algorithmus Pfadbasiert 29

30 Transfer-Volumina (SSD=1GB) Vergleich : Transfer-Volumina 265,0 264,6 266,3 267,2 267,3 267,2, Transfer-Volumen [Gigabyte] ,0 8,3 9,9 9,9 9,8 9,8 Referenz SSD (links) Schreib-Volumen SSD (links) Schreib-Volumen HDD (rechts) Lese-Volumen SSD (rechts) Lese-Volumen HDD Referenz Algorithmus HDD "equalshare" Algorithmus Unbeschränkt "aimfull" Konfiguration Algorithmus Pfadbasiert 30

31 Theorie, t cached p SSD t SSD + (1 p SSD ) t HDD t cached : Laufzeit headcachefs (Lesen) t SSD : Laufzeit hookfs auf ext4 auf SSD (Lesen) t HDD : Laufzeit hookfs auf ext4 auf HDD (Lesen) p SSD : Anteil Transfer SSD [0..1] (Lesen) 31

32 Theorie, Gewünschte Verbesserung Transfer-Anteil SSD: p SSD (f ) = t HDD f t HDD t SSD t HDD Transfer-Anteil SSD Minimale Laufzeit t cached (p SSD ) = p SSD t SSD + (1 p SSD ) t HDD 32

33 Anwendung, t SSD = 3202,79s t HDD = 11164,22s p SSD,aimfull = B B B = 0,47 t cached(0,47) = 7425,00s = 8984,77s 1559,77s p SSD(1) = 0,00 p SSD(2) = 0,70 p SSD(3) = 0,93 p SSD(4) = 1,05 33

34 Laufzeiten (SSD=1GB) Vergleich : Laufzeiten , Laufzeit [Sekunden] Referenz SSD Lesen read() Lesen andere Schreiben write() Schreiben andere open()/close() Referenz Algorithmus HDD "equalshare" Algorithmus Unbeschränkt "aimfull" Konfiguration Algorithmus Pfadbasiert 34

35 , Laufzeit [Sekunden] Referenz SSD Laufzeiten (SSD=2GB) Vergleich : Laufzeiten Lesen read() Lesen andere Schreiben write() Schreiben andere open()/close() Referenz Algorithmus HDD "equalshare" Algorithmus Unbeschränkt "aimfull" Konfiguration Algorithmus Pfadbasiert 35

36 Transfer-Volumina (SSD=1GB) Vergleich : Transfer-Volumina 265,0 264,6 266,3 267,2 267,3 267,2, Transfer-Volumen [Gigabyte] ,0 8,3 9,9 9,9 9,8 9,8 Referenz SSD (links) Schreib-Volumen SSD (links) Schreib-Volumen HDD (rechts) Lese-Volumen SSD (rechts) Lese-Volumen HDD Referenz Algorithmus HDD "equalshare" Algorithmus Unbeschränkt "aimfull" Konfiguration Algorithmus Pfadbasiert 36

37 300 Transfer-Volumina (SSD=2GB) Vergleich : Transfer-Volumina ,0 264,6 263,3 267,3 267,3 263,9, Transfer-Volumen [Gigabyte] ,0 8,3 10,6 10,7 10,7 10,5 Referenz SSD (links) Schreib-Volumen SSD (links) Schreib-Volumen HDD (rechts) Lese-Volumen SSD (rechts) Lese-Volumen HDD Referenz Algorithmus HDD "equalshare" Algorithmus Unbeschränkt "aimfull" Konfiguration Algorithmus Pfadbasiert 37

38 Fragen für die, Implementierung als Kernel-Modul: Wie viel mehr Leistung? Bleibt die Problemstellung trotz fallender SSD-Preise relevant? Interessantes Nebenprodukt: tmpfs mit SSD/HDD-Backup 38

39 , Zeit für Ihre Fragen! 39