Storage-Zugriffsoptimierung mit QFS für TanDEM-X im DLR

Transkript

1 Storage-Zugriffsoptimierung mit QFS für TanDEM-X im DLR Matthias Rumitz, dignum Das Projekt TanDEM-X wird anteilig durch das Bundesministerium für Wirtschaft und Technologie gefördert (Förderkennzeichen 50 EE 1035) 1 von 1

2 Inhaltsverzeichnis TanDEM-X Überblick Technisches Umfeld Aufbau der Prozessierungs-Anlage Prozessierungs-Anlage Ergebnisse der Studie Erfahrung und Design-Änderung Optimierung des Storage-Systems Zusammenfasssung der Ergebnisse 2 von 2

3 TanDEM-X Überblick TerraSAR-X add-on for Digital Elevation Measurement Active Phased Array Synthetic Aperture Radar (X-Band) Abstand 250m bis 500m, Genauigkeit 1 Millimeter Fläche 150qkm, Raster 12m, vertikale Auflösung 2m 10 Bodenstationen, 20 Sekunden switch-over Start: 21.Juni 2010, Missions-Dauer 3 Jahre 3 von 3

4 4 von 4

5 TanDEM-X Aufnahme Minera Escondida 5 von 5

6 TanDEM-X Technisches Umfeld On-Board: 768 Gigabit Halbleiter-Massenspeicher Daten-Volumen des Höhen-Modells: Gesamtes Missions-Datenvolumen: 15 TB 1,5 PB DIMS SAM-FS Archiv (First Copy): DIMS SAM-FS TanDEM Archiv-Cache: Integrated TanDEM Prozesser Cache: Mosaicking / Calibration Prozessor Cache: 2,2 PB 50 TB 40 TB 40 TB 6 von 6

7 Storage-Zugriffsoptimierung mit QFS für TanDEM-X im DLR 7 von 7

8 TanDEM-X Prozessierungs-Anlage I Zwei SAN/NFS-Server: T5440 (4 SPARC 64-Core) 20 Prozessierungs-Server: X4600 (8 AMD Quad-Core) Sechs STK2540 Controller mit je zwei Erweiterungen 216 SAS Festplatten, jeweils sechs als RAID0+1 SAN: je Server acht 4 Gbit/s FC-Verbindungen NAS: je zwei Quad-Data-Rate Infiniband (40 Gbit/s) 8 von 8

9 9 von 9

10 10 von 10

11 Ergebnisse der Studie Einfachheit: ZFS Skalierbarkeit: ZFS Administration: ZFS Erweiterbarkeit: ZFS Performance: ZFS: 100 MB/s (ok) Infiniband? 11 von 11

12 Erfahrung und Design-Änderung I Friesenhahn-Tuning der STK2540 (FW 6.50) Write-Cache with Enabled: ausschalten Jede Festplatte als eigene LUN rausmappen Ignore Cache Sync (Firmware abhängig) ZFS-Performance Verbesserungen Nahezu Storage-unabhängige Datenraten Cache-abhängige Über-Alles Optimierung 12 von 12

13 Schreibzugriff Datenrate [MB/s] Storage-Zugriffsoptimierung mit QFS für TanDEM-X im DLR ZFS-Skalierbarkeit über 1-4 Controller: RAID6 (blau) / RAID1 (rot) Datei-Größe [GB] 13 von 13

14 Schreibzugriff Datenrate [MB/s] Storage-Zugriffsoptimierung mit QFS für TanDEM-X im DLR IOZone STK2540 FW 6.70 (blau) / FW 7.35 (rot) / QFS 4.6 (schwarz) Datei-Größe [2 hoch N kb] (10=1MB, 20=1GB) 14 von 14

15 Schreibzugriff Datenrate [MB/s] Storage-Zugriffsoptimierung mit QFS für TanDEM-X im DLR IOZone STK2540 FW 7.35 (rot) / STK6780 (grün) / QFS 4.6 (schwarz) Datei-Größe [2 hoch N kb] (10=1MB, 20=1GB) 15 von 15

16 Erfahrung und Design-Änderung II Solaris 10 Update 6 / STK2540 FW 6.50 / ZFS Ver. 10 RAID5, Tuning-Möglichkeiten, 180 MB/s Solaris 10 Update 8 / STK2540 FW 7.35 / ZFS Ver. 15 RAID6, keine Tuning-Möglichkeiten, 90 MB/s => Solaris 10 Update 8 / STK2540 FW 7.35 / QFS Ver von 16

17 Optimierung des Storage-Systems I RAID6 / RAID5 / RAID10 / RAID1 Anzahl Festplatten pro RAID-Gruppe Block-Größe: Segment-Größe: 2 / 4 / 8 / 16 kb 64 / 128 / 256 / 512 / kb Write-Cache: Flush Write-Cache: enabled / disabled Immediate / 1 / 2 / 5 / 10 s 17 von 17

18 Optimierung des Storage-Systems III Storage-Controller bedient alle Festplatten zyklisch => Feste, (vermutlich) definierte Datenrate pro HDD Einflussgrößen: Anzahl Festplatten, RAID-Level => Kennzahl Datenrate pro Festplatte Anzahl HDD RAID [MB/s] [MB/s] [MB/s] 8 x x x x x Anzahl HDD RAID [MB/s] [MB/s] 8 x x 08 4 x von 18

19 Optimierung des Storage-Systems III Anzahl HDD RAID [MB/s] [MB/s] [MB/s] 8 x x x x x Anzahl HDD RAID [MB/s] [MB/s] 8 x x 08 4 x Anzahl HDD RAID [MB/s] [MB/s] [MB/s] 8 x x x x x Anzahl HDD RAID [MB/s] [MB/s] 8 x x 08 4 x von 19

20 Schreibzugriff Datenrate [MB/s] Storage-Zugriffsoptimierung mit QFS für TanDEM-X im DLR STK2540 QFS 4.6 (grün) / QFS 5.1 (blau) und STK6780 (schwarz) Anzahl gleichzeitiger Schreibzugriffe [N] 20 von 20

21 Schreibzugriff Zeitdauer [s] Storage-Zugriffsoptimierung mit QFS für TanDEM-X im DLR STK2540 QFS 4.6 (grün) / QFS 5.1 (blau) und STK6780 (schwarz) Anzahl gleichzeitiger Schreibzugriffe [N] 21 von 21

22 TanDEM-X Prozessierungs-Anlage Durchschnittlicher Auftrag: 3 GB Mittelwert (Aufträge pro Tag): 400 Sollwert (Aufträge pro Tag): 600 Ist-Wert (Aufträge pro Tag): 680 Tägliches Datenvolumen: 2 TB Kontinuierliche Datentransferrate von 23 MB / s 22 von 22

23 Einfachheit: QFS Skalierbarkeit: QFS Administration: ähm Erweiterbarkeit: QFS Reduzierbarkeit: QFS Zusammenfassung RAID10 RAID10 QFS QFS QFS RAID10 RAID10 Gleichzeitiger Zugriff: QFS Performance: QFS: 2,5 GB/s (ok) Infiniband (später) 23 von 23

24 Fragen? Vielen Dank für Ihre Aufmerksamkeit! 24 von 24