Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren

Transkript

1 Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren Manuel Giffels III. Physikalisches Institut B RWTH Aachen Bad Honnef, Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 1

2 Einführung CMS-Computing-Modell Plattensysteme Teil I Einführung Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 2

3 Einführung CMS-Computing-Modell Plattensysteme Wieso brauchen wir ein Grid? Datenvolumen ca aufgezeichnete Kollisionen jährlich bei LHC ca. 15 Petabyte Rohdaten pro Jahr, ca 20 Millionen CD s pro Jahr Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 3

4 Einführung CMS-Computing-Modell Plattensysteme Wieso brauchen wir ein Grid? Datenvolumen ca aufgezeichnete Kollisionen jährlich bei LHC ca. 15 Petabyte Rohdaten pro Jahr, ca 20 Millionen CD s pro Jahr Simulation, Rekonstruktion, Analyse Rechenleistung von rund modernen PC-Prozessoren nötig Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 3

5 Einführung CMS-Computing-Modell Plattensysteme Wieso brauchen wir ein Grid? Datenvolumen ca aufgezeichnete Kollisionen jährlich bei LHC ca. 15 Petabyte Rohdaten pro Jahr, ca 20 Millionen CD s pro Jahr Simulation, Rekonstruktion, Analyse Rechenleistung von rund modernen PC-Prozessoren nötig Benutzerstruktur CERN hat über Benutzer von mehr als 450 Instituten Weltweiter Zugriff auf die Daten Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 3

6 Einführung CMS-Computing-Modell Plattensysteme Wieso brauchen wir ein Grid? Datenvolumen ca aufgezeichnete Kollisionen jährlich bei LHC ca. 15 Petabyte Rohdaten pro Jahr, ca 20 Millionen CD s pro Jahr Simulation, Rekonstruktion, Analyse Rechenleistung von rund modernen PC-Prozessoren nötig Benutzerstruktur CERN hat über Benutzer von mehr als 450 Instituten Weltweiter Zugriff auf die Daten Finanzierbarkeit Nationale Geldgeber finanzieren lieber Rechenzentren im eigenen Land, als Geld an CERN zugeben Bessere Nutzung der lokalen Ressourcen, Spin-off-Effekte innerhalb des Landes Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 3

7 Einführung CMS-Computing-Modell Plattensysteme Wieso brauchen wir ein Grid? Datenvolumen ca aufgezeichnete Kollisionen jährlich bei LHC ca. 15 Petabyte Rohdaten pro Jahr, ca 20 Millionen CD s pro Jahr Simulation, Rekonstruktion, Analyse Rechenleistung von rund modernen PC-Prozessoren nötig Benutzerstruktur CERN hat über Benutzer von mehr als 450 Instituten Weltweiter Zugriff auf die Daten Finanzierbarkeit Nationale Geldgeber finanzieren lieber Rechenzentren im eigenen Land, als Geld an CERN zugeben Bessere Nutzung der lokalen Ressourcen, Spin-off-Effekte innerhalb des Landes Betrieb und Wartung Zuverlässiger und skalierbarer Betrieb über Jahrzehnte Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 3

8 Die TIER-Struktur Einführung CMS-Computing-Modell Plattensysteme Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 4

9 TIER 2 (CMS) Einführung CMS-Computing-Modell Plattensysteme Aufgaben Zur Verfügung stellen von Rechenleistung an die CMS-Community für Analyse, MC-Produktion und Kalibration Bereitstellung von Speicherplatz für die benötigten Datensätze Anforderungen (2007) CPU: 900 ksi2k entspricht ca. 900 Pentium 4 3 GHz CPU s Speicherplatz: 200 TB Festplattenspeicher. Evtl. zusätzlich ein Tape-System. WAN: Mindestens eine GigaBit Anbindung zum übergeordneten TIER 1 Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 5

10 TIER 3 Einführung CMS-Computing-Modell Plattensysteme Aufgaben Bereitstellung von Rechenleistung für eine lokale Benutzergruppe (3 CMS-Gruppen in Aachen) Zur Verfügung stellen von Speicherplatz für lokale Benutzer Betrieb in einer GRID-Infrastruktur Anforderungen (2007) Anforderungen an ein TIER 3 sind nicht genau absehbar Für Aachen realistischer Bedarf: ca. 100 TB Speicherplatz ca. 50% der Rechenleistung eines mittleren TIER 2 s (400 ksi2k) Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 6

11 Einfu hrung CMS-Computing-Modell Plattensysteme TIER 2 in Diskussion AC/DESY Prototyp TIER 2/3 Aachen 20 CPU s (Opterons) als Worker Nodes 20 weitere sind gerade in Bestellung ca. 10 TB Festplattenplatz GBit-Vernetzung Diverse GRID-Kontrollrechner Hauptaugenmerk: Kosten der Festplatten Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 7

12 Einführung CMS-Computing-Modell Plattensysteme Hochverfügbare Plattensysteme SCSI Im Ultra-320 Modus sind Transferraten von bis zu 320 MByte/s möglich Daten: Zugriffszeit 3-5 ms, RPM, Datenrate bis 110 MByte/s Herstellerangaben Zuverlässig aber teuer! 147 GB Festplatte (10000 RPM) kostet ca. 550 Euro Lebensdauer: Aus Erfahrungswerten ca h 34 Jahre Fibre Channel Transferraten bis zu 250 MByte/s, neuer Standard bis zu MByte/s möglich Verwendet SCSI-Platten mit Fibre Channel Interface Zusätzlich werden Fibre-Channel-Karten benötigt 147 GB Festplatte (10000 RPM) kostet ca. 600 Euro Einsatzgebiet Servereinsatz, bei denen es auf schnelle Zugriffe ankommt (Datenbankserver) Bestimmt für Systeme mit hoher Verfügbarkeit (Plattenpreis/TB ca Euro) Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 8

13 Einführung CMS-Computing-Modell Plattensysteme Auf dem Massenmarkt erhältliche Plattensysteme Parallel-ATA/IDE Im Ultra DMA 133 Modus sind Transferraten bis zu 133 MByte/s möglich In der Praxis allerdings nur eine Transferrate von MByte/s Daten: Zugriffszeit 9 ms, RPM, Datenrate bis 70 MByte/s Herstellerangaben Lebensdauer: Aus Erfahrungswerten ca h 17 Jahre Serial-ATA Im SATA 1.0 Modus sind Transferraten von bis zu 150 MByte/s möglich Im SATA 2.0 Modus erhöht sich die Transferrate auf bis zu 300 MByte/s Daten: Zugriffszeit 5-9 ms, RPM, Datenrate bis 100 MByte/s Herstellerangaben 400 GB Festplatte (7.200 RPM) kostet ca. 270 Euro Einsatzgebiet Hauptsächlich Desktop-Systeme, Notebooks, Commodity-Server Bestimmt für den Massenmarkt (Plattenpreis/TB ca. 700 Euro) Einige SATA-Platten mittlerweile auch mit Server-Spezifikation erhältlich Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 9

14 Einführung CMS-Computing-Modell Plattensysteme Heute oft mit Redundant Array of Independent Disks bezeichnet Für den Benutzer und dessen Anwendungen kein Unterschied zum Betrieb einer einzelnen Festplatte Man unterscheidet zwischen Software- und Hardware-RAID Einteilung der Betriebsarten in sogenannte RAID-Level Für den Betrieb eines RAID s sind mindestens zwei Festplatten notwendig (je nach RAID-Level auch mehr) Mögliche Vorteile Nachteile Erhöhte Datensicherheit durch Redundanz Bessere Performance Größere logische Laufwerke möglich Kleinstes Laufwerk bestimmt den Gesamtspeicherplatz Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 10

15 Einführung Just a Bunch Of Disks (JBOD) CMS-Computing-Modell Plattensysteme Im Gegensatz zum RAID-Verbund, werden hier die Festplatten dem Betriebssystem einzeln zur Verfügung gestellt. Vorteile Nachteile Insgesamt verfügbare Kapazität, ist die Summe aller Einzelkapazitäten Größere logische Laufwerke mit Hilfe einer Volume Management Software möglich Keine höhere Datensicherheit, da keine Redundanz Keine Steigerung der Performance Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 11

16 RAID 0 Einführung CMS-Computing-Modell Plattensysteme Eigenschaften Kein echtes RAID, da keine Redundanz vorhanden Hohe Performance durch Striping (Daten werden in Streifen zerteilt und auf alle Laufwerke verteilt geschrieben) Fällt ein Laufwerk aus, sind alle Daten verloren Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 12

17 RAID 1 Einführung CMS-Computing-Modell Plattensysteme Eigenschaften Spiegelung der Daten erhöht die Ausfallsicherheit Nur die Hälfte der Kapazität nutzbar Keine Performancesteigerung beim Schreiben, während das Lesen im Idealfall doppelt so schnell erfolgt Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 13

18 RAID 5 Einführung CMS-Computing-Modell Plattensysteme Eigenschaften Mindestens 3 Laufwerke erforderlich Beim n Laufwerken sind n 1 n der Gesamtkapazität verfügbar Max. 1 Laufwerk kann ohne Datenverlust ausfallen Paritätsberechnung (XOR) Information X Information Y Information Z Parität (XOR) Fehlerkorrektur (XOR) Information X Information Z Parität (XOR) Rekonstruktion Y Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 14

19 RAID 6 Einführung CMS-Computing-Modell Plattensysteme Seit einigen Monaten aktuell! Eigenschaften Mindestens 4 Laufwerke erforderlich n 2 n der Gesamtkapazität verfügbar Zwei verschiedene Paritätsinformationen notwendig Schreib- und Rebuildperformance schlechter als bei RAID 5 Höhere Ausfallsicherheit Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 15

20 Weitere Details Einführung CMS-Computing-Modell Plattensysteme Kombinations RAIDs RAID 10, RAID 50, RAID 0+1, usw. Typische-Controller-Größen Überwiegend werden Controller mit 8 Anschlüssen verwendet Teilweise auch Controller mit 12 Anschlüssen in Verwendung Aus IO-Performance- und Verfügbarkeitsgründen sind eher zwei kleinere Controller in einem Server zu empfehlen Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 16

21 Simulation Teil II Kosten- und Verfügbarkeitssimulation Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 17

22 Ziele der Simulation Simulation Vorgehensweise Erster Test Erste Ergebnisse Rechenzentren bevorzugen teure hochverfügbare Systeme (SCSI/FC), mit möglichst geringem Personalaufwand Physiker wollen eher kostengünstige Systeme (SATA) einsetzen Simulation notwendig: Um Kosten und Arbeitsaufwand der Techniker abzuschätzen Um eine optimalen Konfiguration zu finden (Kosten Verfügbarkeit, Wartungsaufwand) Als Hilfe für eine Kaufentscheidung für ein künftiges TIER 2/3 Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 18

23 Simulation Vorgehensweise Erster Test Erste Ergebnisse Radioaktiver Zerfall: Zeitlicher Ablauf der radioaktiven Zerfälle folgt der Poisson-Statistik P λ (n) = λn n! e λ mit n = 0, 1, 2,... Anzahl der noch nicht zerfallenen Atome folgt einer Exponentialverteilung N (t) = N 0 e t τ Festplattenzerfall: Wahrscheinlichkeit für den Ausfall einer Festplatte mit der Lebensdauer τ innerhalb des Intervalls [t, t + t] ist: P λ (1) = λ e λ mit λ = t τ Die Anzahl der intakten Festplatten folgt einer Exponentialverteilung N (t) = N 0 e t τ Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 19

24 Die Software Simulation Vorgehensweise Erster Test Erste Ergebnisse Bedienung der Simulation über QT-GUI Parameter können dabei zur Weiterverwendung gespeichert werden Geplant ist die Übergabe der Parameter über eine XML-Karten (Konsolenversion) Speichern der simulierten Daten in ROOT-Trees Analyse der Daten mittels ROOT-Makros Simulationprozess Würfeln einer gleichverteilten Zufallszahl im Intervall [0, 1] Falls die Zahl kleiner ist als P λ (1), dann wird die Platte als defekt markiert Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 20

25 Simulation Vorgehensweise Erster Test Erste Ergebnisse Features der Simulation Die Simulation von JBOD, RAID 0, RAID 1, RAID 5 und RAID 6 wird unterstützt Ein (zwei bei RAID 6) weiterer Festplattenausfall während eines Rebuilds, führt zu einem Datenverlust Defekte Festplatten werden in einem freiwählbaren Intervall ausgetauscht Es wird ein Festplattenlager simuliert, aus dem defekte Festplatten ersetzt werden Nach erreichen eines Limits an einsatzbereiten Festplatten in diesem Lager, werden defekte Festplatten durch neue Festplatten ersetzt Bei der Wiederbeschaffung wird dabei unterschieden, ob es sich um einen Garantiefall handelt oder nicht. (Kosten und Dauer der Wiederbeschaffung) Die Kosten für die Anschaffung der Server, Controller und Festplatten wird berücksichtigt. Ebenso die Kosten der Wiederbeschaffung und die des Technikers, der die Festplatten wechselt Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 21

32 Simulation Vorgehensweise Erster Test Erste Ergebnisse Speicherplatz [GB] Zeit [h] τ set = h Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 22

33 Simulation Vorgehensweise Erster Test Erste Ergebnisse Speicherplatz [GB] Zeit [h] τ set = h τ fit = h Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 22

34 Simulation Vorgehensweise Erster Test Erste Ergebnisse Simuliertes System Typ: RAID 5 (SATA) Simulationsdauer: 3 Jahre HD Größe: 400 GB Anzahl Server: 110 Kanäle: 8 Reparaturinterval: keine Reparatur Speicherkapazität: 300 TB Speicherplatz [GB] Verfügbarkeit = 82,78 % Jahr Zeit [h] Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 23

35 Simulation Vorgehensweise Erster Test Erste Ergebnisse Simuliertes System Typ: RAID 5 (SATA) Simulationsdauer: 3 Jahre HD Größe: 400 GB Anzahl Server: 110 Kanäle: 8 Reparaturinterval: Monatliche Reparatur Speicherkapazität: 300 TB Speicherplatz [GB] Verfügbarkeit = 99,91% 8 Ausfälle a 2,8 TB Jahr Zeit [h] Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 24

36 Simulation Vorgehensweise Erster Test Erste Ergebnisse Reparierte Platten pro Reparaturintervall Anzahl rep. Platten Maximal 8 Festplatten pro Reparaturintervall zu tauschen Im Mittel sind es 4,36 Festplatten Zeit [h] Anzahl der Platten im Festplattenlager Wiederbeschaffung erfolgt bei einem Limit von 30 Festplatten Es sind immer genügend Festplatten zum Tausch vorhanden Anzahl Platten im Lager Zeit [h] Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 25

37 Simulation Vorgehensweise Erster Test Erste Ergebnisse Simuliertes System Typ: RAID 5 (SCSI) Simulationsdauer: 3 Jahre HD Größe: 150 GB Anzahl Server: 285 Kanäle: 8 Reparaturinterval: Monatliche Reparatur Speicherkapazität: 300 TB Speicherplatz [GB] Verfügbarkeit = 99.99% 1 Ausfall a 1,05 TB Jahr Zeit [h] Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 26

38 Simulation Vorgehensweise Erster Test Erste Ergebnisse Simuliertes System Typ: RAID 6 (SATA) Simulationsdauer: 3 Jahre HD Größe: 400 GB Anzahl Server: 75 Kanäle: 12 Reparaturinterval: Monatliche Reparatur Speicherkapazität: 300 TB Speicherplatz [GB] Verfügbarkeit = 99,96 % 1 Ausfall a 4 TB Jahr Zeit [h] Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 27

39 Zusammenfassung und Ausblick Zusammenfassung und Ausblick Erste Ergebnisse liegen vor, nun Diskussion mit den Rechenzentren Aachen und DESY Verfeinerung der Simulation Erfahrungen zeigen, dass es zu einem erhöhten Festplattenausfall binnen der ersten zwei Wochen kommt. (1-2%) Berücksichtigung des Mooreschen Gesetzes. Verdoppelung der Festplattenkapazität alle 18 Monate. Aufbau des Clusters von Anfang 2006 bis Frühjahr 2007 Mischsystem aus Systemen mit hoher Verfügbarkeit (SCSI RAID 5, SATA RAID 6) und Commodity-Systemen (SATA RAID 5) Zusätzlich zu Controller- und Serverkosten, Berücksichtigung der Kosten für die Infrastruktur Weitere zu untersuchende Fragen? Inwieweit ist IO-Performance wichtig? Bei CMS überwiegend parallele Lesezugriffe auf fragmentierte Daten. Inwieweit ist eine ausreichend schnelle Wiederbeschaffung verlorener Daten vom TIER 1 oder TAPE möglich? Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren 28