Datenspeicherung im Zeitalter der Massendigitalisierung

Transkript

1 Datenspeicherung im Zeitalter der Massendigitalisierung Dr. Bernd Reiner Übersicht Datenspeicherung zwischen Wunsch und Realität Anforderungen an ein LZA-Speichersystem Datenspeicher am LRZ Umsetzung eines skalierbaren LZA-Speichersystems 2 1

2 Datenspeicherung Der Wunsch, bzw. manchmal auch Anspruch Beste Performance Beste Verfügbarkeit Unendliche Ressourcen Unendlich haltbar Günstig Kein Administrationsaufwand Leider in der Realität (meist) nicht zu erreichen Somit Auswahl der Speichersystem nach realen Anforderungen, Vorgaben und vorhandenen Finanzmitteln Der Faktor Massendigitalisierung darf nicht unterschätzt werden Onlinespeichersysteme für schnelle Zugriffe Magnetband-Library für Backup und Archivierung 3 BABS Workflow & Datenspeicher Onlinespeicher Temporärer Speicher für Digitalisierung Temporärer Speicher für Validierung (MD5, Virus- Scan) und Anreicherung Datenbank für Metadaten Access Kopie Magnetbandspeicher Archiv für Master (z.b. Tiff) Zweitkopie für Master Archiv für Access Kopie Backup für DB 4 2

3 Übersicht Datenspeicherung zwischen Wunsch und Realität Anforderungen an ein LZA-Speichersystem Datenspeicher am LRZ Umsetzung eines skalierbaren LZA-Speichersystems 5 Anforderungen an ein LZA-Speichersystem (1) Einheitliches Online-Speichersystem Einfache Anbindung an die Applikations-Server Gemeinsamer Dateizugriff aus der Windows (CIFS) und Linux Welt (NFS) Unterstützung unterschiedlicher Festplatten-Technologien SSD, FC, SATA (klein, schnell, teuer groß, langsam, günstig) One Ring/Storage to rule them all Datensicherheit Daten müssen dauerhaft aufbewahrt werden System verkraftet den Ausfall von bis zu zwei Festplatten pro RAID-Gruppe (RAID DP) Defekte Festplatte wird automatisch durch Spare Festplatte ersetzt Kontinuierlicher Integritätscheck (prüflesen der Sektoren) im Hintergrund Spiegelung der Daten auf ein weiteres Speichersystem Backup auf Magnetband 6 3

4 Anforderungen an ein LZA-Speichersystem (2) Hochverfügbarkeit Wichtigen HW-Komponenten doppelt vorhanden Dienstübernahme im Fehlerfall (Cluster-Failover durch Partner) Erweiterbar im laufenden Betrieb Support vom Hersteller Unterbrechungsfreie Stromversorgung/Klimatisierung/Netzwerk Flexibilität Es ist oft unklar, wie viel Speicherplatz wirklich benötigt wird Speicherbereiche (Volumes) schnell vergrößern (und verkleinern) Überplanung (Thin Provisioning) möglich (nur belegte und nicht zugewiesener Speicherplatz zählt ) Datenmigration (move) innerhalb Speichersystem ohne Auswirkung auf die Anwendung 7 Anforderungen an ein LZA-Speichersystem (3) Skalierbarkeit 840 Platten pro Filer-Pärchen Aktuelle Belegung: 586 TB brutto / 386 TB netto 1 TB x 154 Platten = 154 TB brutto 2 TB x 216 Platten = 432 TB brutto 470 Platten können noch hinzugefügt werden 3 TB x 470 Platten = 1400 TB brutto / 930 TB netto Einfaches Hinzufügen weiterer Filer-Pärchen 840 Platten pro Cluster-Pärchen 3 TB x 840 = 2,5 PB brutto / 1,7 PB netto Einfache fast unterbrechungsfreie Migration auf neue HW möglich 8 4

5 Anforderungen an ein LZA-Speichersystem (4) Backup- und Archivsystem Sichere Datenspeicherung Langlebige Backup- und Archivierungssoftware Langfristiger Betrieb Unterstützung unterschiedlicher Tape-Technologien Günstige Medien Geringer Energieverbraucht GreenIT Einfache Administration Flexible Anpassung auf unterschiedliche Anforderungen Einfache Möglichkeit zur Datenmigration auf neue Medien Mehrfachkopie wichtiger Daten auf unterschiedliche Medien Skalierbar durch Server und Libraries 9 Übersicht Datenspeicherung zwischen Wunsch und Realität Anforderungen an ein LZA-Speichersystem Datenspeicher am LRZ Umsetzung eines skalierbaren LZA-Speichersystems 10 5

6 Datenspeicher am LRZ Onlinespeichersysteme am LRZ (nur NAS!) Überwiegend NAS Systeme der Firma Netapp > 30 Filer-Köpfe (Storage Controller) im Einsatz > Festplatten Aktuelles Speichervolumen > 2 PB Für neuen Super Computer SuperMUC kommen weitere 2 PB in 2012 und 3 PB in 2014 Backup- und Archivierungssystem Tivoli Storage Manager von IBM seit Magnetband-Roboter (2 x IBM; 2 x STK) > 800 TB Festplattenspeicher (SAN) als Cache zur Pufferung des Dateneingangs > 5 TB für die TSM-Datenbanken (Metadaten) ca. 14 PB Datenvolumen; 8,7 Milliarden Dateien Erwarteter Zuwachs durch SuperMUC 45 PB 2012 und 128 PB 2014 Bestand BSB: ca. 290 TB; 564 Millionen Dateien (Stand Dez. 2010) 11 Archivierungs- & Backupumgebung am LRZ STK SL8500 IBM TS3500 (3584) 2 Systeme 2 Systeme 12 6

7 Archivierungs- & Backupumgebung am LRZ 13 LRZ: Entwicklung des Speichervolumens in GigaByte Speicherbelegung der Backup- und Archivsysteme in Gigabytes Backup-Speichervolumen Archiv-Speichervolumen Backup- und Archivspeichervolumen

8 LRZ: Entwicklung Anzahl der Dateien Speicherbelegung der Backup- und Archivsysteme in Anzahl Dateien Anzahl Backup-Dateien Anzahl Archiv-Dateien Anzahl Backup- und Archiv-Dateien Sind die Daten wirklich sicher? Argon-Löschanlage Feuer wird erstickt Kein Wasserschaden Modernste Klimatechnik optimierte Temperatur & Luftfeuchtigkeit Zweitkopie von Archivdaten wird in einem geographisch entfernten Rechenzentrum gespeichert! 16 8

9 Übersicht Datenspeicherung zwischen Wunsch und Realität Anforderungen an ein LZA-Speichersystem Datenspeicher am LRZ Umsetzung eines skalierbaren LZA-Speichersystems 17 Umfangreiche Skalierungstests Zwei HSM-Systeme wurden ausgiebig getestet TSM/HSM-System von IBM SAM/QFS von SUN (jetzt Oracle) Laut Hersteller skalieren diese Systeme Skalierbarkeit untersucht hinsichtlich Datenvolumen Datenanzahl (Anzahl Inodes und Größe der Datenbank) Theoretisch sind sehr große Dateisysteme zu realisieren (bis PB) 18 9

10 Umfangreiche Skalierungstests Das Ergebnis SAM/QFS skaliert etwas besser als TSM/HSM Aber beide Ergebnisse sind ernüchternd Aufgrund der hohen Dateianzahl werden große Dateisysteme ausgebremst HSM-Systeme für große/wenige Dateien prädestiniert Als Datenspeicher für die Massendigitalisierung so nicht geeignet 19 Umsetzung eines skalierbaren LZA- Speichersystems Die Lösung Verwendung kleinerer Einheiten für die Datenorganisation Somit Reduzierung der Anzahl Dateien und des Datenvolumes pro Einheit Verstecken der kleineren Einheiten durch eine Virtualisierungsebene 20 10

11 Skalierbares Langzeitarchiv (1) Anwendungsschicht Speicherschicht NAS-Filer Digitales Langzeit- deposit_storage (30 TB) operational_delivery_shared (0,5 TB) Standard Backup Standard Backup archivierungs- system operational_shared (0,5 TB) operational_storage (45 TB; Online-Version) Standard Backup Langzeitarchiv Backup- und Archivsystem permanent_storage (1.500 TB) Langzeitarchiv Backup- Server 21 Skalierbares Langzeitarchiv (2) Digitales permanent_storage (1.500 TB; logische Sicht) Langzeitarchivierungssystem permanent_storage_root (100GB) permanent_storage (nur Container für die Sub-Volumes; keine Daten!) Mountpoint: /permanent_storage_root vol_bsb_file_0001 (4 6 TB; Daten) vol_bsb_file_0002 (4 6 TB; Daten) vol_bsb_ie_0001 (4-6 TB; Daten) vol_bsb_ie_0002 (4-6 TB; Daten) vol_bvb_sip_0001 ( 4 6 TB; Daten) /permanent_storage_root/vol_bsb_file_0001 Institutionsübergreifend Getrennt für Institutionen vol_bibliox_file_001 (4 6 TB; Daten) vol_bibliox_ie_001 (4 6 TB; Daten) vol_biblioy_file_001 (4 6 TB; Daten) vol_bvb_md_0001 (4 6 TB; Daten) 22 11

12 Skalierbares Langzeitarchiv (3) NAS Storage Controller 1 Vol 1.1 Vol 1.2 Vol 1.3 Vol 1.4 Vol 2.1 Vol 1.m Vol 2.m NAS Storage Controller 2 Vol 1.5 Vol 1.6 Vol 1.7 Vol 2.2 Vol n.1 Vol 2.6 Vol n.m Die NAS-Volumes korrespondieren zu den entsprechenden TSM-Nodes (1:1 Beziehung) Archivierung (Backup) Virtualisierungs-Ebene Archiv- Server 1 Archiv- Server 2 Archiv- Server n Tape-Library 1 Node 1.1 Node 1.2 Node 1.3 Node 1.4 Node 2.1 Tape-Library 2 Node n.1 Node 1.m Node 2.m Node n.m Tape Kopie 1 Tape Kopie 2 Tape Kopie 1 Tape Kopie 2 Umsetzung eines skalierbaren LZA- Speichersystems Vorteile der umgesetzten Lösung Kleine Bereiche lassen sich leichter Sichern und Wiederherstellen Kleine Bereiche lassen sich besser auf neue HW/Medien migrieren Bessere Lastverteilung möglich Geringerer Auswirkungen bei Teilausfällen oder Wartung 24 12

13 Vielen Dank! Dr. Bernd Reiner 25 13