Das Archiv- und dbackupsystem am Leibniz-Rechenzentrum

Transkript

1 Das Archiv- und dbackupsystem am Leibniz-Rechenzentrum RBP-Begleitseminar Dr. B. Reiner Übersicht Datensicherung (Backup + Archivierung) Archivierungs- und Backupumgebung am LRZ Langzeitarchivierung (diverse Projekte) Datensicherheit & Lebensdauer von Datenträgern Herausforderung Langzeitarchivierung 2 1

2 Datenhaltungsdienste am LRZ (1) Datensicherung (Backup) Zusätzliche Zweitkopie i Kurzfristige Aufbewahrung Wieso Backup? Fehler in der Hard- oder Software menschliches Versagen sonstige Katastrophen 3 Datenhaltungsdienste am LRZ (2) Archive (Archivierung) sichere Aufbewahrung günstige Speichermedien mittelfristige Lagerung großer, bzw. sehr großer Datenmengen z.b. E/A-Daten der Programme an den Supercomputern, Video-Daten, 3D-Simulationen Langzeitarchivierung i großer Datenmengen z.b. Datenbestände von Bibliotheken Breitengrad Zeit Längengrad 4 2

3 Prinzip der verteilten Datensicherung Administration TSM-Server Disk Cache Network Clients Server, Arbeitsplatzrechner Tivoli Storage Manager (IBM) Tape Library 5 Archiv- & Backup Konfiguration LABS System 1 7 Server IBM TS3500 LABS System 2 13 Server HABS System 5 x IBM DS4500 (FastT900) IBM TS Server 2 x STK FLX TByte Disk Storage STK SL

4 IBM Tivoli Storage Manager Der Allrounder 7 Verfahren beim Backup Full Backup Alles wird gesichert Differential Backup Sichert Änderungen seit letztem Full Backup Incremental Backup Sichert Änderungen seit letztem Backup Partial Backup 8 4

5 Verfahren beim Backup (Differential Backup) Full Diff. Diff. Diff. Diff. Diff. Diff. BOOM So. Mo. Di. Mi. Do. Fr. Sa. Weniger Platzverbrauch als Full-Bkp. Kompletter Restore (2 Bänder) Restore schneller als bei Inc.-Bkp. Backup langsamer als bei Inc.-Bkp. Redundante Daten im Backup Hohe Medienanzahl & Kosten 9 Verfahren beim Backup (Incremental Backup) Full Inc. Inc. Inc. Inc. Inc. Inc. BOOM So. Mo. Di. Mi. Do. Fr. Sa. Weniger Platzverbrauch als Diff.-Bkp. Keine redundanten Daten im Backup Schnellstes Backup-Verfahren Restore dauert länger als bei Diff./Full Bei Restore mehrere Bänder notwendig Weniger Datensicherheit (0 Redundanz) 10 5

6 Übersicht Datensicherung (Backup + Archivierung) Archivierungs- und Backupumgebung am LRZ Langzeitarchivierung (diverse Projekte) Datensicherheit & Lebensdauer von Datenträgern Herausforderung Langzeitarchivierung 11 Wer sichert Daten am LRZ? HLRB II 12 6

7 Archivierungs- & Backupumgebung am LRZ IBM TS3500 (3584) 2 Systeme 40 LTO II Laufwerke (noch) 35 MByte/s Transferrate (nativ) Bandplätze 200 GByte pro Band (nativ) 2 PByte Gesamtkapazität (nativ) Maximalausbau: Bandplätze 2,8 PByte Kapazität (nativ) 13 Archivierungs- & Backupumgebung am LRZ 14 7

8 Archivierungs- & Backupumgebung am LRZ 26 Titanium Laufwerke 120 MByte/s Transferrate (nativ) Bandplätze 500 GByte pro Band (nativ) 4 PByte Gesamtkapazität (nativ) (entspr. 6,5 Mio. CD`s) (entspr. 1,7 Mrd. Bücher) (in PDF, 10 KB/Seite, 200 Seiten/Buch) STK SL8500 Maximalausbau: Bandplätze 146 PB Gesamtkapazität (nativ) 15 Magnetband-Speichermedien 9 Spur Band 100MB QIC Kassette 250MB 8 mm Kassette 20GB 4 mm Kassette 2GB IBM 3590 Band 40GB IBM 3570 Kassette 7GB STK SD-3 Band 50GB 16 8

9 StorageTek Titanium Laufwerk Titanium T10000 Laufwerk 120 MByte/s Transferrate 500 GByte pro Band 17 Zukünftige Entwicklung LTO-Medien 18 9

10 LRZ: Entwicklung des Speichervolumens Verdopplung des Datenvolumens ca. alle 1,5 Jahr!!! 3,9 Petabyte = Byte 2008 Dezember 2000: 36 Terabyte A & B 526 Nodes September 2008: 3,9 Petabyte A & B 5102 Nodes 19 LRZ: Entwicklung Anzahl der Dateien 2008 Dezember 2000: 186 Mio. Dateien B & A 526 Nodes September 2008: 3,4 Mrd. Dateien B & A 5102 Nodes 20 10

11 Übersicht Datensicherung (Backup + Archivierung) Archivierungs- und Backupumgebung am LRZ Langzeitarchivierung (diverse Projekte) Datensicherheit & Lebensdauer von Datenträgern Herausforderung Langzeitarchivierung 21 Langzeitarchivierung (LZA): Was ist das? Normale Archivierung (eher unproblematisch) Aufbewahrungsdauer bis 10 Jahre Langzeit = Eine unbegrenzte in die Zukunft reichende Zeitspanne Problemfelder: starke technologische Veränderungen Geändertes Nutzungsverhalten Langzeitarchivierung ( long-term digital preservation ) = Aktivitäten, die dem Erhalt der Verfügbarkeit der Dokumente über die Lebensdauer der Trägermedien und die Grenzen des technologischen Wandels hinweg dienen

12 Wieso Langzeitarchivierung? Rechtliche Vorgaben Steigende Zahl digitaler Dokument Ausschließlich digitale Dokumente (born digital) Digitalisierung vielfältiger Formate und Erschließungsformen Mehrwert digitaler Dokumente Einfache Bereitstellung (weltweit) Bessere Erschließung Volltextsuche t Sicherung des Weltkulturerbes Keine Abnutzung bei Büchern Kein physischer Verfall Geringeres Risiko bei Katastrophen durch RZ und Backup 23 Langzeitarchivierung von Netzpublikationen Projekt BABS Bibliothekarisches Archivierungs- und Bereitstellungssystem Laufzeit: 2 Jahre (seit Juli 2005) Abgeschlossen Kooperationspartner Leibniz-Rechenzentrum Bayerische Staatsbibliothek Ziele Aufbau eines Bibliothekarischen Archivierungs- und Bereitstellungssystem (BABS) Entwicklung von Workflows in Bibliothek und Rechenzentrum Experimentelle Datensammlung Erprobung von Methoden der Langzeitarchivierung (z.b. technische Migration LTO II Titanium ) 24 12

13 BABS Workflow 25 Scan-Roboter Projekt vd16digital Ziel: Digitalisierung und Archivierung Schriften des 16. Jahrhunderts Umfang der Digitalisierung Über 7.3 Mio. Seiten aus BSB-Bestand Drei Scan-Roboter mit je 1100 Seiten/h 3 Schichten: 12h bis zu Seiten/Tag Archivierungsvolumen i Ca MByte/Seite ca. 500 GByte/Tag Ca. 200 TByte Datenvolumen nach 2 Jahren Aktueller Bestand (Stand September 2008) 82,5 TByte / 40,2 Mio. Dateien 26 13

14 Automatisierte Digitalisierung

15 Datenbestand der BSB am LRZ Dezember 2008: 102,4 TByte 45,3 Mio. Dateien Jan 05 Mrz 05 Zweitkopie (RZG) Mai 05 Jul 05 Sep 05 Nov 05 Jan 06 Mrz 06 Mai 06 Jul 06 Sep 06 Nov 06 Jan 07 Mrz 07 Mai 07 Jul 07 Sep 07 Nov 07 Jan BSB-Google Projekt Ziel: Digitalisierung und Archivierung urheberfreier Schriften der BSB Umfang der Digitalisierung Über 1 Mio. Bücher Über 300 Mio. Seiten Zeitraum ca. 5 Jahre Archivierung i BSB-Version Magnetbandsysteme am LRZ Online Bereitstellung BSB-Version über NAS-System am LRZ 30 15

16 Übersicht Datensicherung (Backup + Archivierung) Archivierungs- und Backupumgebung am LRZ Langzeitarchivierung (diverse Projekte) Datensicherheit & Lebensdauer von Datenträgern Herausforderung Langzeitarchivierung 31 Sind die Daten wirklich sicher? Argon-Löschanlage Feuer wird erstickt Kein Wasserschaden Modernste Klimatechnik optimierte Temperatur & Luftfeuchtigkeit 32 16

17 Sind die Daten wirklich sicher? Zweitkopie von Archivdaten wird in einem geographisch entfernten Rechenzentrum gespeichert! 33 Sicherung eines ABS-Systems Single Point of Failure: die interne Datenbank RAID 5 Plattensystem Hotspare-Mechanismus SW-Spiegelung der Datenbank gespiegeltes Recovery-Log tägliche Backups, Rollforward-Verfahren Bandkopien der Archivdaten Sicherung der Server-Images 34 17

18 LZA: Lebensdauer von Daten Lebensdauer begrenzt durch: Haltbarkeit des Datenträgers Verfügbarkeit der Hardware (Rechner und R/W-Geräte) Verfügbarkeit des Betriebssystems Verfügbarkeit des Dateisystems Verfügbarkeit der Applikations-Software Verfügbarkeit des Dateiformates 35 LZA: Lebensdauer von Daten Datenträger: LTO Ultrium 1 Aufzeichnungsstandard: MS-Word, Version? Geschrieben: 2000 Lesbar: 15 Jahre später problematisch Interpretierbarkeit: 15 Jahre später? Datenträger: Stein Aufzeichnungsstandard: Ägyptische Hieroglyphen Geschrieben: 4000 v. Chr. bis 300 v. Chr. Lesbar: 6000 Jahre später problemlos Interpretierbarkeit: 6000 Jahre später? 36 18

19 LZA: Was kann man tun? HW und SW Museum Originalzustand HW & SW erhalten Beibehaltung der ursprünglichen Datenformate Emulation HW und SW (Betriebssystem, Anwendung) nachbilden Beibehaltung der ursprünglichen Datenformate Migration Periodisches überführen der Datenformate in neue Formate Anpassung an neue HW und SW Lizenzkompatibilität? Lesbarkeit des Speichermediums Periodisches kopieren auf neue Medien (alle 3 bis 10 Jahre) Generationswechsel der Speichertechnologien berücksichtigen Durch bessere und schnellere Hardware machbar 37 Übersicht Datensicherung (Backup + Archivierung) Archivierungs- und Backupumgebung am LRZ Langzeitarchivierung (diverse Projekte) Datensicherheit & Lebensdauer von Datenträgern Herausforderung Langzeitarchivierung 38 19

20 LZA Herausforderungen: Vereinheitlichung Reduzierung der verwendeten Dateiformate Aufwand steigt mit Anzahl der Dateiformate Standardisierung Dateiformate für LZA PDF/A (ISO , seit Sept. 2005) Eindeutige Object Identifier Open Source Dateiformate Lesbar von unterschiedlicher SW (z.b. XML) Zeichencodierung Archivsystem vs. gesichertes System TSM unterstütz noch kein UTF-8 (bei Linux meist Default) OAIS (Open Archival Information Systems) Referenz Modell Datenimport, Speicherung, Zugriff, Datenverwaltung Administration, Archivierungsstrategien (z.b. Migration) 39 LZA Herausforderungen: Verwaltung Metadatenbank Voraussetzung für Retrieval Ohne vernünftige Metadaten verkommt Archiv zu Datengrab Metadaten-DB sind Kronjuwelen Backup!! Archivierungs-Policies Was wird wie lange und in welchem Umfang archiviert? Filterung der archivierungswürdigen Daten nicht trivial Aktives Aktives (häufiges Retrieval) oder passives Archiv? Zwangs -backup & -archivierung Migrations-Policies Automatisierung Migration der Daten und Umkopieren der Medien entsprechend der Alterung der Daten (Band) über Metadaten 40 20

21 LZA Herausforderungen: Sicherheit Datensicherheit Zweitkopie von Archivdaten (geographisch getrennt!?!) Klimatisierung optimierte Temperatur & Luftfeuchtigkeit Zerstörungsfeie Löschanlage z.b. Argon Prüfsummen (z.b. MD5) Übereinstimmung Original und Kopie kann sichergestellt werden Signatur der Daten Authentizität der Daten auch nach Jahren eindeutig bestimmen Problem: Verfall der Signatur Historienführung Alle relevanten Arbeitsschritte protokolliert. Über Signatur und Prüfsummen kann eine lückenlose Historie der Zugriffe erfolgen. Verschlüsselung der Daten Schutz vor fremden Zugriffen (Gefahr: Schlüsselverlust) 41 LZA Herausforderungen: Systemseite (1) Skalierbarkeit Datenvolumen Datenanzahl (Größe der Datenbank) Nachhaltigkeit LZA Infrastruktur über lange Zeit aufrechterhalten/erneuern Finanzierung, Personal, Räumlichkeiten, Klimatisierung Revisionssichere Archivierung WORM Funktionalität 42 21

22 LZA Herausforderungen: Systemseite (2) Virtualisierung der Archivierungsumgebung Erhöhte Komplexität vs. erhöhte Flexibilität Archivierung und Green-IT Geringer Energieaufwand Magnetbandtechnologie Speichermedium der Zukunft Magnetbandtechnologie? Flash-Medien? Holographischer Speicher? 43 22