Lang ist relativ kurz: Archivierung und Sicherung von Daten

Transkript

1 Lang ist relativ kurz: Archivierung und Sicherung von Daten am Leibniz-Rechenzentrum (Tag der offenen Tür) Dr. Bernd Reiner Agenda Datensicherung (Backup + Archivierung) Archiv- & Backupsysteme am LRZ Entwicklung des Speichervolumens Herausforderung Langzeitarchivierung 2 1

2 Datenhaltungsdienste am LRZ (1) Datensicherung (Backup) Zusätzliche Zweitkopie Kurzfristige Aufbewahrung Wieso Backup? Fehler in der Hard- oder Software menschliches Versagen sonstige Katastrophen 3 Datenhaltungsdienste am LRZ (2) Archive (Archivierung) sichere Aufbewahrung günstige Speichermedien mittelfristige Lagerung großer, bzw. sehr großer Datenmengen z.b. E/A-Daten der Programme an den Supercomputern, Video-Daten, 3D-Simulationen Langzeitarchivierung großer Datenmengen z.b. Datenbestände von Bibliotheken Breitengrad Zeit Längengrad 4 2

3 Wer sichert Daten am LRZ? (1) HLRB II 5 Prinzip der verteilten Datensicherung Disk Cache Netzwerk Backup Server Rechner (Server) LRZ Tape Library 6 3

4 2 x Magnetband-Speichersysteme von IBM (1) 20 LTO II Laufwerke 35 MByte/s Transferrate Bandplätze 200 GByte pro Band 990 TByte Gesamtkapazität 2 Systeme Maximalausbau: Bandplätze TByte Kapazität 8 2 x Magnetband-Speichersysteme von IBM (2) 9 4

5 Unsere Schnelle: StorageTek SL Titanium Laufwerke 120 MByte/s Transferrate Bandplätze 500 GByte pro Band TByte Gesamtkapazität (entspr. 3,8 Mill. CD`s) Maximalausbau: Bandplätze TByte Gesamtkapazität 10 StorageTek Titanium Laufwerk Titanium T10000 Laufwerk 120 MByte/s Transferrate 500 GByte pro Band 11 5

6 Magnetband-Speichermedien 9 Spur Band 100MB QIC Kassette 250MB 8 mm Kassette 20GB 4 mm Kassette 2GB IBM 3590 Band 40GB IBM 3570 Kassette 7GB STK SD-3 Band 50GB 12 Zukünftige Entwicklung 13 6

7 Entwicklung des Speichervolumens Datenvolumen in Terabyte Backup & Archiv Volumen (TByte) Backup Volumen (TByte) Archiv Volumen (TByte) Jahr Januar 2001: 39 Terabyte 650 Nodes September 2006: Terabyte 3728 Nodes Verdopplung des Datenvolumens ca. jedes Jahr!!! 15 Entwicklung des Speichervolumens (2) Annahme: 1 KByte entspricht 1 Liter Wasser Chiemsee, das Bayerische Meer (Dezember 2006) Walchensee (Dezember 2002) * Mil. Kubikmeter (bzw. 125 TByte) Millionen Kubikmeter (bzw TByte) 16 7

8 Entwicklung des Speichervolumens (3) Annahme: 1 KByte entspricht 1 Liter Wasser Chiemsee, (Dezember 2006) Bodensee (Dezember 2010) Mil. Kubikmeter (2.047 TByte) Mil. Kubikmeter ( TByte = 48,5 PByte) * Entwicklung des Speichervolumens (4) Annahme: 1 KByte entspricht 1 Liter Wasser Bodensee (Dezember 2010) Mil. m³ ( TByte = PByte = 21,6 EByte) Ostsee (Mitte 2019) * Mil. Kubikmeter ( TByte = 48,5 PByte) 18 8

9 Wieso Langzeitarchivierung? Rechtliche Vorgaben Steigende Zahl digitaler Dokument Ausschließlich digitale Dokumente (born digital) Digitalisierung vielfältiger Formate und Erschließungsformen Mehrwert digitaler Dokumente Einfache Bereitstellung (weltweit) Volltextsuche Sicherung des Weltkulturerbes Keine Abnutzung bei Büchern Kein physischer Verfall Geringeres Risiko bei Katastrophen durch RZ und Backup 21 Beispiel Langzeitarchivierung Projekt BABS Bibliothekarisches Archivierungsund Bereitstellungssystem Kooperationspartner LRZ Datenhaltung BSB Digitalisierung Ziel: Sicherung des Weltkulturerbes Schriften des 16. Jahrhunderts Aktueller Datenbestand: 17 TByte 22 9

10 Sind die Daten wirklich sicher? Argon-Löschanlage Feuer wird erstickt Kein Wasserschaden Modernste Klimatechnik optimierte Temperatur & Luftfeuchtigkeit 24 Sind die Daten wirklich sicher? Zweitkopie von Archivdaten wird in einem geographisch entfernten Rechenzentrum gespeichert! 25 10

11 LZA: Lebensdauer von Daten (Beispiel 1) Datenträger: 5 ¼ Zoll Floppy Disk Aufzeichnungsstandard: MS-Word, Version? Geschrieben: 1985 Lesbar: 15 Jahre später (sehr) problematisch Datenträger: LTO Ultrium 1 Aufzeichnungsstandard: MS-Word, Version? Geschrieben: 2000 Lesbar: 15 Jahre später problematisch 26 LZA: Lebensdauer von Daten (Beispiel 2) Datenträger: Pergament (Codex Sinaiticus) Aufzeichnungsstandard: griechische Majuskel Geschrieben: um 350 n. Chr. Lesbar: Dr. Bernd 1650 Reiner, Jahre später problemlos Datenträger: Stein Aufzeichnungsstandard: Ägypt. Hieroglyphen Geschrieben: 4000 v. Chr. bis 300 v. Chr. Lesbar: 6000 Jahre später problemlos 27 11

12 Probleme bei der Langzeitarchivierung Lebensdauer von Daten begrenzt durch: Haltbarkeit des Datenträgers Verfügbarkeit der Hardware (Rechner und R/W) Verfügbarkeit des Betriebsystems Verfügbarkeit des Dateisystems Verfügbarkeit der Applikations-Software Verfügbarkeit des Dateiformates 28 LZA: Was kann man tun? HW und SW Museum Originalzustand HW & SW erhalten Beibehaltung der ursprünglichen Datenformate Emulation Beibehaltung der ursprünglichen Datenformate HW und SW (Betriebssystem, Anwendung) nachbilden Migration Periodisches überführen der Datenformate in neue Formate Anpassung an neue HW und SW Lesbarkeit des Speichermediums Periodisches kopieren auf neue Medien (alle 3 bis 10 Jahre) Generationswechsel der Speichertechnologien berücksichtigen Durch bessere und schnellere Hardware machbar Nicht möglich! Nicht möglich?! Aufwändig! Möglich! 29 12

13 LZA: Notwendige Schritte Reduzierung der verwendeten Dateiformate Aufwand steigt mit Anzahl der Dateiformate Standardisierung Dateiformate für LZA PDF/A (ISO , seit Sept. 2005) Metadaten Object Identifier Open Source Dateiformate Lesbar von unterschiedlicher SW OAIS (Open Archival Information Systems) Referenz Modell Datenimport, Speicherung, Zugriff, Datenverwaltung Administration, Archivierungsstrategien (z.b. Migration) 30 LZA: Weitere Anforderungen Automatisierung Migration der Daten und Umkopieren der Medien entsprechend der Alterung der Daten (Band) über Metadaten Verschlüsselung der Daten Schutz vor fremden Zugriffen Signatur der Daten Authentizität der Daten auch nach Jahren eindeutig bestimmen Prüfsummen Übereinstimmung Original und Kopie kann sichergestellt werden Historienführung Alle relevanten Arbeitsschritte protokolliert. Über Signatur und Prüfsummen kann eine lückenlose Historie der Zugriffe erfolgen

14 Vielen Dank! Es Es muss auf einem dieser muss Bänder auf sein! einem dieser Bänder sein! Dr. Bernd Reiner 32 14