Werkzeuge der Informatik (CS102) Datenhaltung und Backup

Transkript

1 Werkzeuge der Informatik (CS102) Datenhaltung und Backup 29. Januar 2004 Prof. Dr. Christian Tschudin Departement Informatik, Universität Basel Uebersicht der Sitzung vom Datenhaltung und Backup 1. Datenhaltung und Archive Verzeichnisse, Archiv-Dateien, Dateien in Datenbanken 2. Kompression gzip und pkzip/winzip 3. Backup Voll und inkrementel, Schema, diff+patch c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 2/26

2 Datenhaltung Computerbenutzer = Verwalter von Daten Nur wenig Daten wirklich vom Benutzer erzeugt/berechnet Downloads Kopien (und Versionen) von Dokumenten Heute: Datenzuwachs heute zwischen 100 MBytes bis 2 GBytes pro Person und Jahr, 200 bis 2000 Files oder mehr Plus Projektdaten. Bioinformatik: Grössenordnung Terabytes pro Jahr c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 3/26 Datenhaltung, manuell Wie finden? Einsatz von Verzeichnissen c:òeigene DateienÒMusikÒPopÒ... Einsatz von Namen-Schemata Beispiele: Protokoll-v3.doc, Messwerte xls Suchen nach Filenamen: UNIX: locate und find, Windows: Suchen nach Meta-Daten Datum, Annotationen (zb Word-Dokumente) c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 4/26

3 Datenhaltung automatisch Zukunft: Trend zu mehr Computerunterstützung Dateien in Datenbank Windows Version Longhorn Dateisuche wird zur Datenbanksuche c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 5/26 Datenhaltung: meine Praxis Nichts löschen Zeitaufwand ist teurer als zusätzliche Harddisk gilt auch für (ausser SPAM) Datum in Datei- und Verzeichnisnamen Format yyyy-mm-dd (wegen Sortieren) wrkz ps besser als v1, -revision2 etc Nur 2 Fixpunkte: (URZ-Server) und Laptop Jahresende: Volles Backup am 1. Jan. mit leerem Verzeichnis neu starten alte Daten als Archiv (Verzeichnis 2003 ) c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 6/26

4 Datei-Archive Datei: Grundeinheit Archiv: Sequenz von Dateien Archiv(-Datei): beinhaltet die Dateien plus Inhaltsverzeichnis (Datei- und Pfadnamen) und andere Meta-Daten (Zugriffsrechte, Owner, Zeit) Portabilität, checksum UNIX: tar (tape archive), ar, cpio MS/DOS und Windows: (pk)zip, lharc, zoo,... c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 7/26 Kompression Ziel: Eliminieren von Redundanz Ansatz 1: mit Datenstrukturwissen Beispiel: GIF (Farbtabelle) Ansatz 2: ohne Strukturwissen Beispiele: gzip, bzip2 Ansatz 3: Approximation (mit Datenstrukturwissen) Beispiele: JPEG, MPEG c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 8/26

5 Kompression II Redundanzelimination Zu erwartende Platzeinsparungen: Text 60 bis 80 % Bilder 80 bis 90 % Executables 20 bis 30 % Kompression kann ein File grösser machen (!) Verschiedene Verfahren: Huffmann coding, run length encoding, Lempel-Ziv (77, 78) zum Teil durch Patente geschützt c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 9/26 Kompression und Archiv Ansatz 1: Archiv von komprimierten Dateien Beispiel:.zip (pkzip) Ansatz 2: Komprimierte Archiv-Datei Beispiel: tar.gz Vorteil: Redundanzen über mehrere Dateien erkennen Nachteil: kein Zugriff auf Teile ohne vollst. Dekompression c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 10/26

6 Kompression und Archiv II PKZIP (Phil Katz s ZIP): Ist ein Archiv mit komprimierten Dateien zusätzlich mit Meta-Daten, inkl Checksum für Integrität Früher: (MSDOS, Windows 98) PKzip oder WinZip als eigenständige Applikation kann auch tar.gz lesen Heute: (Windows XP) in Windows integriert, kann kein tar.gz lesen Bemerkung: für MacIntosh gibt s StuffIT c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 11/26 Backup Warum Backup? Schutz gegen: Ausfall von (Disk-) Komponenten Fehlmanipulation (File gelöscht, SW-Problem) Ev auch gesetzliche Auflagen (Aufbewahrungspflicht) c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 12/26

7 Anforderungen an Backup Möglichst nahe am aktuellen Stand 2. Zugriff auf alte Versionen 3. automatisch und unsichtbar 4. bombensicher 5. Langzeit-Schutz 6. maschinen-unabhängig (Medium, Software) c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 13/26 Backup 1) nahe am aktuellen Stand Oft durch Applikation abgedeckt:.bak Benutzer-getrieben: aktueller Stand manuell kopieren Journaling (zb in Datenbanken) alle Aenderungen werden protokolliert und aufbewahrt beliebiges rollback Als Hintergrundsprozess: Backup beim Ausloggen 1 mal pro Tag 1 mal pro Woche, etc c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 14/26

8 Backup 2) Zugriff auf alte Versionen siehe auch Journaling Begrenzung durch Aufbewahrungsvolumen: wöchentliches Backup der letzten N Jahre? typisch: rollendes Backup zb 3-Monate-Fenster c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 15/26 Backup 3) automatisch, 4) bombensicher Automatisch: siehe nahe am aktuellen Stand Bombensicher kein Backup auf die gleiche Harddisk kein Backup auf selbs Harddisk-Marke, CD-Marke etc besser 3 Versionen: Original, backup 1, backup 2 Verwahrung an einem anderen Ort (Feuer, Erdbeben) c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 16/26

9 Backup 5) Langzeitschutz Lesbarkeit schwierig zu garantieren über mehrere Jahre und Jahrzehnte: Zerfall der Medien Verschwinden der Lesegeräte Veralten der Lesesoftware Technologiewandel: alle alten Jahresbackup periodisch umkopieren Aussage eines Archivars: ich akzeptiere Geschäftsdokumente nur im Papierformat c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 17/26 Backup 6) Maschinenunabhängigkeit Portable Medien (Bsp: alte Mac-Disketten nicht auf PCs lesbar) Portable Daten/Medienformate ISO-Filesystem (CD-R) Archiv-Dateien (tar.gz, zip) Portable Software möglichst ohne SW lesbar (CD-R) falls doch Lese-WS nötig: Standard-Software Weitere Probleme: Zeichensatz, Zugriffsrechte, Dateitypen (Zeilenende, Ressourcen-Forks, Datenbanken), Verschlüsselung c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 18/26

10 Backup Schema Full Backup 1:1 Kopie der Daten Incremental Backup Nur die veränderten Dateien werden kopiert: Archiv-Bit (Varianten: nur die Aenderungen an der Datei werden gespeichert) Mehrere inkrementelle Backups hintereinander: nur die Aenderungen seit letztem incremental Backup bedingt mehrfaches Rückspielen c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 19/26 Backup Schema II Möglicher Backup-Plan: tägliches Incremental Backup ( Tagesbänder ) wöchentliches Full Backup am Wochenende ( Wochenbänder ) monatlich 1 Full Backup aussondern und aufbewahren Beispiel Medienbedarf bei 3 Monate Abdeckungsfenster, nicht mehr als 6 inkrementelle Backups, plus permanente Archivierung der Monatsbänder: 11 Wochenbänder 6 Tagesbänder (d.h. 17 Bänder im Einsatz) plus 12 Monatsbänder pro Jahr c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 20/26

11 Backup Schema III Noch mehr Detail- (?) Probleme Bänder noch immer oft eingesetzt wegen Kapazität (50-80 GB) Harddisks ev zu wenig zuverlässig langsamer Zugriff wegen sequentiellem Lesen Benutzerinterface in Multiuser-Umgebung: wie kann ich eine Datei wieder wiederherstellen? manuell durch Sysadmin, oder (Web?)-Interface? Backup einer ganzen Partition (inkl Betriebssystem) images von Partitionen (clones) ablegen Bsp Norton Ghost c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 21/26 Backup persönliche Empfehlung Für Privatgebrauch: falls manuell: nur Full Backup Nur Daten, keine Programme oder Betriebssystem-Teile (es ist einfacher, solche Sachen neu zu installieren) Backup auf externes Medium, Standard-Filestruktur wie zb CD-R (kein Image ) Write-only ist besser: Backup kann nicht versehentlich gelöscht werden, CDs sind billig (keine Kleber!) c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 22/26

12 Backup persönliche (SW-)Empfehlung II Windows: Personal Backup Personal Backup 6326.html automatisches sowie manuelles Backup, auf (andere) Disk Linux: duplicity (zt noch im Entwicklungsstadium) inkrementelles Backup via Netz, Verschlüsselung, tar + diff c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 23/26 Inkrementelles Backup Archiv-Bit vs Diff Archiv-Bit wird bei jedem Schreibzugriff gelöscht, bei Archivierung gesetzt Mit Archiv-Bit diejenigen Dateien erkennen, die gesichert werden müssen Diff: Differenz von zwei Texten Nur Datei-Aenderungen werden gesichert ( duplicity arbeitet mit Diffs ) c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 24/26

13 Diff Differenz zweier Texte Gegeben: 2 Texte Gesucht: Beschreibung der Differenz zb Angabe der Zeilennummer und Ersatz-Zeile Generell: Sequenz von Editier-Befehlen Beispiel: ± ؽºØÜØ Ø¾ºØÜØ ½ ¾ Æ Ù Ð Ð Û Ö ÐÓ Ø Û Ö Òµ c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 25/26 Patch Differenz zu einem Text addieren Beispiel: ± Ô Ø ¹¹Ú Ö Ó Ø½ºØÜØ Ø½¹Ø¾º ÀÑѺºº ÄÓÓ Ð ÒÓÖÑ Ð ØÓ Ñ ººº È Ø Ò Ð Ø½ºØÜØ Ù Ò ÈÐ Ò ººº ÀÙÒ ½ Ù Ø ¾º ÀÙÒ ¾ Ù Ø º ÓÒ patch kann auch eine Text-Differenz auf eine schon geänderte Datei anwenden (Context-Diffs) Siehe dazu das Praktikum. c Tschudin, Departement Informatik, Universität Basel CS102 - Werkzeuge : Datenhaltung und Backup, , 26/26