Verteiltes Backup. Einleitung Grundlegende Backup Techniken Backup in Netzwerken. Client/Server Peer-to-Peer

Transkript

1 Verteiltes Backup Einleitung Grundlegende Backup Techniken Backup in Netzwerken Client/Server Peer-to-Peer

2 Einleitung Backup: Das teilweise oder gesamte Kopieren der in einem Computersystem vorhandenen Daten auf ein alternatives Speichermedium Warum Backup? Unbeabsichtigtes Löschen Ausfall von Hardware Feuer höhere Gewalt, Überschreitung der Lebensdauer Gesetzliche Verpflichtung

3 Einleitung Backup besteht aus 2 Komponenten: Storage Backup-Management / Versioning Framework Storage braucht auch Management Massenspeicher: Blöcke Dateisystem (ext2, NTFS,...) Dateisystem nicht nur lokal auf Massenspeicher Verteilte Dateisysteme: NFS, DFS, AFS Userspace Dateisystem (FUSE) Unabhängig von Kernel z.b. sshfs

4 Einleitung

5 Einleitung Anforderungen an (verteilte) Backups Verfügbarkeit Integrität Privacy Confidentiality Backups müssen erzeugt werden Device vs. Dateibasiert Vollständiges vs. Inkrementelles Backup On-Line Backup Snapshot Speicherung (Physikalisch)

6 Backup vs Verfügbarkeit

7 Backupmedium?

8 Ein R/ Knoten, viele R/O Knoten Sicherung auf R/W Knoten Zurücksicherung von R/O Knoten Beispiele Rsync Ftp Datenbank (Master-Slave Replikation)

9 Netzwerk-Raid DRBD

10 Device vs. Dateibasiert Device Basiert Dateibasiert Festplatten in Blöcke unterteilt Lineares Kopieren der Blöcke keine Rücksicht auf Dateifragmentierung Sehr performant (keine seek-operationen) Wiederherstellung einzelner Dateien sehr aufwändig Benötigt Indizierung von Dateien Systemabhängig, schlecht portabel Nicht vom physischen Medium abhängig Dateien werden kontinuierlich gelesen Langsamer als Device-Basiert Ohne Umwege nur einzelne Dateien sicherbar

11 Vollständiges vs. Inkrementelles Backup Vollständiges Backup Das gesamte Dateisystem wird kopiert Viele Duplikate, hoher Speicherverbrauch Dauert sehr lange Recovery einfach, wenig Organisatorischer Aufwand Inkrementelles Backup Baut auf vergangene Backups auf Speichert nur geänderte Dateien schneller, weniger Speicherverbrauch Recovery aufwändig Mehrere aufbauende Backups werden benötigt

12 On-Line Backup, Snapshot On-Line Backup Snapshot System kann meist nicht angehalten werden Es kann zu Inkonsistenzen kommen wenn währrend Backup auf Dateisystem geschrieben wird Verschieben von Verzeichnissen Transformierungen, Änderungen, Löschungen von Dateien Verzeichnisstruktur wird kopiert (zb inode-tabelle) Bei Schreiboperationen wird mit Kopie weitergearbeitet (Copy-On-Write)

13 Voll, differenziell, inkrementell

14 Kombination: Rsnapshot Hardlinks Deltas per Rsync Aus Sicht des Bentzers: voll Aus Sicht des Platzbedarfes: inkrementell Einschränkung: Nur ein Dateisystem in dieser Form nicht verteilbar

15 Backup in Netzwerken Client/Server Peer-to-Peer

16 Amazon S3 Operationen Buckets (URI, shared Namespace) Objects (Daten) Keys (durch Entwickler vergeben) Zugriff Read Write Read_ACP Write_ACP FULL_CONTROLL

17 Google Filesystem

18 Peer-to-Peer Client übernimmt aufgabe des Servers Peer Objekte (Dateien) liegen nun auf Peers Napster, Gnutella: Filesharing (Musikdateien) Dateien am Peer werden Freigegeben Download direkt vom Peer Herausforderung: Lookup Einteilung in Grade von Zentralisierung

19 Napster Zentralisierte Topologie Benötigt zentrale Datenbank (Server) Peers senden Liste ihrer Dateien an Datenbank Teilnahme durch Anmeldung bei Datenbank Suchabfrage an Datenbank Retourniert Liste mit enstprechenden Verweisen Download vom Peer Schnell, kein query routing Nicht autonom single point of failure

20 Gnutella Dezentralisierte Topologie Keine zentrale Datenbank Einsiegsknoten wird für Anmeldung benötigt Gibt bei Anmeldung Liste weiterer Peers zurück Dort wiederum Anmeldung möglich Suchabfrage an direkte Nachbarn flooding Retournieren ihr eigenes Ergebnis Leiten Abfrage an ihre Nachbarn weiter Retournierung der Antworten an Abfragenden Peer Viel Last nur durch Abfragen/Antworten Suche ist langsam Unsensibel auf Ausfälle von Knoten

21 Chord Semi-zentralisierte Topologie Ringstruktur Distributed Hash Table Datenobjekt bekommt globalen Schlüssel Summe aller Value/Key-Paare = globale Hashtabelle Aufteilung in Intervalle auf mehreren Peers Jeder Peer hat nur einen Teil der Tabelle Suchabfrage: Nicht gesamter Ring wird durchlaufen Verweise auf entfernte Peers mittels Fingertabelle

22 Chord Chord-Ring: lookup von Peer 54

23 Backup und P2P Technologie Lookup von Speicherplatz auf Peers Backup wird auf Peers verteilt Recovery von Peers Vorteil: Nachteil: Schnell, sehr hoher Datendurchsatz möglich Durch Replikation Verfügbarkeit kalkulierbar Privacy: Peers sind möglicherweise nicht vertrauenswürdig

24 pstore Beispiel: pstore Benötigte Menge Backup-Speicher im P2P System wird auf eigenem Peer für Andere freigegeben Basiert auf Chord Dateien werden in Blöcke unterteilt (File-Blocks FB) File-Block-Liste (FBL) referenziert FB Identifier Hash über Daten im FB Länge Offset

25 File-Block Liste: pstore

26 pstore FB werden auf Peers aufgeteilt FBL bleiben am lokalen Peer Recovery: Suche der FB über Identifier Download von Peers Problem: Peers nicht vertrauenswürdig Verschlüsselung der Daten Ausfall von f Knoten Replizierung über r Peers Wahrscheinlichkeit das Datei mit k Blöcken nicht wiederhergestellt werden kann: 1-(1-f r ) k

27 Vielen Dank für Ihre Aufmerksamkeit!