AFS/OpenAFS als Cluster-Dateisystem (?)

Transkript

1 als Cluster-Dateisystem (?) Sebastian Heidl

2 Plan Einführung, Historisches Überblick, Benutzung Sicherheit Funktionsweise

3 AFS verteiltes Dateisystem auf Client/Server Basis geeignet/konzipiert für LANs und WANs ausgefeiltes Authentisierungssystem basierend auf Kerberos und ACLs Caches für Reduktion der Zugriffszeit und Netzlast Clients und Server verfügbar für diverse UNIXe, Win9x, WinNT

4 Historie basiert auf Projekt für verteiltes Dateisystem der CMU Andrew File System 1989: Transarc Corp. wurde für Vermarktung und Weiterentwicklung von AFS gegründet Andrew fiel weg, AFS und /afs blieben ebenfalls 1989: Transarc wird von IBM gekauft 09/2000 IBM (Transarc) macht Zweig von AFS OpenSource OpenAFS

5 AFS Struktur Sebastian Heidl client server server Cell B client Cell A client client server client Cell C server

6 Überblick Zellen sind administrative Einheiten Zelle kann mehrere Server umfassen Daten können auf mehrere Server repliziert und verteilt werden Clients können mehreren Zellen angehören umfangreiche Rechteverwaltung über ACLs Authentisierung über Kerberos

7 Benutzung Nutzer meldet sich am System an und erhält automatisch ein AFS-Token (siehe Kerberos) AFS-Space wird auf /afs gemountet nächste Verzeichnisebene ist der Name der Zelle (/afs/cluster.inf.fu-berlin.de/) entfernte Zellen werden ebenfalls unter /afs gemountet (z.b. /afs/transarc.com/) aktueller Speicherort der Daten innerhalb einer Zelle ist transparent (SSI)

8 Sicherheit Authentisierung über Kerberos (mutual authentication) nach der Authentisierung Nutzung der normalen UNIX Kommandos und Systemrufe verzeichnisorientierte Rechtevergabe durch ACLs Daten sind nicht verschlüsselt

9 Kerberos Kerberos : dreiköpfiger Wachhund von Hades gegenseitige Authentisierung von Clients und Services über ein unsicheres Netzwerk entwickelt am MIT im Rahmen von Projekt Athena Nutzer soll sich nur einmal authentisieren keine ungeschützte Übertragung von Authentisierungsinformationen

10 Kerberos - Benutzung jeder Nutzer und jeder Service hat einen eigenen privaten Schlüssel alle Schlüssel liegen zusätzlich in der Kerberos DB Nutzer benötigt spezifisches Ticket, um Service zu benutzen Tickets werden vom Ticket-Granting Service ausgestellt Tickets haben eine bestimmte Lebenszeit

11 Kerberos - Systemüberblick Sebastian Heidl Kerberos Database Key Distribution Center Ticket Granting Service 1 3 Print Service 2 Client 4 File Service 1. ticket-granting Ticket vom KDC holen 2. Ticket für Service vom TGS holen 3. Ticket für Service benutzen 4. neues Ticket vom TGS holen und benutzen

12 Kerberos - Authentisierung 1. Client (user) holt sich TGS-Ticket vom KDC: C KDC: ticket request user addr nonce KDC C: TGS ticket TGSkey user addr service timestamp lifespan sessionkey 2. Service-Ticket vom TGS besorgen: C TGS: TGS C: service nonce Service Ticket Authenticator sessionkey user addr timestamp User Info sessionkey new sessionkey TGS Ticket User Info userkey sessionkey nonce service timestamp lifespan nonce service timestamp lifespan 3. neuen Authentikator erzeugen und mit dem Ticket zum Server schicken, ordnungsgemäße Antwort abwarten und Service nutzen

13 AFS - Access Control Lists (ACLs) jeder Nutzer bekommt AFS-UID drei vordefinierte Gruppen: system:anyuser, system:authuser, system:administrators steuern Zugriff auf Verzeichnisse und die enthaltenen Dateien können AFS-UIDs und AFS-Groups enthalten Verzeichnisrechte: lookup, insert, delete, administer Dateirechte: read, write, lock

14 Interpretation der UNIX Zugriffsrechte Sebastian Heidl mode-bits der Verzeichnisse werden ignoriert für Dateien sind nur User-Bits relevant r und w sollten mit den AFS Rechten rl und wl kombiniert werden nur system:administrators können S-Bit modifizieren Zugriff von SUID-Programmen auf den AFS-Space erfolgt mit real-uid Ausführung von SUID-Files kann verboten werden

15 AFS-Server Rollen Simple File Server Machine: stellt lokale Partitionen für den AFS-Space zur Verfügung und speichert die Daten Binary Distribution Machine: verteilt die AFS-Server binaries auf die anderen Server System Control Machine: verteilt die AFS Konfigurationsdateien auf die anderen Server Database Server Machine: hält eine lokale Kopie der AFS-Datenbanken (s.u.)

16 AFS-Server Sebastian Heidl AFS Server File Server Database Server Simple File Server Machine Binary Distribution Machine Protection Database Volume Location Database System Control Machine Authentication Database Backup Database

17 AFS-File-Server bekommt eine oder mehrere lokale Partitionen zugeteilt (max. 256) Partitionen müssen funktionierendes Dateisystem beinhalten z.z. Dateigröße auf 2GB beschränkt Dateien können nicht gestriped werden max. 255 File-Server in einer Zelle

18 Volumes Organisationseinheit für die Daten max. 8GB groß müssen in eine Partition passen (kein striping) read-write, read-only und backup Volumes können online zwischen Partitionen und Servern bewegt und repliziert werden

19 Volumes (2) Sebastian Heidl werden auf Verzeichnisse gemountet Replikation und Bewegen ist für Nutzer transparent Replikation erzeugt automatisch read-only Volume Replizierte Volumes müssen manuell released werden. bei Serverausfall greifen die Clients automatisch auf replizierte Volumes auf anderen Servern zu

20 Backup Volumes Snapshot des aktuellen Zustandes eines Volumes werden in Volume Sets zusammengefaßt nur Verweise auf die Daten des Volumes bei Änderungen am Original Volume alte Daten ins Backup irgendwann wird Backup Volume zum Tape Coordinator gedumped vollständige oder inkrementelle Dumps

21 Volumes bewegen Arbeit der Clients wird typically in the order of a few seconds unterbrochen Dump (Kopie) des Volumes machen und am neuen Ort installieren Volume locken und inkrementellen Dump anwerfen inkrementellen Dump auf Ziel installieren Original Volume löschen

22 AFS-Datenbank-Server führt Manager für die vier DBs aus: kaserver: Kerberos-Authentisierung, Tickets ausgeben ptserver: Mapping von Kerberos-Principals auf AFS-IDs, ACL Verwaltung vlserver: Verwaltung der Volume Location Database buserver: Backup Volume Sets, Tape Coordinator, dump hierarchy...

23 AFS-Datenbank-Server (2) Sebastian Heidl mehrere DB-Server können Ausfallsicherheit erhöhen DB-Synchronisation über Ubik Protokoll: DB-Server wählen coordinator für jede DB coordinator läuft auf synchronization site nur synchronization sites nehmen Änderungen von Clients entgegen sync. site kann auf andere Maschine migrieren (voting) andere (secondary) sites nehmen nur von sync. site Änderungen an

24 Cache Management Sebastian Heidl Clients führen mehrere Instanzen des Cache Managers (afsd) aus Memory- oder Disk-Cache eigentlich nur Lese-Cache (write-through) immer Chunks einer festen Größe übertragen File Server liefern Callbacks mit Dateien aktiviert, falls ein Anderer schreibt Authentisierungsinfo und Volume-Info ebenfalls gecached

25 Wie funktioniert s denn nun? client node File Server Database Server $ cat /afs/cell/readm E File Server 4 Protection Server Cache Manager 2 Volume Location Server

26 Integration in Linux Kernel Modul für 2.2.x, 2.4.x diverse Binaries zur Administration Integration in Bootprozeß und Loginprozeß möglich

27 AFS Konfiguration für Linux Server Client binaries /usr/afs/bin /usr/vice/etc config usr/afs/etc /usr/vice/etc ThisCell CellServDB ThisCell CellServDB cacheinfo

28 Quellen Sebastian Heidl AFS: Kerberos: Zayas, E., AFS-3 Programmer s Reference: Architectural Overview RFC-1510: The Kerberos Network Authentication Service (V5)