Datei- verwaltung. Kap. 5

Transkript

1 Kap. 5 Datei- verwaltung Version vom Version 1.1 Kap. 5 - Inhalt Dateisysteme Dateinamen Dateiattribute und Sicherheit Dateizugriffsfunktionen Strukturierte Zugriffsfunktionen Verzeichnisfunktionen Spezialitäten Dateiimplementierung Folie 2

2 Dateisysteme I Liste von Dateien auf Massenspeicher Nummer Name Position Länge Datum... 0 Datei1.dat MyProgram Datei1.dat = relationale Datenbank! Objektorientierte Datenbank: mit Methoden+Attributen Multi-Media-Datenbank: mit Bild+Tonobjekten+Synchron. Organisation von Datenbanken Persistent Storage Manager PSM (kleineobjekte) Object-Oriented Database Management System OODBMS Folie 3 Dateisysteme II Hierarchische Dateiorganisation in Baumform Knoten= Ordner =directory Alle Dateien Gruppe 1... Gruppe m Datei f Datei 1 Datei 2... Datei n Datei k... Datei s Folie 4

3 Dateisysteme III Zusätzliche Vernetzung (azykl.graph) Firma Abteilung 5 Formulare Rudi Hans BriefVorlage.dot Brief1.doc BriefN.doc Brief1.doc BriefM.doc Folie 5 Dateinamen I Namensbildung Name.ext (üblich) Extension = Dateityp, Dateizweck Beispiele:.dat Daten; Format hängt vom Erzeugerprogramm ab.doc Textdokument in dem speziellen Format des Texteditors.pas PASCAL-Programm Quellcode.c C-Programm Quellcode.h Deklarations (header)-dateien für C-Programme.ps Postscript Dateien zum Ausdrucken.Z,.zip,.gz Komprimierte Dateien.tar ein gesamtes Dateisystem, in einer Datei abgespeichert.html ASCII-Textdatei für das world wide web-hypertextsystem.jpg,.gif, Bilddateien.tif,.bmp 3 Extensionsbuchstaben: MS-DOS! Sonst: 215 Char ohne \/:*?" < > Folie 6

4 Dateinamen II - Externe Typangabe Geschachtelte Typen Beispiel: Skript.ps.gz = Textdatei Postscript-Format Komprimiert Typaktionen Typ verknüpft mit Aktion Benutzeroberfläche (Desktopmanager HP -VUE, MS-Explorer) behandelt Dateinamen Liste von Aktionen pro Typ definiert (Kontextmenü) Doppelklick=erste Aktion ausführen Folie 7 Dateinamen III - UNIX-interne Typangabe class File Header { a_magic: LONG CARDINAL (*Magische Zahl*) a_txt: CARDINAL (* Code-Segmentgröße *) a_data: CARDINAL (* Segmentgröße der init. Daten*) a_bss: CARDINAL (* Segmentgröße der nicht init.daten*) a_syms : CARDINAL (* Größe der Symboltabelle*) a_entry: CARDINAL (* Start des Programms*)... } a_magic = 407B (* altes Format: Code ( text ) und Daten werden nicht schreibgeschützt und sollen deshalb nicht von anderen Prozessen genutzt werden *) 410B (* Text-Segment wird schreibgeschützt, und das Datensegment wird an die nächsten Seitengrenzen (4 KB) im Speicher gelegt *) 413B (* Text-Segment fängt an der nächsten Seitengrenze der Datei an; text und Datensegmente sind Multiple der Seitenlänge *) Folie 8

5 Dateinamen IV - Eindeutigkeit Problem: eineindeutige Abbildung langer Namen auf kurze z.b. NTFS MS-DOS (8 Zeichen.3Zeichen) Lösung Windows NT: Alle illegale MS-DOS Buchstaben löschen sowie alle Punkte innerhalb des Namens bis auf den letzten, falls er nicht abschließt. Kleinbuchstaben Großbuchstaben. Nur die ersten 6 Buchstaben beibehalten, Zeichen 1 vor dem Punkt einfügen. 3 Zeichen hinter dem Punkt beibehalten, alle anderen löschen. Ex. Datei gleichen Namens, so wird 1 zu 2 bzw. zu 3, falls schon existiert. Beispiel: Ganz langer Dateiname.text.ps GANZLA~1.ps Folie 9 Dateinamen V Dateiname = Pfadname = Kette aus Knotennamen von der Wurzel zum Blatt Beispiel: /Abteilung5/Rudi/Brief1.doc Unix \Abteilung5\Rudi\Brief1.doc NT Vorgänger:.. Dieses Verzeichnis. Relative Pfadnamen Rudi/Brief1.doc bei Hans:../Rudi/Brief1.doc Abteilung 5 Rudi Hans Brief1.doc BriefN.doc Brief1.doc BriefM.doc Folie 10

6 Dateinamen VI Vorteil relativer Pfadnamen: Portabilität Beispiel Programmsystem toolsx / toolsy Daten Programme Dat1.a liba libb Prog Absolute Pfadnamen müssen nach Verschiebung des Programmsystems geändert werden, relative nicht! Folie 11 Dateinamen VII - UNIX Namensraum Baumorientiertes Dateisystem Querverbindungen durch hard links (gleiches Laufwerk) oder symbolic links (anderes Laufwerk) Beispiel: hard link löschen zu rück-referiertem Verzeichnis: stand-alone Verzeichnis? hard link Gruppe 1 Abteilung5 Gruppe2 Rudi hard links Hans symbolic link Datei1 Datei2 Datei3 Folie 12

7 Dateinamen VIII - UNIX Pfaderweiterung Einhängen eines Dateisystems (mounten) / etc bin usr users / Rudi Hans Ute root file system Festplatte 1 user file system Festplatte 2 Zugriff mit /users/rudi/brief1.doc Folie 13 Dateinamen IX - Windows NT Namensraum Namen für alle Objekte wie pipes, shared memory, Prozesse, Semaphoren, events,... Logische Querverbindungen (symbolic links) Löschen von Dateien: 2 Referenzzähler (user und kernel handles) Durchsuchen -Methode bei jedem Objekt: neue Dateisysteme! Symbolic link parsing-methode: z.b. A:\Texte\bs_files.doc Device \ DosDevices Floppy0 HardDisk0 A: B: C: Texte Partition0 bs_mem.doc bs_files.doc Objekt Manager Namensraum Dateimanager Namensraum Folie 14

8 Dateiattribute und Sicherheit I Dateilänge Datum für Erzeugung, letzte Änderung,.. Log. Attribute hidden, system, Archiv, Erzeuger, Besitzer, Benutzer und ihre Rechte POSIX-6: geringstmöglichste Rechte für eine Aufgabe (least privilege) Diskrete Angaben für Zugangskontrolle: Wer darf, wer nicht (ACL) Zugangskontrolle nur von Prozessen größerer Rechte Aufzeichnung des Zugangs (audit trail) Folie 15 Dateiattribute und Sicherheit II - UNIX Zugriffsrechte: Lesen R, Schreiben W, Ausführen X Verzeichnisse: R=Liste lesen, W=neue Datei aufnehmen, X=Liste durchsuchen nach Datei Getrennt für Besitzer, Gruppe, Alle drwx r-x r-x weber 512 Apr23 15:55. drwx r-x r-x off 512 May17 17:53.. -rw- r-- r-- schulz Apr23 15:56 data1.txt Rechte bei Programmausführung = user Rechte Aber: set userid, set group Id ACL ex. in neuerem Unix (Wer, was, wie) Folie 16

9 Dateiattribute und Sicherheit III - Windows NT Standardrechte: Read, Write, ExecuteOnly, Vollzugriff,... ACL ex., neue Gruppen möglich Auditing möglich Speziell für Dateien: Attribute Dateiname, Gerätetyp, Position in Datei, share-status(r,w,del) Mode: sync/async, mit/ohne Cache, seq/random Access,... File disposition: temp oder persistent Methoden CreateFile(), OpenFile(), ReadFile(), WriteFile(), CloseFile() Lesen/setzen von Dateiinfo, Attributen, Geräteinfo, Verzeichnissen Sichern/freigeben der Dateilänge Attribute implementiert durch Datenströme, neu erzeugbar Folie 17 Dateifunktionen I - Prinzip Standardfunktionen Create File Name, Zugriffsart: Tabelleneintrag Open File Apprüfen der Zugriffsrechte, Puffereinrichtung, Close File Puffer + Tabellen deallozieren, Read/Write File Puffer schreiben/lesen: DMA! Seek File Index setzen der aktuellen Position random access Verbind.-orientierte Kommunikation Folie 18

10 Dateifunktionen II - UNIX fd = creat(name, mode)file descriptor = Index in Tabelle fd = open (Name, mode) read (fd, buffer, nbytes) write(fd, buffer, nbytes) close(fd) lseek(fd, offset, direction) Beispiel: pipes fd=0: Standard Input, fd=1 Standard Output, fd=2 standard error Programm1 Programm2.. ProgrammN fd=1 fd=0 fd=1 fd=0 Programm1 Programm2 Programm N fd=2 fd=2 fd=2 Fehlerausgabe Fehlerausgabe Fehlerausgabe Folie 19 Dateifunktionen III - Windows NT Übliche Dateizugriffsfunktionen wie Unix Bei Veränderung der Dateistruktur: Atomare Transaktionen durch log file service LFS (write-ahead logging) Ergänzung der Operationen nach Absturz: = Fehlertolerantes Dateisystem Wirksam bei fail save-system, nicht aber bei aktivem Fehler Folie 20

11 Strukturierte Zugriffsfunktionen Sequentielle Dateien sequential files Magnetbänder, Lochstreifen Problem: unbekannte Zugriffsreihenfolge Wahlfreie Dateien random access files Festplatten, CD-ROM: Positionsangabe (offset) möglich Problem: ineffizient bei bekannter Datenorganisation Indexsequentielle Dateien Übersicht (Index) am Dateianfang, Ordnung nach einem Kriterium (Schlüssel), z.b. Name, Geburtsdatum,... Fehlen der DB-Unterstützung: Problem bei UNIX! index-sequential files Folie 21 Verzeichnisfunktionen I - Prinzip Create Directory Verzeichnis erzeugen Remove Directory Verzeichnis löschen Change Working Directory Gegenwärtiges Arbeitsverzeichnis wechseln Open Directory Verzeichnis-Stream öffnen zum Lesen der Einträge Close Directory Verzeichnis-Stream schliessen Read Directory Entry Eintrag in Verzeichnis-Stream lesen Seek Directory Entry Zu gemerktem Eintrag positionieren Tell Directory Entry Gegenwärtigen Eintrag merken Folie 22

12 Spezialitäten I - Bibliotheksdateien BS-typische, von allen Prozessen nutzbare Funktionen, die nicht im Kern sind Vorteile weniger Hauptspeicher nötig, da Modul nur einmal vorhanden Wartung ist erleichtert, da zentral Aber: Speicher wird billiger & wenige Module sind oft benutzt Wartung auch bei zentraler Verteilung lokaler Module einfacher DLL-Hölle: Mehrere Module gleicher Version bilden eine Gruppe & Verschiedene Programme benötigen unterschiedliche Funktionalität von Modulversionen gleichen Namens & kein Schnittstellencheck CRASH unklarer Herkunft Also: Bibliotheksmodule bei Applikation lassen; registrierte Systembibliotheken automatisch reparieren (WIN 2000: 2800 signierte System-DLL) Folie 23 Spezialitäten II - memory mapped files Idee wahlfreier Zugriff auf Massenspeicher = RAM Plattenspeicherbereich Hauptspeicherseiten Daten header paging Daten code stack Datei auf Platte Einlesen des Bereichs nur wenn wirklich nötig Pufferung automatisch durch Paging Problem: Änderung der Länge der Datei virt. Adreßraum im Hauptspeicher Folie 24

13 Spezialitäten III - memory mapped files Beispiel Unix mmap() stellt eine Abbildung von virtuellem Adreßraum in den Bereich einer Datei her. munmap() beendet die Abbildung. Wurde der Speicherinhalt verändert, so werden die veränderten Seiten auf die Datei zurückgeschrieben. msync() aktualisiert die Datei aus dem Speicher. Außerdem: Semaphoroperationen zur Synchronisation Beispiel Windows NT VM-Manager & I/O-Manager CreateFileMapping() erzeugt ein Objekt OpenFileMapping() öffnet es anderen Prozesse unter dem Namen MapViewOfFile() Teilbereiche daraus in den virt. Adreßraum abbilden FlushViewOfFile() aktualisiert den Dateibereich UnmapViewOfFile() wieder schliessen Folie 25 Spezialitäten IV - special files Abbildung von Dateimechanismen auf Gerätesteuerung Öffnen/Schließen von Dateien = Initialisierung der Geräte Lesen/Schreiben von Daten = I/O der Daten Statusänderung der Datei = Statusänderung des Geräts Beispiel Unix /dev/tty Terminal ein/ausgabe (character-oriented) /dev/mt Magnetband (block-oriented) open(),close(),read(),write() Ein Gerät, mehrere Namen und damit Modi (sequentiell, random access) möglich. ioctl() Statusänderung, z.b. Übertragungsmodus&Geschwindigkeit mount() Wurzelknoten des Dateisystems auf Gerät ersetzt Datei Beispiel Windows NT virtual files Zugriff auf Geräte, Netzwerkverbindungen etc. wie auf normale Dateien Folie 26

14 Dateiimplementierung I Kontinuierliche Speicherzuweisung Datei in einem Stück : Schnell, aber nicht änderbar. Listenartige Speicherzuweisung Verzeigerte Liste von Speicherblöcken Datei A Datei B Vorteil Nachteil B Block 0 A Block 1 B Block 1 B Block 2 A Block 0 Rekonstruktion möglich bei Anker-Löschung ineffizienter wahlfreier Zugriff A Block 2 B Block Nil Folie 27 Dateiimplementierung II Zentrale indexbezogene Speicherzuweisung zentraler Block von Zeigern (Indizes) in einer Liste Anfang Datei B Anfang Datei A Phys. nächster BlockNr = Datenblock ListenIndex NIL Ende Datei B Folie 28

15 Dateiimplementierung III - Zentraler Index Beispiel File Allocation Table FAT von MS-DOS Blockgröße: 512 Byte (= 1 Sektor), Block 0: Bootstrap, Blöcke 1-5: FAT mit je Eintrag 12 Bit = 3Hexzahlen = 1.5 Byte Pro cluster 1024 Byte = 2Blöcke Index 2 Index 3 Index 4 Index 5 Index 6 12 Bit Cluster 0 Cluster 1 Cluster 2 Block 18/19 Block 19/20 Block 20/ Byte Maximale Diskettengröße max. FATgröße 5 512=2560Byte Max. Zahl der Einträge = 2560/1.5 = 1706 Einträge (cluster), also max Byte = 1,7 MB pro Diskette Folie 29 Dateiimplementierung IV - Zentraler Index FAT-Probleme Indexgröße Floppy 12 Bit Platten 16 Bit 2 12 Einträge 2 16 Einträge = 2 16 Cluster Problem: bei 2 GB Platte ist Clustergröße = 2 GB/Clusterzahl = 2 31 /2 16 =2 15 =32kB groß, aber 1kB-Dateien sind normal! Aber: Geringere Clustergröße, z.b. 1kB Cluster, 2 GB Platte, 2 31 /2 10 =2 21 =2 Mill. Einträge. Da jeder Eintrag 2 Mill andere Einträge referieren kann, muß er mind. 21 Bit (3 Bytes) breit sein. Dies bedeutet 2 Mill. mal 3 Bytes = 6 MB Platz für die FAT-Tabelle im Hauptspeicher, ohne daß alle benutzt werden müssen. Bei kleinen Clustern gibt es lange Listen im RAM sowie lange Suchdauer. Folie 30

16 Dateiimplementierung V Verteilte indexbezogene Speicherzuweisung Eigene Indexliste pro Datei Datei A Datei B NIL Problem: Bei einigen Dateien sehr viele Blöcke, lineare Blocksuche wird langsam Folie 31 Dateiimplementierung VI Verteilte indexbezogene Speicherzuweisung Baumstruktur zur schnellen Blocksuche Tabellengröße vs. Suchzeit: 1-,2-,3-stufige Tabellen phys. Blöcke (a) einstufige (b) zweistufige (c) dreistufige Übersetzung (einfach-indirekt) (zweifach-indirekt) Folie 32

17 Dateiimplementierung VII - UNIX Zentrale Tabelle pro Datei: i-node (Indexknoten) Verwaltungsdaten (Referenzen, Zeiger für free-liste + mount()-tabelle), erste Adressen von Datenblöcken + Zeiger für weitere mode link count owner uid owner gid file size 3 time ref. Adressen der ersten 10 Blöcke 1-indirekt 2-indirekt 3-indirekt Max 256 Einträge (Blockindizes) 266 kb Max 256 Einträge (Zeiger) 67 MB 16,8 GB Verzeichnis = Datei = Tabelle aus Dateinamen + i-node-nummer Zentrale Tabelle aller i-nodes = super node Folie 33 Dateiimplementierung VIII - UNIX Schritte beim Aufsuchen von /usr/ast/mbox Folie 34

18 Dateiimplementierung IX - Windows NT Konzept Volumes (log. Massenspeicher) als Datenspeichereinheit Alle Untereinheiten eines volumes sind nur Dateien (files), gekennzeichnet durch eine 48 Bit-Zahl &16Bit-Sequenznummer Vorteile Dateien vs. dedizierte Blöcke (Plattenbereiche) einfacher, konsistenter Dateizugriffsmechanismus, sogar auf die boot-information. Die Sicherheitsinformationen sind getrennt pro Objekt (Verwaltungsinformation) besser anpaßbar an die inhaltlichen Notwendigkeiten des Objekts bzw. der Funktion. Werden Plattenteile unbrauchbar, so können die Verwaltungsinformationen unsichtbar für den Benutzer auch auf andere Plattenteile verlagert werden. Folie 35 Dateiimplementierung X - Windows NT Datei 0 Datei 1 Datei 2 Master File Table Sicherheitskopie der MFT ( Plattenmitte) log file: Alle Operationen, die die NTFS-Struktur ändern, werden hier verzeichnet und garantieren so atomare Dateitransaktionen. Datei 3 volume file: Statusinformationen Name, NTFS Version,... Datei 4 corrupted Bit=1: Chkdsk-Programm attribute definition table:attributstypen + ihr Status Datei 5 Root directory: Name des Wurzelverzeichnisses, z. B. \ Datei 6 bitmap file: Belegungstabelle der volume-speichereinheiten (Cluster) Datei 7 boot file: bootstrap Code von Windows NT und die physikalische Geräteadresse der MFT -Datei. Datei 8 bad cluster file: Verzeichnis der unbrauchbaren volume Cluster - ~... ~ Datei 16 Normale Benutzerdateien und Verzeichnisse Folie 36

19 Dateiimplementierung XI - Windows NT Struktur eines Master File Table-Eintrags MFT-Eintrag standard information file name (security descriptor) data stream start VCN start LCN length Nichtresidente Attributsteile (eigentliche Datenblöcke) start VCN start LCN length HPFS extended attrib.... VCN : virtual cluster number LCN : logical cluster number Folie 37 Dateiimplementierung XII - Windows NT Struktur des Wurzelverzeichnisses root directory Standard information root file file name \ B*-Baum index root index allocation file 4 file 10 file 15 VCN LCN bitmap XXX0XX0 XXXXX... Wurzelcontainer des B*-Baums Indexpuffer VCN 4 file 6, 5 file 8, 6 7 file 9, VCN 8 file 11, 9 file 12, 10 file 13, 11 file 14, VCN 0 file 0, 1 file 1, 2 file 3, 3 Max. 15 Dateien (Schlüssel) pro container (4 Cluster) Folie 38

20 Dateiimplementierung XIII - Windows NT Interne Datenstrukturen für eine NTFS-Datei Object manager data NTFS memory data NTFS disk database process file handle table... file object file object stream control blocks data stream userdefined attribute file control block master file table... Folie 39