Dateisysteme. Dateinamen. Dateinamen. Liste von Dateien auf Massenspeicher

Transkript

1 Dateisysteme Modul: Programmierung (B-PRG) Grundlagen der Programmierung 1 Teil 3 Dateiverwaltung Prof. Dr. R. Brause Adaptive Systemarchitektur Institut für Informatik Fachbereich Informatik und Mathematik (12) Liste von Dateien auf Massenspeicher Nummer Name Position Länge Datum... 0 Datei1.dat MyProgram Datei1.dat = relationale Datenbank! Objektorientierte Datenbank: mit Methoden+Attributen Multi-Media-Datenbank: mit Bild+Tonobjekten+Synchron. Organisation von Datenbanken Persistent Storage Manager PSM (kleineobjekte) Object-Oriented Database Management System OODBMS Atomare Aktionen für Datenkonsistenz Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 2 Dateinamen Hierarchische Dateiorganisation in Baumform Knoten = Ordner = directory Alle Dateien Gruppe 1... Gruppe m Datei f Datei 1 Datei 2... Datei n Datei k... Datei s Zusätzliche Vernetzung (azykl.graph) Firma Abteilung 5 Formulare Rudi Hans Dateinamen Namensbildung Name.ext (üblich) Extension = Dateityp, Dateizweck Beispiele:.dat Daten; Format hängt vom Erzeugerprogramm ab.doc Textdokument in dem speziellen Format des Texteditors.pas PASCAL-Programm Quellcode.c C-Programm Quellcode.h Deklarations (header)-dateien für C-Programme.ps Postscript Dateien zum Ausdrucken.Z,.zip,.gz Komprimierte Dateien.tar ein gesamtes Dateisystem, in einer Datei abgespeichert.html ASCII-Textdatei für das world wide web-hypertextsystem.jpg,.gif, png, Bilddateien (komprimiert/unkomprimiert).tif,.bmp 3 Extensionsbuchstaben: MS-DOS! Sonst: 215 Char ohne \/ : *? " < > BriefVorlage.dot Brief1.doc.. BriefN.doc Brief1.doc BriefM.doc Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 3 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 4

2 Dateinamen: Externe Typangabe Geschachtelte Typen Beispiel: Skript.ps.gz = Textdatei Postscript-Format Komprimiert Typaktionen Typ verknüpft mit Aktion Benutzeroberfläche (Desktopmanager HP -VUE, MS-Explorer) behandelt Dateinamen Liste von Aktionen pro Typ definiert (Kontextmenü) Doppelklick = erste Aktion ausführen Dateinamen: UNIX Interne Typangabe class File Header { a_magic: LONG CARDINAL(* Magische Zahl *) a_txt: CARDINAL (* Code-Segmentgröße *) a_data: CARDINAL (* Segmentgröße der init. Daten*) a_bss: CARDINAL (* Segmentgröße der nicht init.daten*) a_syms : CARDINAL (* Größe der Symboltabelle*) a_entry: CARDINAL (* Start des Programms*)... } a_magic = Typangabe 407B (* altes Format: Code ( text ) und Daten werden nicht schreibgeschützt und sollen deshalb nicht von anderen Prozessen genutzt werden *) 410B (* Text-Segment wird schreibgeschützt, und das Datensegment wird an die nächsten Seitengrenzen (4 KB) im Speicher gelegt *) 413B (* Text-Segment fängt an der nächsten Seitengrenze der Datei an; text und Datensegmente sind Multiple der Seitenlänge *) Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 5 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 6 Dateinamen: Eindeutigkeit Problem: eineindeutige Abbildung langer Namen auf kurze z.b. NTFS MS-DOS (8 Zeichen. 3Zeichen) Lösung Windows NT: Alle illegale MS-DOS Buchstaben löschen sowie alle Punkte innerhalb des Namens bis auf den letzten, falls er nicht abschließt. Kleinbuchstaben Großbuchstaben. Nur die ersten 6 Buchstaben beibehalten, Zeichen 1 vor dem Punkt einfügen. 3 Zeichen hinter dem Punkt beibehalten, alle anderen löschen. Ex. Datei gleichen Namens, so wird 1 zu 2 bzw. zu 3, falls schon existiert. Beispiel: Ganz langer Dateiname.text.ps GANZLA~1.ps Dateinamen: Pfadnamen Dateiname = absoluter Pfadname = Kette aus Knotennamen von der Wurzel zum Blatt Beispiel: /Abteilung5/Rudi/Brief1.doc Unix \Abteilung5\Rudi\Brief1.doc NT Relative Pfadnamen Vorgänger:.. Dieses Verzeichnis. Rudi Abteilung 5 Rudi/Brief1.doc bei Hans:../Rudi/Brief1.doc Hans Brief1.doc BriefN.doc Brief1.doc BriefM.doc Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 7 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 8

3 Dateinamen: Pfadnamen Vorteil relativer Pfadnamen: Portabilität Beispiel Programmsystem Daten toolsx Dat1.a liba libb Prog / Programme toolsy Absolute Pfadnamen müssen nach Verschiebung des Programmsystems geändert werden, relative nicht! Dateinamen: UNIX Namensraum Baumorientiertes Dateisystem Querverbindungen durch hard links (gleiches Laufwerk) oder symbolic links (anderes Laufwerk) Beispiel : hard link löschen zu Datei2: Datei bleibt erhalten (Zähler). Problem: rück-referiertes Verzeichnis stand-alone Verzeichnis? Abteilung5 Rudi Gruppe 1 hard links Hans Datei1 Datei2 Datei3 Gruppe2 symbolic link Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 9 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 10 Dateinamen: UNIX Pfaderweiterung Kombinieren von zwei Dateisystemen: Einhängen (mounten) / etc bin usr rootfile system Festplatte 1 users / user file system Rudi Hans Ute Festplatte 2 Dateinamen: Windows NT Namensraum Namen für alle Objekte wie pipes, shared memory, Prozesse, Semaphoren, events,... Logische Querverbindungen (symbolic links) Löschen von Dateien: 2 Referenzzähler (user und kernel handles) Durchsuchen -Methode bei jedem Objekt: neue, unbekannte Dateisysteme! Brief1.doc Zugriff mit /users/rudi/brief1.doc Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 11 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 12

4 Dateinamen: Windows NT Namensraum Symbolic link parsing-methode: Device \ DosDevices Floppy0 HardDisk0 A: B: C: Texte Partition0 bs_mem.doc bs_files.doc Objekt Manager Namensraum Dateimanager Namensraum Beispiel A:\Texte\bs_files.doc Objekt manager: A:\Texte\bs_files.doc \Device\Floppy0\Texte\bs_files.doc Datei manager: Methode Find ( Texte\bs_files.doc ) Dateiattribute und Sicherheit Dateiattribute Dateilänge Datum für Erzeugung, letzte Änderung,.. Log. Attribute hidden, system, Archiv, Erzeuger, Besitzer, Benutzer und ihre Rechte Forderungen an Rechte & Sicherheit (POSIX-6) geringstmöglichste Rechte für eine Aufgabe (least privilege) Diskrete Angaben für Zugangskontrolle: Wer darf, wer nicht (ACL) Zugangskontrolle nur von Prozessen größerer Rechte (mandatory control) Aufzeichnung des Zugangs (audit trail) Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 13 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 14 Dateiattribute und Sicherheit: UNIX Datei-Zugriffsrechte : Lesen r, Schreiben w, Ausführen x Verzeichnisse: r=liste lesen, w=neue Datei aufnehmen, x=liste durchsuchen nach Datei ( betreten des Verzeichnisses) Getrennt für Besitzer, Gruppe, Alle drwx r-x r-x brause 512 Apr23 15:55. drwx r-x r-x off 512 May17 17:53.. -rw- r-- r-- brause Apr23 15:56 data1.txt Rechte bei Programmausführung = user Rechte Aber: set userid, set group Id ACL ex. in neuerem Unix (wer, was, wie pro Datei) Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 15 Dateiattribute und Sicherheit: Windows NT Standardrechte : Read, Write, ExecuteOnly, Vollzugriff,... ACL ex., neue Gruppen möglich Auditing möglich Speziell für Dateien: Attribute Dateiname, Gerätetyp, Position in Datei, share-status(r,w,del) Mode: sync/async, mit/ohne Cache, seq/random Access,... File disposition: tempoder persistent Methoden CreateFile(), OpenFile(), ReadFile(), WriteFile(), CloseFile() Lesen/setzen von Dateiinfo, Attributen, Geräteinfo, Verzeichnissen Sichern/freigeben der Dateilänge Attribute implementiert durch Datenströme, neu erzeugbar MeineDatei.dat : MeinKommentar (nichtlöschbare Viren!) Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 16

5 Typische Dateifunktionen Create File Name, Zugriffsart: Tabelleneintrag Open File Apprüfen der Zugriffsrechte, Puffereinrichtung, Close File Puffer + Tabellen deallozieren, Read/Write File Puffer schreiben/lesen: DMA! Seek File Index setzen der aktuellen Position random access Verbind.-orientierte Kommunikation Dateifunktionen: UNIX fd = creat(name, mode) fd = open (Name, mode) read (fd, bufadr, nbytes) write(fd, bufadr, nbytes) close(fd) file descriptor = Index in Tabelle Beispiel Dateideskriptoren in pipes fd=0: Standard Input, fd=1 Standard Output, fd=2 standard error Programm1 Programm2.. ProgrammN fd=1 fd=0 fd=1 fd=0 Programm1 Programm2 Programm N fd=2 fd=2 fd=2 Fehlerausgabe Fehlerausgabe Fehlerausgabe Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 17 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 18 Dateifunktionen: Windows NT Übliche Dateizugriffsfunktionen wie Unix Bei Veränderung der Dateistruktur: Atomare Transaktionen durch log file service LFS (write-ahead logging) Ergänzung der Operationen nach Absturz: = Fehlertolerantes Dateisystem Wirksam bei fail save-system, nicht aber bei aktivem Fehler Dateistrukturen Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 19

6 Strukturierte Zugriffsfunktionen Sequentielle Dateien sequential files Magnetbänder, Lochstreifen. Historisch genutzt, aber.. Problem: unbekannte Zugriffsreihenfolge: langsam! Wahlfreie Dateien random access files Festplatten, CD-ROM: Positionsangabe (offset) möglich Problem: ineffizient bei bekannter Datenorganisation Indexsequentielle Dateien index-sequential files Übersicht (Index) am Dateianfang, Ordnung nach einem Kriterium (Schlüssel), z.b. Name, Geburtsdatum,... Fehlen der DB-Unterstützung: Problem bei UNIX! Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 21 Indexsequentielle Dateien Beispiel: Einwohnerdatei, Schlüssel = Alter Auffüllen von Containern der Größe m mit Schlüsseln Baumstruktur für indizierten Zugriff: Index n-1. Stufe= { max (container Index n-ter Stufe ) } Index-sequentielle Speicherung (Zylinder, Spur, Sektor) Beispiel 12 Record-Schlüssel: 5, 15, 26, 42, 48, 56, 80, 82, 97, 37, 50 x Zylinder 48<x Spur x 26 26<x 48 x 80 80<x Index 3. Stufe Sektor Datensätze Problem: Eingliedern/Ausgliedern von Datensätzen in die Container (Datenblöcke) fester Größe, z.b. 41 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 22 Indexsequentielle Dateien Neuordnung Schnellerer Zugriff: Jeder Schlüssel wird nur einmal notiert und enthält bereits das Info für den Dateizugriff Indexsequentielle Dateien Beispiel: m = 5 Schlüssel 5, 15, 26, 42,48, 56, 80, 82, 97, 37, 50 Eingliedern Pro Intervall ein Ast (oder Blatt), max. m Intervalle pro Knoten, m-1 Schlüssel Ist ein Schlüssel nicht vorhanden, wird er im Intervall auf unterster Stufe eingefügt und ein neues Blatt (Platzhalter) wird daneben erzeugt Alle Blätter sind auf der selben Ebene Ist ein Behälter zu voll, so wird er in zwei Behälter aufgeteilt und der Schlüssel in der Mitte eine Ebene höher verschoben Beispiel: m=5 (max. 4 Schlüssel pro Knoten bzw. Schlüsselbehälter) Die 12 Record-Schlüssel 5, 15, 26, 42, 48, 56, 80, 82, 97, 37, 50 werden abgespeichert Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 23 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 24

7 Indexsequentielle Dateien Indexsequentielle Dateien Beispiel: m = 5 Schlüssel 5, 15, 26, 42, 48,56, 80, 82, 97, 37, 50 Schlüsselbehälter aufspalten Beispiel: m = 5 Schlüssel 5, 15, 26, 42, 48,56, 80, 82, 97, 37, 50 Schlüsselbehälter auffüllen Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 25 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 26 Indexsequentielle Dateien Indexsequentielle Dateien Beispiel: m = 5 Schlüssel 5, 15, 26, 42, 48, 56, 80, 82,97, 37, 50 Schlüsselbehälter teilen Beispiel: m = 5 Schlüssel 5, 15, 26, 42, 48, 56, 80, 82,97, 37, 50 Schlüsselbehälter auffüllen Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 27 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 28

8 B-Baum Allgemein: Einfacheres Einfügen neuer Schlüssel Intervall (Ast oder Blatt) suchen für neuen Schlüssel Einfügen auf unterster Stufe in einen Behälter Behälter bereits voll (ex. m-1 Schlüssel) : Aufteilen in zwei Hälften und Einzelschlüssel [S 1...S t-1 ], S t, [S t+1...s m ] mit t = m/2 Mittleren Schlüssel S t nach oben verschieben in höhere Stufe Bei Überlauf im Behälter der höheren Stufe wie oben verfahren Eigenschaften Gleiche Anzahl von Verzweigungen pro Behälter pro Ebene Schlüsselbehälter sind mind. zur Hälfe ( m/2 ) voll B-Baum B-Baum Definition B-Baum Baum (Bayer, McCreight 1972) Ein B-Baum der Ordnung m ist ein Baum, bei dem (1) die Wurzel (wenn sie nicht Blatt ist) mind. 2 und max m Äste hat (2) jeder Knoten mit k Verzweigungen k 1 Schlüssel (Indizes) enthält, (3) jeder Ast bzw. Knoten (bis auf die Wurzel und Blätter) in minimal k = m/2 und maximal k = m Äste verzweigt, (minimal zur Hälfte gefüllte Behälter) (4) alle Blätter auf derselben Ebene sind. Die Blätter selbst tragen keine Information; sie stellen nur mögliche Einfügepunkte für Indizes dar. Satz : Bei N Schlüsseln gibt es N+1 Blätter Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 29 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 30 B-Baum Anzahl der n ötigen Stufen? (Baumtiefe) (ungerades m) 1.Stufe: 2.Stufe: 3.Stufe: n-te Stufe: mind. 2 Verzweigungen der Wurzel nötig mind. 2 mal m/2 Verzweigungen auf der Stufe mind. 2 mal m/2 mal m/2 Verzweigungen mind. 2 m/2 m/2.. = 2 m/2 n 1 Verzweigungen = N+1 Blattverzweigungen Wir erreichen spätestens in der n-ten Stufe 2 m/2 n 1 = N+1 Verzweigungen. Also: 2 m/2 n 1 = N+1 n 1 = log m/2 (N+1)/2 Log. Suchzeit! Beispiel Bei m=200, N=2 Mill.: max. n-1 = log 100 ( )=log 100 (100 3 ) = 3 Stufen, also nur max. n=4 Stufen! B-Bäume sind flach! Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 31 B-Baum Problem: Verbesserungen Häufiges Teilen der Behälter Ausgleich zwischen vollen und leeren Behältern Verschiebe vom Schlüsselbeh älter mit m 1 Schlüsseln zu einem Nachbarbehälter mit k < m-1 Schlüsseln so, dass jeweils die halbe Gesamtschlüsselzahl verbleibt und der mittlere Schlüssel mit Index i= (k+m)/2 +1 nach oben wandert. Aufteilen von zwei vollen Behältern in drei Behälter Teile vollen (m-1) und übervollen (m) Behälter + dazugehörenden Schlüssel der nächsthöheren Stufe (=2m) in drei Behälter auf zu je (2m-2)/3 Schlüssel, sowie 2 für die nächste Stufe. Also jeweils (2m 2)/3, (2m 1)/3 und (2m)/3 Schlüssel, wobei die beiden Schlüssel S A und S B mit den Indizes A= º(2m-2)/3ß +1, B = A + º(2m 1)/3ß +1 nach oben in die höhere Indexstufe wandern. Jede Partition ist nicht mind. ½, sondern 2 /3 voll Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 32

9 B*-Baum Definition B*-Baum Baum Ein B*-Baum der Ordnung m ist ein Baum, bei dem (1) die Wurzel mindestens 2 und maximal 2 (2m 2)/3 +1 Verzweigungen hat. Damit kann die Wurzel beim Überfließen in 2 Behälter zu je (2m 2)/3 Schlüssel (plus ein Schlüssel als neue Wurzel) geteilt werden. (2) jeder Ast bzw. Knoten (bis auf die Wurzel und Blätter) in minimal k = (2m 1)/3 und maximal m Äste verzweigt. (3) jeder Knoten k 1 Schlüssel (Indizes) enthält. (4) alle Blätter auf derselben Ebene sind. B*-Baum: Beispiel Beispiel: m = 5 Schlüssel 5, 15, 26, 42,48, 56, 80, 82, 97, 37, 50 B*-Baum: Eingliedern in Wurzel mit max2 (2m 2)/3 = 4 Schlüsseln Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 33 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 34 B*-Baum: Beispiel B*-Baum: Beispiel Beispiel: m = 5 Schlüssel 5, 15, 26, 42, 48,56, 80, 82, 97, 37, 50 B*-Baum: Wurzel-Schlüsselbehälter aufspalten Beispiel: m = 5 Schlüssel 5, 15, 26, 42, 48,56, 80, 82,97, 37, 50 B*-Baum: Überfließen Resultiert in 2 Behälter je (2m 2)/3 = 2 Schlüssel wie beim B-Baum Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 35 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 36

10 B*-Baum: Beispiel Beispiel: m = 5 Schlüssel 5, 15, 26, 42, 48,56, 80, 82, 97,37, 50 B*-Baum: Behälter dreiteilen B*-Baum vs. B-Baum: Beispiel Vergleich B-Baum vs. B*-Baum m=5 Beispiel: Aufbau + Einfügen von (a) (b) Index 1.Stufe Index 2.Stufe m=5 (2m-2)/3 =2 (2m-1)/3 =3 (2m)/3 =3 Fazit: B*-Baum hat besseren Füllgrad weniger Behälter nötig Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 37 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 38 Mehrfachlisten und Invertierte Dateien Die Indexfolge jeder Schlüsselart ist als Liste implementiert Beispiel: Mehrfachliste (z.b. für Alter, Größe,..) Schlüssel 1 Schlüssel 2... Schlüssel m Indexfolge 1, 3, 2, 6, 5, 8 Problem: Sequentielle Schlüsselsuche Lösung: Alle Zeiger im Dateianfang: invertierte Datei (Schlüssel Record, statt umgekehrt) Datei- implementierung Satz 1 Satz 2 Satz 3 Satz 4 Satz 5 Satz 6 Satz 7 Satz 8 Datei Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 39

11 Dateiimplementierung Kontinuierliche Speicherzuweisung Datei in einem St ück : Schnell, aber nicht änderbar. Dateiimplementierung Zentrale indexbezogene Speicherzuweisung zentraler Block von Zeigern (Indizes) in einer Liste Listenartige Speicherzuweisung Verzeigerte Liste von Speicherblöcken (Strategien!) Datei A Datei B Vorteil Nachteil B Block 0 A Block 1 B Block 1 B Block 2 Rekonstruktion möglich bei Anker-Löschung ineffizienter wahlfreier Zugriff A Block 0 A Block 2 B Block Nil Anfang Datei B Anfang Datei A Phys. nächster BlockNr = Datenblock ListenIndex NIL Ende Datei B Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 41 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 42 Dateiimplementierung: Zentraler Index Dateiimplementierung: FAT Beispiel File Allocation Table FAT von MS-DOS Blockgröße: 512 Byte (= 1 Sektor), Block 0: Bootstrap, Blöcke 1-5: FAT mit je Eintrag 12 Bit = 3 Hexzahlen = 1.5 Byte Blöcke Wurzelverzeichnis Index 2 Index 3 Index 4 Index 5 Index 6 12 Bit Cluster 0 Cluster 1 Cluster 2 Pro cluster 1024 Byte = 2 Blöcke Block 18/19 Block 20/21 Block 22/ Byte Maximale Diskettengröße max. FATgröße 5 512=2560Byte Max. Zahl der Einträge = 2560/1.5 = 1706 Einträge (cluster), also max Byte = 1,7 MB pro Diskette Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 43 Beispiel File Allocation Table FATvon MS-DOS 32 Byte-Verzeichniseintrag (16 Stück pro 512Byte-Sektor) DateiName.extA reserved timdatst len A = 8 bit-bitmap, 1 = wahr 0= falsch Datei nur lesen verborgen Systemdatei Gerätename, nicht Dateiname Unterverzeichnis Archive Reserviert Reserviert Unterverzeichnis = Datei mit Verzeichniseinträgen Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 44

12 Dateiimplementierung: Zentraler Index FAT-Probleme Indexgröße Floppy 12 Bit Platten 16 Bit 2 12 Einträge 2 16 Einträge = 2 16 Cluster Problem1: zu wenige Cluster Bei 2 GB Platte und 2 16 Cluster ist Clustergröße = 2 GB/Clusterzahl = 2 31 /2 16 = 2 15 = 32kB groß: großer Verschnitt von 16kB! Problem2: zu kleine Cluster Bei 2 GB Platte und 1kB Clustergröße 2 31 /2 10 = 2 21 = 2 Mill. Einträge. Da jeder Eintrag 2 Mill andere Einträge referieren kann, mu ß er mind. 21 Bit (3 Bytes) breit sein. Dies bedeutet 2 Mill. 3 Bytes = 6 MB Platz für die FAT-Tabelle im Hauptspeicher, ohne daß alle Einträge benutzt werden. Bei kleinen Clustern gibt es lange Listen im RAM sowie lange Suchdauer. Dateiimplementierung Verteilte indexbezogene Speicherzuweisung Statt zentraler Index aller Dateien eigene Indexliste pro Datei: Datei A Datei B NIL Problem: Bei einigen Dateien ex. sehr viele Blöcke, lineare Blocksuche wird langsam. Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 45 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 46 Dateiimplementierung Verteilte indexbezogene Speicherzuweisung Baumstruktur zur schnellen Blocksuche Tabellengröße vs. Suchzeit: 1-,2-,3-stufige Tabellen... phys. Blöcke (a) einstufige (b) zweistufige (c) dreistufige Übersetzung (einfach-indirekt) ( zweifach-indirekt) Dateiimplementierung: UNIX Zentrale Tabelle pro Datei: i-node (Indexknoten) Verwaltungsdaten (Referenzen, Zeiger für free-liste + mount()-tabelle), erste Adressen von Datenblöcken + Zeiger für weitere mode link count owner uid owner gid file size 3 time ref. Adressen der e rsten 10 Blöcke 1-indirekt 2-indirekt 3-indirekt Max 256 Einträge (Blockindizes) 266 kb Max 256 Einträge (Zeiger) 67 MB 16,8 GB Verzeichnis = Datei = Tabelle aus Dateinamen + i-node-nummer Zentrale Tabelle aller i-nodes = super node Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 47 Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 48

13 Dateiimplementierung: Windows NT Dateiimplementierung : MFT Konzept Volumes (log. Massenspeicher) als Datenspeichereinheit Alle Untereinheiten eines volumes sind nur Dateien (files), gekennzeichnet durch eine 48 Bit-Zahl &16Bit-Sequenznummer Vorteile Dateien vs. dedizierte Blöcke (Plattenbereiche) einfacher, konsistenter Dateizugriffsmechanismus, sogar auf die boot-information. Die Sicherheitsinformationen sind getrennt pro Objekt (Verwaltungsinformation) besser anpaßbar an die inhaltlichen Notwendigkeiten des Objekts bzw. der Funktion. Werden Plattenteile unbrauchbar, so können die Verwaltungsinformationen unsichtbar für den Benutzer auch auf andere Plattenteile verlagert werden. Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 49 Datei 0 Datei 1 Eigeneintrag Master File Table Eintrag Sicherheitskopieder MFT ( Plattenmitte) Datei 2 log file: Alle Operationen, die die NTFS-Struktur ändern, werden hier verzeichnet und garantieren so atomare Dateitransaktionen. Datei 3 volume file: Statusinformationen Name, NTFS Version,... corrupted Bit=1: Chkdsk-Programm Datei 4 attribute definition table:attributstypen + ihr Status Datei 5 Root directory: Name des Wurzelverzeichnisses, z. B. \ Datei 6 Datei 7 bitmap file : Belegungstabelle der volume -Speichereinheiten (Cluster) boot file: bootstrap Code von Windows NT und die physikalische Geräteadresse der MFT -Datei. Datei 8 bad clusterfile :Verzeichnis der unbrauchbaren volume Cluster - ~... ~ Datei 16 Normale Benutzerdateien undverzeichnisse Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 50 Dateiimplementierung : Windows NT Dateiimplementierung : Windows NT Struktur eines Master File Table-Eintrags MFT-Eintrag standard information file name security descriptor data stream start VCN start LCN length start VCN 5 start LCN 1265 length HPFS extended attr.... VCN LCN Nichtresidente Attributsteile (eigentliche Datenblöcke) Lücke: Datenkompression! Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 51 Struktur des Wurzelverzeichnisses rootdirectory Standard information root file file name \ B*-Baum indexroot indexallocation file 4 file 10 file 15 VCN LCN bitmap XXX0XX0 XXXXX... Wurzelcontainer des B*-Baums Indexpuffer VCN 4 file 6, 5 file 8, 6 7 file 9, VCN 8 file 11, 9 file 12, 10 file 13, 11 file 14, VCN 0 file 0, 1 file 1, 2 file 3, 3 Max. 15 Dateien (Schlüssel) pro container (4 Cluster) Grundlagen der Programmierung 1 - Teil 3 R.Brause: Dateiverwaltung Folie 52