Speichermedien. 8 Dateiverwaltung. 8.1 Aufgabenstellung. 8.2Dateien auf Plattenspeicher Aufbau der Blšcke. Beispiel:

Transkript

1 8 verwaltung 8.1 Aufgabenstellung Benštigt wird eine lšngerfristige Lagermšglichkeit fÿr gro e Datenmengen en (logische Betriebsmittel) Eine ist eine ammlung nicht nšher spezifizierter logischer Dateneinheiten, der Štze (records) Je nach Anforderung des Einsatzgebiets unterstÿtzt ein system Ð Konstant oder variabel lange Štze Ð Dynamisch umfangsveršnderliche en Ð VerŠnderliche innere truktur der en Ð Variable Anzahl von en auf einem TrŠger Ð Evtl. Ÿbergro e en auf mehreren TrŠgern peichermedien en sollen auf nichtflÿchtigem Medium mit relativ geringen Zugriffszeiten und zu geringen Kosten gespeichert werden und lesenden und schreibenden Zugriff erlauben Das dafÿr am besten geeignete Medium ist (zur Zeit) die Magnetplatte FŸr kleinere Datenmengen auch Diskette FŸr gro e Datenmengen zum Archivieren Magnetband(kassette) Zum Archivieren oder fÿr nur lesenden Zugriff CD-ROM Wir werden uns im folgenden am Plattenspeicher als dem wichtigsten peichermedium fÿr en orientieren. Disketten und CD-ROM besitzen einen Šhnlichen Aufbau wie der Plattenspeicher Lediglich MagnetbŠnder unterscheiden sich wesentlich, weil sie aufgrund ihrer eindimensionalen truktur nur sequentiellen Zugriff erlauben en auf Plattenspeicher Blšcke und Štze Aufbau der Blšcke Blšcke (oder ektoren) sind die kleinsten adressierbaren Einheiten des Plattenspeichers. ie sind ršumlich getrennt durch sogenannte BlocklŸcken (gaps) Jeder einzelne Block enthšlt neben dem Datenfeld eine Blockkennung, die im einfachsten Fall aus seiner physikalischen Lage resultiert PrŸffelder zur Fehlererkennung Beispiel Lücke Block-ID Lücke Daten Lücke Blocklänge 600 Bytes Blšcke sind die Elementareinheiten des Plattenspeichers (physikalische Einheiten), wšhrend Štze die Elementareinheiten der en darstellen (logische Einheiten). Wenn Štze beliebige LŠnge haben sollen, benštigen wir eine flexible Zuordnung von Štzen zu Blšcken. Bei konstanter atzlšnge wird das VerhŠltnis von Block- und atzlšnge als Blockungsfaktor f bezeichnet atz 1 atz 2 Block 1 Block f = 1 ynch byte pur Nr. Kopf Nr. ektor Nr. CRC ynch byte 8-3 Daten CRC Block 1 atz 1. Hälfte Block 2 atz 2. Hälfte Block 1 Block f = 4 f = 1/2

2 Blšcke und Štze Belegung eines Plattenspeichers Štze mÿssen jedoch keine konstante LŠnge haben Es sind folgende atzformate mšglich konstant puren Blöcke (ektoren) Plattenetikett Belegungsdarstellung Zylinder variabel BL 1 L1 1 L2 2 BL 2 L 3 3 L4 4 unbestimmt Inhaltsverzeichnis Es ist auch mšglich, da Ÿberhaupt keine atzstruktur vorliegt, d.h. eine ist eine (unstrukturierte) Folge von Zeichen (z.b. bei Unix) Plattenetikett Belegungsdarstellung (freie und belegte Blšcke) Vektor- oder Tabellenverfahren (siehe Vorlesung KM Kap. 5) Bezeichnung des TrŠgers Dicht oder gestreut gespeichert (siehe Vorlesung KM Kap. 5) Datum der Inbetriebnahme KapazitŠt Physikalische truktur Beispiel Vektor (Bitmap) fÿr belegte und freie Blšcke, getrennt fÿr jeden Bereich (zur Minimierung der Armbewegungen) BeschŠdigte Blšcke Verweis auf Belegungsdarstellung (oder diese selbst) Verweis auf Inhaltsverzeichnis (oder dieses selbst) liegt an wohldefinierter telle (erster Block) und wird bei Inbetriebnahme angelegt Bereich, z.b. Zylinder

3 Freispeicherliste als abgesetzte Tabelle Adresse (Block-Nr.) Länge Inhaltsverzeichnis (katalog, file directory) Das Inhaltsverzeichnis enthšlt die Liste der auf der Platte gespeicherten en mit ihren Beschreibungen Flache Verzeichnisstruktur Im einfachsten Fall besteht es aus einer einfachen (eindimensionalen) Tabelle konstant oder variabel lang beschreibung Tabelle Platte Bei gro en Platten und vielen en ist die flache truktur zu unhandlich (sowohl fÿr den menschlichen Benutzer als auch fÿr zugreifende Programme) Inhaltsverzeichnis (katalog, file directory) beschreibung trukturierte Verzeichnisse ( blicherweise elektorbaum) Die beschreibung enthšlt alle die betreffenden Informationen Eingang in katalog A B E Evtl. weitere Blöcke name Organisationsform B R A D T Erstellungsdatum EigentŸmer Zugriffsrechte A.R E.A E.T Zeitpunkt des letzten Zugriffs X Y X Y Zeitpunkt der letzten nderung Lage der (teile) A..X A..Y E.D.X E.D.Y Grš e

4 Zugriffsrechte Zugriffsrechte werden vom EigentŸmer, der in der Regel der Erzeuger der ist, festgelegt. ind als Rechte Lesen (L) und chreiben () vorgesehen, so kšnnten die Zugriffsrechte folgenderma en spezifiziert sein Benutzer(gruppe) A L, Benutzer(gruppe) B L L, L L, Benutzer(gruppe) C L L Benutzer(gruppe) D L Weitere mšgliche Rechtedifferenzierung AusfŸhren (bei Programmdateien) ndern der Zugriffsrechte (dem EigentŸmer vorbehalten) chreiben differenziert in ãupdateò oder ãappendò Lšschen Kenntnis 8.4 organisation Die organisation betrifft die innere truktur einer. ie legt fest, in welcher Weise auf die einzelnen Štze zugegriffen wird. Man unterscheidet equentielle organisation Die Štze werden sequentiell zugegriffen Direkte organisation Wahlfreier Zugriff auf beliebige Štze Indexsequentielle organisation owohl sequentieller als auch wahlfreier Zugriff Mehrere Organisationsformen kšnnen gleichzeitig angeboten und auf eine Basisorganisationsform abgebildet werden equentielle organisation Es existiert eine Reihenfolge der Štze, durch die der Zugriff festgelegt wird. ie ist die zwingende Organisationsform fÿr en auf MagnetbŠndern. ie kann natÿrlich auch bei Plattenspeichern eingesetzt werden. Es gibt einen Zeiger, der durch spezielle Operationen explizit oder implizit bewegt werden kann Ein Zugriff (z.b. Lesen) bezieht sich auf die jeweilige Position des Zeigers anfang alte neue Position des Zeigers equentielle organisation Ein chreiben auf die ist in der Regel nur durch AnfŸgen am ende mšglich. Nur wenn man einen atz durch einen anderen atz gleicher LŠnge ersetzt, kann auch innerhalb der geschrieben werden anfang 4 Ersetzen (update in place) altes neues ende Meist gibt es explizite Operationen, um den Zeiger zu bewegen next Zeiger um atz vorsetzen previous Zeiger um einen atz rÿcksetzen (oft nicht vorhanden) reset Zeiger auf anfang setzen 9 anfügen (append)

5 equentielle en auf Plattenspeicher Beim Plattenspeicher hat man zur peicherung sequentieller en einige Wahlmšglichkeiten ZusammenhŠngende peicherung Die belegt aufeinanderfolgende Blšcke auf der Platte equentielle en auf Plattenspeicher Blšcke direkt verkettet Gestreute peicherung Die belegt beliebige Blšcke der Platte Die Reihenfolge der Blšcke kann auf zwei Arten realisiert werden Verkettung (chaining) Blšcke Ÿber Indexblock verwaltet direkte (integrierte) Verkettung der Blšcke - abgesetzte Verkettung in einer Tabelle (z.b. FAT in M-DO / Windows) Indexblšcke Beispiel M-DO verwendet abgesetzte Verkettung Direkte organisation Direkter Zugriff auf einen atz einer mittels eines chlÿssels. Die Verkettung wird in einer File Allocation Table (FAT) vorgenommen, die fÿr jeden Block einen Eintrag vorsieht. Aus LeistungsgrŸnden mu sie permanent im Hauptspeicher gehalten werden. k i i atz chlüssel Verzeichniseintrag 0 xyz Name 1. Block File Allocation Table EOF 298 Berechnung der Adresse (Block- oder purnummer) des atzes auf Grund des chlÿssels. Hashfunktion a i = f( k i ), z.b. a i = k i mod n Die berechnete Adresse (Blocknummer) mu nicht notwendigerweise die physikalische Blocknummer sein. Es ist noch ein weiterer Abbildungsschritt denkbar. Blšcke oder puren dienen als BehŠlter fÿr mehrere Štze, d.h. fÿr alle, die auf dieselbe Hashadresse abgebildet werden. Erst bei berlaufen des BehŠlters mu eine Kollisionsauflšsung stattfinden

6 Direkte organisation Direkte organisation Bei beliebig wachsenden en lšuft die Hashtabelle irgendwann voll. V V Dann ist eine aufwendige Reorganisation (Umspeichern) erforderlich. Um dies zu vermeiden, kann man das erweiterbare (extendible) Hashing einsetzen a i = f( k i ) V V V Blöcke oder puren Es erlaubt eine inkrementelle Erweiterung der Hashtabelle ohne Umspeichern Dazu benštigt man eine zusštzliche Indirektionsstufe, d.h. die Hashabbildung fÿhrt zunšchst in eine Komponente eines Vektors von Zeigern V Als Hashfunktion verwendet man a i = k i mod 2 g, d.h. die chlÿssel werden nach ihren letzen g Dualstellen diskriminiert. Kollisionsauflšsung z.b. linear durch a i+1 = ( a i + d) mod n LŠuft nun ein BehŠlter Ÿber, so wird ein neuer BehŠlter angelegt und der Inhalt auf beide BehŠlter gemš der ãverfeinertenò Hashfunktion verteilt. Um die korrekte Adressierung zu gewšhrleisten, wird g um eins erhšht (LŠnge des Zeigervektors verdoppelt sich), und die Zeiger mÿssen entsprechend umgesetzt werden Beispiel Vor Erweiterung (chlÿssel 43 wird eingetragen) Nach Erweiterung g Zeiger g b = 2 max = 4 g max = Verweisvektor Datenblöcke Indexsequentielle organisation Manche Datenmengen mÿssen sowohl sequentiell als auch direkt verarbeitet werden (zu unterschiedlichen Zeitpunkten) Dies fÿhrt zu einer Mischform von sequentieller und direkter (indizierter) Organisation,der indexsequentiellen organisation. Zwar sind die Štze der sequentiell auf dem peichermedium abgelegt,jedoch wird zusštzlich durch entsprechende Datenstrukturen ein direkter Zugriff unterstÿtzt. In ihrer Urform wird lediglich eine Indexstufe verwendet, in der die jeweils grš ten chlÿssel eines Blocks gehalten werden g Zeiger g b = 2 max = 8 g max = Verweisvektor Datenblöcke

7 Indexsequentielle Organisation Im dynamischen Betrieb (EinfŸgen und Lšschen von Štzen) treten natÿrlich Probleme auf, da Blšcke Ÿberlaufen kšnnen. Dann mÿssen berlaufblšcke angelegt und entsprechende Verzeigerungen angebracht werden B*-BŠume Die Verzeigerung bei Verwendung von berlaufblšcken kann die Zugriffszeit zu einzelnen Štzen drastisch erhšhen. Besser sind Datenstrukturen, bei denen Wachsen und chrumpfen von vornherein vorgesehen sind. Der B*-Baum ist eine Variante des B-Baums. Er enthšlt die Štze in den BlŠttern. Die internen Knoten enthalten nur chlÿssel und dienen nur der Zugriffsbeschleunigung. BezŸglich FŸllungsgrad und Formerhaltung entspricht der B*-Baum dem B-Baum Überlaufblock Eigenschaften des B*-Baums EinfŸgen in B*-Baum Die Knoten entsprechen den Blšcken auf der Platte. Normalfall Im Knoten ist noch Platz Jeder Knoten (Block) ist mindestens zur HŠlfte gefÿllt berlauffall ei c i m die Anzahl chlÿssel in einem internen Knoten i der minimale FŸllungsgrad fÿr interne Knoten (min. Anzahl chlÿssel) Nachbar hat genÿgend Platz Ausgleich mit Nachbarn Nachbarn sind voll Knoten teilen (neuen Block belegen) B*-Baum nach EinfŸgen eines atzes mit chlÿssel 16 (Knotenteilung auf Blattebene, Knotenausgeich auf Ebene darÿber)) c i * die Anzahl Štze in einem Blattknoten i 31 m * der minimale FŸllungsgrad fÿr BlŠtter (min. Anzahl Štze) Dann gilt fÿr alle internen Knoten i (au er der Wurzel) m c 2m und fÿr alle BlŠtter i m c 2m* i * * i (FŸr das vorangegangene Beispiel gilt m = 1, m* = 2.)

8 Lšschen im B*-Baum Normalfall Knoten bleibt mindestens halbvoll Rekonfigurationsfall (Knoten unterschreitet HalbfŸllung) Wie hoch werden B*-BŠume? ozialversicherung in China mit ca EintrŠgen Bei 40 Byte pro Eintrag (chlÿssel und Zeiger) und einer Blockgrš e von 4096 Byte ergibt sich ein AuffŠcherungsgrad von t = (Anzahl chlÿssel pro Knoten) Nachbar mehr als halbvoll Ausgleich mit Nachbarn Nachbarn halbvoll Mit einem Nachbarnoten vereinigen (Block freigeben) B*-Baum nach Lšschen eines atzes mit chlÿssel 71 (Knotenvereinigung auf Blattebene) Ein B*-Baum der Hšhe 4 reicht aus betrieb Operationen auf en Erzeugen ffnen Lesen chreiben RŸcksetzen perren chlie en kontrollblock Der Betrieb einer erfordert einige Verwaltungsinformation Positionszeiger aktuelle Blockadresse Verweise auf Puffer (im Hauptspeicher) FŸllgrad der Puffer perrinformation Parameter lesen Parameter setzen (Zugriffsrechte) Lšschen Diese Daten werden im kontrollblock (file control block, FCB) abgelegt. Der FCB ist eine Datenstruktur, die beim ffnen einer angelegt und beim chlie en wieder gelšscht wird Der Proze kontrollblock enthšlt Verweise auf die kontrollblšcke der von diesem Proze gešffneten en. 8-32

9 Gemeinsame Nutzung von en Eine kann von mehreren Prozessen gleichzeitig genutzt werden Da der kontrollblock sowohl Informationen enthšlt, die die als ganzes betreffen als auch solche, die nur den jeweiligen Benutzer betreffen, kann man folgenderma en vorgehen PCB1 PCB2 FCB FCB FCB FCB FCB FCB gemeinsam genutzte gemeinsamer Teil Pufferung Da hšufig Daten mehrfach zugegriffen werden, z.b. Indexblšcke, lohnt es sich, Plattenblšcke im Hauptspeicher zu puffern. (Platten-Cache) Einige Betriebssysteme verwenden den gesamten sonst ungenutzten Hauptspeicher als Plattencache (z.b. Linux) (Auch moderne Plattencontroller haben hšufig einen internen, transparenten Cache) Bei jedem Zugriff auf einen Plattenblock wird daher zunšchst im Puffer nachgesehen, ob der Block schon vorhanden ist. Als Auslagerungsstrategie bei Platzmangel kommen dieselben Algorithmen in Frage wie beim virtuellen peicher (LRU, FIFO..) Wenn ein modifizierter Plattenblock jedoch erst im Rahmen einer Auslagerung auf die Platte geschrieben wird, besteht die Gefahr des Verlustes (bei ystemabsturz, tromausfall) Wichtige Blšcke, von deren AktualitŠt die Konsistenz des systems abhšngt (Verzeichnisblšcke, Indexblšcke) sollten daher sofort gerettet werden. equentieller Zugriff kann beim Puffern ausgenutzt werden Read-Ahead und Free- Behind Beispiel Unix-system Hierarchisch - Baumstruktur - kataloge als interne Knoten - en als BlŠtter - Keine Restriktionen bez. Breite und Tiefe Einheitlich - Nahezu alle ystemobjekte werden als en dargestellt bzw. Ÿber die schnittstelle benutzt (en, Kataloge, Kommunikationsobjekte, GerŠte) - syntaktische Gleichbehandlung aller Typen, semantische soweit mšglich daher Programme unabhšngig von Objekttyp Einfach - Nur wenige, aber flexible operationen - Einfache struktur en in Unix Bytestring Beliebig addressierbar Eigenschaftsloser Inhalt Form und Inhalt durch Benutzer definiert Maximale grš e im Gigabyte-Bereich BeschrŠnkt auf einen logischen DatentrŠger chutz durch Rechte r Leserecht (read) w chreibrecht (write) e Recht zum AusfŸhren (execute) spezifisch fÿr user, group, world

10 Der Inode (Index-node) Jede ist beschrieben durch einen sogenannten Inode. Er repršsentiert die. Er enthšlt Owner (UID, GID) Rechte Erzeugungsdatum Datum der letzten nderung direkt einfach indirekt zweifach indirekt Grš e Typ (, Verzeichnisdatei, GerŠt, Pipe,...) Feld fÿr baumartige Zugriffsstruktur (Verweise auf die Datenblšcke) Zugriffsstruktur des Inode dreifach indirekt Inodes werden fÿr jedes system in einer Tabelle gehalten Verzeichnisse (Kataloge, Directories) Verzeichnisse werden als normale en gehalten, nur der Eintrag im Typ-Feld kennzeichnet die als Verzeichnis Ein Eintrag enthšlt LŠnge des Eintrags Name (variable LŠnge bis 255 Zeichen) Inode-Nummer Verzeichnisse (Directories) Jedes Verzeichnis beginnt mit dem Eintrag ".", das den Inode des aktuellen Verzeichnisses angibt. Der zweite Eintrag ist ".." und verweist auf das Ÿbergeordnete Verzeichnis Der Pfadname wird von links nach rechts aufgelšst, und der jeweilige Name wird im Verzeichnis gesucht. Mehrere VerzeichniseintrŠge kšnnen auf denselben Inode verweisen (hard link) Benutzer identifizieren en durch den Pfadnamen (Folge von Bezeichnern mit ã/ò als Trennzeichen), der vom B auf eine Inode-Nr. umgesetzt wird olange es nicht der letzte Name des Pfades ist, mu es sich um ein Verzeichnis handeln. Falls nicht, bricht die uche mit einem Fehler ab. Beginnt der Pfad mit ã/ò, so handelt es sich um einen absoluten Pfadnamen, der beim root-directory beginnt. Beginnt der Pfad mit einem anderen Zeichen, so handelt es sich um einen relativen Pfadnamen, der sich auf das aktuelle Verzeichnis bezieht

11 ymbolic Links 8-41 Unix bietet die Mšglichkeit, en und Verzeichnisse unter verschiedenen Namen anzusprechen. Dies hilft auch bei der gemeinamen Nutzung von en durch symlink(bisheriger_name, neuer_name) wird ein zusštzlicher Name eingefÿhrt Beispiel mit symlink("/usr/src/uts/sys","/usr/include/sys") und symlink("/usr/include/realfile.h","/usr/src/uts/sys/testfile.h") existieren drei Pfadnamen fÿr dieselbe /usr/src/uts/sys/testfile.h /usr/include/sys/testfile.h /usr/include/realfile.h inode.h src uts sys testfile.h / usr sys include realfile.h Logisches und physikalisches system 8-42 Ein logisches system kann aus mehreren physikalischen systemen bestehen. Ein system kann an beliebiger telle in ein anderes durch das ãmountò- Kommando eingehšngt und mit ãumountò wieder ausgehšngt werden. Beim Zugriff auf ein eingehšngtes Verzeichnis gibt ein Bit im Inode gibt an, da es sich um einen ãmount-pointò handelt. Mit dem ãmountò wird Ÿber eine vom B verwaltete ãmount-tableò eine Verbindung des Inode des mount-point zum Wurzel-Inode des eingehšngten systems geschaffen. / bin etc usr cc sh getty passwd bin include src awk yacc stdio.h uts / mount-point Plattenstruktur Jedes physikalische system liegt auf einem logischen GerŠt (partition), von denen mehrere auf einem physikalischen GerŠt existieren kšnnen Jedes logische GerŠt (system) enthšlt nach dem Boot-Block einen sogenannten uperblock mit folgendem Inhalt (u.a.) Pufferung Plattenblšcke werden im Hauptspeicher gepuffert. Dazu wird eine Hashtabelle verwendet. Blšcke mit gleichem Hashwert werden in einer verketteten Liste gehalten. Die Verwaltung der Pufferblšcke erfolgt nach LRU. Dazu wird eine Freiliste unterhalten, die die freien Blšcke doppelt und ringfšrmig verkettet. Freie Blšcke werden am Kopf der Liste entnommen und am Ende der Liste eingefÿgt. - Grš e des systems - Liste freier Blšcke - Liste freier Inodes Dem uperblock folgt die Liste der Inodes dieses systems Neuere Unix-systeme verwenden das Konzept der Zylindergruppe, bei der diese truktur (uperblock, Inodes) fÿr jede Zylindergruppe vorhanden ist. (Reduzierung von Armbewegungen) Hashtabelle Kopf der Freiliste frei gesperrt

12 betrieb Beim ffnen einer (ãopenò) wird ein deskriptor (integer) erzeugt. Er wird zum Indizieren einer proze spezifischen Tabelle offener en verwendet. Von einem solchen Tabelleneintrag fÿhrt ein Verweis auf einen Eintrag in einer systemweiten tabelle. Erst von dort gelangt man zum Inode der betrieb Read und write enthalten keine Positionsangaben, sondern nur die Anzahl zu Ÿbertragender Bytes Der aktuelle Positionszeiger wird in der tabelle gehalten und nach jeder Operation aktualisiert Ein Proze kann mehrere Deskriptoren auf dieselbe besitzen. Verschiedene Prozesse kšnnen auf dieselbe zugreifen. read(3,..) offene en tabelle Inode- (prozeßspezif.) (systemweit) Tabelle (im Puffer) Benutzeradreßraum ystemadreßraum Platte Datenblöcke Die Kopie des Inode im Puffer enthšlt einen ZŠhler, der angibt, wieviele EintrŠge der tabelle auf ihn verweisen perren sind mšglich, haben jedoch keinen zwingenden Charakter (advisory locks). ie kšnnen auf ganze en oder auf Teile davon angewendet werden