im Sekundärspeicher (magnetische und optische Platte (, Band)) gespeichert langsam (Blockzugriff), reichlich, billig, permanent

Transkript

1 2. Physische Datenspeicherung 2.1. Speicherungsformen für Datensätze Datensätze werden vom DBMS im Primärspeicher (Hauptspeicher (+ Cache)) gespeichert und verarbeitet schnell (Direktzugriff), vergleichsweise knapp, (teuer), flüchtig im Sekundärspeicher (magnetische und optische Platte (, Band)) gespeichert langsam (Blockzugriff), reichlich, billig, permanent (Große) Datenbanken (~ mehrere TB) liegen üblicherweise auf Sekundärspeichern, wobei lediglich immer nur ein Teil davon in den Hauptspeicher eingelesen, verarbeitet und dann wieder zurück geschrieben wird. Ablageformen von Datensätzen im Speicher (auf Platte) (Primärorganisation): unsortierte Datei (Heap Datei): keine bestimmte Ordnung, neue Sätze ungeordnet an das Ende der Datei (append) sortierte Datei (sequentielle Datei): Sätze nach einem bestimmten Feld (Sortierschlüssel) geordnet Hash-Datei (statisch, dynamisch): Sätze gemäß Hash-Funktion über bestimmtes Feld (sog. Hash-Schlüssel) geordnet Ablageform bestimmt wie auf die Dateien zugegriffen wird 1

2 2. Physische Datenspeicherung 2.1. Speicherungsformen für Datensätze Organisation eines Festplattenspeichers Festplatte besteht oft aus Plattenstapel jede Platte ist in Spuren eingeteilt Spur ist eingeteilt in Blöcke/ Sektoren (bei der Formatierung vom OS vorgegeben) Spuren mit dem gleichen Durchmesser werden als Zylinder bezeichnet typische Blockgrößen: 512 bis 4096 Bytes (0,5 4 KB) Quelle: Elmasri, R. / Navathe, S.B. (2000) 2

3 2. Physische Datenspeicherung 2.1. Speicherungsformen für Datensätze Datentransfer zwischen Hauptspeicher und Platte erfolgt blockweise. Blockadresse: Oberflächen-Nr., Track-Nr., Block-Nr. Zugriffszeit auf Block: ü seek time ST: Positionierung des Schreib-/Lesekopfs auf Track ca. 8 ms ü rotational delay RD / latency: Zeit bis richtiger Block vorbei kommt ca. 3 ms ü block transfer rate: Zeit für Datentransfer dauert viel kürzer als die beiden anderen Teile ca. 2-10% der Gesamtzugriffszeit, je nach Blockgröße Cluster: mehrere aufeinander folgende Blöcke als Einheit übertragen Plattenzugriffe für DBMS insgesamt sehr zeitintensiv minimieren! 3

4 2. Physische Datenspeicherung - Beispiel DB2 DB2 Server Instanz ( DB2, db2inst1 ) Datenbank 1 Container In einem TableSpace werden Datenbank-Objekte gespeichert (abstrahiert den physikal. Speicher) Tablespace (system) Tablespace (temp) Tablespace (user) I/O Ein TableSpace setzt sich aus einem oder mehreren Containern zusammen. BufferPool Datenbank n. DB CFG LOG Files create tablespace tbls1 managed by system using ( '/filesystem1/data/tablespace1', '/filesystem2/data/tablespace1' ) DBM CFG Instanz ( myinst ) Port. create table TABLE1(c1 int, c2 xml) IN tablespace1 Port 4

5 2. Physische Datenspeicherung - Beispiel DB2 DB2 speichert Tabellen- und Index-Daten in sog. Pages. Pages sind die kleinste Speichereinheit in DB2 (4KB, 8KB, 16KB, 32KB). Beim beantworten von SQL Anfragen muss DB2 die Tabellen- und/oder Index-Pages scannen. Eine Zeile einer Tabelle kann nicht über mehrere Pages verteilt werden! Ein Scan erfolgt nur von Pages die in den BufferPool geladen wurden. 007 Raul Clara 1999 A21 Apple A14 Pear A98 Banana Page 005 Sylvia Dwaine 2000 A23 Plum Page Um nicht alle Pages einzeln lesen zu müssen, kann DB2 Pages zu sog. Extends gruppieren, und so mehrere Pages pro I/O Anfrage in den BufferPool lesen. Ein Extend kann nur Pages eines Objektes (z.b. Tabelle) enthalten! Extend 5

6 2. Physische Datenspeicherung - Beispiel DB2 Logical Storage SELECT Prodid FROM t2 WHERE Prodname = Plum Tabelle t1 Tabelle t2 Index ix1 ID Name Year 007 Raul Clara Sylvia Dwaine 2000 ProdID A21 A14 A98 A23 ProdName Apple Pear Banana Plum ID Name 003 Clara 005 Sylvia 007 Raul 011 Dwaine Physical Machine Memory DB2 BufferPool Physical Storage DB2 Container 007 Raul Clara Sylvia Dwaine 2000 A21 Apple A14 Pear A98 Banana A23 Plum A21 Apple A14 Pear A98 Banana A23 Plum Page Page Extend 6

7 2. Physische Datenspeicherung 2.1. Speicherungsformen für Datensätze Speicherung der Datensätze Datensätze bestehen aus Datenfeldern (Attributen) mit bestimmten Datentypen und jeweiliger Byte-Länge. Datensätze beschreiben Entitäten und ihre Attribute. (z.b.: integer 4 bytes, je character 1 byte, boolean 1 byte, date 8 byte, oder LOBs...) Beispiel für Datensatz: Angestellter ( Name CHAR (31), SSN CHAR (9), Salary INTEGER, Jobcode INTEGER, Department CHAR (22) ); Datenfeld alle Datensätze entweder immer gleich lang => Datenfeld-Adresse kann leicht bestimmt werden (s. Fig. 5.7(a)) oder unterschiedlich lang => Datenfeld-Adresse muss markiert werden variabel lange Felder à mit führender Längenangabe oder Terminator-Zeichen s. Fig. 5.7(b) optionale Felder à mit unterschiedlichen Trennzeichen (für vorhandene Felder s Fig. 5.7(c)) oder Nullwert-Länge-Paaren (für alle Felder) Wiederholungsgruppen (Feld eines Datensatzes hat mehrere Werte) à mit Separations- (für Einzelwerttrennung) und Terminator-Zeichen (Abschluss Wdh.-feld) 7

8 2. Physische Datenspeicherung 2.1. Speicherungsformen für Datensätze Datenfelder fester Länge NAME Datensatz (hier: 71 byte). Datenfeldadresse Datensatz mit zwei variabel lange Feldern Optionale Felder Quelle: Elmasri, R. / Navathe, S.B. (2000) 8

9 2. Physische Datenspeicherung 2.1. Speicherungsformen für Datensätze Datensätze einer Datei müssen auf Plattenblöcke aufgeteilt werden, da ein Block die Einheit des Datentransfers zwischen Platte und Speicher darstellt. Anzahl Sätze pro Block: Blockungsfaktor bfr = B DIV R (B >= R) - B = Blockgröße, - R = feste Satzlänge (Durchschnittswert, falls variabel) Im allg. geht B in R nicht auf ==> freier Speicher: B (bfr * R) bytes - entweder frei lassen ( unspanned organization, nicht segmentiert) oder - Teil des nächsten Satzes mit Pointer auf Restsatz speichern ( spanned, segmentiert) - gilt auch bei variabel langen Sätzen (in jedem Block eine andere Anz. von Datensätzen) - ist ein Datensatz größer als ein Block, muss die segmentierte Organisation verwendet werden Anordung der Datenblöcke (kombinierbar): aneinander gereihte Blöcke (kontinuierliche Zuordnung von Blöcken) verlinkte Blöcke (jeder Dateiblock enthält Zeiger auf nächsten Dateiblock) Mischung/ Kombination: verlinkte Block-Cluster (sog. Extents) indexierte Blöcke: ein oder mehrere Index-Blöcke enthalten Zeiger zu den Datenblöcken (Index-Blöcke werden sep. gespeichert) Hashing: eigene Hash - Tabelle enthält Zeiger zu den Datenblöcken 9

10 2. Physische Datenspeicherung 2.1. Speicherungsformen für Datensätze Suche nach Datensatz mit Hilfe von Dateikopf-Infos Dateikopf (Header, File Descriptor) enthält Informationen über den Aufbau der Datei - Infos zur Bestimmung der Adressen der Dateiblöcke - Infos zur Bestimmung eines Datensatzes innerhalb eines Blocks (Formatbeschreibung, Feldlängen, Feldreihenfolge, Separatoren,...) mit Dateikopf-Info wird geeigneter Dateiblock in HS-Puffer gelesen und dort Datensatz gesucht Adresse des Blocks mit gewünschten Daten unbekannt: lineare Suche auf Blöcken Suche auf Basis von einfachen- oder komplexeren Auswahlbedingungen (Filter) Ziel bei Datei-Zugriff: mit möglichst wenig Block-Zugriffen gesuchten Datensatz finden Operationen des DBMS für die Dateiverarbeitung (von DBS zu DBS verschieden ausgeprägt hier lediglich einige prinzipielle Operationen): open: öffnet Datei, liest Header ein, legt Puffer im HS an (üblich: mind. 2), setzt current-record-zeiger auf Anfang der Datei find: sucht Block mit gesuchtem Datensatz und lädt diesen in Puffer (setzt current-record-zeiger auf gefundenen Satz) insert: sucht Block, in den der Datensatz gehört, lädt diesen, schreibt den Satz in den Puffer und schreibt Puffer auf Platte 10

11 2. Physische Datenspeicherung 2.2. Speicherungstechniken Unsortierte (Heap-) und Sortierte Datei Dateien mit unsortierten Datensätzen (Heap-Datei) Datensätze werden ungeordnet am Ende der Datei eingefügt Adresse letzter Datei-Block wird im Header geführt geeignet für feste und variable Satzlängen spanned oder unspanned Dateien mit sortierten Datensätzen geordnetes Einfügen der Sätze nach bestimmtem Ordnungs-Feld ergibt eindeutige Ordnung, falls Sortierfeld = Schlüssel (s. Figure 5.9) DBS verwendet Sortierte Dateien nur in Verbindung mit Index dann liegt index-sequentielle Datei vor (siehe Kapitel 3) 11

12 2. Physische Datenspeicherung Sortierte Datei: Quelle: Elmasri, R. / Navathe, S.B. (2000) 12

13 2. Physische Datenspeicherung 2.2. Unsortierte und Sortierte Datei Vor- und Nachteile der beiden Speicherungstechniken Unsortierte Datei Sortierte Datei Einfügen einfach und schnell aufwendig geordnet mit nach hinten verschieben oft Hilfsmittel: - Blöcke mit Freiraum oder - Overflow-Datei (erfordert Reorg) Löschen aufwendig (erfordert Suchen) erfordert Reorg von Zeit zu Zeit (wegen Lücken) günstiger mit Sortierfeld aufwendig mit Nicht-Sortierfeld (erfordert Suchen) allg. aber auch Reorg-Problem 13

14 2. Physische Datenspeicherung 2.2. Unsortierte und Sortierte Datei Suchen aufwendig: Unsortierte Datei falls genau 1 Treffer vorhanden: im Schnitt b/2 Blöcke bei zufallsverteilten Daten zu durchsuchen (b = Anzahl aller Datei-Blöcke) falls 1 Treffer: alle Blöcke zu durchsuchen lineare Suche Sortierte Datei günstig mit Sortierfeld mit binärem Suchen (divide & conquer): (log 2 b) Block-Zugriffe Folgesatz meist im gleichen Datenblock aufwendig mit Nicht-Sortierfeld entspricht unsortiert Sortierte Ausgabe sehr aufwendig erfordert extra Sortierung (in externem Speicher) sehr günstig mit Sortierfeld (einfach und schnell) sehr aufwendig mit Nicht-Sortierfeld entspricht unsortiert 14

15 2. Physische Datenspeicherung 2.3. Speicherungstechnik Hash-Datenbank Prinzip: Die Anwendung einer Hash-Funktion auf einen (Hash-) Attributwert eines bestimmten Datensatzes ergibt als Funktionswert die Adresse des Blockes, in dem der Datensatz gespeichert wird/ ist. zwei Varianten des Verfahrens: statisches Hashing dynamisches Hashing 15

16 2. Physische Datenspeicherung 2.3. Hash-Datenbank Statisches Hashing Index in Form einer Hash-Tabelle: Array [0.. M-1] mit Bucket-Adresse Ergebnis der Ein Bucket ist entweder ein Plattenblock, oder mehrere, aufeinander folgende Blöcke (Cluster) Hash-Tabelle sehr klein => wird im Datei-Header geführt und konvertiert Bucket-Nummer in Blockadresse. Hash-Funktion bildet einen Schlüssel auf rel. Bucket-Nummer ab (Arrayposition). Reservierung eines festen Speicherbereichs: Datenbank mit M Buckets (+ N Overflow - Buckets) Hash-Funktion Bucket Pool Einzelne Datensätze in den Buckets Hash- Tabelle (Index) Block oder Block- Cluster ( M-1+N ) mit Änderungen entnommen aus: Elmasri, R. / Navathe, S.B. (2000) 16

17 2. Physische Datenspeicherung 2.3. (statische) Hash-Datenbank Hash-Funktion bildet Hash-Attributwert K auf Wert zwischen 0 und M-1 ab im Prinzip alle möglichen Funktionen anwendbar - Problem aber: möglichst unterschiedliche Attributwerte K auf unterschiedliche h(k) abzubilden => in Praxis sehr beliebt: h (K) = K mod M {M ist Primzahl} char-werte müssen zuvor in numerische Werte umgewandelt werden, bspw. durch Aufsummierung der ASCII-Werte der Einzelzeichen Kollisionsproblem falls Bucket voll! Kollisionsauflösung durch verkette Liste: jeder Bucket bekommt Satz-Zeiger (= Bucket-Adresse + relative Satz-Position), der auf Overflow-Bucket (Überlaufbereich) zeigt. Hash-Tabelle (Array) wird durch entsprechende Überlaufpositionen (N) erweitert. - dortige Sätze mit Satz-Zeiger ausgestattet ð falls Overflow-Bucket voll, wird von letztem Satz der betreffenden Overflow-Kette auf Folge-Overflow-Bucket verzweigt ð sonst auf nächsten freien Platz im vorliegenden Overflow-Bucket 17

18 2. Physische Datenspeicherung 2.3. (statische) Hash-Datenbank Beispiel 2-1 Kollisionsauflösung: M = 10 Hash-Tabelle b0 b1 b2 b3 b4 b5 b6 b7 b8 b9 ob0 obx xx... xx ob0 obx mit Ergänzung entnommen aus: Elmasri, R. / Navathe, S.B. (2000) 18

19 2. Physische Datenspeicherung 2.3. (statische) Hash-Datenbank Übungsaufgabe 2-1: Erstellen Sie eine Hash-organisierte Datenbank. Fügen Sie dazu in alphabetischer Reihenfolge die unten genannten Studenten (mit Name + MatrNr (= Hash-Feld)) in die Datenbank ein. Ein Bucket fasst max. 4 Datensätze. M sei 5. Es sollen zwei Überlauf-Buckets zur Verfügung stehen. Studenten Name MatrNr Name MatrNr Name MatrNr Anton 25 Inge 23 Rolf 7 Berta 52 Jürgen 22 Sandra 20 Cesar 99 Karin 10 Thomas 12 Dora 17 Ludwig 27 Ute 4 Emil 63 Marta 33 Verena 5 Fritz 8 Norbert 41 Wolfgang 32 Gustav 13 Otto 2 Xaver 15 Hans 1 Paula 18 Zuse 30 19

20 2. Physische Datenspeicherung 2.3. (statische) Hash-Datenbank Lösung Übungsaufgabe 2-1: bucket 0 bucket 1 bucket 2 bucket 3 bucket Anton 10 Karin 20 Sandra 5 Verena ob1/2 Hash-Tabelle (Array) 1 Hans 41 Norbert Bucket Adresse Berta 17 Dora 22 Jürgen 27 Ludwig ob0/1 63 Emil 8 Fritz 13 Gustav 23 Inge ob0/0 2 Überlaufpositionen der Hash Tabelle 99 Cesar 4 Ute Zeigerbreich (Bucket-Adresse/ Datensatzzeiger) Ergebnis der Hash-Funktion h(k) = K mod M 33 Marta ob0/2 2 Otto ob0/3 18 Paula 7 Rolf ob1/0 12 Thomas ob1/1 32 Wolfgang 15 Xaver ob1/3 30 Zuse oberflow bucket 0 overflow bucket 1 20

21 2. Physische Datenspeicherung 2.3. (statische) Hash-Datenbank Nachteile Statisches Hashing: falls viel weniger Datensätze als verfügbare Bucket-Kapazität: Speicherverschwendung falls zu viele Datensätze (evtl. mehr als Kapazität): viele Kollisionen und lange (ungeordnete) Overflow-Liste => System langsamer kann jeweils durch Reorg der gesamten Datei mit neuer Hash-Funktion behoben werden bspw. M kleiner wählen im obigen ersten Fall bzw. M größer wählen im zweiten Fall ist allerdings sehr aufwendig bessere Methode, um Nachteile zu beseitigen: Verwendung von Dynamischem Hashing (Extendible Hashing) 21

22 2. Physische Datenspeicherung Dynamisches Hashing Erweiterbares Hashing erfolgt mittels dynamischem Hash-Verzeichnis Verzeichnis stellt quasi dynamische Hash-Tabelle dar, die je nach Bedarf vergrößert oder verkleinert wird => Anzahl Buckets dynamisch heißt deshalb dynamisches Hashing Methode macht keinen globalen Datei-Reorg erforderlich, sondern höchstens lokalen Bucket-Reorg Hash-Funktionswerte werden binär (= Bitsequenz) angegeben lediglich eine bestimmte Anzahl d von Stellen bilden letztendlich den eigentlichen Hash-Funktionswert (bspw. die ersten oder die letzten drei Bits, d=3 ) Beispiel (d=3): 110 mod 31 = 65 mod 31 =

23 2. Physische Datenspeicherung 2.3. (dynamische) Hash-Datenbank Hash-Verzeichnis: Array mit 2 d Einträgen (= Bucket-Adressen) Einträge von Hash-Funktionswerten mit identischem (bspw. führenden) Bitmuster [Anzahl d* d ] erhalten einen gemeinsamen Bucket, sofern die Datensätze in diesen passen: - am Anfang jeden Buckets wird gespeichert, wie viele gleiche Bits d* diejenigen Hash-Funktionswerte haben, die auf diesen Bucket zeigen - bei Bucket-Überlauf: ð falls d* < d, dann splitte Bucket und erhöhe d* um 1 (bei neuen Buckets) ð falls d* = d, dann erweitere Hash-Verzeichnis um 1 Stelle + Bucket-Split (Hash-Verzeichnis wird damit doppelt so groß) - falls d* < d für alle Buckets (Bucket-Unterlauf): ð Hash-Verzeichnis wird um 1 Stelle gekürzt Startzustand Hash-Datenbank: d* = 0 Hash- Verzeichnis Daten-Bucket d = 0 23

24 2. Physische Datenspeicherung 2.3. (dynamische) Hash-Datenbank Beispiel 2-2a: Momentaufnahme einer Hash-Datenbank mit d=3 (die drei führenden Bits des binären Hash- Funktionswerts). Annahme: alle Buckets sind voll Aufgabe: Einfügen eines Datensatzes, dessen Hash-Funktionswert mit 01 beginnt Quelle: Elmasri, R. / Navathe, S.B. (2000) 24

25 2. Physische Datenspeicherung 2.3. (dynamische) Hash-Datenbank Lösung Beispiel 2-2a: d* = 3 Daten-Bucket 0 d* = 3 Hash-Verzeichnis d = 3 d* = 3 d* = 3 d* = 2 d* = 3 Daten-Bucket 1 Daten-Bucket 2a Daten-Bucket 2b Daten-Bucket 3 Daten-Bucket 4 d* = 3 Daten-Bucket 5 25

26 2. Physische Datenspeicherung 2.3. (dynamische) Hash-Datenbank Beispiel 2-2b: Momentaufnahme einer Hash-Datenbank mit d=3 (die drei führenden Bits des binären Hash- Funktionswerts) Annahme: alle Buckets sind voll Aufgabe: Einfügen eines Datensatzes, dessen Hash-Funktionswert mit 111 beginnt Quelle: Elmasri, R. / Navathe, S.B. (2000) 26

27 2. Physische Datenspeicherung 2.3. (dynamische) Hash-Datenbank Lösung Beispiel 2-2b: d* = 3 Daten-Bucket 0 Hash-Verzeichnis d* = d = 4 d* = 2 d* = 2 d* = 3 d* = 4 Daten-Bucket 1 Daten-Bucket 2 Daten-Bucket 3 Daten-Bucket 4 Daten-Bucket 5a d* = 4 Daten-Bucket 5b 27

28 2. Physische Datenspeicherung 2.3. (dynamische) Hash-Datenbank Beispiel 2-2c: Löschen des Datensatzes in Daten-Bucket 1 (Hash-Funktionswert mit führenden Bits) d* = 4 d* = 4 Daten-Bucket 0 Daten-Bucket 1 Hash- Verzeichnis d* = 3 d* = 2 d* = 2 d* = 3 Daten-Bucket 2 Daten-Bucket 3 Daten-Bucket 4 Daten-Bucket 5 d = 4 d* = 3 Daten-Bucket 6 28

29 2. Physische Datenspeicherung 2.3. (dynamische) Hash-Datenbank Lösung Beispiel 2-2c: d* = 3 Daten-Bucket 0 Hash-Verzeichnis 000 d* = 3 Daten-Bucket d* = 2 Daten-Bucket d* = 2 Daten-Bucket d = 3 (die drei führenden Bits des binären Hash-Funktionswerts) d* = 3 d* = 3 Daten-Bucket 4 Daten-Bucket 5 29

30 2. Physische Datenspeicherung 2.3. Hash-Datenbank Übungsaufgabe 2-2: Erstellen Sie mit den in Übungsaufgabe 2-1 genannten Studenten (mit Name + MatrNr (Hash-Feld)) eine dynamische Hash-Datenbank. Fügen Sie dazu die Studenten in alphabetischer Reihenfolge in die Datenbank ein (bis zum Student Norbert). Ein Bucket fasst max. 4 Datensätze. M sei 15. Die Hash-Funktionswerte sollen bitweise von hinten her unterschieden werden. 30

31 2. Physische Datenspeicherung 2.3. (dynamische) Hash-Datenbank Lösung Übungsaufgabe 2-2: Hash-Tabelle d* = 2 8 Fritz 23 Inge 27 Ludwig Daten-Bucket d = 3 (die drei letzten Bits des binären Hash-Funktionswerts) d* = 2 25 Anton 17 Dora 10 Karin d* = 2 99 Cesar 13 Gustav 1 Hans d* = 3 63 Emil 33 Marta 44 Norbert d* = 3 52 Berta 22 Jürgen Daten-Bucket 1 Daten-Bucket 2 Daten-Bucket 3 Daten-Bucket 4 31

32 2. Physische Datenspeicherung 2.3. (dynamische) Hash-Datenbank Herleitung Übungsaufgabe 2-2: M=15 Name MatrNr Name MatrNr Name MatrNr Anton MOD 15 = Berta MOD 15 = Cesar MOD 15 = Dora MOD 15 = Emil MOD 15 = Fritz 8 8 MOD 15 = Gustav MOD 15 = Hans 1 1 MOD 15 = Inge MOD 15 = Jürgen MOD 15 = Karin MOD 15 = Ludwig MOD 15 = Marta MOD 15 = Norbert MOD 15 = Rolf 7 Sandra 20 Thomas 12 Ute 4 Verena 5 Wolfgang 32 Otto 2 Xaver 15 Paula 18 Zuse 30 d* = 0 Startzustand d = 0 32

33 2. Physische Datenspeicherung 2.3. (dynamische) Hash-Datenbank Herleitung Übungsaufgabe 2-2: Hash-Tabelle d = 0 0 d* = 0 25 Anton 52 Berta 99 Cesar 17 Dora 1. Anton 25 --> Berta 52 --> Cesar 99 --> Dora 17 --> Emil 63 --> 0011 Buket-Überlauf d = d* Hash-Verzeichnis erweitern, lokale und globale Tiefe um 1 erhöhen 33

34 2. Physische Datenspeicherung 2.3. (dynamische) Hash-Datenbank Herleitung Übungsaufgabe 2-2: Hash-Tabelle d = d* = 1 25 Anton 17 Dora 5. Emil 63 --> 0011 d* = 1 52 Berta 99 Cesar 63 Emil 34

35 2. Physische Datenspeicherung 2.3. (dynamische) Hash-Datenbank Herleitung Übungsaufgabe 2-2: Hash-Tabelle d = d* = 1 25 Anton 17 Dora 8 Fritz d* = 1 52 Berta 99 Cesar 63 Emil 13 Gustav 6. Fritz 8 --> Gustav 13 --> Hans 1 --> 0001 Buket-Überlauf d = d* Hash-Verzeichnis erweitern, lokale und globale Tiefe um 1 erhöhen 35

36 2. Physische Datenspeicherung 2.3. (dynamische) Hash-Datenbank Herleitung Übungsaufgabe 2-2: Hash-Tabelle d = d* = 1 25 Anton 17 Dora 8 Fritz 23 Inge d* = 2 99 Cesar 13 Gustav 1 Hans 8. Hans 1 --> Inge 23 --> Jürgen 22 --> Karin 10 --> 1010 Buket-Überlauf d > d* d* = 2 52 Berta 63 Emil 22 Jürgen 36

37 2. Physische Datenspeicherung 2.3. (dynamische) Hash-Datenbank Herleitung Übungsaufgabe 2-2: Hash-Tabelle d = d* = 2 8 Fritz 23 Inge 27 Ludwig d* = 2 25 Anton 17 Dora 10 Karin d* = 2 99 Cesar 13 Gustav 1 Hans d* = 2 52 Berta 63 Emil 22 Jürgen 33 Marta 12. Ludwig 27 --> Marta 33 --> Norbert 10 --> 1011 Buket-Überlauf d = d* Hash-Verzeichnis erweitern, lokale und globale Tiefe um 1 erhöhen 37

38 2. Physische Datenspeicherung 2.3. (dynamische) Hash-Datenbank Herleitung Übungsaufgabe 2-2: Hash-Tabelle d = d* = 2 8 Fritz 23 Inge 27 Ludwig d* = 2 25 Anton 17 Dora 10 Karin d* = 2 99 Cesar 13 Gustav 1 Hans d* = 3 63 Emil 33 Marta 41 Norbert Daten-Bucket 0 Daten-Bucket 1 Daten-Bucket 2 Daten-Bucket 3 d* = 3 52 Berta 22 Jürgen Daten-Bucket 4 38

39 2. Physische Datenspeicherung 2.3. Hash-Datenbank Hinweise zu Hash-Datenbanken: schnellstes Verfahren für den Zugriff auf einen beliebigen Datensatz einer Datei - meist nur 1 Blockzugriff erforderlich funktioniert gut bei unique-attribut (alle Hash-Werte unterschiedlich, wenig Kollisionen) schlecht bei Hash-Attribut mit vielen gleichen Ausprägungen (Kollisionen) für Range-Suche allerdings nicht zu gebrauchen bei Suche über Nicht-Hash-Feld so schlecht wie Unsortierte Datei (lineare Suche) 39

40 2. Physische Datenspeicherung - Wiederholung Kunden-Bestellungen Artikel-Bestellungen EXTERNE EBENE K-Nr Artikel Art-Nr Art-Name..... Art-Nr Kunden K-Nr K-Name.. (Datensicht für Programm 1) (Datensicht für Programm 2) Externe Schemata KONZEPTIONELLE EBENE Kunde K-Nr K-Name bestellt 0..* 0..* Artikel Art-Nr Art-Name Konzeptionelles Schema (Entity-Relationship-Datenmodell) Kunde K-Nr K-Name Bestell K-Nr Art-Nr Logisches Schema Artikel Art-Nr Art-Name (Relationales Datenmodell) Dateien sind nach INTERNE EBENE Internes Schema Satzspeicherungsart, Speichergröße, Blockgröße, Verteilung, Indexe, Transaktionsverhalten,.. Nutzungsart unterschiedlich organisiert Eine Datenbank ist in versch. Dateien auf der HDD gespeichert Dateien auf der Festplatte 40

41 2. Physische Datenspeicherung - Wiederholung Eine Datenbank besteht aus unterschiedlichen Dateien die auf der Festplatte (Sekundärspeicher) gespeichert werden Datei (Primärorganisation: Heap, Sequentiell, Hash, Index) Sammlung von Datensätzen (Relationen) des gleichen Typs Metadaten im Dateikopf (Header) In Blöcken auf der HDD gespeichert (blockweiser Transfer) Stored Data Manager (SDM) Datensätze (feste oder variable Länge) Sammlung von zusammengehörigen Feldern (~ eine Tabellenzeile) unterschiedliche Anordnung je nach Primärorganisation Datentyp (definiert Anzahl Bytes) 41

42 2. Physische Datenspeicherung - Wiederholung Datei Heap Sequentiell Hash Index (unsortiert) (sortiert) (statisch, dynamisch) (flach, mehrstufig) Faktoren die Dateiorganisation beeinflussen: Zugriff soll schnell sein Speicherplatz soll optimal verwendet werden Notwendigkeit einer Re-organisation minimieren Schnelles Datenwachstum ermöglichen Durch das Relationenmodell teilw. bestimmt (unique, PK, Index) Zum Beispiel: DB Nutzer möchten Datensätze sequentiell abrufen & schnell auf einen ganz bestimmten Datensatz zugreifen können (-> Hash, ISAM, B-Baum). 42

43 2. Physische Datenspeicherung Datei Heap (unsortiert) Sequentiell (sortiert) Hash (statisch, dynamisch) wenn Daten vor der eigentlichen Verarbeitung gesammelt werden (Staging Area) wenn Daten schwer zu sortieren sind Anwendung: - Bulk Load - kleine Relationen mit wenig Datensätzen (= geringer Suchaufwand) Nachteil: sortierte Ausgabe 43

44 2. Physische Datenspeicherung Datei Heap (unsortiert) Sequentiell (sortiert) Hash (statisch, dynamisch) Verwendung in Kombination mit einem Index (Index-Sequentielle Datei) Vorteil: Schneller Lesezugriff über indiziertes Feld Nachteil: Sortieren beim Einfügen neuer Datensätze notwendig 44 43

45 2. Physische Datenspeicherung Datei Heap (unsortiert) Sequentiell (sortiert) Hash (statisch, dynamisch) flexibler Zugriff auf Datensätze über Hash-Feld (Random-Access) Hash-Funktion: Lokalisierung von Datensätzen beim Lesen und Schreiben In vielen Situationen effizienter als Suchbäume kann als Datenbank-Index verwendet werden