Teil II Verwaltung des Hintergrundspeichers

Transkript

1 Teil II Verwaltung des Hintergrundspeichers

2 Überblick 1 Speicher- und Sicherungsmedien 2 Struktur des Hintergrundspeichers 3 Seiten, Sätze und Adressierung 4 Kompression 5 Speicherorganisation in konkreten DBMS c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

3 Speicher- und Sicherungsmedien Speichermedien verschiedene Zwecke: Daten zur Verarbeitung bereitstellen Daten langfristig speichern (und trotzdem schnell verfügbar halten) Daten sehr langfristig und preiswert archivieren unter Inkaufnahme etwas längerer Zugriffszeiten in diesem Abschnitt: Speicherhierarchie Magnetplatte Kapazität, Kosten, Geschwindigkeit c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

4 Speicher- und Sicherungsmedien Speicherhierarchie 1 Extrem schneller Prozessor mit Registern 2 Sehr schneller Cache-Speicher 3 Schneller Hauptspeicher 4 Langsamer Sekundärspeicher mit wahlfreiem Zugriff 5 Sehr langsamer Nearline-Tertiärspeicher bei dem die Speichermedien automatisch bereitgestellt werden 6 Extrem langsamer Offline-Tertiärspeicher, bei dem die Speichermedien per Hand bereitgestellt werden Tertiärspeicher: CD-R (Compact Disk Recordable), CD-RW (Compact Disk ReWritable), DVD (Digital Versatile Disks), Magnetbänder etwa DLT (Digital Linear Tape) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

5 Speicher- und Sicherungsmedien Cache-Hierarchie Eigenschaften der Speicherhierarchie Ebene x (etwa Ebene 3, der Hauptspeicher) hat wesentlich schnellere Zugriffszeit als Ebene x + 1 (etwa Ebene 4, der Sekundärspeicher) aber gleichzeitig einen weitaus höheren Preis pro Speicherplatz und deshalb eine weitaus geringere Kapazität Lebensdauer der Daten erhöht sich mit der Höhe der Ebenen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

6 Speicher- und Sicherungsmedien Cache-Hierarchie /2 Zugriffslücke (Unterschiede zwischen den Zugriffsgeschwindigkeiten auf die Daten) vermindern Cache-Speicher speichern auf Ebene x Daten von Ebene x + 1 zwischen: Cache (Hauptspeicher-Cache) schnellere Halbleiterspeicher-Technologie für die Bereitstellung von Daten an Prozessor (Ebene 2 in der Speicherhierarchie) Plattenspeicher-Cache im Hauptspeicher: Puffer Cache beim Zugriff auf Daten im WWW über HTTP: Teil des Plattenspeichers, der Teile der im Internet bereitgestellten Daten zwischenspeichert c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

7 Speicher- und Sicherungsmedien Zugriffslücke Magnetplatten pro Jahr 70% mehr Speicherdichte Magnetplatten pro Jahr 7% schneller Prozessorleistung pro Jahr um 70% angestiegen Zugriffslücke zwischen Hauptspeicher und Magnetplattenspeicher beträgt 10 5 Größen: ns für Nanosekunden (also 10 9 Sekunden, ms für Millisekunden (10 3 Sekunden) KB (KiloByte = 10 3 Bytes), MB (MegaByte = 10 6 Bytes), GB (GigaByte = 10 9 Bytes) und TB (TeraByte = Bytes) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

8 Speicher- und Sicherungsmedien Zugriffslücke in Zahlen Speicherart typische Zugriffszeit typische Kapazität time CPU cycles Cache- 6 ns KB bis 32 MB Speicher Hauptspeicher 60 ns MB bis 8 GB Zugriffslücke 10 5 Magnetplattenspeicher 8-12 ms 16* GB bis 2 TB Platten-Farm oder -Array 12 ms 24*10 6 im TB-Bereich c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

9 Speicher- und Sicherungsmedien Lokalität des Zugriffs Caching-Prinzip funktioniert nicht, wenn immer neue Daten benötigt werden in den meisten Anwendungsfällen: Lokalität des Zugriffs D.h., Großteil der Zugriffe (in den meisten Fällen über 90%) auf Daten aus dem jeweiligen Cache Deshalb: Pufferverwaltung des Datenbanksystems wichtiges Konzept c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

10 Speicher- und Sicherungsmedien Typische Merkmale von Sekundärspeicher Merkmal Kapazität Latenz Bandbreite MB 48.3 ms 0.6 MB/s GB 12.7 ms 9 MB/s GB 5.7 ms 86 MB/s TB 5.1 ms 95 MB/s 2010 SSD 500 GB read 65 µs read 250 MB/s write 85 µs write 170 MB/s c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

11 Speicher- und Sicherungsmedien Flash Disk basierend auf EEPROMs in NAND- oder NOR-Technologie Arrays (=Flash-Block mit ca. 128 KB) von Speicherzellen, entweder ein Bit (SLC) oder 2-4 Bit (MLC) MLC sind langsamer und haben verkürzte Lebensdauer initial ist jedes Bit auf 1 gesetzt, durch Reprogrammieren auf 0 Löschen zurück auf 1 nur für ganzen Block Konsequenz: langsames Löschen (Lesen = 25 µs, Löschen = 2 ms), begrenzte Lebensdauer (ca Lösch-Schreib-Zyklen) SATA- Schnittstelle Puffer Controller NAND NAND Cache ECC NAND n*1000 Blöcke à Seiten à 2/4 KB Daten Byte ECC c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

12 Speicher- und Sicherungsmedien Eigenschaften von Flash Disk (2011) Intel X25-M FusionIO iodrive Technologie MLC SLC Schnittstelle SATA 1.5/3 Gbit/s PCIe X4 Leselatenz 85 µs 50 µs Bandbreite (Lesen) 250 MB/s 750 MB/s Bandbreite (Schreiben) 70 MB/s 650 MB/s Kapazität 80 GB 80 GB Preis (ca.) 220 e e c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

13 Speicher- und Sicherungsmedien Flash Disk in DBMS klassische, auf sequenzielles Lesen ausgerichtete, Strategien von DBMS nutzen die Stärken von Flash-Speicher nicht aus kleinere Blockgrößen lassen sich effizient adressieren, sollten aber ein Vielfaches der Flash-Seiten sein wahlfreie Lesezugriffe sind effizienter als auf Magnetplatten, sollten aber auf Größen von ca. 4 bis 16 MB begrenzt werden konkurrierende IO-Zugriffe sind bis zu einem gewissen Maße ohne negativen Performanzeinfluss durchführbar c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

14 Speicher- und Sicherungsmedien Vergleich Flash Disk vs. Magnetplatte Bandbreite in MB/s 10 1 HDD random 0.1 SSD random HDD seq SSD seq Blockgröße in KB c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

15 Speicher- und Sicherungsmedien Speicherkapazität und Kosten Größe Information oder Medium 1 KB = KB Buchseite als Text 30 KB eingescannte, komprimierte Buchseite 1 MB = MB Die Bibel als Text 20 MB eingescanntes Buch 500 MB CD-ROM; Oxford English Dictionary 1 GB = GB Digital Versatile Disk (DVD) 10 GB komprimierter Spielfilm 100 GB ein Stockwerk einer Bibliothek 200 GB Kapazität eines Videobandes c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

16 Speicher- und Sicherungsmedien Speicherkapazität und Kosten /2 Größe Information oder Medium 1 TB = TB Bibliothek mit 1M Bänden 20 TB größtes Speicher-Array 20 TB Library of Congress Bände als Text gespeichert 1 PB = PB Eingescannte Bände einer Nationalen Bibliothek 1 PB 223,101 DVD s 2.5 PB Data Warehouse (Wal-Mart) 6.5 PB größtes Data Warehouse (ebay) 15 PB weltweite Plattenproduktion in PB weltweite Magnetbandproduktion in 1996 >55 EB weltweite Plattenproduktion in 2009 c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

17 Speicher- und Sicherungsmedien Speicherarrays: RAID Kopplung billiger Standardplatten unter einem speziellen Controller zu einem einzigen logischen Laufwerk Verteilung der Daten auf die verschiedenen physischen Festplatten übernimmt Controller zwei gegensätzliche Ziele: Erhöhung der Fehlertoleranz (Ausfallsicherheit, Zuverlässigkeit) durch Redundanz Effizienzsteigerung durch Parallelität des Zugriffs c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

18 Speicher- und Sicherungsmedien Erhöhung der Fehlertoleranz Nutzung zusätzlicher Platten zur Speicherung von Duplikaten (Spiegeln) der eigentlichen Daten bei Fehler: Umschalten auf Spiegelplatte bestimmte RAID-Levels (1, 0+1) erlauben eine solche Spiegelung Alternative: Kontrollinformationen wie Paritätsbits nicht im selben Sektor wie die Originaldaten, sondern auf einer anderen Platte speichern RAID-Levels 2 bis 6 stellen durch Paritätsbits oder Error Correcting Codes (ECC) fehlerhafte Daten wieder her ein Paritätsbit kann einen Plattenfehler entdecken und bei Kenntnis der fehlerhaften Platte korrigieren c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

19 Speicher- und Sicherungsmedien Erhöhung der Effizienz Datenbank auf mehrere Platten verteilen, die parallel angesteuert werden können Zugriffszeit auf große Datenmengen verringert sich fast linear mit der Anzahl der verfügbaren Platten Verteilung: bit-, byte- oder blockweise höhere RAID-Levels (ab Level 3) verbinden Fehlerkorrektur und block- oder bitweises Verteilen von Daten Unterschiede: schnellerer Zugriff auf bestimmte Daten höherer Durchsatz für viele parallel anstehende Transaktionen durch eine Lastbalancierung des Gesamtsystems c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

20 Speicher- und Sicherungsmedien RAID-Levels RAID0+1 RAID0 RAID1 RAID0 RAID0 A C B D A C B D A C B D RAID1 RAID2 A B C A B C A[1] B[1] C[1] A[2] B[2] C[2]... A ECC[1] B ECC[1] C ECC[1] A ECC[2] B ECC[2] C ECC[2] D D D[1] D[2] D ECC[1] D ECC[2] c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

21 Speicher- und Sicherungsmedien RAID-Levels /2 RAID3 RAID4 A[1] A[2] A ECC A B A ECC B[1] C[1] B[2] C[2]... B ECC C ECC C D B ECC C ECC D[1] D[2] D ECC D ECC RAID5 RAID6 A B C A B C... D E ECC E C ECC F A ECC... D E... F A ECC[1] A ECC[2] F ECC D ECC B ECC B ECC[1] B ECC[2] c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

22 Speicher- und Sicherungsmedien RAID-Levels /3 Level Striping Striping Kopie Parität Parität Parität Erkennen block- bitweise dedizierte verteilt mehrerer weise Platte Fehler c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

23 Speicher- und Sicherungsmedien Sicherungsmedien: Tertiärspeicher weniger oft benutzte Teile der Datenbank, die eventuell sehr großen Umfang haben (Text, Multimedia) billiger speichern als auf Magnetplatten aktuell benutzte Datenbestände zusätzlich sichern (archivieren) Tertiärspeicher: Medium austauschbar offline: Medien manuell wechseln (optische Platten, Bänder) nearline: Medien automatisch wechseln (Jukeboxes, Bandroboter) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

24 Speicher- und Sicherungsmedien Langzeitarchivierung Lebensdauer, Teilaspekte: physische Haltbarkeit des Mediums garantiert die Unversehrtheit der Daten: 10 Jahre für Magnetbänder, 30 Jahre für optische Platten, Papier??? Vorhandensein von Geräten und Treibern garantiert die Lesbarkeit von Daten: Geräte für Lochkarten oder 8-Zoll-Disketten? zur Verfügung stehende Metadaten garantieren die Interpretierbarkeit von Daten Vorhandensein von Programmen, die auf den Daten arbeiten können, garantieren die Wiederverwendbarkeit von Daten Beispiel: NCAR s AMSTAR - 30PB, z.b. Klimadaten, 180 TB pro Monat c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

25 Struktur des Hintergrundspeichers Verwaltung des Hintergrundspeichers Abstraktion von Speicherungs- oder Sicherungsmediums Modell: Folge von Blöcken MOS SOS ISS SPS Mengenorientierte Schnittstelle Satzorientierte Schnittstelle Interne Satzschnittstelle Datensystem Zugriffssystem Speichersystem Pufferverwaltung DS Systempufferschnittstelle Dateischnittstelle Betriebssystem GS Geräteschnittstelle Externspeicher c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

26 Struktur des Hintergrundspeichers Betriebssystemdateien Alternativen: jede Relation oder jeder Zugriffspfad in genau einer Betriebssystem-Datei ein oder mehrere BS-Dateien, DBS verwaltet Relationen und Zugriffspfade selbst innerhalb dieser Dateien DBS steuert selbst Magnetplatte an und arbeitet mit den Blöcken in ihrer Ursprungsform (raw device) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

27 Struktur des Hintergrundspeichers Betriebssystemdateien /2 Warum nicht immer BS-Dateiverwaltung? Betriebssystemunabhängigkeit In 32-Bit-Betriebssystemen: Dateigröße 4 GB maximal BS-Dateien auf maximal einem Medium betriebssystemseitige Pufferverwaltung von Blöcken des Sekundärspeichers im Hauptspeicher genügt nicht den Anforderungen des Datenbanksystems c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

28 Struktur des Hintergrundspeichers Blöcke und Seiten Zuordnung der physischen Blöcke zu Seiten meist mit festen Faktoren: 1, 2, 4 oder 8 Blöcke einer Spur auf eine Seite hier: ein Block eine Seite höhere Schichten des DBS adressieren über Seitennummer c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

29 Struktur des Hintergrundspeichers Dienste des Dateisystems Allokation oder Deallokation von Speicherplatz Holen oder Speichern von Seiteninhalten Allokation möglichst so, dass logisch aufeinanderfolgende Datenbereiche (etwa einer Relation) auch möglichst in aufeinanderfolgenden Blöcken der Platte gespeichert werden Nach vielen Update-Operationen: Reorganisationsmethoden Freispeicherverwaltung: doppelt verkettete Liste von Seiten c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

30 Struktur des Hintergrundspeichers Abbildung der Datenstrukturen Abbildung der konzeptuellen Ebene auf interne Datenstrukturen Unterstützung durch Metadaten (im Data Dictionary, etwa das interne Schema) Konz. Ebene Interne Ebene Dateisystem/Platte Relationen Log. Dateien Phys. Dateien Tupel Datensätze Seiten/Blöcke Attributwerte Felder Bytes c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

31 Struktur des Hintergrundspeichers Varianten der Abbildungen Beispiel 1: jede Relation in je einer logischen Datei, diese insgesamt in einer einzigen physischen Datei Beispiel 2: Cluster-Speicherung mehrere Relationen in einer logischen Datei c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

32 Struktur des Hintergrundspeichers Übliche Form der Speicherung eine Relation PANr Nachname Ort 4711 Heuer DBR Saake Korn MD MD mehrere logische Dateien Index- Datei Hauptdatei Index- Datei Heuer 4711 Heuer DBR DBR Korn 5588 Saake MD MD 6834 Korn MD Saake c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

33 Struktur des Hintergrundspeichers Übliche Form der Speicherung /2 mehrere logische Dateien Heuer 4711 Heuer DBR DBR Korn 5588 Saake MD MD eine physische Datei Saake Index- Datei 6834 Korn MD Hauptdatei Index- Datei 4711 Heuer DBR 6834 Korn MD 5588 Saake MD Heuer Korn DBR Saake MD c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

34 Seiten, Sätze und Adressierung Seite Block: kleinste adressierbare Einheit auf Externspeicher Zuordnung zu Seiten im Hauptspeicher Aufbau von Seiten Header Informationen über Vorgänger- und Nachfolger-Seite eventuell auch Nummer der Seite selbst Informationen über Typ der Sätze freier Platz Datensätze unbelegte Bytes c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

35 Seiten, Sätze und Adressierung Seitenorganisation Organisation der Seiten: doppelt verkettete Liste freie Seiten in Freispeicherverwaltung Vor Nach Weitere Header-Informationen Seite Seite Tupel... Offset 142 c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

36 Seiten, Sätze und Adressierung Seite: Adressierung der Datensätze adressierbare Einheiten Zylinder Spuren Sektoren Blöcke oder Seiten Datensätze in Blöcken oder Seiten Datenfelder in Datensätzen Beispiel: Adresse eines Satzes durch Seitennummer und Offset (relative Adresse in Bytes vom Seitenanfang) (115, 142) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

37 Seiten, Sätze und Adressierung Seitenzugriff als Flaschenhals Maß für die Geschwindigkeit von Datenbankoperationen: Anzahl der Seitenzugriffe auf dem Sekundärspeicher (wegen Zugriffslücke) Faustregel: Geschwindigkeit des Zugriffs Qualität des Zugriffspfades Anzahl der benötigten Seitenzugriffe Hauptspeicheroperationen nicht beliebig vernachlässigbar c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

38 Seiten, Sätze und Adressierung Einpassen von Datensätzen auf Blöcke Datensätze (eventuell variabler Länge) in die aus einer fest vorgegebenen Anzahl von Bytes bestehenden Blöcke einpassen: Blocken Blocken abhängig von variabler oder fester Feldlänge der Datenfelder Datensätze mit variabler Satzlänge: höherer Verwaltungsaufwand beim Lesen und Schreiben, Satzlänge immer wieder neu ermitteln Datensätze mit fester Satzlänge: höherer Speicheraufwand c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

39 Seiten, Sätze und Adressierung Verschiedene Satztypen Sätze Position Länge fixiert unfixiert fest variabel c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

40 Seiten, Sätze und Adressierung Sätze fester Länge SQL: Datentypen fester und variabler Länge char(n) Zeichenkette der festen Länge n varchar(n) Zeichenkette variabler Länge mit der Maximallänge n Aufbau der Datensätze, falls alle Datenfelder feste Länge: 1 Verwaltungsblock mit Typ eines Satzes (wenn unterschiedliche Satztypen auf einer Seite möglich) und Löschbit 2 Freiraum zur Justierung des Offset 3 Nutzdaten des Datensatzes c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

41 Seiten, Sätze und Adressierung Sätze variabler Länge im Verwaltungsblock nötig: Satzlänge l, um die Länge des Nutzdaten-Bereichs d zu kennen l Nutzdaten d Länge bzw. Verwaltungsblock c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

42 Seiten, Sätze und Adressierung Sätze variabler Länge /2 Strategie a) l n al 1 A 1... al n A n Strategie b) Anzahl Attribute Attributlängen Attributwerte l n ap 1... ap n ap n+1 A 1... A n Anzahl Attribute Attributzeiger Attributwerte c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

43 Seiten, Sätze und Adressierung Speicherung von Sätzen variabler Länge Strategie a): Jedes Datenfeld variabler Länge A i beginnt mit einem Längenzeiger al i, der angibt, wie lang das folgende Datenfeld ist Strategie b): Am Beginn des Satzes wird nach dem Satz-Längenzeiger l und der Anzahl der Attribute ein Zeigerfeld ap 1,..., ap n für alle variabel langen Datenfelder eingerichtet Vorteil Strategie b): leichtere Navigation innerhalb des Satzes (auch für Sätze in Seiten TID) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

44 Seiten, Sätze und Adressierung Anwendung variabel langer Datenfelder Wiederholgruppen : Liste von Werten des gleichen Datentyps Zeichenketten variabler Länge wie varchar(n) sind Wiederholgruppe mit char als Basisdatentyp, mathematisch also die Kleene sche Hülle (char) Mengen- oder listenwertige Attributwerte, die im Datensatz selbst denormalisiert gespeichert werden sollen (Speicherung als geschachtelte Relation oder Cluster-Speicherung), bei einer Liste von integer-werten wäre dies (integer) Adressfeld für eine Indexdatei, die zu einem Attributwert auf mehrere Datensätze zeigt (Sekundärindex), also (pointer) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

45 Seiten, Sätze und Adressierung Blockungstechniken: Nichtspannsätze jeder Datensatz in maximal einem Block Seite p A B C D Seite p+1 Standardfall (außer bei BLOBs oder CLOBs) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

46 Seiten, Sätze und Adressierung Blockungstechniken: Spannsätze Spannsätze: Datensatz eventuell in mehreren Blöcken Seite p A B C D Seite p+1 c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

47 Seiten, Sätze und Adressierung Adressierungstechniken Adressierung direkte Adressierung indirekte Adressierung logische Adressierung TID-Konzept c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

48 Seiten, Sätze und Adressierung Adressierung: TID-Konzept Tupel-Identifier (TID) ist Datensatz-Adresse bestehend aus Seitennummer und Offset Offset verweist innerhalb der Seite bei einem Offset-Wert von i auf den i-ten Eintrag in einer Liste von Tupelzeigern (Satzverzeichnis), die am Anfang der Seite stehen Jeder Tupel-Zeiger enthält Offsetwert Verschiebung auf der Seite: sämtliche Verweise von außen bleiben unverändert Verschiebungen auf eine andere Seite: statt altem Datensatz neuer TID-Zeiger diese zweistufige Referenz aus Effizienzgründen nicht wünschenswert: Reorganisation in regelmäßigen Abständen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

49 Seiten, Sätze und Adressierung TID-Konzept: einstufige Referenz Satzverzeichnis Seite p TID p i Tupelzeiger i-tes Tupel "Arabica Black" c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

50 Seiten, Sätze und Adressierung TID-Konzept: zweistufige Referenz Seite p TID p i TID <q, k> Seite q "Arabica Black Espresso" c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

51 Seiten, Sätze und Adressierung Große unstrukturierte Sätze RDBS-Datentypen für sehr große, unstrukturierte Informationen: Binary Large Objects (BLOBs): Byte-Folgen wie Bilder, Audio- und Videosequenzen Character Large Objects (CLOBs): Folgen von ASCII-Zeichen (unstrukturierter ASCII-Text) lange Felder überschreiten i.a. Grenzen einer Seite, deshalb nur Nicht-BLOB-Felder auf der Originalseite speichern LOB linearer Zugriff verkettete Liste wahlfreier Zugriff Directory B-Baum c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

52 Seiten, Sätze und Adressierung BLOB-Speicherung: Lösung 1 Als Attributwert Zeiger: Zeiger zeigt auf Beginn einer Seiten- oder Blockliste, die BLOB aufnimmt Block BLOB Vorteil bei Einfügungen, Löschungen, Modifikationen Nachteil bei wahlfreien Zugriff in das BLOB hinein c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

53 Seiten, Sätze und Adressierung BLOB-Speicherung: Lösung 2 Als Attributwert BLOB-Directory: BLOB-Größe weitere Verwaltungsinformationen mehrere Zeiger, die auf die einzelnen Seiten verweisen Vorteil: schneller Zugriff auf Teilbereiche des BLOBs Nachteil: festgelegte, begrenzte Maximalgröße des BLOBs (Gigabyte-BLOB; 8-Byte-Adressierung, Seitengröße 1 KB 8 MB für ein BLOB-Directory) effizienter: B-Baum zur Speicherung von BLOBs (s.u.) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

54 Seiten, Sätze und Adressierung BLOB-Speicherung: Lösung 2 BLOB-Größe Verwaltungsinfo. Zeiger auf Block 1 Zeiger auf Block 2 Zeiger auf Block 3... Zeiger auf Block k BLOB-Directory c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

55 Seiten, Sätze und Adressierung Alternative Speichermodelle bisher klassisches N-äres Speichermodell (NSM), auch row store Vorteile: gesamter Datensatz kann mit einem Seitenzugriff gelesen werden leichte Änderbarkeit einzelner Attributwerte Nachteil: werden nur wenige Attributwerte benötigt, müssen trotzdem immer alle Attributwerte gelesen werden unnötiger IO-Aufwand Alternativen: spaltenorientierte Speichermodelle Zerlegung einer n-stelligen Relation in eine Menge von Projektionen (z.b. binäre Relation) Identifikation (und Rekonstruktion) über eine Schlüsselspalte oder Position c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

56 Seiten, Sätze und Adressierung Spaltenorientierte Datenorganisation ProdNr Bezeichnung Jamaica Blue Arabica Black New York Espresso Guatemala Grande Breakfast Blend Preis 8,55 9,95 10,95 11,95 9,90 SAdr 0x00 0x01 0x02 0x03 0x04 ProdNr SAdr 0x00 0x01 0x02 0x03 0x04 Bezeichnung SAdr Preis Jamaica Blue 0x00 8,55 Arabica Black 0x01 9,95 New York Espresso 0x02 10,95 Guatemala Grande 0x03 11,95 Breakfast Blend 0x04 9,90 c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

57 Seiten, Sätze und Adressierung Alternative Speichermodelle: DSM Decomposition Storage Model (DSM) column stores alle Werte einer Spalte (Attribut) werden hintereinander gespeichert Adressierung über Position Seitenaufbau Subrelation ProdNr Arabica Black 3 4 New York Espresso Subrelation Bezeichnung 2 Arabica Black 1 Jamaica Blue c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

58 Seiten, Sätze und Adressierung Alternative Speichermodelle: DSM /2 Kompression einfach möglich (z.b. Run length encoding) effizientere Scanoperationen (Feldoperationen bessere Cache-Nutzung) jedoch: Updateoperationen sind komplexer, Lesen aller Spalten aufwendiger Einsatz bei leseoptimierten Datenbanken c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

59 Seiten, Sätze und Adressierung Alternative Speichermodelle: PAX Partition Attributes Across (PAX) als Kompromiss NSM: alle Spalten eines Satzes auf der gleichen Seite DSM: vertikale Partitionierung, Miniseiten für jeweils eine Spalte Miniseitenverzeichnis Präsenzbits Miniseite für ProdNr Satzverzeichnis Arabica Black New York Espresso Miniseite für Bezeichnung Arabica Black Jamaica Blue Miniseite für Preis 11,99 16,95 14,95 17,99 c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

60 Kompression Kompression von Daten Motivation weniger Speicherplatz für Daten Kosteneinsparung für Festplatten und auch Hauptspeicher weniger Blöcke zum Speichern der gleichen (Roh-)Datenmenge mehr Daten in den Datenbankpuffer bessere Puffernutzung weniger Seiten vom Sekundärspeicher lesen Erhöhung des Durchsatzes Anforderungen verlustlose Kompression leichtgewichtige Dekompression c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

61 Kompression Kompressionstechniken: Klassifikation Codelänge: feste Codelänge: alle Werte werden mit der gleichen Anzahl von Bits kodieren variable Codelänge: unterschiedliche Anzahl von Bits; z.b. Codelänge korreliert mit der Häufigkeit des Wertes (Entropiekodierung, z.b. Huffman) Granularität bzw. Einheiten: Attributwerte (Nullwerte, BLOBs), Tupel, Tupelmengen (Partitionen), Spalten, Blöcke, Tabellen Indexstrukturen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

62 Kompression Run Length Encoding auch Lauflängenkodierung lange Folgen gleicher Werte werden durch das einmalige Speichern des Wertes zusammen mit der Häufigkeit der Wiederholung ersetzt insbesondere bei spaltenorganisierter Datenorganisation; durch Sortierung weiter unterstützt Ort Berlin Berlin Berlin Ilmenau Ilmenau Ilmenau Magdeburg Rostock Rostock Ort Berlin Ilmenau Magdeburg Rostock c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

63 Kompression Delta Coding Speicherung der Wertdifferenz zum Vorgänger anstelle des Wertes insbesondere bei aufeinanderfolgenden Werten mit geringer Differenz Unterstützung durch Sortierung KNr PLZ PLZ c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

64 Kompression Bit-Vector Encoding bei kleiner Anzahl verschiedener Werte: pro Spaltenwert ein Bitstring (1, wenn Tupel an der Position den Wert hat, sonst 0) Länge des Bitstrings entspricht Anzahl der Tupel Verwendung u.a. bei Bitmap-Indexen KNr Kundenstatus Premium: Premium... Silber Silber: Standard Standard: Standard Standard Premium Silber... Standard c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

65 Kompression Dictionary Encoding Verwendung eines Wörterbuchs für alle (String-)werte und Eintrag eines Codes für den eigentlichen Spaltenwert insbesondere bei häufigen und langen Werten KNr Bundesland... Thüringen... Thüringen... Sachsen... Sachsen-Anh.... Hessen... Bayern... Hessen... Sachsen-Anh. Bundesland Dictionary Bayern 0000 Hessen 0001 Sachsen 0010 Sachsen-Anh Thüringen 0100 c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

66 Kompression Frequency Partitioning entwickelt im Rahmen des BLINK-Projektes von IBM Kompression kompletter Tupel, Kodierung der Spaltenwerte durch Dictionary Encoding mit Entropiekodierung Vermeidung des Overheads beim Lesen des n-ten Spaltenwertes durch Codes unterschiedlicher Länge (2 ns Overhead pro Spaltenwert) Idee: Gruppierung von Tupeln auf Basis der Spaltenwerte derart, dass Gruppen von Tupeln (Partitionen) Spaltencodes gleicher Länge haben Partitionen nach Häufigkeit des Vorkommens der Spaltenwerte bilden Partitionen mit Entropiekodierung komprimieren pro Partition werden feste Codelängen verwendet c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

67 Kompression Frequency Partitioning: Prinzip Spalte1 Spalte2 Spaltenpartitionen Häufigkeit Werte Häufigkeit Werte Spaltenpartitionen Zellen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April

68 Kompression Frequency Partitioning: Partitionierung Sortierung der Spaltenwerte nach Häufigkeiten + Zerlegung in Intervalle Intervallgröße: Zweierpotenz (da Bitkodierung) mit Ausnahme des letzten Intervalls optimale Partitionierung durch dynamische Programmierung: Zielfunktion = durchschnittliche Größe der kodierten Spalte vollständige Suche über alle Kombinationen von Spaltenpartitionen nicht möglich, daher Greedy: welche Spalte zieht den größten Gewinn aus einer zusätzlichen Partition? c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 27. April