Physische Datenorganisation

Transkript

1 Web Science & Technologies University of Koblenz Landau, Germany Grundlagen der Datenbanken Dr. Jérôme Kunegis Wintersemester 2013/14

2 Zugriffshierarchie 2

3 Eigenschaften der Datenträger 8 32 Mb CPU Cache 1-10 ns Gb Hauptspeicher 50 ns Gb Festplattensysteme 1 10 ms pro Disk 500 Gb 5Tb pro Tape Backup-Systeme 10+ s Zugriffslücke

4 Plattenspeicher: Funktionsweise Eine Scheibe (Platter) A Spur B Sektor C Blöcke eines Sektors D Dateisystem-Block 4

5 Plattenspeicher: Beobachtungen Kapazität seit den 80er Jahren stetig gestiegen 5

6 Plattenspeicher: Beobachtungen Grenzen der mechanischen Leistungssteigerung nahezu erreicht (Drehzahlen, Festplattenmechanik, etc.) Hybride Modelle (mit Flash-Cache) als Alternativlösung Betriebssystem oder Datenbank muss den Puffer steuern Solid-State-Disks als Alternativlösung Hohe Geschwindigkeit bei Random-IO Langsames Schreiben von vielen kleinen Datenblöcken wegen größerer Speicherblöcke In vielen Fällen bereits heute 'reine' Hauptspeicher-DB einsetzbar (Beispiel: Oracle TimesTen, SAP HANA) Persistente Speicherung & Updates bleiben Notwendig 6

7 Speicherung von Tupeln im Hintergrundspeicher TID : Tupel Identifikator Seite Satz Datenbank-Seite ( page ) (32 64 Kb) Datensatztabelle Meyer Schneider Müller Forwarding-TID 7

8 Caching von Daten Cache Laden von Seiten aus dem Hintergrundspeicher zur Verarbeitung Daten länger behalten als zwingend notwendig Ersetzungsstrategie Clevere Strategien erreichen 95% Trefferquote (je nach Anwendung) Arbeiten im Cache und Synchronisation mit Hintergrundspeicher 8

9 Index-Strukturen 9

10 Indexstrukturen Schnelles Finden von Tupeln (TID) Zusätzlicher Speicherplatz! Arten Primärindex Legt physische Anordnung der Daten fest Indiziert meist den Primärschlüssel Sekundärindex Indiziert weitere Attribute Nicht indizierte Daten: Sequenzielle Suche über alle (!) Tupel 10

11 ISAM Indexed Sequential Access Method Sortierte Liste der Schlüssel (als Seiten) Verweise auf die Datenseiten Tupel mit Schlüssel zwischen 1 und 7 11

12 ISAM Suchen Binäre Suche im Index Datenseite Sequentielle Suche in Datenseite Einfügen Datenseite voll Überlauf in Nachbarn und Anpassen der Schlüssel Erweitern der Indexseite (verschieben) Löschen Datenseite leer Ausgleich mit Nachbarn (Anpassen der Schlüssel) Löschen im Index (verschieben) 12

13 B-Baum (Englisch: B-tree) Anforderungen an Index Laufzeit-Garantien für Suchen Einfügen Löschen Ausnutzung der Seitenstruktur Minimierung der Seitenzugriffe Suchbaum Was bedeutet B? Comer, Douglas (June 1979), "The Ubiquitous B-Tree", Computing Surveys 11 (2):

14 Beispiel für einen binären Suchbaum { London, Paris, Madrid, Kopenhagen, Lissabon, Zürich, Frankfurt, Wien, Amsterdam, Florenz } London Kopenhagen Paris Frankfurt Lissabon Madrid Zürich Amsterdam Wien Florenz 14

15 Überblick: B-Baum mit Grad k 1 Knoten = 1 Seite Platz für 2k+1 Referenzen Beispiel: k = 2? 10 Platz für 2k Tupel Gleiche Tiefe Referenzen in Blättern leer 19 Meyer B-007 Indexschlüssel Weitere Tupeldaten 15

16 Eigenschaften: B-Baum mit Grad k Alle Wege von Wurzel zu Blättern gleich lang Jeder Knoten (außer Wurzel) mit mindestens k Tupeln belegt (Auslastung 50%) Tupel in jedem Knoten sortiert Knoten (außer Blätter) mit n Tupeleinträgen hat n+1 Kinder (und somit n+1 Referenzen) Sind S1 bis S n die Schlüsselindizes in einem Knoten und V 0 bis V n die Referenzen, dann V 0 verweist auf Knoten mit Einträgen x < S 1 Vi verweist auf Knoten mit Einträgen S i < x < S i+1 Vn verweist auf Knoten mit Einträgen x > S n Zustand nach jeder Operation garantieren 16

17 Einfügen eines Tupels Relevant ist der Wert des Indexattributes: x Suche x im B-Baum Endet erfolglos an Stelle an der eingefügt werden muss. Füge Tupel dort ein Wenn Knoten überfüllt (2k + 1 Einträge) Spalte Knoten in zwei Knoten auf Mittlerer Eintrag wird in den Vaterknoten hochgezogen Erste k und letzte k kommen in neue Knoten Die zwei neue Knoten haben k Einträge Prüfe rekursiv ob Vaterknoten überfüllt 17

18 Löschen eines Tupels Suche X im B-Baum Falls in Blattknoten Entferne Eintrag aus dem Blattknoten. Blattknoten kann nun unterfüllt sein (siehe unten) Falls in nicht-blattknoten ersetze X durch größten Wert aus linkem Kindbaum. Dieser Wert bedindet sich immer in einem Blattknoten, der nun unterfüllt sein kann (siehe unten) Wenn Blattknoten unterfüllt (< k Einträge) Versuche Ausgleich mit Nachbarn mit mindestens k + 1 Einträgen (erst links, dann rechts): Trennwert ersetzt fehlenden Wert in Blattknoten; Eintrag aus Nachbarknoten wird neuer Trennwert Wenn beide Nachbarknoten k Einträge haben: Merge Blattknoten mit linkem Nachbar-Blattknoten Fahre rekursiv beim Vater-Knoten fort 18

19 Beispiel B-Baum siehe Tafel / gesonderter Foliensatz 19

20 B+-Baum (Englisch: B+ Tree) Nachteil B-Baum: Parameter k hängt von Tupelgröße ab Baumtiefe hängt von Tupelgröße ab B+-Baum: Keine Daten in den inneren Knoten nur Referenzschlüssel Verkettung der Blattknoten untereinander durch Referenzen Ergebnis: flacherer Baum, der immer bis zu den Blättern durchlaufen werden muss 20

21 Aufbau eines B+-Baums 21

22 Erweiterung des B+-Baums: Präfixbaum (Englisch: Trie) Innere (d.h., nicht-blatt-) Knoten können Werte enthalten, die nicht in der Relation enthalten sind Künstliche Werte genügen, sofern Bedingung erfüllt ist: Vi verweist auf Knoten mit Einträgen S i < x < S i+1 Anders formuliert: Vi 1 < S i < V i Beispiel: Werte V sind Zeichenketten (Strings) Verwende Präfix von Vi, der größer als V i 1 ist Aussprechen wie tree (cf. retrieval) 22

23 Präfixbaum: Beispiel Viele Varianten möglich 23

24 Hashing Bäume: log(n) viele Seitenzugriffe Hashing: Fast eindeutige Zuordnung von Datum zu Bucket (Behälter) Verwendung einer Hash-Funktion: h: D B D: Domäne des Indexschlüssels B = {0,, m 1}: Nummerierung von Behältern ( B = m) Charakteristiken der gesuchten Hash-Funktion Fester vs. flexibler Wertebereich Gute Verteilung über den Wertebereich, auch bei schlechter Verteilung der Datencharakteristiken über den Eingabebereich Berechnung von h(v) in Zeit log(n) [oft konstante Laufzeit möglich] Wahl der Anzahl der Behälter m 24

25 Hashing Abbildung h: D [0 m 1], genannt Hash-Funktion Bildet Schlüssel x 1, x n aus Domäne D (z.b. Strings, Zahlen, etc.) auf Positionen h(x 1 ),, h(x 2 ) in Array a[0 m 1], genannt Hash-Tabelle (mit n m) Speicherung von Schlüssel x i in a[h(x i )] Anforderungen an h: Sehr effiziente Berechenbarkeit Gleichverteilung von x 1,, x n auf {0,, m 1}, möglichst zufällig um Ungleichverteilungen zu vermeiden Menge der x mit h(x) = y möglichst gleich groß für alle 0 y < m Für geordnete Schlüssel x 1 < x 2 < < x n sollte die Ordnung von h(x 1 ), h(x 2 ),, h(x n ) eine zufällige Permutation sein Beispiele für sinnvolle Hash-Funktionen h(x) = (ax + b) mod m h(x) = (mittlere k Ziffern von x²) mod m h(x) = a + g(x); g(x) = x[1] + b g(x[2 end]) Für Integers x Für k-stellige Integers x Für Strings x 25

26 Statisches Hashing Bucket = 1 Seite 6 Schmitt B-124 Indexschlüssel Weitere Tupeldaten 6 3 h(x) = x mod Überlauf

27 Erweiterbares Hashing Statisches Hashing: eines der beiden Probleme Zu viele leere Einträge Zu viel Überlauf Erweiterbares Hashing Interpretiere Hashwert h(x) als Bitfolge Aufteilen des Hashwertes: h(x) = d p d : Directory gibt Bucket an ( d = globale Tiefe) p : ungenutzter Teil Sofern möglich deckt eine Seite mehrere Buckets ab (lokale Tiefe) 27

28 Erweiterbares Hashing 28

29 29

30 30

31 31

32 32

33 Ergänzung: Erweitertes Hashing Doppelte Hashwerte: Überlauf abfangen (wie bei statischer Hashtabelle) Löschen von Werten: Verschmelzen von Seiten Reduktion der lokalen Tiefe Evtl. Reduktion der globalen Tiefe möglich 33

34 Hashing vs. Bäume Hashing Punktuelle Abfragen: SELECT * FROM Staedte WHERE name = 'Koblenz'; Bäume für den allgemeinen Fall Bereichsabfragen: SELECT * FROM Staedte WHERE einwohner >= AND einwohner <=

35 SQL: Create Index Grobsyntax: CREATE [UNIQUE] INDEX Index ON Tabelle (Attribut1, Attribut2,...); DROP INDEX Index; Primary Key hat immer einen Index (muss nicht explizit angelegt werden) Oracle: Default-Indextyp ist ein B+-Baum Beispiele: CREATE INDEX Studenten_idx1 ON Studenten(Semester); CREATE INDEX Staedte_idx1 ON Staedte(einwohner); DROP INDEX Studenten_idx1; 35

36 Objektballung (Clustering) clustered key PersNr / gelesenvon 2125 Name Rang Sokrates C4 Titel VorlNr Ethik Name Rang Russel C4. Vorlesungen VorlNr Titel SWS gelesen Von 5001 Grundzüge Ethik Erkenntnistheorie Professoren PersNr Name Rang Raum 2125 Sokrates C Russel C4 232 Oft gemeinsam angefragte Daten dicht beieinander ablegen 36

37 Oracle Clusters und Indexierung Mit einem B+ Baum: CREATE CLUSTER cluster_name ( attribute type,... ); CREATE INDEX index_name ON cluster_name; CREATE TABLE table_name ( usual parameters ) CLUSTER cluster_name ( attribute_name ); Mit Hashing: CREATE CLUSTER cluster_name ( attribute type,... ) [HASH IS hashfunktion] HASHKEYS anzahl; CREATE TABLE table_name ( usual parameters ) CLUSTER cluster_name ( attribute_name ); 37

38 Mehrdimensionale Indexstrukturen 38

39 Abfragen auf mehreren Attribute Wertbasierter Zugriff auf der Grundlage mehrerer Attribute, einzeln oder in beliebigen Kombinationen. Typische Anforderungen aus CAD, VLSI-Entwurf, Kartographie, Recommender-Systeme, Anfragen decken den Bereich ab zwischen mehrdimensionalem Punktzugriff (EMQ Exact Match Query) und mehrdimensionalen Bereichsanfragen (RQ Region Query) Problemstellung: Mehrdimensionale Nachbarschaftsverhältnisse 39

40 Abfragen auf mehreren Attribute Beispiel: SELECT name FROM Staedte WHERE latitude >= AND latitude <= AND longitude >= 13.3 AND longitude <= Mit B-Bäumen: Auswahl von Städten mit passender latitude Auswahl von Städten mit passender longitude Bildung der Schmittmenge deutlich zu viele Daten angefasst! 40

41 Anfragearten für Mehrdimensionale Indizes Exact Match Query spezifiziert Suchwert für jede Dimension D i Partial Match Query spezifiziert Suchwert für einen Teil der Dimensionen Range Query spezifiziert ein Suchintervall [l i, u i ] für alle Dimensionen Partial Range Query spezifiziert ein Suchintervall für einen Teil der Dimensionen 41

42 Grundlagen mehrdimensionaler Datenstrukturen Wertebereiche D1,..., D k : alle D i sind total geordnete Mengen von möglichen Werten Datenraum D = D1 D k k-dimensionaler Schlüssel entspricht Punkt im Datenraum p D Beispiel: R-Baum Guttman, A. (1984). R-Trees: A Dynamic Index Structure for Spatial Searching. Proc. Int. Conf. on Management of Data, p

43 R-Baum Innere Knoten und Blätter sind unterschiedlich Einträge in innere Knoten: Angabe einer k-dimensionalen Region Interval in jeder Dimension Regionen können überlappen Verweise auf Kindknoten Alter Gehalt [18,60] [60,120] Einträge Blattknoten: Tupeldaten Alter Gehalt Name Bond Mini Mickey Duck 43

44 R-Baum 44

45 R-Baum: Operationen Suchen Identifizieren aller betroffenen Region(en) Auswahl der tatsächlich betroffenen Tupel Beispiel: Alle Personen im Alter von 50 bis 60 Jahren [18,20] [60,80] [25,60] [110,120] [41,45] [45,70] [40,65] [95,100] Alter Gehalt Alle Personen im Alter von 16 bis 43 Jahren und Gehalt zwischen 60 und

46 Datenraum Alter: Lucie Bond Bert Mickey Alter Duck Ernie Speedy Mini Urmel Bill Gehalt Alter: Einkommen:

47 R-Baum: Einfügen Suche passende Region(en) und zugehöriges Blatt: Keine Region: passe die Region an, die am wenigsten vergößert werden muss Eine Region: erweitere diese Mehrere Regionen: wähle eine aus Einfügen In das ausgewählte Blatt Bei Überlauf: Region aufteilen (Partionierung): Gleichmäßige Verteilung der Einträge Möglichst kleine Regionen Optimal Aufteilung zu aufwändig Heuristiken Evtl. Partitionierung der inneren Knoten nötig (R-Baum wächst nach oben) 47

48 Gute vs. schlechte Partitionierung gute Partitionierung schlechte Partitionierung Mickey Bond Mickey Bond Alter Duck Mini Speedy Alter Duck Mini Speedy Gehalt Gehalt 48

49 Nach oben gewachsener R-Baum [18,50] [45,80] [25,65] [95,120] Sepp Lucie Bond Bert Mickey [18,20] [41,45] [41,50] [60,80] [45,55] [60,70] [25,60] [110,120] [40,65] [95,100] Alter Ernie Duck Jan Speedy Mini Urmel Bill 43 70K Mickey 41 60K Jan 50 65K Sepp Gehalt 49

50 Zusammenfassung Zugriffslücke erfordert effizienten Zugriff auf Hintergrundspeicher Indexstrukturen optimieren die Anzahl der Zugriffe ISAM B-Bäume B+-Bäume Erweiterbares Hashing Clusterung gruppiert oft genutzte Daten zusammen Mehrdimensionale Indexstrukturen für kombinierte Anfragen 50 50

51 Fragen? 51