Organisationsformen der Speicherstrukturen

Transkript

1 Organisationsformen der Speicherstrukturen Bäume und Hashing 1

2 Motivation Ablage von Daten soll einfachen, schnellen und inhaltsbezogenen Zugriff ermöglichen (z.b. Zeige alle Schüler des Lehrers X am heutigen Tag) Probleme: Große Datenmengen passen nicht vollständig in den Arbeitsspeicher des Rechners, sondern müssen auf langsameren Sekundärspeichern gelagert werden Sequentielle Suche (also alle Elemente anfassen) dauert zu lange DBMS-Intern wird daher oft mit Seiten (Pages) gearbeitet: Größe durch Datenbankadministrator festgelegt (typischerweise 4 32 KB) Seiten enthalten Header und eine Menge an Datensätzen Seiten können als Block im Arbeitsspeicher gepuffert werden Dadurch: feste Größen (gut für die Performance) Aber: Welcher Datensatz befindet sich in welcher Seite? 2

3 Lösung: Mehrwegbäume und Hashing Bäume = Spezielle Struktur (Graphentheorie) zur Speicherung von Elementen Besteht aus Kanten, inneren Knoten und Blättern Zu jedem Knoten kann man sagen, ob (und welche) Kinder er hat Damit kann man sich einfach über die Eltern zu einem Kind durchhangeln und muss sich nicht alle Elemente ansehen, um ein spezielles Kind zu finden Hashing = Eine feste Funktion, über die sich der Speicherort ermitteln lässt Für jeden Datensatz wird ein Hashwert berechnet, wodurch der Datensatz wesentlich schneller gefunden werden kann 3

4 Ein Beispielbaum Quelle: 4

5 Arten von Bäumen Wurzelbaum: Spezieller gerichteter Graph mit Knoten und gerichteten Kanten Ausgezeichnete Wurzel mit nur ausgehenden Kanten Knoten ohne ausgehende Kanten heißen Blätter Binärbaum: Alle Knoten haben maximal zwei Kinder Häufig gefordert: Kind ist entweder linkes oder rechtes Kind Binärer Suchbaum: Effizientes Suchen durch eine Totalordnung Suchaufwand ist proportional zur Baumhöhe Vollständige Balanciertheit: Höhe aller Blätter unterscheidet sich maximal um 1 Vermeidet die Entartung des Suchbaumes 5

6 Arten von Bäumen II Mehrwegbaum: Ausgangspunkt: Vollständig balancierter binärer Suchbaum Problem: großer Baum passt nicht vollständig in den Primärspeicher Zielstellung: Zusammenfassung mehrerer Elemente zu einem Knoten Höherer Verzweigungsgrad = niedrigere Baumhöhe Beispiele: B- und B+-Baum 6

7 B-Baum Vorschlag von R. Bayer und E. McCreight (1970) Daten und Suchinformationen in Baumstruktur angeordnet Baumknoten werden auf Seiten abgebildet, die vom DBMS verwaltet werden Definition eines B-Baumes mit Ordnung n: Jeder Weg von der Wurzel zum Blatt hat die gleiche Länge h Jeder innere Knoten hat mindestens n+1 Kinder Die Wurzel ist ein Blatt oder hat mindestens zwei Kinder Jedes Blatt besitzt mindestens n Einträge Jeder Knoten hat höchstens 2n+1 Kinder 7

8 Beispiel B-Baum 8

9 Suchen im B-Baum Suche nach Schlüssel k liefert speichernden Knoten x und Position i innerhalb des Knotens bzw. ein nicht enthalten Abfolge: 1. Die Suche beginnt im Wurzelknoten 2. Ist der aktuelle Knoten ein innerer Knoten? 1. Ja: Bestimme die Position des kleinsten Schlüssels, der größer oder gleich k ist. Wurde eine solche Position gefunden? 1. Ja, es handelt sich sogar um den gesuchten Schlüssel Fertig. Gefunden! 2. Ja, aber es handelt sich nicht um den gesuchten Schlüssel Weitersuchen im angehängten Unterknoten 3. Nein. Weitersuchen im letzten Kindknoten 2. Nein, es ist ein Blattknoten. k in den Schlüsseln von x suchen. Entweder Gefunden! oder nicht enthalten. 9

10 Einfügen im B-Baum Einfügen von Datensatz d mit Schlüssel s Abfolge: 1. Suche s im Baum 1. Gefunden Fehlermeldung, fertig! 2. Nicht gefunden Merke Blatt b, in dem die Suche endete 2. Füge (s,d) in Blatt b ein 1. Wenn genug Platz ist, alles i.o. 2. Wenn nicht genug Platz ist: 1. Teile b in der Mitte in zwei Unterbäume 2. Der neue Vaterknoten ist das Mittelelement 10

11 Löschen im B-Baum Löschen von Datensatz mit Schlüssel s Abfolge: Suche s im Baum Nicht gefunden Fertig! Gefunden merke Knoten k, in dem s gefunden wurde Lösche den Datensatz Wenn aus einem Blatt gelöscht wurde, überprüfen ob das Blatt noch gebraucht wird Wenn aus einem inneren Knoten gelöscht wurde, muss ein neuer Wurzelknoten bestimmt werden! 11

12 Bewertung B-Baum Robust gegen Entartung durch Reorganisation Je flacher der Baum ist, desto höher ist die Performance Möglichst große Seiten helfen also Man könnte den Baum noch deutlich effizienter machen, wenn man die eigentlichen Daten nicht für die Suche brauchen würde 12

13 B+-Baum Vorschlag von Donald Knuth (1973) Häufigste Art der Index-Implementierung in DBMS Indexbaum: Keine Datensätze, sondern Schlüssel und Zeiger auf Kinder Datensätze befinden sich ausschließlich in der Blattebene des B+-Baumes Mehr Platz pro Schlüssel pro Seite! Lösch-Vorgang einfacher als im B-Baum Daten werden nur in Blättern entfernt Schlüssel im inneren Knoten bleiben als Wegweiser erhalten Weniger Seiten müssen geändert werden Sequentieller sortierter Zugriff und wahlfreier Schlüsselzugriff sind effizient Bereichsanfragen, Extremwertanfragen gehen besonders performant 13

14 B+-Bäume in der Praxis Typische Werte: Ordnung: 100 Höhe: 3-4 Füllfaktor: 70% Durchschnittliche Anzahl von Kindern: 133 Kapazität bei Höhe 3: Kapazität bei Höhe 4: Pufferung Indexbaum bis Ebene 1: Pufferung Indexbaum bis Ebene 2: 2 Mio. Datensätze 300 Mio. Datensätze 1MB 133 MB 14

15 Statisches Hashing Grundidee: Warum den Speicherort nicht aus dem Schlüssel ableiten? Hashtabelle als Indexstruktur Berechnung der Speicheradresse eines Datensatzes über den Schlüssel Dazu: Spezielle Hashfunktion, die zu einem beliebigen Schlüssel die richtige Seite liefert Beispiel einer Hashfunktion: Divisionsrestverfahren Eine gute Hashfunktion verteilt die Schlüssel möglichst gleichmäßig auf die verfügbaren Seiten 15

16 Typische Operationen bei statischem Hashing Einfügen: Generierung der zukünftigen Speicheradresse Datensatz an entsprechender Adresse speichern Direkte Suche: Ermittlung der zugehörigen Speicheradresse Auslesen des Datensatzes an der Speicheradresse Sequentielle Suche: Da die Daten durch das Hashing in den Seiten verstreut sind, schwierig! Löschen: Ermittlung der zugehörigen Speicheradresse Löschen des Datensatzes an der Speicheradresse 16

17 Kollisionsbehandlung bei statischem Hashing Kollisionen treten immer auf, wenn die Hashfunktion für unterschiedliche Eingabewerte gleiche Ausgabewerte bestimmt. Wie wahrscheinlich sind Kollisionen? Kollisionsbehandlung: Finden einer alternativen freien Speicheradresse Sicherstellen, dass der Datensatz auch wiedergefunden werden kann Offenes Hashing: Synonyme im Primärbereich Suche nach noch nicht belegter Adresse z.b. durch doppeltes Hashen Problem beim Löschen: Einträge einfach löschen ändert die Voraussetzungen Geschlossenes Hashing: separater Überlaufbereich Überlauf für alle Kollisionen oder pro Adresse Gefahr der Entartung zu Listensystem Je mehr Kollisionen, desto komplizierter wird die Verwaltung 17

18 Fazit statisches Hashing Bei Kollisionsfreiheit extrem schnelle Grundoperationen Kein sequentieller Zugriff auf Daten möglich Hashfunktion entscheidet über die Qualität des Verfahrens (dummerweise gibt es nicht DIE Hashfunktion) Ineffizient bei stark wachsenden Datenmengen: Viel leerer Speicher am Anfang Wachsende Überlaufketten Nachträgliche Anpassung der Größe kompliziert (Re-Hashing) 18

19 Erweiterterbares Hashing I Zielstellung: Dynamisches Wachsen und Schrumpfen des benötigten Speicherplatzes Vermeidung der totalen Reorganisation der Hashtabelle Konstantes Laufzeitverhalten Grundidee: Hashfunktion kann gröber oder feiner auflösen Dazu: Hashtabelle gliedert sich in Directory und mehrere Hashbuckets fester Kapazität Zugriff auf die Hashbuckets nur über Directory Wenn ein Bucket voll wird, wird ein neuer Bucket hinzugefügt und die Hashwerte werden auf beide Buckets aufgeteilt, indem ein zusätzliches Bit des Hashwertes mit beachtet wird Es entstehen lokal unterschiedliche Tiefen 19

20 Beispiel erweiterbares Hashing I Schrittweiser Aufbau einer Hashtabelle durch sukzessives Einfügen der Werte in vorgegebener Reihenfolge Unten: Situation nach Einfügen der Werte 134, 8, 113 und 89 20

21 Beispiel erweiterbares Hashing II Einfügen von Wert 20: Bucket-Überlauf in B1 Splitting von B1 in zwei Buckets Erhöhung der lokalen Tiefe an der Splittstelle um 1 (andere Tiefen werden nicht verändert) Bucket-Zugehörigkeit bestimmt das erste Bit des Pseudoschlüssels Wiederholung des Vorgangs bei jedem Bucket-Überlauf 21

22 Beispiel erweiterbares Hashing III Einfügen von Wert 118: Problemlos Einfügen von Wert 30: Überlauf in B2 Splitting in B2 und B3 Neue lokale Tiefe 2 Jetzt bestimmen hier die ersten zwei Bits im Hashwert den Bucket 22

23 Erweiterbares Hashing II Suche: Hashfunktion liefert den zugehörigen Pseudoschlüssel Directory liefert das zugehörige Bucket Bucket laden und Wert entnehmen Löschen: leere Buckets wieder entfernen? Hashfunktion auch hier entscheidend für die Performance (möglichst gleichverteiltes Ergebnis und Bitmuster) Eine Einfügung kann mehrere Directory-Verdopplungen erzeugen 23

24 Fazit Organisationsformen der Speicherstrukturen Die Informatik beschäftigt sich seit langem mit effektiven Speicherstrukturen Gerade für ein DBMS ist das ein wichtiges Thema Performancekritisch, da Einfügen, Suchen und Löschen Grundoperationen Bäume und Hashing sind deutlich effizienter als einfache Listen Jedes Verfahren hat jedoch Vor- und Nachteile Zu wählendes Verfahren ist abhängig von der Aufgabenstellung Wenn die Performance wichtig ist, DBMS hinterfragen / korrekt einstellen! 24