Teil V Basisalgorithmen für DB-Operationen

Transkript

1 Teil V Basisalgorithmen für DB-Operationen

2 Überblick 1 Datenbankparameter & Grundalgorithmen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

3 Überblick 1 Datenbankparameter & Grundalgorithmen 2 Navigationsoperationen: Scans c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

4 Überblick 1 Datenbankparameter & Grundalgorithmen 2 Navigationsoperationen: Scans 3 Unäre Operationen (Selektion, Projektion und Gruppierung) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

5 Überblick 1 Datenbankparameter & Grundalgorithmen 2 Navigationsoperationen: Scans 3 Unäre Operationen (Selektion, Projektion und Gruppierung) 4 Binäre Operationen: Mengenoperationen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

6 Überblick 1 Datenbankparameter & Grundalgorithmen 2 Navigationsoperationen: Scans 3 Unäre Operationen (Selektion, Projektion und Gruppierung) 4 Binäre Operationen: Mengenoperationen 5 Berechnung von Verbunden c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

7 Einordnung MOS SOS ISS SPS Mengenorientierte Schnittstelle Satzorientierte Schnittstelle Interne Satzschnittstelle Datensystem Zugriffssystem Speichersystem Pufferverwaltung DS Systempufferschnittstelle Dateischnittstelle Betriebssystem GS Geräteschnittstelle Externspeicher c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

8 Datenbankparameter & Grundalgorithmen Parameter für Kostenbestimmung Aufwandsabschätzung basierend auf Informationen aus Katalog bsize: Blockgröße; mem: Puffergröße in Anzahl der Blöcke r : Anzahl Tupel in der Relation r br : Anzahl von Blöcken, die Tupel aus r beinhalten sizer : (mittlere) Größe von Tupeln aus r f r : Blockungsfaktor wieviel Tupel aus r können in einem Block gespeichert werden: f r = bsize size r bei kompakter Speicherung (nur eine Relation pro Block) r b r = vala,r : Anzahl verschiedener Werte für Attribut A in r lev I(R(A)) : Anzahl der Indexebenen eines B + -Baums für Index I(R(A)) f r c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

9 Datenbankparameter & Grundalgorithmen Grundannahmen Indexe B + -Bäume dominierender Kostenfaktor: Blockzugriff Zugriff auf Hintergrundspeicher auch für Zwischenrelationen Zwischenrelationen zunächst für jede Grundoperation Zwischenrelationen hoffentlich zum großen Teil im Puffer einige Operationen (Mengenoperationen) auf Adressmengen (TID-Listen) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

10 Datenbankparameter & Grundalgorithmen Hauptspeicheralgorithmen wichtig für den Durchsatz des Gesamtsystems, da sie sehr oft eingesetzt werden Tupelvergleich (Duplikate erkennen, Sortierordnung angeben,... ) iterativ durch Vergleich der Einzelattribute, Attribute mit großer Selektivität zuerst TID-Zugriff TID innerhalb des Hauptspeichers: übliche Vorgehensweise bei der Auflösung indirekter Adressen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

11 Datenbankparameter & Grundalgorithmen Zugriffe auf Datensätze Relationen: interner Identifikator RelID Indexe: interner Identifikator IndexID Primärindex, etwa I(KUNDE(KNr)) bei A = a wird maximal ein Tupel pro Zugriff zurück geliefert Sekundärindex, etwa I(BESTELLUNG(KNr)) Bsp.: KNr = 4711 liefert i.a. mehrere Tupel Indexzugriffe: Ergebnis TID-Listen Datenzugriff Tupelzugriff Mengenzugriff über TID über Schlüsselwert Relationen-Scan Index-Scan c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

12 Datenbankparameter & Grundalgorithmen Zugriffe auf Datensätze /2 fetch-tuple Direktzugriff auf Tupel mittels TID-Wertes holt Tupel in Tupelpuffer fetch-tuple(relid, TID) Tupel-Puffer fetch-tid: TID zu (Primärschlüssel-)Attributwert bestimmen fetch-tid(indexid, Attributwert) TID weiterhin auf Relationen und Indexen: Scans c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

13 Datenbankparameter & Grundalgorithmen Beispiel in SQL select * from KUNDE where KNr = 4711 Gleichheitsanfrage über einen Schlüssel put: hier Anzeige des Ergebnisses currtid fetch-tid(kunde-knr-index, 4711); currrec fetch-tuple(kunde-relationid, currtid); put(currrec); c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

14 Datenbankparameter & Grundalgorithmen Externe Sortieralgorithmen Externes Sortieren durch Mischen Ablauf 1 Relation durch partition in gleich große Teile teilen, die im Hauptspeicher sortiert werden können 2 n Mischläufe mit merge, die zwei oder mehr Teilrelationen mischen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

15 Datenbankparameter & Grundalgorithmen Externe Sortieralgorithmen /2 Gunter 42 Andreas 24 Dieter 4 Chris 7 Berta 77 Elle 36 Tamara 99 Dieter 2 Mario 9 Peer 43 Dieter 11 Andreas 21 partition Mischlauf Andreas 24 Dieter 4 Gunter 42 Berta 77 Chris 7 Elle 36 Dieter 2 Mario 9 Tamara 99 Andreas 21 Dieter 11 Peer 43 merge merge Andreas 24 Berta 77 Chris 7 Dieter 4 Elle 36 Gunter 42 Andreas 21 Dieter 2 Dieter 11 Mario 9 Peer 43 Tamara 99 Mischlauf merge Andreas 21 Andreas 24 Berta 77 Chris 7 Dieter 2 Dieter 4 Dieter 11 Elle 36 Gunter 42 Mario 9 Peer 43 Tamara 99 c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

16 Datenbankparameter & Grundalgorithmen Externes Sortieren: Kosten initialer Schritt: jeden Block lesen und auf Partition schreiben Kombination von 2 Zwischenergebnissen: n Läufe kombinieren 2 n Partitionen also: initial in mind. b r mem Partitionen daher: ( ) br log 2 mem Mischläufe jeder Mischlauf liest alle Blöcke und schreibt die gleiche Anzahl ( ) ) br 2b r (1 + log 2 mem c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

17 Datenbankparameter & Grundalgorithmen Externes Sortieren: Kosten /2 mehr als zwei Teilrelationen gleichzeitig mischen; genau mem 1 Relationen daher ( ) ) br cost SORT = 2b r (1 + log mem 1 mem c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

18 Datenbankparameter & Grundalgorithmen Externes Sortieren: Effizienzverbesserung Einflussfaktoren beim internen Sortierschritt: Aufwand für Schlüsselvergleich, Bewegen/Kopieren der Daten beim externen Sortieren: E/A-Aufwand Maßnahmen bei Schlüsselvergleich Ableitung eines Binärstrings als Schlüssel aus den Vergleichsspalten (Binärrepräsentation von Integer-Werten, Kompression von Zeichenketten, Verkettung der Teilstrings) Maßnahmen bei E/A optimale Ausnutzung der E/A-Bandbreite durch Anpassung von Blockgröße und Fan-In c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

19 Datenbankparameter & Grundalgorithmen Externes Sortieren: Einfluss von Blockgröße und Fan-In Vergleiche/s 4.5e+06 4e e+06 3e e+06 2e e+06 1e Fan-In Vergleiche/s 500 Fan-In Blockgröße in KB c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

20 Navigationsoperationen: Scans Arten des Scans Scan durchläuft Tupel einer Relation Relationen-Scan (full table scan) durchläuft alle Tupel einer Relation in beliebiger Reihenfolge Aufwand: b r Index-Scan nutzt Index zum Auslesen der Tupel in Sortierreihenfolge Aufwand: Anzahl der Tupel plus Höhe des Indexes Vergleich Relationen-Scan besser durch Ausnutzung der Blockung Index-Scan besser, falls wenige Daten benötigt, aber schlechter beim Auslesen vieler Tupel c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

21 Navigationsoperationen: Scans Operationen auf Scans Relationen-Scan öffnen open-rel-scan(relationenid) ScanID liefert ScanID zurück, die bei folgenden Operationen zur Identifikation genutzt wird Index-Scan initialisieren open-index-scan(indexid, Min, Max) ScanID liefert ScanID zurück; Min und Max bestimmen Bereich einer Bereichsanfrage next-tid liefert nächsten TID; Scan-Cursor weitersetzen end-of-scan liefert true, falls kein TID mehr im Scan abzuarbeiten close-scan schließt Scan c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

22 Navigationsoperationen: Scans Beispiel: Scan select * from KUNDE where Nachname between Heuer and Jagellowsk c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

23 Navigationsoperationen: Scans Beispiel: Relationen-Scan currscanid open-rel-scan(kunde-relationid); currtid next-tid(currscanid); while end-of-scan(currscanid) do currrec fetch-tuple(kunde-relationid, currtid); if currrec.nachname Heuer and currrec.nachname Jagellowsk then put (currrec); end currtid next-tid(currscanid); end close-scan(currscanid); c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

24 Navigationsoperationen: Scans Relationen-Scan: Prinzip open-rel-scan close-scan next-tid fetch-tuple Satz #1 Satz #2 Satz #i Seite 1 Seite 2 Seite n c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

25 Navigationsoperationen: Scans Beispiel: Index-Scan currscanid open-index-scan(kunde-nachname-indexid, Heuer, Jagellowsk ); currtid next-tid(currscanid); while end-of-scan(currscanid) do currrec fetch-tuple(kunde-relationid, currtid); put(currrec); currtid next-tid(currscanid); end close-scan(currscanid); c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

26 Navigationsoperationen: Scans Index-Scan: Prinzip open-index-scan close-scan TID TID TID Blattseiten next-tid fetch-tuple Seite 1 Seite 2 Seite n c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

27 Navigationsoperationen: Scans Scan-Operationen: Kosten Relationen-Scan cost REL = b r Index-Scan: Bedingung A = c und Primärindex cost IND = lev I(R(A)) + 1 Sekundärindex: val A,r verschiedene Werte, ungünstigster Fall cost IND = lev I(R(A)) + r val A,r c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

28 Navigationsoperationen: Scans Scan-Semantik bei Scan-basierten (positionalen) Änderungsoperationen: Festlegung einer Scan-Semantik Wirkungsweise nachfolgender Scan-Operationen Beispiel: Löschen des aktuellen Satzes Zustände: vor dem ersten Satz, auf einem Satz, in Lücke zwischen zwei Sätzen, hinter dem letzten Satz, in leerer Menge weiterhin: Übergangsregeln für Zustände c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

29 Navigationsoperationen: Scans Scan-Semantik /2 Halloween-Problem (System R): SQL-Anweisung: update PRODUKT set Preis = Preis * 1.1 where Preis > 100 satzorientierte Auswertung mittels Index-Scan über I(PRODUKT(Preis)) und sofortige Index-Aktualisierung ohne besondere Vorkehrungen: unendliche Anzahl von Preiserhöhungen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

30 Unäre Operationen (Selektion, Projektion und Gruppierung) Selektion exakte Suche, Bereichsselektionen, komplex zusammengesetzte Selektionskriterien zusammengesetztes Prädikat ϕ aus atomaren Prädikaten (exakte Suche, Bereichsanfrage) mit and, or, not Tupelweises Vorgehen Gegeben σϕ (r) Relationen-Scan: für alle t r auswerten ϕ(t) Aufwand O( r ), genauer b r c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

31 Unäre Operationen (Selektion, Projektion und Gruppierung) Selektion: Konjunktive Normalform Zugriffspfade bei komplexen Prädikaten einsetzen ϕ analysieren und geeignet umformen etwa ϕ in konjunktive Normalform KNF überführen; bestehend aus Konjunkten heuristisch Konjunkt auswählten, das sich besonders gut durch Indexe auswerten laßt (etwa bei A = c und über A Index) ausgewähltes Konjunkt auswerten; für Ergebnis-TID-Liste andere Konjunkte tupelweise oder mehrere geeignete Konjunkte auswerten und die sich ergebenden TID-Listen schneiden c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

32 Unäre Operationen (Selektion, Projektion und Gruppierung) Projektion Relationenalgebra: mit Duplikateliminierung SQL: keine Duplikateliminierung, wenn nicht mit distinct gefordert (modifizierter Scan) mit Duplikateliminerung: sortierte Ausgabe eines Indexes hilft bei der Duplikateliminierung Projektion auf indexierte Attribute ohne Zugriff auf gespeicherte Tupel c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

33 Unäre Operationen (Selektion, Projektion und Gruppierung) Projektion /2 Projektion π X (r): 1 r nach X sortieren 2 t r werden in das Ergebnis aufgenommen, für die t(x) previous(t(x)) gilt Zeitaufwand: O( r log r ) Falls r schon sortiert nach X: O( r ) Schlüssel K X: O( r ) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

34 Unäre Operationen (Selektion, Projektion und Gruppierung) Aggregation & Gruppierung skalare Aggregation select agg(a) from R Implementierung durch Scan für min, max, count aus Index bzw. Data Dictionary Aggregatfunktionen und Gruppierung select G, agg(a) from R group by G Zusammenfassung als Algebraoperator: γf1 (x 1 ),...,f n(x n),a(r(t)) Implementierungsvarianten: Nested Loops, Sortierung, Hashing c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

35 Unäre Operationen (Selektion, Projektion und Gruppierung) Nested-Loops-Gruppierung currscanid open-rel-scan(relid); create-tmp-relation(tmpld); currtid next-tid(currscanid); while end-of-scan(currscanid) do found false; currrec fetch-tuple(relid, currtid); tmpscanid open-rel-scan(tmpld); tmptid next-tid(tmpscanid); /* innere Schleife */ close-scan(tmpscanid); if found then insert into TmplD (currrec.a, currrec.b); end currtid next-tid(currscanid); end close-scan(currscanid); c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

36 Unäre Operationen (Selektion, Projektion und Gruppierung) Nested-Loops-Gruppierung /2 /* innere Schleife */ while end-of-scan(tmpscanid) do tmprec fetch-tuple(tmpld, tmptid); if currrec.a = tmprec.a then /* Tupel in r(tmpld) aktualisieren */ tmprec.b tmprec.b + currrec.b; found true; break; end tmptid next-tid(tmpscanid); end c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

37 Unäre Operationen (Selektion, Projektion und Gruppierung) Sortierbasierte Gruppierung sort RelD into TmplD using A; tmpscanid open-rel-scan(tmpld); tmptid next-tid(tmpscanid); sumb 0; preva null; while end-of-scan(tmpscanid) do tmprec fetch-tuple(tmpld, tmptid); /* Tupelbehandlung */ tmptid next-tid(tmpscanid); end if preva null then /* letzte Gruppe ausgeben */ put(sumb, preva); end close-scan(tmpscanid); c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

38 Unäre Operationen (Selektion, Projektion und Gruppierung) Sortierbasierte Gruppierung /2 /* Tupelbehandlung */ if preva = null then /* Spezialfall: 1. Tupel */ sumb tmprec.b; preva tmprec.a; else if tmprec.a = preva then sumb sumb + tmprec.b; else /* neue Gruppe beginnen */ put(sumb, preva); sumb tmprec.b; preva tmprec.a; end c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

39 Unäre Operationen (Selektion, Projektion und Gruppierung) Hashbasierte Gruppierung Variante der Nested-Loops-Technik Zuordnung zu Gruppen über Hashfunktion Verbesserungen sukzessive Berechnung der Aggregate Voraussetzung: additive Aggregatfunktionen f (x 1,..., x n ) = g(h(x 1 ),..., h(x n )) für min, max, sum: f = g = h für f =avg: h muss Tupel (sum(x i ), count(x i )) liefern und i g = sum(x i) i count(x i) für median: nicht möglich c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

40 Unäre Operationen (Selektion, Projektion und Gruppierung) Gruppierung: Vergleich Nested Loops: O( r 2 ) (worst case) sortierbasierte Variante: O( r log r ) (bei notwendiger Sortierung) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

41 Binäre Operationen: Mengenoperationen Binäre Operationen: Mengenoperationen Binäre Operationen meist auf Basis von tupelweisem Vergleich der einzelnen Tupelmengen Nested-Loops-Technik oder Schleifeniteration für jedes Tupel einer äußeren Relation s wird die innere Relation r komplett durchlaufen Aufwand: O( s r ) Merge-Technik oder Mischmethode r und s (sortiert) schrittweise in der vorgegebenen Tupelreihenfolge durchlaufen Aufwand: O( s + r ) Falls Sortierung noch vorzunehmen: Sort-Merge-Technik Aufwand r log r und/oder s log s c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

42 Binäre Operationen: Mengenoperationen Mengenoperationen /2 Hash-Methoden kleinere der beiden Relationen in Hash-Tabelle Tupel der zweiten Relation finden ihren Vergleichspartner mittels Hash-Funktion idealerweise Aufwand O( s + r ) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

43 Binäre Operationen: Mengenoperationen Klassen binärer Operationen r s A B C c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

44 Binäre Operationen: Mengenoperationen Klassen binärer Operationen /2 Ergebnisextensionen Übereinstimmung auf allen Attributen Übereinstimmung auf einigen Attributen A Differenz r s Anti-Semi-Verbund B Schnitt r s Verbund, Semi- Verbund C Differenz s r Anti-Semi-Verbund A B r Left Outer Join A C symmetrische Differenz Anti-Verbund (r s) (s r) B C s Right Outer Join A B C Vereinigung r s Full Outer Join c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

45 Binäre Operationen: Mengenoperationen Vereinigung mit Duplikateliminierung Vereinigung durch Einfügen Variante der Nested-Loops-Methoden Kopie einer der beiden Relationen r2 unter dem Namen r 2 anlegen, dann Tupel t 1 r 1 in r 2 einfügen (Zeitaufwand abhängig von Organisationsform der Kopie) Spezialtechniken für die Vereinigung r und s verketten Projektion auf alle Attribute der verketteten Relation Zeitaufwand: O(( r + s ) log( r + s )) (wie Projektion) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

46 Binäre Operationen: Mengenoperationen Vereinigung /2 Vereinigung durch Merge-Techniken (merge-union) 1 r und s sortieren, falls nicht bereits sortiert 2 r und s mischen tr r kleiner als t s s: t r in das Ergebnis, nächstes t r r lesen tr r größer als t s s: t s in das Ergebnis, nächstes t s s lesen t s = t r : t r in das Ergebnis, nächste t r r bzw. t s s lesen Zeitaufwand: O( r log r + s log s ) mit Sortierung, O( r + s ) ohne Sortierung c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

47 Berechnung von Verbunden Berechnung von Verbunden Varianten Nested-Loops-Verbund Block-Nested-Loops-Verbund Merge-Join Hash-Verbund... c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

48 Berechnung von Verbunden Nested-Loops-Verbund doppelte Schleife iteriert über alle t r r und alle t s s bei einer Operation r s foreach t r r do foreach t s s do if ϕ(t r, t s ) then put(t r t s ) end end end c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

49 Berechnung von Verbunden Nested-Loops-Verbund mit Scan R1ScanID open-rel-scan(r1id) ; R1TID next-tid(r1scanid); while end-of-scan(r1scanid) do R1Rec fetch-tuple(r1id,r1tid); R2ScanID open-rel-scan(r2id); R2TID next-tid(r2scanid); while end-of-scan(r2scanid) do /* Scan über innere Relation */ end close-scan(r2scanid); R1TID next-tid(r1scanid); end close-scan(r1scanid); c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

50 Berechnung von Verbunden Nested-Loops-Verbund mit Scan /2 /* Scan über innere Relation */ R2Rec fetch-tuple(r2id,r2tid); if R1Rec.X = R2Rec.Y then put(r1rec.a 1,..., R1Rec.A n, R1Rec.X, R2Rec.B 1,..., R2Rec.B m ); end R2TID next-tid(r2scanid); Verbesserung: Nested-Loops-Verbund verbindet alle t r r mit Ergebnis von σ X=tr (X)(s) (gut bei Index auf X in s) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

51 Berechnung von Verbunden Block-Nested-Loops-Verbund statt über Tupel über Blöcke iterieren foreach Block B r of r do foreach Block B s of s do foreach Tupel t r B r do foreach Tupel t s B s do if ϕ(t r, t s ) then put(t r t s ) end end end end end c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

52 Berechnung von Verbunden Nested-Loops-Verbund: Kosten ohne Indexunterstützung cost LOOP = b r + mit Primärindexunterstützung in s b r mem 1 b s cost LOOP = b r + r (lev I(S(B)) + 1) mit Sekundärindexunterstützung cost LOOP = b r + r (lev I(S(B)) + s val B,s ) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

53 Berechnung von Verbunden Merge-Techniken X := R S; falls nicht bereits sortiert, zuerst Sortierung von r und s nach X 1 t r (X) < t s (X), nächstes t r r lesen 2 t r (X) > t s (X), nächstes t s s lesen 3 t r (X) = t s (X), t r mit t s und allen Nachfolgern von t s, die auf X mit t s gleich, verbinden 4 beim ersten t s s mit t s(x) t s (X) beginnend mit ursprünglichem t s mit den Nachfolgern t r von t r wiederholen, solange t r (X) = t r (X) gilt c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

54 Berechnung von Verbunden Merge-Verbund: Kosten Gesamtkosten cost MERGE = cost r + cost s für Relation r i {r, s} Fall 1: ri liegt sortiert vor cost ri = b ri Fall 2: r i muss sortiert werden cost ri = b ri log mem b ri + b ri c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

55 Berechnung von Verbunden Merge-Join mit Scan Verbund-Attribute auf beiden Relationen Schlüsseleigenschaft (unique, primary key) min(x) und max(x): minimaler bzw. maximaler gespeicherter Wert für X c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

56 Berechnung von Verbunden Vergleiche beim Merge-Join r 1 s c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

57 Berechnung von Verbunden Merge-Join mit Scan /2 R1ScanID open-index-scan(rel1-x-indexld, X min, X max); R1TID next-tid(r1scanid); R1Rec fetch-tuple(rel1d,r1tid); R2ScanID open-index-scan(rel1-x-indexld, X min, X max); R2TID next-tid(r2scanid); R2Rec fetch-tuple(rel2ld,r2tid); while end-of-scan(r1scanid) and end-of-scan(r2scanid) do /* merge */ end close-scan(r1scanid); close-scan(r2scanid); c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

58 Berechnung von Verbunden Merge-Join mit Scan /3 /* merge */ if R1Rec.X < R2Rec.X then R1TID next-tid(r1scanid); R1Rec fetch-tuple(rel1d,r1tid); else if R1Rec.X > R2Rec.X then R2TID next-tid(r2scanid); R2Rec fetch-tuple(rel2ld,r2tid); else put(r1rec.a 1,..., R1Rec.A n, R1Rec.X, R2Rec.B 1,..., R1Rec.B m); R1TID next-tid(r1scanid); R1Rec fetch-tuple(rel1d,r1tid); R2TID next-tid(r2scanid); R2Rec fetch-tuple(rel2ld,r2tid); end c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

59 Berechnung von Verbunden Verbund durch Hashing Idee: Ausnutzung des verfügbaren Hauptspeichers zur Minimierung der Externspeicherzugriffe Finden der Verbundpartner durch Hashing Anfragen der Form r r.a=s.b s Prinzip: 1 Build-Phase: Tupel der kleineren Relation lesen und durch Anwendung einer Hashfunktion h in entsprechende Buckets einordnen 2 Probe-Phase: Tupel der zweiten Relation lesen und unter Anwendung von h Bucket mit potenziellen Verbundpartnern identifizieren 3 Verbundbedingung prüfen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

60 Berechnung von Verbunden Übersicht: Hash-Verbund Hash-Verbund Überlauferkennung Classic Hash Join Begrenzung des Bildbereichs Simple Hash Join Partitionierung des Bildbereichs Hash-partitionierte Verfahren c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

61 Berechnung von Verbunden Prinzip des Hash-Verbundes r Build-Phase h(x) = x mod 5 h(x) x s Probe-Phase 3 4 4,9 c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

62 Berechnung von Verbunden Classic Hash Verbund Vorbereitung: kleinere Relation wird r Ablauf 1 Tupel von r mittels Scan in Hauptspeicher lesen und mittels Hashfunktion h(r.a) in Hashtabelle H einordnen 2 wenn H voll (oder r vollständig gelesen): Scan über s und mit h(s.b) Verbundpartner suchen 3 falls Scan über r nicht abgeschlossen: H neu aufbauen und erneuten Scan über S durchführen Aufwand: O(b r + p b s ) mit p ist Anzahl der Scans über s c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

63 Berechnung von Verbunden Classic Hash Verbund: Algorithmus R1ScanID open-rel-scan(r1id); R1TID next-tid(r1scanid); HTable []; while end-of-scan(r1scanid) do R1Rec fetch-tuple(r1id, R1TID); idx hash(r1rec.x); if overflows(htable) then join-with-hashtable(htable, R2ID); insert into HTable [idx] (R1Rec); R1TID next-tid(r1scanid); end close-scan(r1scanid); join-with-hashtable(htable, R2ID); c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

64 Berechnung von Verbunden Classic Hash Verbund: join-with-hashtable Input: Hashtabelle HTable Relation R2ID R2ScanID open-rel-scan(r2id); R2TID next-tid(r2scanid); while end-of-scan(r2scanid) do R2Rec fetch-tuple(r2id, R2TID); idx hash(r2rec.x); foreach t HTable [idx] do if R2Rec.X = t.x then put(t.a 1,..., t.a n, t.x, R2Rec.B 1,..., R2Rec.B m ); end end R2TID next-tid(r2scanid); end close-scan(r2scanid); HTable []; c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

65 Berechnung von Verbunden Simple Hash Verbund Nachteil des Classic Hash Verbunds: mehrmaliges Lesen der zweiten Relation Verbesserung: auch zweite Relation partitionieren Simple Hash Verbund Bereich der Hashwerte vorab auswählen und nur betroffene Tupel in Hashtabelle einfügen verbleibende Tupel in temporärer Relation (Überlaufbereich) sichern (für r und s) anschließend: rekursive Behandlung der temporären Relationen Verbundkandidaten können nur in temporären Relationen sein! c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

66 Berechnung von Verbunden Partitionierung mittels Hashfunktion Trennung von Partitionierungs- und Verbundphase Tupel aus r und s über X in gemeinsame Datei mit k Blöcken (Buckets) hashen Tupel in gleichen Buckets durch Verbundalgorithmus verbinden c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

67 Berechnung von Verbunden Vergleich der Techniken s s s r r r Nested-Loops-Join Merge-Join Hash-Join c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai

68 Berechnung von Verbunden Zusammenfassung Kostenparameter und -formeln Varianten von Scans unäre und binäre Operatoren Verbundimplementierungen Literatur: Datenbanken: Implementierungstechniken, Kapitel 6 c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 12. Mai