Physische Anfrageoptimierung

Transkript

1 Web Science & Technologies University of Koblenz Landau, Germany Grundlagen der Datenbanken Dr. Jérôme Kunegis Wintersemester 201/14

2 Ziel der physischen Optimierung π[titel] Konkrete Implementation der Operatoren einsetzen π[persnr] π[titel, gelesenvon] σ[name = 'Einstein'] Professoren Vorlesungen Mehrere Implementation des gleichen logischen Operators Auswahl der am besten geeigneten Implementation 2

3 Iteratorkonzept

4 Prozeduraler Ansatz π[titel] Jeder Operator ist eine Prozedur π PersNr π Titel, gelesenvon Einfach zu implementieren σ name = 'Einstein' Professoren Vorlesungen Zwischenergebnisse müssen immer komplett vorgehalten werden 4

5 Iteratorkonzept Operatoren zum Durchlaufen der Ergebnismenge Liefern immer nur ein (nächstes) Tupel Iterator Abstrakter Datentyp Standard-Methoden Open Next Close Im Idealfall müssen keine Zwischenergebnisse gespeichert werden Schwieriger zu implementieren Cost Size Kostenmodelle 5

6 Pull-based Query Evaluation Wurzeliterator next open Ergebnis 6

7 Pipelining vs. Pipeline-Breaker R S T 7

8 Pipelining vs. Pipeline-Breaker R S T 8

9 Pipeline-Breaker Unäre Operationen Sortieren (SORT BY) Duplikaten-Elimination (UNIQUE, DISTINCT) Aggregierende Operatoren (MIN, MAX, SUM, ) Binäre Operationen Mengendifferenz (MINUS, WHERE NOT) Je nach Implementierung Join (JOIN, ) 9

10 Iteratortypen und deren Implementation 10

11 Iteratortypen 1. Selektion 2. Matching Join Mengendurchschnitt Mengendifferenz. Gruppierung Duplikate Aggregation 4. Projektion (Vereinigung) 5. Zwischenspeicher Sortierung, Hashing, B-Baum 11

12 Selektion (Brute Force) Select σ[p] open next close cost size open: Öffne Eingabe (open bei Vorgänger) next: Hole Tupel von Vorgänger (wiederholt next aufrufen) bis ein Tupel die Bedingung P erfüllt oder der Vorgänger keine Tupel mehr liefert. Gib dieses Tupel zurück (wenn vorhanden) close: Schließe Eingabe (close bei Vorgänger) 12

13 Selektion mit Index (z.b. B-Baum) IndexSelect σ[p] open next close cost size open: Öffne Eingabe Schlage in Index erste Stelle nach, die P erfüllt next: Gib nächstes Tupel zurück sofern P noch erfüllt ist close: Schließe Eingabe 1

14 Matching: Join, Schnitt & Differenz Studenten MatrNr Name 209 Adam 210 Berta 211 Claus 212 Dora hoeren MatrNr VorlNr Studenten hoeren MatrNr Name VorlNr 209 Adam Adam Claus Dora 5022 Mengenschnitt und -differenz: Analog zu Join, mit Vergleich über alle Attribute der Tupel 14

15 Join: Brute-Force-Ansatz Nested loop brute force -Algorithmus Input: Relationen R, S mit Attributen R.B und S.A Output: Relation Ret = R A=B S Äußere Relation / Schleife Ret = {} foreach r R Innere Relation / Schleife foreach s S if s.b == r.a then Ret = Ret ( r s) Hinweis: r s ist Verbund von r und s Bei Mengendifferenz R \ S muss R immer die Äußere Relation sein 15

16 Join: Nested Loop (Brute Force) NestedLoopJoin A=B open next close cost size open: Öffne linke Eingabe und hole erstes linkes Tupel r next: Öffne rechte Eingabe falls noch geschlossen Hole rechtes Tupel s bis r.a = s.b erfüllt ist Falls rechts keine Tupel mehr liefert: Schließe rechte Eingabe Hole nächstes linkes Tupel r Starte next von vorne (für diesen Operator) Gib Verbund r s zurück close: Schließe beide Eingaben Zwei Vorgänger 16

17 Join: Blocked Nested Loop Eingaben Seitenweise laden Kapazität des Hauptspeichers ausnutzen Platz für m Seiten Block Nested Loop Verfeinerter brute force -Algorithmus Lade (m k) Seiten der äußeren Relation (R) Lade k Seiten der inneren Relation (S) Vergleiche die Tupel in den Seiten im Hauptspeicher Optimale Parameterwahl: k = max(1, m R ) Ideal wenn R < m, d.h. wenn R komplett in den Hauptspeicher passt Als äußere Relation die kleinere Relation wählen: R < S Innere Relation abwechselnd rückwärts durchlaufen spart einige Seitenzugriffe ( R und S sind Anzahl der Seiten in jeder Relation. )

18 Join: Blocked Nested Loop R m k m k m k m k m k S k k k k k k k k Anzahl Zugriffe auf Plattenspeicher = O( R + S R / (m k)) 18

19 Join: Merge Join Voraussetzung: Eingaben sind beide nach Joinattribut sortiert (z.b. B-Baum) Falls A oder B eindeutiges Attribut ist, wird jedes Tupel in R und S nur genau einmal gelesen Implementation: zwei Iteratoren ( ) C R A B S D

20 Join: Index Join Voraussetzung: Mindestens eine der Eingaben hat einen Index 20

21 Join: Index Join IndexJoin A=B open next close cost size Index auf rechte Eingabe open: Öffne linke Eingabe und hole erstes linkes Tupel Öffne rechte Eingabe next: Hole nächstes passendes Tupel aus rechter Eingabe Falls rechts kein passendes Tupel mehr Hole nächstes Tupel von links und schlage rechts nach State next von vorne (in diesem Operator) Gib Verbund von linken und rechtem Tupel zurück close: Schließe beide Eingaben 21

22 Join: Hash Join Idee: Daten so partitionieren, dass die Hashtabelle in den Hauptspeicher (m Seiten) passt Partitionierung: Definiert über kleinere Relation (build input) Hashfunktion zur Abbildung auf (m 1) Partitionen Je eine Seite pro Partition Speicherung der Partitionen Bei Überlauf Rekursion (Partitionierung der Partitionen mit orthogonaler Hashfunktion) Partitionierung der größeren Relation (probe input) Berechnung des Verbunds: Laden von (m 1) Seiten aus den build-partitionen Seitenweises Durchlaufen der probe-partitionen 22

23 Join: Hash-Join Anschaulich: Einschränkung des Suchraumes beim Nested-Loop ABER: Pipeline-Breaker 2

24 Join: Hash Join R R S S mod mod

25 Gruppierung Analogie zum Join: Relation mit sich selbst vergleichen Duplikaten-Entfernung wichtig wegen Mengensemantik: Brute force (Nested Loop) NestedDup Vorhandene Sortierung kann ausgenutzt werden SortedDup Index: In B-Baum liegen die gleichen Werte direkt hintereinander Hash-Index: gleicher Bucket IndexDup Allgemein: Ähnliches Vorgehen wie Hash-Join oder künstlich Sortierung einfügen 25

26 Projektion Project π[a] open next close cost size open: Öffne Eingabe next: Hole Tupel von Vorgänger und reduziere die Attributmenge auf A Gib tupel zurück close: Schließe Eingabe 26

27 Zwischenspeicher Puffer Ablegen im Hintergrundspeicher Sinnvoll, wenn Zwischenergebnisse mehrfach benötigt werden (z.b. Nested-Loop-Join) Puffer mit Index B-Baum und Varianten Hash-Index Gesonderte Funktion Sortieren (i.a. nicht im Hauptspeicher möglich) Für die Ausgabe Als Vorbereitung für effizientere Operatoren Nested-Loop: O(NM) Sortieren: O(N log N + M log M), dann Merge-Join O(N + M) 27

28 Illustration: Externes Sortieren

29 Illustration: Externes Sortieren sort 29

30 Illustration: Externes Sortieren

31 Illustration: Externes Sortieren sort

32 Illustration: Externes Sortieren

33 Illustration: Externes Sortieren sort

34 Illustration: Externes Sortieren merge

35 Illustration: Externes Sortieren 2 merge

36 Illustration: Externes Sortieren 2 merge

37 Illustration: Externes Sortieren 2 5 merge

38 Illustration: Externes Sortieren merge

39 Illustration: Externes Sortieren merge

40 Illustration: Externes Sortieren merge

41 Illustration: Externes Sortieren merge

42 Illustration: Externes Sortieren mit B-Baum B-Baum

43 Mehrstufiges Sortieren + Merge Wenn beim Zerlegen mehr Stücke entstehen als im Hauptspeicher Platz für Seiten ist Iteratives Zusammenlegen von Stücken Level 0 m Level 1 m Level 2 4

44 Übersetzung der logischen Algebra 44

45 Übersetzung der logischen Algebra: Join NestedLoop R.A=S.B MergeJoin R.A=S.B R [Bucket] [SortR.A] [SortS.B] S A=B R S IndexJoin R.A=S.B R S R [Hash S.B Tree S.B] HashJoin R.A=S.B S R S 45

46 Übersetzung der logischen Algebra: Selektion IndexSelect P R σ P Select P R R 46

47 Übersetzung der logischen Algebra [IndexDup] [Hash Tree] π A [SortDup] Project A R [NestedDup] R [Sort] Project A R Project A R 47

48 Wiederholung der Optimierungsphasen SELECT DISTINCT s.semester FROM Studenten s, hören h, Vorlesungen v, Professoren p WHERE p.name = 'Einstein' AND v.gelesenvon = p.persnr AND v.vorlnr = h.vorlnr AND h.matrnr = s.matrnr π semester σ name = 'Einstein' p v s h 48

49 s s h v h v 49

50 Zusammenfassung Physische Optimierung Auswahl konkreter Operatorimplementierungen für den Operatorbaum Vielzahl an physischer Imlentierungen der logischen Operatoren Iteratorkonzept verringert die Notwendigkeit Zwischenergebnisse zu speichern Ergebnis: Operatorbaum mit konkreten Implementierungen Abhängig von physischer Umsetzung 50

51 Fragen? 51