Anfrageoptimierung Physische Optimierung

Transkript

1 Institute for Web Science & Technologies WeST Grundlagen der Datenbanken Physische Optimierung Dr. Thomas Gottron Wintersemester 01/1

2 Ziel der phyischen Optimierung Konkrete Implementation der Operatoren einsetzen π[persnr] π[titel, gelesenvon] Professoren Vorlesungen Mehrere Implementation des gleichen logischen Operators Auswahl der am besten geeigneten Implementation Thomas Gottron GLDB 01/1

3 Iteratorkonzept Thomas Gottron GLDB 01/1

4 Iterator vs. Prozeduraler Ansatz Jeder Operator ist eine Prozedur π[persnr] π[titel, gelesenvon] Einfach zu implementieren Professoren Vorlesungen Zwischenergebnisse müssen immer komplett vorgehalten werden Thomas Gottron GLDB 01/1 4

5 Iteratorkonzept Operatoren zum Durchlaufen der Ergebnismenge Liefern immer nur ein (nächstes) Tupel Iterator Abstrakter Datentyp Standard-Methoden Open Next Close Cost Kostenmodelle Size Im Idealfall müssen keine Zwischenergebnisse gespeichert werden Schwieriger zu implementieren Thomas Gottron GLDB 01/1

6 Pull-based Query Evaluation Wurzeliterator next open Return Ergebnis Thomas Gottron GLDB 01/1 6

7 Pipelining vs. Pipeline-Breaker R S T Thomas Gottron GLDB 01/1 7

8 Pipelining vs. Pipeline-Breaker R S T Thomas Gottron GLDB 01/1 8

9 Pipeline-Breaker Unäre Operationen sort Duplikatelimination (unique,distinct) Aggregatoperationen (min,max,sum,...) Binäre Operationen Mengendifferenz Je nach Implementierung Join Thomas Gottron GLDB 01/1 9

10 Iteratortypen und deren Implementation Thomas Gottron GLDB 01/1 10

11 Iteratortypen 1. Selektion. Matching Join Mengendurchschnitt Mengendifferenz. Gruppierung Duplikate Aggregation 4. Projektion (Vereinigung). Zwischenspeicher Sortierung, Hashing, B-Baum Thomas Gottron GLDB 01/1 11

12 Selektion (Brute Force) Select P open next close cost size open: Öffne Eingabe (open bei Vorgänger) next: Hole Tupel von Vorgänger (wiederholt next aufrufen) bis ein Tupel P erfüllt oder der Vorgänger keine Tupel mehr liefert. Gib dieses Tupel zurück close: Schließe Eingabe (close bei Vorgänger) Thomas Gottron GLDB 01/1 1

13 Selektion mit Index (B + -Baum) IndexSelect P open next close cost size open: Öffne Eingabe Schlage in Index erste Stelle nach die P erfüllt next: Gib nächstes Tupel zurück sofern P noch erfüllt ist. close: Schließe Eingabe Braucht man noch den Brute Force Select Iterator? Thomas Gottron GLDB 01/1 1

14 Join Studenten P hören Studenten MatrNr Name 09 Adam 10 Berta 11 Claus 1 Dora hören MatrNr VorlNr Studenten hören MatrNr Name VorlNr 09 Adam Adam Claus Dora 0 Mengenschnitt und -differenz: Vergleiche über alle Attribute der Tupel Thomas Gottron GLDB 01/1 14

15 Join: Brute Force Ansatz Nested loop brute force -Algorithmus Äußere Relation / Schleife foreach r R foreach s S if s.b = r.a then Res := Res (r s) Innere Relation / Schleife Thomas Gottron GLDB 01/1 1

16 Join: Nested Loop (Brute Force) NestedLoop P open next close cost size open: Öffne linke Eingabe und hole erstes linkes Tupel next: Öffne rechte Eingabe falls noch geschlossen Hole rechtes Tupel bis P erfüllt ist Falls rechts keine Tupel mehr liefert: Schließe rechte Eingabe Hole nächstes linkes Tupel Starte next von vorne (in diesem Operator) Gib Verbund von linkem und rechtem Tupel zurück close: Schließe beide Eingaben Vorgänger Thomas Gottron GLDB 01/1 16

17 Join: Blocked Nested Loop Eingaben Seitenweise laden Kapazität des Hauptspeichers ausnutzen Platz für m Seiten Blocked Nested loop Verfeinerter brute force -Algorithmus Lade m-k Seiten der äußeren Relation Lade k Seiten der inneren Relation Vergleiche die Tupel in den Seiten im Hauptspeicher Optimale Parameterwahl: k=1 und kleine äußere Relation Ideal wenn die äußere Relation komplett in den Hauptspeicher passt Innere Relation abwechseln rückwärts durchlaufen spart einige Seitenzugriffe Thomas Gottron GLDB 01/1

18 Join: Blocked Nested Loop R m-k m-k m-k m-k m-k S k k k k k k Teuer aber auch für Theta-Joins geeignet! Thomas Gottron GLDB 01/1 18

19 Join: Merge Join Voraussetzung: Eingaben sind nach Joinattribut sortiertert falls A oder B Schlüsselattribut ist, wird jedes Tupel in R und S nur genau einmal gelesen Thomas Gottron GLDB 01/1 0

20 Join: Index Join Voraussetzung: Mindestens eine der Eingaben hat einen Index Thomas Gottron GLDB 01/1 1

21 Join: Index Join open: Öffne linke Eingabe und hole erstes linkes Tupel Öffne rechte Eingabe next: IndexJoin P open next close cost size Hole nächstes passendes Tupel aus rechter Eingabe Falls rechts kein passendes Tupel mehr Hole nächstes Tupel von links und schlage rechts Starte next von vorne (in diesem Operator) Gib Verbund von linken und rechtem Tupel zurück close: Schließe beide Eingaben Index auf rechter Eingabe Jedes Ergebnistupel erfordert mindestens einen Seitenzugriff Thomas Gottron GLDB 01/1

22 Join: Hash-Join Idee: Daten so partitionieren, dass die Hashtabelle in Hauptspeicher (m Seiten) passt Partitionierung: Definiert über kleinere Relation (build input) Hashfunktion zur Abbildung auf m 1 Partitionen Je eine Seite pro Partition Speicherung der Partitionen Bei Überlauf Rekursion (Partitionierung der Partitionen mit orthogonaler Hashfunktion) Partitionierung der größeren Relation (probe input) Berechnung des Verbunds: Laden von m 1 Seiten aus den build Partitionen Seitenweises Durchlaufen der probe Partitionen Thomas Gottron GLDB 01/1

23 Join: Hash-Join Anschaulich: Einschränkung des Suchraumes beim Nested-Loop ABER: Pipeline-Breaker Thomas Gottron GLDB 01/1 4

24 Beispiel: Hash-Join / Mengendurchschnitt R R S Hauptspeicher: 4 Seiten Tupelgröße: Tupel pro Seite S Thomas Gottron GLDB 01/1 6

25 Beispiel: Hash-Join / Mengendurchschnitt Probe input Build input R S S Thomas Gottron GLDB 01/1 7

26 Beispiel: Hash-Join / Mengendurchschnitt Mod Probe input Build input R S S Thomas Gottron GLDB 01/1 8

27 Beispiel: Hash-Join / Mengendurchschnitt Mod R S S Thomas Gottron GLDB 01/1 9

28 Beispiel: Hash-Join / Mengendurchschnitt Mod Mod R R S S Thomas Gottron GLDB 01/1 0

29 Beispiel: Hash-Join / Mengendurchschnitt Mod Mod R S = {, 1,, 44, } R R S S Thomas Gottron GLDB 01/1 1

30 Gruppierung Analogie zum Join: Relation mit sich selbst vergleichen Duplikatentfernung wichtig wegen Mengensemantik: Brute force (Nested Loop) NestedDup Vorhandene Sortierung kann ausgenutzt werden SortedDup Index: In B + -Baum liegen die gleichen Werte direkt hintereinander Hash-Index: gleicher Bucket IndexDup Allgemein: Ähnliches Vorgehen wie Hash-Join oder künstlich Sortierung einfügen. Thomas Gottron GLDB 01/1

31 Projektion Project A open next close cost size open: Öffne Eingabe next: Hole Tupel von Vorgänger und reduziere die Attributemenge auf A Gib Tupel zurück close: Schließe Eingabe Vereinigung ähnlich aber mit zwei Eingängen Thomas Gottron GLDB 01/1

32 Zwischenspeicher Puffer Ablegen im Hintegrundspeicher Sinnvoll, wenn Zwischenergebnisse mehrfach benötigt werden (z.b. Nested-Loop-Join) Puffer mit Index B + -Baum Hash Index Gesonderte Funktion Sortieren (i.a. nicht im Hauptspeicher möglich!) Für die Ausgabe Als Vorbereitung für Effizientere Operatoren Nested-Loop: O(N M) Sortieren: O(N log N), dann Merge-Join Thomas Gottron GLDB 01/1 4

33 Illustration: Externes Sortieren Thomas Gottron GLDB 01/1

34 Illustration: Externes Sortieren Thomas Gottron GLDB 01/1 6

35 Illustration: Externes Sortieren sort Thomas Gottron GLDB 01/1 7

36 Illustration: Externes Sortieren sort Run 1 Thomas Gottron GLDB 01/1 8

37 Illustration: Externes Sortieren Thomas Gottron GLDB 01/1 9

38 Illustration: Externes Sortieren sort Run Thomas Gottron GLDB 01/1 40

39 Illustration: Externes Sortieren Thomas Gottron GLDB 01/1 41

40 Illustration: Externes Sortieren sort Run Thomas Gottron GLDB 01/1 4

41 Illustration: Externes Sortieren merge Thomas Gottron GLDB 01/1 4

42 Illustration: Externes Sortieren merge Thomas Gottron GLDB 01/1 44

43 Illustration: Externes Sortieren merge Thomas Gottron GLDB 01/1 4

44 Illustration: Externes Sortieren merge Thomas Gottron GLDB 01/1 46

45 Illustration: Externes Sortieren merge Thomas Gottron GLDB 01/1 47

46 Illustration: Externes Sortieren Thomas Gottron GLDB 01/1 48

47 Externes Sortieren mit Heap Heap Run 1 Run Run Thomas Gottron GLDB 01/1 49

48 Externes Sortieren mit Heap Heap Sortierung Thomas Gottron GLDB 01/1 0

49 Externes Sortieren mit Heap Heap Thomas Gottron GLDB 01/1 1

50 Externes Sortieren mit Heap Thomas Gottron GLDB 01/1

51 Externes Sortieren mit Heap Wichtig: aus Run nachladen (also aus dem Run, aus dem das entfernte Objekt stammte) Run Thomas Gottron GLDB 01/1

52 Externes Sortieren mit Heap Thomas Gottron GLDB 01/1 4

53 Externes Sortieren mit Heap Thomas Gottron GLDB 01/1

54 Externes Sortieren mit Heap Thomas Gottron GLDB 01/1 6

55 Externes Sortieren mit Heap Thomas Gottron GLDB 01/1 7

56 Externes Sortieren mit Heap Thomas Gottron GLDB 01/1 8

57 Mehrstufiges Mischen / Merge Wenn beim Zerlegen mehr Stücke entstehen als im Hauptspeicher Platz für Seiten ist Iteratives Zusammenlegen von Stücken L e v e l 0 m L e v e l 1 m L e v e l Thomas Gottron GLDB 01/1 9

58 Übersetzung der logischen Algebra Thomas Gottron GLDB 01/1 60

59 Übersetzung der logischen Algebra NestedLoop R.A=S.B MergeJoin R.A=S.B R [Bucket] [Sort R.A ] [Sort S.B ] S R S R.A=S.B IndexJoin R.A=S.B R S R [Hash S.B Tree S.B ] HashJoin R.A=S.B S Thomas Gottron GLDB 01/1 61 R S

60 Übersetzung der logischen Algebra IndexSelect P R P R Select P R Thomas Gottron GLDB 01/1 6

61 Übersetzung der logischen Algebra [IndexDup] [Hash Tree] Project l R [NestedDup] l R [SortDup] Sort Project l R Project l R Thomas Gottron GLDB 01/1 6

62 Wiederholung der Optimierungsphasen select distinct s.semester from Studenten s, hören h Vorlesungen v, Professoren p where p.name = Sokrates and v.gelesenvon = p.persnr and v.vorlnr = h.vorlnr and h.matrnr = s.matrnr s.semester p.name = Sokrates and... p v s h Thomas Gottron GLDB 01/1 64

63 s s h v h v Thomas Gottron GLDB 01/1 6

64 Zusammenfassung Physische Optimierung Auswahl konkreter Operatorimplementierungen für den Operatorbaum Vielzahl an physischer Imlentierungen der logischen Operatoren Iteratorkonzept verringert die Notwendigkeit Zwischenergebnisse zu speichern Ergebnis: Operatorbaum mit konkreten Implementierungen Abhängig von physischer Umsetzung Thomas Gottron GLDB 01/1 66

65 Fragen? Thomas Gottron GLDB 01/1 67