6. Anfragebearbeitung

Transkript

1 6. Anfragebearbeitung 6.1 Einleitung 6.2 Indexstrukturen 6.3 Grundlagen der Anfrageoptimierung 6.4 Logische Anfrageoptimierung 6.5 Kostenmodellbasierte Anfrageoptimierung 55

2 Fokus: Effiziente Berecnung der Joinoperation Zur Vereinfachung: equi join select * from r, S s where r.a = s.b also 56

3 Einfacher Nested-Loop-Join Algoithmus Matrixnotation for each Tupel r do for each Tupel s S do if r. A s. B then result : result ( r s) B 1 () B 2 () B 1 (S) B 2 (S) B 3 (S) Der einfache Nested-Loop-Join entspricht der Bildung des kartesischen Produktes in kanonischer Ordnung mit anschließender Selektion. Die elation S wird mal eingelesen: Performanz ist deshalb inakzeptabel S wird als innere elation und als äußere elation bezeichnet 57

4 Nested-Block-Loop-Join Berücksichtige, dass elationen und S auf Blöcke verteilt sind Algoithmus Matrixnotation for each Block B lade Block B for each Block B lade Block B do S do for each Tupel r B for each Tupel s B S B 1 (S) B 2 (S) B 3 (S) S do do if r. A s. B then result : result ( r s) S B 1 () B 2 () 58

5 Nested-Block-Loop-Join (cont.) Beispiel S Angestellter Gehaltsgruppe Müller 1 Schneider 2 Schuster 1 Schmidt 2 Schütz 1 B S (1) B S (3) B S (3) Gehaltsgruppe Gehalt B (1) B (2) Anzahl Blockzugriffe: B +B S B = 8 Blockzugriffe ohne Cache (B = Anzahl Blöcke der elation ) D.h. die kleinere elation sollte die äußere sein 59

6 Cache Strategien für Nested-Block-Loop-Join Strategie 1 Seiten der inneren elation (S) im Cache halten Cache wird überhaupt nicht ausgenutzt, wenn Cache kleiner als elation S ist Beispiel: 2 Seiten Cache für S, 1 Seite Cache für ( : Zugriff Platte) B (1) B S (1) B S (2) B S (3) B (2) B S (1) B S (2) B S (3) B S (1) B S (2) B S (3) B (1) B (2)

7 Cache Strategien für Nested-Block-Loop-Join Strategie 2 Seiten der inneren elation (S) im Cache, aber innere elation jedes zweite mal rückwärts Pro Durchlauf der äußeren Schleife werden ( C -1) Blockzugriffe eingespart (ab 2. Durchlauf) C = Anzahl Blöcke, die in den Cache passen, ein Cache-Block wird jeweils für äußere elation () benötigt Blockzugriffe: B+ B (BS - C + 1) + C - 1 Beispiel: 2 Seiten Cache für S, 1 Seite Cache für B (1) B S (1) B S (2) B S (3) B (2) B S (3) B S (2) B S (1) B S (1) B S (2) B S (3) B (1) B (2)

8 Cache Strategien für Nested-Block-Loop-Join Strategie 3 C -1 Blöcke der äußeren elation werden in den Cache eingelesen, zu jedem Block der inneren elation werden diese Blöcke gejoint Blockzugriffe: B B BS C 1 Beispiel: 2 Seiten Cache für, 1 Seite Cache für S B (1) B (2) B S (1) B S (2) B S (3) B S (4) B S (5) B (3) B (4) B S (1) B S (2) B S (3) B S (4) B S (5) B S (1) B S (2) B S (3) B S (4) B S (5) B (1) B (2) B (3) B (4)

9 Cache Strategien für Nested-Block-Loop-Join Strategie 3 - Algorithmus for i: 1to B lade Block B for each Block B lade Block B step C 1do ( i) B S for each Tupel r B for each Tupel s B if r. A s. B then S S ( i C 2) do (i) B do result : result ( r s) S ( i C 2) do Leistung: * S Vergleiche von Tupel (ist nur bei schlechter Selektivität gerechtfertigt) Effizienteste Ausführung von θ Joins mit θ = (also allen Joins außer Equi- Joins) 63

10 Blockgrößen-Optimierung NBL-Join Problem Zu kleine Blockgröße: Innere elation wird in sehr kleinen Schritten eingelesen Bei jedem I/O-Auftrag Latenzzeit des Plattenlaufwerks Zu große Blockgröße (z.b.: Cache wird in 2-3 Blöcke geteilt): Zu wenig Cache steht für die äußere elation zur Verfügung Innere elation muss öfter gescanned werden Äquivalente Frage: Wie viel vom Cache für äußere/innere elation? 64

11 Blockgrößen-Optimierung NBL-Join (cont) Parameter f bzw. f S : Größe der elationen in Bytes c: Größe des Cache in Bytes t tr : Transferzeit pro Byte t lat : durchschnittliche Latenzzeit des Disk-Laufwerkes b: Blockgröße (Parameter, der optimiert wird) 65

12 Blockgrößen-Optimierung NBL-Join (cont) I/O-Kosten Anzahl Blockzugriffe Äußere elation B Suchen zum aktuellen Block von + Suchen zum Start von S Innere elation S B B S B C 1 t NLJoin B (2t C 1 seek t lat b ( C 1) t tr ) B S B ( t C 1 lat b t tr ) t NLJoin in einer Leseoperation werden C -1 Blöcke der äußeren elation gelesen ignorieren, da nur 1x und in großen Blöcken Jeweils ein Block wird gelesen, aber nächster Block startet meist auf gleicher Spur fs b c f / b / b1 t lat b t tr 66

13 Blockgrößen-Optimierung NBL-Join (cont) I/O-Kosten t NLJoin fs b c f / b / b1 t lat b t tr Weglassen der undungsfunktion (unproblematisch für f, f S >> b, d.h. relativer Fehler ist vernachlässigbar) ergibt stückweise differenzierbaren Term t NLJoin b 2 fs f ( c / b 1) t lat b t tr 67

14 Blockgrößen-Optimierung NBL-Join (cont) t NLJoin b 2 fs f ( c / b 1) t lat b t tr Optimierung der Hüllfunktion t hull b 2 fs f (( c / b) 1) t lat b t tr Joinkosten bei f = f S = 10MByte c = 500 KByte t lat = 5 ms t tr = 0,25 s /MByte b opt = 85 KByte 68

15 Blockgrößen-Optimierung NBL-Join (cont) Optimierung durch Differenzieren Gleichsetzen der 1. Ableitung mit 0 2 Lösungen, von denen nur eine positiv ist 0 t b hull b opt t 2 lat t Lösung ist Minimum (aus 2. Ableitung erkennbar) An den Stellen, an denen c / b konstant ist, ist t NLJoin streng monoton fallend (negative Ableitung) Deshalb kann das Minimum von t NLJoin nur an der ersten Sprungstelle links oder rechts vom Minimum von t hull sein: tr t t tr lat c t lat c b 1 c /, b2 c / b c opt b opt 69

16 Blockgrößen-Optimierung NBL-Join (cont) Was sind denn eigentlich die CPU-Kosten? Im wesentlichen müssen S * Vergleiche durchgeführt werden Vergleich: I/O- versus CPU-Kosten Beispiel: S = = Tupel und f S und f jeweils ca. 10 MB Bearbeitungszeit eines Vergleichs durchschnittlich 0,1 s I/O-Zeit bei optimaler Seitengröße (85 KB) ca. 75 sec CPU-Zeit: ca sec => Der NBL-Join ist CPU-bound!!! Daher im Folgenden: Maßnahmen zur Senkung des CPU-Aufwands 70

17 Sort-Merge-Join Zweistufiger Algorithmus 1.Schritt: sortiere sortiere 2.Schritt: j 1; for i 1to do while s.b j 1; if r. A s. B then bzgl. Attribut S bzgl. Attribut s erstes Tupel von S; r i - tes Tupel von ; j s r.a j - tes Tupel von S; A B result : result (( r r. A) s); Achtung: Dieser Algorithmus funktioniert nur, falls und S auf dem Joinattribut keine Duplikate enthalten. Wie muss der Algorithmus erweitert werden um Duplikate zu erfassen? S Matrixnotation

18 Sort-Merge-Join (cont.) Leistung Jede elation wird genau einmal durchlaufen: O( + S ) Vergleiche Sortieren der elation kostet O( log + S log S ) Sortieren ist nicht notwendig, wenn bereits ein Index existiert Verfahren versagt, wenn in beiden elationen sehr viele Duplikate (d.h. mehr als in den Puffer passen) auftreten. In diesem Fall muss auf Nested-Loop-Join umgeschaltet werden 72

19 Einfacher Hash-Join eduktion des CPU-Aufwandes bei der Join-Berechnung Der Join-Partner eines S-Tupels wird gezielt mit Hilfe eines Hash- Verfahrens gesucht, anstatt das S-Tupel sequentiell mit jedem Tupel der elation zu vergleichen. Zu diesem Zweck wird die elation gehasht, d.h. es wird zu allen Tupeln der Hash-Key bestimmt und die Tupel in einer Tabelle unter diesem Key eingetragen. Nicht alle -Tupel, die den passenden Hash-Key haben, sind Join- Partner eines S-Tupels, aber alle Join-Partner haben denselben Hash- Key. Im Idealfall soll der Join im Hauptspeicher ablaufen: die Hashtabelle soll für die kleinere elation erzeugt werden. Hash-Join Verfahren können nur für Equi-Join und Natürlichen Join effizient genutzt werden. 73

20 Einfacher Hash-Join (cont.) Algoithmus for each Tupel r do berechne adr hash(r) ; speichere r in HT[adr] ab; for each Tupel s S do //prüfe in der Hashtabelle HT berechne adr hash(s) ; for each Tupel r HT[ adr] do if r. A s. B then result : result (( r r. A) s) Matrixnotation hash(x) = MOD 3 Leistung hängt stark ab von der Güte der Hashfunktion: O( + S ) im Idealfall verschlechtert sich, wenn Werte ungleichmäßig belegt sind Modifikation ist notwendig, wenn Hauptspeicher zu klein (kleiner als ) 74

21 Hashed-Loop-Join Kombination aus dem Nested-Loop-Join und dem einfachen Hash- Join elation wird in große Blöcke eingeteilt, deren Hashtabellen in den Puffer passen Für jeden dieser Blöcke wird die elation S gescannt und ein einfacher Hash-Join durchgeführt Algorithmus repeat lese soviel Tupel von in Hauptspeicher bis der Platz aufgebraucht ist; erzeuge für diese Tupel eine Hashtabelle for each Tupel s S do berechneadr for each Tupel r HT[ adr] do if r. A s. B then hash(s) ; result : result (( r r. A) s) until alle Tupel der elation HT; sind eingelesen; 75

22 Hashed-Loop-Join (cont.) Matrixnotation -Tupel, die in den Puffer passen auf den einzelnen Blöcken: Hash-Join Ablauf Schritt A: S Hintergrundspeicher 1. Eintragen der Tupel von in die Hashtabelle, bis sie voll ist 2. Prüfen, ob Einträge für Hashwert der Tupel von S in der Hashtabelle vorhanden sind und ggf. Bildung des Joins Schritt B: Wiederhole Schritt A für die restlichen Tupel von Hashtabelle Hauptspeicher 76

23 Hash-Partitioned-Join (a.k.a. GACE) Hashed-Loop-Join zerlegt elationen willkürlich in Blöcke, jeder Block von muss mit jedem Block von S kombiniert werden Idee: Zerlege und S mit einer Hashfunktion in Partitionen, so dass nur Partitionen mit demselben Hash-Key kombiniert werden müssen Zweistufiges Verfahren Partitioniere die elationen und S in 1,, N und S 1,,S N Berechne den Join der einzelnen Partitionen i und S i mit einem beliebigen Join Verfahren Matrixnotation -Tupel, die in den Puffer passen Auf den einzelnen Blöcken: einfacher Hash-Join oder Hashed-Loop-Join 77

24 Hash-Partitioned-Join (a.k.a. GACE) (cont.) Ablauf Partitionierungsphase Hintergrundspeicher Puffer 1 Puffer 2 Puffer 3 Puffer n n Join-Phase Hauptspeicher Hintergrundspeicher i S i 1. Eintragen der Tupel von i in die Hashtabelle, bis sie voll ist 2. Prüfen, ob Einträge für Hashwert der Tupel von S i in der Hashtabelle vorhanden sind und ggf. Bildung des Joins Hashtabelle Hintergrundspeicher Hauptspeicher 78