Anfragebearbeitung. Vorlesung: PD Dr. Peer Kröger

Transkript

1 Kapitel 5 Anfragebearbeitung g Vorlesung: PD Dr. Peer Kröger Dieses Skript basiert auf den Skripten zur Vorlesung Datenbanksysteme II an der LMU München von Prof. Dr. Christian öhm (Sommersemester 007, PD Dr. Peer Kröger (Sommersemester 008 und PD Dr. Matthias Schubert (Sommersemester de/cms/datenbanksysteme 5 Anfragebearbeitung Übersicht 5. Einleitung 5 5. Indexstrukturen 5.3 Grundlagen der Anfrageoptimierung 5.4 Logische Anfrageoptimierung 5.5 Kostenmodellbasierte Anfrageoptimierung

2 5 Anfragebearbeitung Übersicht 5. Einleitung 5 5. Indexstrukturen 5.3 Grundlagen der Anfrageoptimierung 5.4 Logische Anfrageoptimierung 5.5 Kostenmodellbasierte Anfrageoptimierung 3 5. Einleitung HW-Grundlagen Von-Neumann Rechner Architektur: Flaschenhälse Hauptspeicher Prozessor Hinter- grundspeicher Hintergrundih speicher- Engpass IO- Hauptspeicher- Von-Neumann- CPU- Engpass Engpass Engpass Engpass Zur Vereinfachung unterscheidet man meist nur zwischen - CPU-bound CPU, Arbeitsspeicher und us bilden den Hauptengpass - I/O-bound Hintergrundspeicher und I/O bilden den Hauptengpass 4

3 5. Einleitung HW-Grundlagen (cont. Schematischer Aufbau einer Festplatte Zylinder Platte Spuren Sektoren - Ein Plattenspeichersystem besteht aus Platten - Die Oberfläche der Platten besteht aus Spuren - Die Spuren bestehen aus Sektoren. - Zylinder = alle Spuren mit konstantem Radius - Platten rotieren um gemeinsame Achse, der Arm ist in radialer Richtung bewegbar 5 5. Einleitung HW-Grundlagen (cont. Zugriff auf eine Seite: - Setze den Arm auf den gewünschten Zylinder (Suchen - Warte bis die Platte so rotiert ist, dass sich der Anfang der Seite unter dem Arm befindet (Latenz - Übertrage die Seite in den Hauptspeicher (Transfer Zugriffszeit = Suchzeit + Latenzzeit + Transferzeit I/O-Rate = erwartete Anzahl von Zugriffen pro Sekunde Übertragungsrate = maximale Anzahl übertragener ytes pro Sekunde (andbreite 6

4 5. Einleitung Speichermedien I/O-Engpass auch mit modernen Platten nicht überwindbar Lösungsansatz: Verwende statt einer großen Festplatte mehrere kleine, die parallel betrieben werden können => RAID-Systeme - Die Komplexität wird durch den RAID-Controller nach Außen verborgen => es gibt nur ein (virtuelles Laufwerk - Acht verschiedene RAID-Level die unterschiedliche Zugriffsprofile optimieren 7 5. Einleitung Speichermedien (cont. RAID 0 - Datenmenge wird durch blockweise Rotation auf die Platten verteilt (Striping - eispiel: Striping von 4 löcken (A,,C,D auf zwei Platten Platte Platte A C D - Größtmögliche eschleunigung: Anfrage an aufeinanderfolgende löcke kann parallel bearbeitet werden - Fehleranfällig: besteht eine Datei aus vielen löcken werden diese über die entsprechenden Platten verteilt Ausfall einer e Platte führt zur eschädigung g der Datei 8

5 5. Einleitung Speichermedien (cont. RAID - Jedes Laufwerk besitzt eine Spiegelkopie (Mirror - Durch Redundanz ist Fehlerfall eines Laufwerks kein Problem - eispiel: Platte Platte A A C D C D - Leseoperationen parallelisierbar (wie RAID 0 - Schreiboperationen müssen auf beiden Mirrors (parallel durchgeführt werden 9 5. Einleitung Speichermedien (cont. RAID 0+ - Kombination aus RAID 0 und RAID - Verteilung der Datenblöcke wie bei RAID 0 - Spiegelung der Platten wie bei RAID Platte Platte Spiegel Spiegel A A C D C D - Vereinigt Vorteile von RAID 0 und RAID - AER: Anzahl der benötigten Platten steigt!!! 0

6 5. Einleitung Speichermedien (cont. Ab RAID wird Datensicherheit ökonomisch günstiger umgesetzt Hilfsmittel: Paritätsinformationen - Prüfsumme für mehrere Daten - Verwendbar, um Daten auf Korrektheit zu überprüfen - Verwendbar, um Daten im Fehlerfall zu rekonstruieren - Vorgehen: Speichere zu N Datenbereichen auf unterschiedlichen Platten zusätzlich deren Prüfsumme auf einer anderen Platte Ist einer der N Datenbereiche defekt kann dieser aus der Prüfsumme und den N- übrigen (intakten Datenbereichen wiederhergestellt werden 5. Einleitung Speichermedien (cont. RAID - Striping auf itebene - Paritätsinformationen auf separaten Platten - In der Praxis meist nicht eingesetzt RAID 3 und RAID 4 - Striping auf it- oder yte-ebene (RAID 3 bzw. blockweise (RAID 4 - Paritätsinformationen auf einer speziellen Platte Paritätsplatte A A A3 3 A4 4 P A P C D C D C3 D3 C4 D4 P C P D - Nachteil: jede Schreiboperation muss auf Paritätsplatte zugreifen

7 5. Einleitung Speichermedien (cont. RAID 5 - Striping blockweise (wie RAID 4 - Verteilung der Paritätsinformationen auf alle Platten A E F C G D P E-H P A-D H M I N P I-L P M-P J O K P L - Damit ist der Flaschenhals der Paritätsplatte beseitigt - Schreibeoperationen setzt aber nach wie vor die Neuberechnung und das Ablegen des neuen Paritätsblocks voraus - ACHTUNG: Paritätsblock P X kann nur ein Fehler in den Daten X korrigieren! 3 5. Einleitung Speichermedien (cont. Abschließende emerkungen - Wahl des RAID-Levels hängt vom Anwendungsprofil ab (z.. Anteil der Leseoperationen im Vergleich zu Schreiboperationen - Kommerzielle RAID-System erlauben typischerweise eine flexible Konfiguration - Viele DS unterstützen Striping von Tupeln auf unterschiedliche Platten auch ohne Einsatz von RAID-Systemen - Trotz der Fehlertoleranz von RAID-Systemen ist der Einsatz von Recovery-Techniken (Kapitel 4 wichtig 4

8 5. Einleitung Anfragebearbeitung Zu bearbeitende Seiten müssen vom HGSP in den D-Puffer geladen werden Problem: Verwaltung der Daten auf einem Speichermedium sequentiell - Zeitaufwand für earbeitung einer Suchanfrage: O(n (im ungünstigsten Fall alle n Datensätze durchsuchen Wird ein bestimmter Datensatz anhand eines Suchkriteriums gesucht, kann über eine Indexstruktur eine aufwändige Suche vermieden werden Der Index erlaubt es, die Position des Datensatzes innerhalb des Mediums schnell zu bestimmen. 5 5 Anfragebearbeitung Übersicht 5. Einleitung 5 5. Indexstrukturen 5.3 Grundlagen der Anfrageoptimierung 5.4 Logische Anfrageoptimierung 5.5 Kostenmodellbasierte Anfrageoptimierung 6

9 5. Indexstrukturen Aufbau baumartiger Indexstrukturen aumartige Indexstrukturen bestehen üblicherweise aus Directoryund Datenseiten: - Die eigentlichen physischen Datensätze werden in den Datenseiten gespeichert (lattknoten des aums. - Die Directoryseiten sind die inneren Knoten des aums und speichern die Directory-Einträge, die aus aggregierten Zugriffsinformationen bestehen und die Navigation im aum ermöglichen. Index/Directory Physische Datensätze Directoryseiten Datenseiten 7 5. Indexstrukturen eispiel +-aum Erweiterung des -aums (vgl. Vorlesungen Effiziente Algorithmen, Index- und Speicherstrukturen - Datenelemente nur in den lattknoten speicheren - Innere Knoten enthalten lediglich li Shlü Schlüssell Knoten entsprechen Seiten auf der Platte + -aum für die Zeichenketten: An, And, Certain, For, From, Which, With 8

10 5. Indexstrukturen Modellierung der I/O-Kosten In DS sind zwei verschiedene I/O-Zugriffsmuster vorherrschend: - Sequentielles Lesen einer großen Datei (Verarbeitung von Relationen ohne Index - Wahlfreies Lesen von löcken konstanter Größe, wobei die einzelnen löcke an wahlfreien Positionen beginnen (Verarbeitung von Relationen mit Hilfe eines Index Seien f a c puffer c index t seek t lat t tr Größe der Datei in Myte Anzahl hlder lockzugriffe Größe des Puffers im Arbeitsspeicher in Myte lockgröße des Index in Myte Suchzeit in ms Latenzzeit in ms Transferleistung des Laufwerkes in ms/myte 9 5. Indexstrukturen Modellierung der I/O-Kosten (cont. Sequentielles Lesen - Da der Arbeitsspeicher begrenzt ist, erfolgt das sequentielle Lesen einer Datei in einzelnen löcken, die zwischen den I/O-Aufträgen verarbeitet werden: ei der ersten Leseoperation wird der Schreib-/Lesekopf auf die entsprechende Position gesetzt. ei jeder weiteren Leseoperation fallen nur noch Latenzzeit und Transferzeit an. t scan = t seek + f t tr f + t c puffer lat - Meist wählt man den Puffer so groß, dass die Transferzeit pro Leseoperation wesentlich höher als die Latenzzeit ist. In diesem Fall können Latenz- und Suchzeit vernachlässigt werden: t f scan t tr 0

11 5. Indexstrukturen Modellierung der I/O-Kosten (cont. Wahlfreies Lesen - ei wahlfreien Zugriffen fallen bei jedem Auftrag sowohl Transferzeit, Latenzzeit als auch Suchzeit an: t random = ( t + t + c t a seek lat index tr - Verglichen mit der scanbasierten Verarbeitung ist die Größe c index einer Transfereinheit hier nicht durch den zur Verfügung stehenden Arbeitsspeicher, sondern durch die lockgröße des Indexes vorgegeben (und typischerweise wesentlich kleiner, z Kytes. 5. Indexstrukturen Wahlfreier vs. sequentieller Zugriff Ein sequentieller Zugriff auf n Datenblöcke ist in etwa n-mal schneller als n nacheinander ausgeführte wahlfreie Zugriffe auf die Datenblöcke (für große n Transferraten wachsen schneller als Zugriffsraten => Verhältnis wahlfreier zu sequentieller Zugriff verschlechtert sich Folgende Maßnahmen sind deshalb wichtig: - Große löcke: Die Wahl größerer Transfereinheiten verbessert das Verhältnis - Clusterbildung der Daten: Die Daten sollten von einer Indexstruktur so in löcken abgelegt werden, dass mit großen löcken in möglichst wenigen Zugriffen möglichst viele nützliche Daten übertragen werden

12 5 Anfragebearbeitung Übersicht 5. Einleitung 5 5. Indexstrukturen 5.3 Grundlagen der Anfrageoptimierung 5.4 Logische Anfrageoptimierung 5.5 Kostenmodellbasierte Anfrageoptimierung Grundlagen der Anfrageoptimierung Aufgabe der Anfragebearbeitung Übersetzung der deklarativen Anfrage in einen effizienten, prozeduralen Auswertungsplan deklarative Anfrage Scanner/Parser View-Ersetzung algebraischer Ausdruck Anfrageoptimierung Auswertungsplan Ausführung 4

13 5.3 Grundlagen der Anfrageoptimierung Kanonischer Auswertungsplan π SELECT A, A FROM R, R WHERE AND ( σ ( σ ( R A, A R π A, A ] [ σ[ ] σ[ ] x R R. ilde das kartesische Produkt der Relationen R, R. Führe Selektionen mit den edingungen, durch. 3. Projiziere die Ergebnis-Tupel auf die erforderlichen Attribute A, A Grundlagen der Anfrageoptimierung Logische vs. physische Anfrageoptimierung Optimierungstechniken, die den Auswertungsplan umbauen (d.h. die Reihenfolge der Operatoren verändern, werden als logische Anfrageoptimierung bezeichnet. Unter physischer Anfrageoptimierung versteht man z.. die Auswahl einer geeigneten Auswertungsstrategie für die Join- Operation oder die Entscheidung, ob für eine Selektionsoperation ein Index verwendet wird oder nicht und wenn ja, welcher (bei unterschiedlichen Alternativen. Es handelt sich also um die Auswahl eines geeigneten Algorithmus für jede Operation im Auswertungsplan. 6

14 5.3 Grundlagen der Anfrageoptimierung Regel- vs. kostenbasierte Anfrageoptimierung Es gibt zahlreiche Regeln (Heuristiken, um die Reihenfolge der Operatoren im Auswertungsplan zu modifizieren und so eine Performanz-Verbesserung zu erreichen, z..: - Push Selection: Führe Selektionen möglichst frühzeitig (vor Joins aus - Elimination leerer Teilbäume - Erkennen gemeinsamer Teilbäume Optimierer, die sich ausschließlich nach diesen starren Regeln richten, nennt man regelbasierte oder auch algebraische Optimierer Grundlagen der Anfrageoptimierung Regel-/kostenbasierte Optimierung (cont. Optimierer, die zusätzlich zu den starren Regeln die voraussichtliche Performanz der Auswertungspläne ermitteln und den leistungsfähigsten Plan auswählen, werden als kostenbasierte oder auch (irreführend nicht-algebraische Optimierer bezeichnet. Die Vorgehensweise kostenbasierter Anfrageoptimierer ist meist folgende: - Generiere einen initialen Plan (z.. Standardauswertungsplan - Schätze die bei der Auswertung entstehenden Kosten - Modifiziere den aktuellen Plan gemäß vorgegebener Heuristiken - Wiederhole die Schritte und 3 bis ein Stop-Kriterium erreicht ist - Gib den besten erhaltenen Plan aus 8

15 5 Anfragebearbeitung Übersicht 5. Einleitung 5 5. Indexstrukturen 5.3 Grundlagen der Anfrageoptimierung 5.4 Logische Anfrageoptimierung 5.5 Kostenmodellbasierte Anfrageoptimierung Logische Anfrageoptimierung Äquivalenzregeln der Relationalen Algebra Join, Vereinigung, Schnitt und Kreuzprodukt sind kommutativ R S = S R R S = S R R S = S R R S = S R Join, Vereinigung, Schnitt und Kreuzprodukt sind assoziativ R (S T = (R S T R (S T = (R S T R (S T = (R S T R (S T = (R S T Selektionen sind untereinander vertauschbar σ ed( σ ed ( R = σ ed ( σ ed( R 30

16 5.4 Logische Anfrageoptimierung Äquivalenzregeln d. Relationalen Algebra (cont. Konjunktionen in einer Selektionsbedingung können in mehrere Selektionen aufgebrochen werden, bzw. nacheinander ausgeführte Selektionen können zu einer konjunktiven Selektion zusammengefasst werden σ... n( R = σ ( σ (...( σ n( R... Geschachtelte Projektionen können eliminiert werden π A( π A(...( π An( R... = π A( R Damit eine solche Schachtelung sinnvoll ist, muss gelten: A A... An Selektion und Projektion sind vertauschbar, falls die Projektion keine Attribute der Selektionsbedingung entfernt π ( σ ( R = σ ( π ( R, falls attr( A A A Logische Anfrageoptimierung Äquivalenzregeln d. Relationalen Algebra (cont. Selektion und Join (Kreuzprodukt können vertauscht werden, falls die Selektion nur Attribute eines der beiden Join-Argumente verwendet σ ( R S = σ ( R σ ( R S = σ ( R S S, falls attr( attr( R Projektionen können teilweise in den Join verschoben werden π A ( R S = π A ( π A ( R π A ( S, falls A = attr(r ( A attr ( A = attr(s ( A attr ( Selektionen können mit Vereinigung, Schnitt und Differenz vertauscht werden σ ( R S = σ ( R σ ( S 3

17 5.4 Logische Anfrageoptimierung Äquivalenzregeln d. Relationalen Algebra (cont. Der Projektionsoperator kann mit der Vereinigung, aber nicht mit Schnitt oder Differenz vertauscht werden(siehe Übung! π ( R S = π ( R π ( S A A A Selektion und ein Kreuzprodukt können zu einem Join zusammengefasst werden, wenn die Selektionsbedingung eine Joinbedingung ist (z.. Equi-Join σ R S R S R. A= S. A( = R. A= S. A Auch an edingungen können Veränderungen vorgenommen werden - Kommutativgesetze, Assoziativgesetze, z.. = - Distributivgesetze, z.. ( 3 = ( ( 3 - De Morgan, z.. ( = Logische Anfrageoptimierung Restrukturierungsalgorithmus Aufbrechen der Selektionen Verschieben der Selektionen so weit wie möglich nach unten im Operatorbaum Zusammenfassen von Selektionen und Kreuzprodukten zu Joins Einfügen und Verschieben von Projektionen so weit wie möglich nach unten Zusammenfassen einzelner Selektionen zu komplexen Selektionen 34

18 5.4 Logische Anfrageoptimierung eispiel Fahrzeug-Datenbank -Kunde(KNr, Name, Adresse, Region, Saldo KNr Name Adresse Region Saldo 0 Klein Lilienthal remen Horn Dieburg Rhein-Main erger München München Weiss Würzburg Unterfranken estellt(nr, Datum, KNr, KNr, PNr Nr Datum KNr PNr PNr ezeichnung Anzahl Preis MW 38i Produkt(PNr, ezeichnung, Anzahl, Preis 4 Golf Fiat Uno Ferrari Opel Corsa Logische Anfrageoptimierung eispiel (cont. SQL Anfrage: select Name, from Kunde k, estellt b, Produkt p where bknr=kknr b.knr k.knr and b.pnr = p.pnr and ezeichnung = Fiat Uno and Saldo π[name] Kanonischer Auswertungsplan: σ[ezeichnung= Saldo >= ] x Produkt p x estellt b Kunde k 36

19 5.4 Logische Anfrageoptimierung eispiel (cont. - Aufbrechen der Selektionen - Verschieben der Selektionen π[name] σ[saldo ] σ[ezeichnung= ] 5 σ[b.pnr=p.pnr] 5 σ[b.knr=k.knr] 00 5 Produkt p x x σ[ezeichnung= ] 5 Produkt p π[name] σ[b.pnr=p.pnr] PNr] estellt b x σ[b.knr=k.knr] 0 x 5 σ[saldo ] 4 Kunde k estellt b Kunde k Logische Anfrageoptimierung eispiel (cont. - Zusammenfassen zu Joins - Einfügen zusätzlicher Selektionen σ[ezeichnung= ] 5 Produkt p estellt b π[name] b.pnr=p.pnr 5 b.knr=k.knr σ[saldo ] 4 Kunde k σ[ezeichnung= ] 5 Produkt p estellt b π[name] bpnr=p b.pnr p.pnr 5 π[name, b.pnr] b.knr=k.knr σ[saldo ] 4 Kunde k 38

20 5 Anfragebearbeitung Übersicht 5. Einleitung 5 5. Indexstrukturen 5.3 Grundlagen der Anfrageoptimierung 5.4 Logische Anfrageoptimierung 5.5 Kostenmodellbasierte Anfrageoptimierung Kostenmodellbasierte Anfrageoptimierung Selektivität Der Anteil der qualifizierenden Tupel wird Selektivität sel genannt. Für die Selektion und den Join ist sie folgendermaßen definiert: Selektion mit edingung : sel σ ( R = R (relativer Anteil der Tupel, die erfüllen R S R S sel Join von R und S: RS = = R S R S (Anteil relativ zur Kardinalität des Kreuzprodukts 40

21 5.5 Kostenmodellbasierte Anfrageoptimierung Selektivität Die Selektivität muss geschätzt werden, für Spezialfälle gibt es einfache Methoden: Die Selektivität von σ R.A=c, also Vergleich mit einer Konstante c beträgt / R, falls A ein Schlüssel ist Falls A kein Schlüssel ist, aber die Werte gleichverteilt sind, ist sel= / I (I ist dabei die image size, d.h. die Anzahl verschiedener A-Werte in R esitzt bei einem Equi-Join R RA R.A=S. S S das Attribut A Schlüssel- eigenschaft, kann die Größe des Join-Ergebnisses mit S abgeschätzt werden, da jedes Tupel aus S maximal einen Joinpartner findet. Die Selektivität ist also sel RS = / R logisches UND: sel σ = sel ( σ sel ( σ ( logisches ODER: sel ( σ = sel ( σ + sel ( σ sel ( σ sel ( σ logisches NICHT: sel ( σ = sel ( σ ( Kostenmodellbasierte Anfrageoptimierung Selektivität Im Allgemeinen benötigt man anspruchsvollere Methoden um zu schätzen, wieviele i Tupel sich in einem bestimmten t Wertebereich befinden. Drei Grundsätzliche Arten von Schätzmethoden: Parametrische Verteilungen Histogramme Stichproben eispiel: Schätzung der Verteilung der Noten der DS II Klausur anhand des Ergebnisse von 007: 4

22 5.5 Kostenmodellbasierte Anfrageoptimierung Selektivität: Parametrische Verteilungen estimme zu der vorhandenen Werteverteilung die Parameter einer Funktion so, dass die Verteilung möglichst gut angenähert wird. Probleme: Whld Wahl des Verteilungstyps til t (Normalverteilung, til Exponentialverteilung til til und Wahl der Parameter, besonders bei mehrdimensionalen Anfragen (also z.. bei Selektionen, die sich auf mehrere Attribute beziehen Kostenmodellbasierte Anfrageoptimierung Selektivität: Histogramme Unterteile den Wertebereich des Attributs in Intervalle und zähle die Tupel, die in ein bestimmtes Intervall fallen. - Equi-Width-Histograms: Intervalle gleicher reite - Equi-Depth-Histograms: Unterteilung so, dass in jedem Intervall gleich viele Tupel sind => Flexible Annäherung an die Verteilung 44

23 5.5 Kostenmodellbasierte Anfrageoptimierung Selektivität: Stichproben Sehr einfaches Verfahren Ziehe eine zufällige Menge von n Tupeln aus einer Relation, und betrachte deren Verteilung als repräsentativ ti für die gesamte Relation. Problem der Größe des Stichprobenumfangs n: n zu klein: Wenig repräsentative Stichprobe n zu gross: Ziehen der Stichprobe erfordert zu viele teure Zugriffe auf den Hintergrundspeicher Kostenmodellbasierte Anfrageoptimierung Probleme bei Anfragen über mehrere Attribute (mehr-dimensionale Anfragen - Sampling Problem: Genauigkeit abhängig von der Samplegröße - D Histogramme Problem: Annahme der Unabhängigkeit zwischen den Attributen - Mutli-D Histogramme Problem: Anzahl der Gridzellen steigt exponentiell mit d - Parametrische Methoden Problem: nur für max. -3 Attribute geeignet 46

24 5 Anfragebearbeitung Übersicht 5. Einleitung 5 5. Indexstrukturen 5.3 Grundlagen der Anfrageoptimierung 5.4 Logische Anfrageoptimierung 5.5 Kostenmodellbasierte Anfrageoptimierung 47 Einfacher Nested-Loop-Join Algorithmus for each Tupel r R do for each Tupel s S do if r. A = s. then result : = result ( r s Matrixnotation (S (S 3 (S (R (R Der einfache Nested-Loop-Join entspricht der ildung des kartesischen Produktes in kanonischer Ordnung mit anschließender Selektion. Die Relation S wird R mal eingelesen: Performanz ist deshalb inakzeptabel S wird als innere Relation und R als äußere Relation bezeichnet 48

25 Nested-lock-Loop-Join Algorithmus Matrixnotation for each lock R R do (S (S 3 (S ld lade lock R for each lock lade lock S S S do for each Tupel r for each Tupel s R do S do if r. A = s. then result : = result ( r s (R (R 49 Nested-lock-Loop-Join (cont. eispiel: S Angestellter Gehaltsgruppe R Gehaltsgruppe Gehalt Müller R ( Schneider S ( R( Schuster Schmidt S (3 R ( Schütz S (3 Anzahl lockzugriffe: R + S R = 8 lockzugriffe ohne Cache ( R = Anzahl löcke der Relation R D.h. die kleinere Relation sollte die äußere sein 50

26 Cache Strategien für Nested-lock-Loop-Join. Seiten der inneren Relation im Cache halten Cache wird überhaupt nicht ausgenutzt, wenn Cache kleiner als Relation S ist eispiel: Seiten Cache für S, Seite Cache für R ( : Zugriff Platte R ( S ( S ( S (3 R ( S ( S ( S (3 S ( S ( S (3 R ( 3 R ( Cache Strategien für NL-Join (cont.. Seiten der inneren Relation im Cache, aber innere Relation jedes zweite mal rückwärts Pro Durchlauf der äußeren Schleife werden ( C - lockzugriffe eingespart (ab. Durchlauf C = Anzahl löcke, die in den Cache passen, ein Cache- lock wird jeweils für R-Relation Relation benötigt lockzugriffe: R + R ( S - C + + C - eispiel: Seiten Cache für S, Seite Cache für R R ( S ( S ( S (3 R ( S (3 S ( S ( S S( S S( S S(3 R ( 3 R (

27 Cache Strategien für NL-Join (cont. 3. C - löcke der äußeren Relation werden in den Cache eingelesen, zu jedem lock der inneren Relation werden diese löcke gejoint R lockzugriffe: R + S C i eispiel: ilsi Seiten Cache für R, S Seite Cache für S R ( R ( S ( S ( S (3 S (4 S (5 R (3 R (4 S ( S ( S (3 S (4 S (5 S ( S ( S (3 S (4 S (5 R ( R ( R ( R ( Cache Strategien für NL-Join (cont. Algorithmus für Strategie 3: for i: = 0 to R lade lock for each lock step C do R lade lock ( i K S R S do ( i+ C for each Tupel r (i K for each Tupel s S if r. A = s. then result : = result ( r s R S do R ( i+ C do Leistung: R * S Vergleiche von Tupel (ist nur bei schlechter ht Selektivität gerechtfertigt Effizienteste Ausführung von θ Joins mit θ = 54

28 lockgrößen-optimierung NL-Join Problem: Zu kleine lockgröße: Innere Relation wird in sehr kleinen Schritten eingelesen ei jedem I/O-Auftrag Latenzzeit des Plattenlaufwerks Zu große lockgröße (z..: Cache wird in -3 löcke geteilt: Zu wenig Cache steht für die äußere Relation zur Verfügung Innere Relation muss öfter gescanned werden Äquivalente Frage: Wie viel vom Cache für äußere/innere Relation? 55 lockgrößen-optimierung NL-Join (cont. I/O-Kosten für den gesamten Join: t NL Join R R (tseek tlat b ( C ttr S ( t C C lat + b t tr f R bzw. f S : Größe der Relationen in ytes c: Größe des Cache in ytes t tr : Transferzeit pro yte t lat : durchschnittliche Latenzzeit des Disk-Laufwerkes b: lockgröße (Parameter, der optimiert wird Vernachlässigung des R -Scans (da nur mal und in großen löcken t NL Join fs b c f R / b / b ( t + b t lat tr 56

29 lockgrößen-optimierung NL-Join (cont. Anzahl lockzugriffe Äußere Relation R R Suchen zum aktuellen lock von R + Suchen zum Start von S Innere Relation S R + S R C t NL Join R (t C seek + t lat + b ( C t tr + S R ( t C lat + b t tr t NL Join in einer Leseoperation werden C - löcke der äußeren Relation gelesen ignorieren, da nur x und in großen löcken f R bzw. f S : Größe der Relationen in ytes c: Größe des Cache in ytes t tr : Transferzeit pro yte Jeweils ein lock wird gelesen, aber nächster lock startet meist auf gleicher Spur fs b f R / b ( tlat + b ttr c / b 57 lockgrößen-optimierung NL-Join (cont. Weglassen der Rundungsfunktion (unproblematisch für f R, f S >> b, d.h. relativer Fehler ist vernachlässigbar ergibt stückweise differenzierbaren Term f S f R t NL Join ( tlat + b ttr b c b ( / Optimierung der Hüllfunktion t hull b fs f R (( c / b ( t + b t lat tr Joinkosten bei f R = f S = 0Myte c = 500 Kyte t lat = 5 ms t tr = 0,5 s /Myte b opt = 85 Kyte 58

30 lockgrößen-optimierung NL-Join (cont. Optimierung durch Differenzieren Gleichsetzen der. Ableitung mit 0 Lösungen, von denen nur eine positiv ist tlat + ttr tlat c tlat 0 = thull bopt = b ttr Lösung ist Minimum (s.. Ableitung An den Stellen, an denen c / b konstant ist, ist t NLJoin streng monoton fallend (negative Ableitung Deshalb kann das Minimum von t NLJoin nur an der ersten Sprungstelle e links oder rechts vom Minimum von t hull sein: c c b = c /, b = c / b opt b opt 59 lockgrößen-optimierung NL-Join (cont. CPU-Kosten Im wesentlichen müssen S * R Vergleiche durchgeführt werden ei 0. µs pro Vergleich und Tupel pro Relation ergibt sich eine earbeitungszeit von 000 s. D.h. wesentlich mehr als die 75 s I/O-Zeit Der NL-Join ist also CPU-bound Maßnahmen zur Senkung des CPU-Aufwands später 60

31 Sort-Merge-Join Zweistufiger Algorithmus.Schritt: sortiere R bzgl. Attribut A sortiere S bzgl. Attribut.Schritt: j =; 9 s = erstes Tupel von S; 0 for i = to R do r = i - tes Tupel von R; while s s. < ra r.a 3 4 j = j + ; s = j - tes Tupel von S; if r. A = s. then result : = result (( r r. A s; Achtung: Dieser Algorithmus funktioniert nur, falls R und S auf dem Joinattribut keine Duplikate enthalten. Wie muss der Algorithmus erweitert t werden um Duplikate zu erfassen? R Matrixnotation S Sort-Merge-Join (cont. Leistung Jede Relation wird genau einmal durchlaufen: O( R + S Vergleiche Sortieren der Relation kostet O( R log R + S log S Sortieren ist nicht notwendig, wenn bereits ein Index existiert Verfahren versagt, g, wenn in beiden Relationen sehr viele Duplikate (d.h. mehr als in den Puffer passen auftreten. In diesem Fall muss auf Nested-Loop-Join umgeschaltet werden 6

32 Einfacher Hash-Join Reduktion des CPU-Aufwandes bei der Join-erechnung Der Join-Partner eines S-Tupels wird gezielt mit Hilfe eines Hash- Verfahrens gesucht, anstatt das S-Tupel sequentiell mit jedem Tupel der Relation R zu vergleichen. Zu diesem Zweck wird die Relation R gehasht, d.h. es wird zu allen Tupeln der Hash-Key bestimmt und die Tupel in einer Tabelle unter diesem Key eingetragen. Nicht alle R-Tupel, die den passenden Hash-Key haben, sind Join-Partner eines S-Tupels, T l aber alle Join-Partner haben denselben Hash-Key. Im Idealfall soll der Join im Hauptspeicher ablaufen: die Hashtabelle soll für die kleinere Relation erzeugt werden. Hash-Join Verfahren können nur für Equi-Join und Natürlichen Join effizient genutzt werden. Leistung hängt stark ab von der Güte der Hashfunktion: O( R + S im Idealfall verschlechtert sich, wenn Werte ungleichmäßig belegt sind Modifikation ist notwendig, wenn Hauptspeicher zu klein (kleiner als R 63 Einfacher Hash-Join (cont. Algorithmus for each Tupel r R do berechne adr berechne adr = hash(r ; speichere r in HT[adr] ab; for each Tupel s S do //prüfe in der Hashtabelle HT = hash(s ; for each Tupel r HT[ adr] do if r. A = s. then result : = result (( r r. A s Matrixnotation hash(x = MOD 3 64

33 Hashed-Loop-Join Kombination aus dem Nested-Loop-Join und dem einfachen Hash-Join Relation R wird in große löcke eingeteilt, deren Hashtabellen in den Puffer passen Für jeden dieser löcke wird die Relation S gescannt und ein einfacher Hash-Join durchgeführt Algorithmus repeat lese soviel Tupel von R in Hauptspeic her bis der Platz aufgebrauc ht ist; erzeuge für diese Tupel eine Hashtabell e for each Tupel s S do berechne adr = hash(s ; for each Tupel r HT [ adr ] do if r. A = s. then result : = result (( r r. A s until alle Tupel der Rlti Relation HT ; R sind id eingelesen ; 65 Hashed-Loop-Join (cont. Matrixnotation R-Tupel, die in den Puffer passen auf fden einzelnen löcken: Hash-Join hj Ablauf Schritt A: R. Eintragen der Tupel von R in die Hashtabelle, bis sie voll ist S. Prüfen, ob Einträge für Hashwert der Tupel von S in der Hashtabelle vorhanden sind und ggf. ildung des Joins Hashtabelle Hintergrundspeicher Hauptspeicher Schritt : Wiederhole Schritt A für die restlichen Tupel von R 66

34 Hash-Partitioned-Join (GRACE Der Hashed-Loop-Join zerlegt die Relationen willkürlich in löcke, jeder lock der R-Relation Rl i muss mit ijd jedem lock kder S-Relation R l i kombiniert i werden Idee: Zerlege die Relationen R und S mit Hilfe einer Hashfunktion in Partitionen, so dass nur Partitionen mit demselben Hash-Key kombiniert werden müssen Zweistufiges Verfahren. Partitioniere die Relationen R und S in R,,R N und S,,S N. erechne den Join der einzelnen Partitionen R i und S i mit einem beliebigen Join Verfahren (z.. einfacher Hash-Join oder Hashed-Loop- Join wenn Partition zu groß Matrixnotation R-Tupel, die in den Puffer passen Auf den einzelnen löcken: einfacher Hash-Join oder Hashed-Loop-Join 67 Hash-Partitioned-Join (GRACE (cont. Ablauf Partitionierungsphase Schritt A: R Hintergrundspeicher Schritt : Wiederhole Schritt A für S Join-Phase R i S i Hintergrundspeicher Puffer R Puffer R Puffer 3 R 3 Puffer n R n Hauptspeicher Hintergrundspeicher. Eintragen der Tupel von R i in die Hashtabelle, bis sie voll ist. Prüfen, ob Einträge für Hashwert der Tupel von S i in der Hashtabelle vorhanden sind und ggf. ildung des Joins Hashtabelle Hauptspeicher 68

35 Hybrid Hash-Join Algorithmus for each Tupel r R do berechne adr if (adr = then else = hash(r ; füge r in eine Hashtabelle HT ein (bzgl. neuer Hashfkt.; speichere ih r in einem Pff Puffer R / * wenn der Puffer voll ist, for each Tupel s S do berechne adr if (adr = then else = hash(s ; adr wird er stets auf Platte geschrieben */ suche in HT nach entsprechenden Tupel r mit r.a = s.; speichere s in einem Puffer S for i = to N do berechne den Join der Partitionen adr R i und S i mit dem Hashed - Loop - Join 69 Hybrid Hash-Join (cont. Ablauf der Partitionierungsphase: R Hintergrundspeicher R Hashtabelle S R Puffer S R 3 Puffer 3 S 3 R n Puffer n S n Hauptspeicher S Hintergrundspeicher R R 3 R 4 R R n Hintergrundspeicher S S 3 S 4 S S n Hintergrundspeicher 70

36 Hybrid Hash-Join (cont. Leistung Reduzierung der I/O-Kosten (im Vergleich zu GRACE, da eine Partition im Hauptspeicher gehalten wird vorteilhaft, wenn viel Hauptspeicher zur Verfügung steht, aber die Relation R nicht komplett im Hauptspeicher gehalten werden kann Probleme aller Hash-Join-Verfahren ungleiche Datenverteilung (extrem hohe elegung eines Wertes durch Datensätze Wie wird die Hashfunktion (und damit die Partitionen der einzelnen Verfahren gewählt? 7