5.2.2 Physische Optimierung

Transkript

1 Physische Optimierung Physische Optimierung 2002 Prof. Dr. ainer Manthey Informationssysteme 1 Physische Optimierung: Übersicht "logischer" A-Ausdruck logische Optimierung verbesserter logischer A-Ausdruck physische Optimierung Auswertungsplan (aus physischen A-Operatoren) wesentliche Aufgaben der physischen Optimierung: Auswahl geeigneter Algorithmen zur physischen ealisierung der A-Operatoren: physische Operatoren, physische Algebra Ausnutzung bereits existierender Zugriffspfade auf peicherstrukturen: Indexe, B-Bäume, Hash-Tabellen (mehr dazu in Kapitel 6) ortierung von Zwischenergebnissen Anlegen von temporären Indexen und Hash-Tabellen Planung der Zwischenspeicherung Abschätzung von Kosten unterschiedlicher Implementierungsvarianten auf der Basis von vordefinierten Kostenmodellen 2002 Prof. Dr. ainer Manthey Informationssysteme 2

2 Physische Optimierung: Motivation Ergebnis der logischen Optimierung: π s.emester QEP nach der physischen Optimierung: IndexDup Hash h.matrnr = s. MatrNr h.vorlnr = v.vorlnr s Project IndexJoin MergeJoin s s.emester h.matrnr = s. MatrNr h.vorlnr = v.vorlnr h ort v.vorlnr ort h.vorlnr p.persnr = v.gelesenvon IndexJoin p.persnr = v.gelesenvon h v σ p.name = 'okrates' p v elect p.name = 'okrates' p 2002 Prof. Dr. ainer Manthey Informationssysteme 3 Operatoren der physischen Algebra Zu jedem Operator der A ("logische Algebra") gehören ein oder mehrere Prozeduren, die diese Operation realisieren: Operatoren der physischen Algebra Projektion ohne Duplikateliminierung: Vereinigung ohne Duplikateliminierung: Duplikateliminierung: "naive" Grundversion: unter Verwendung von ortierung: unter Verwendung eines Index: elektion: ohne Indexverwendung: mit Indexverwendung: Project a Union NestedDup ortdup IndexDup elect c Indexelect c 2002 Prof. Dr. ainer Manthey Informationssysteme 4

3 Operatoren der physischen Algebra (2) Join (analog: Differenz, Durchschnitt): "naive" Grundversion: auf sortierten Eingaben: unter Indexverwendung : unter Verwendung einer Hash-Tabelle im Hauptspeicher: Zwischenspeicherung: mit temporärer Materialisierung der Ergebnisrelation im peicher: M. mit ortierung der Ergebnisrelation: NestedLoop c MergeJoin c IndexJoin c HashJoin c Bucket ort a M. mit Indexierung der Ergebnisrelation: ortierung der Zwischenergebnisrelation: Hash a Mergeort Tree a 2002 Prof. Dr. ainer Manthey Informationssysteme 5 Nested Loop-Join NestedLoop.A =. B res := ; foreach r do foreach s do if r.a = s.b then res := res {r s} einfachste, aber relativ ineffiziente ealisierung des Join: "Nested Loop"-Join (dt.: "verschachtelte chleifen") Konkatenation pro -Tupel ein kompletter -Durchlauf: Vergleiche (quadratisch) : : A. r s B 2002 Prof. Dr. ainer Manthey Informationssysteme 6

4 Merge-Join MergeJoin.A =. B : A : 0 r s B wesentliche Effizienzsteigerung möglich, wenn beide Join-Operanden vorsortiert sind: Merge-Join (engl.: merge, dt.: mischen) * paralleles Vorrücken von Zeigern in beiden Operanden, bis Joinbedingung erfüllt ist bei Existenz mehrerer passender Tupel mit identischem Attributwert im 2. Operanden: Markieren ( ) des ersten Tupels * ggf. ücksetzen auf diese Marke average case: linear worst case: quadratisch 2002 Prof. Dr. ainer Manthey Informationssysteme Zugriffspfade: Indexe Datenbankmanagementsysteme verwenden in der egel zahlreiche intern verwaltete Hilfs-Datenstrukturen, um den Zugriff auf größere Tabellen zu beschleunigen. olche Datenstrukturen werden allgemein Zugriffspfade genannt. Die wichtigste Zugriffshilfe stellen Indexe dar, spezielle Formen von uchbäumen, die anhand bestimmter Indexierungskriterien (meist bestimmte Attribute) einen gezielten Zugriff auf Datensätze bieten, die die Indexwerte enthalten (statt sequentiell in der ganzen Tabelle danach suchen zu müssen). Der Begriff 'Index' ist motiviert durch die Indexseiten von Büchern. Plural für diesen "terminus technicus" ist 'Indexe' (nicht 'Indizes'), das zugehörige Verb ist 'indexieren' (nicht 'indizieren') - Empfehlung, keine "Duden-egel" k... l... m D 1 D 2... D s D t... D... s D v... D w 2002 Prof. Dr. ainer Manthey Informationssysteme

5 Index-Join Liegt für eines der Join-Attribute ein Index vor, dann kann die uche nach Join- Partnern im rechten Operanden durch Zugriff über diesen Index erheblich beschleunigt werden: IndexJoin.A =. B : : A Index auf B B Temporäres Anlegen von Indexstrukturen wäre allerdings i.a. zu aufwändig, daher kann Index-Join nur für indexierte Basisrelationen eingesetzt werden. bei größeren Indexstrukturen: Index selbst liegt im Hintergrundspeicher, d.h. Indexzugriffe werden ebenfalls "teuer"; genaue Kosten-Nutzen-Analyse nötig! 2002 Prof. Dr. ainer Manthey Informationssysteme 9 Zugriffspfade: Hash-Tabellen bereits aus dem Grundstudium bekannt: "Hashing" und "Hashfunktionen" als Technik zum effizienten Zugriff auf uchschlüssel in großen Datenstrukturen offensichtlich: Hashing ist auch für Datenbanken interessant - Details wiederum im nächsten Kapitel, hier nur kurze Prinzipwiederholung Prinzip des Hashings: speziell konstruierte Funktion (Hashfunktion) bildet uchschlüssel auf "Behälter" (buckets) ab, in denen die Datensätze mit den gesuchten Werten liegen. im DB-Kontext: chlüsselwerte: Werte eines bestimmten Attributs der elation Behälter: einzelne oder mehrere (konsekutive) peicherseiten Zugriff: Berechnen der Behälteradresse für gegebenen Attributwert mittels Hashfunktion "Behälter" selbst organisiert in Tabellenform (Unter-elationen mit gemeinsamer "Behälteradresse": Hash-Tabellen 2002 Prof. Dr. ainer Manthey Informationssysteme 10

6 Hash-Join HashJoin c Hash-Tabellen lassen sich ebenfalls als Zugriffshilfen bei der Join-Bildung ausnutzen, beanspruchen aber wie Indexe oft erheblichen (Hintergrund-)peicherplatz. Temporäre Hash-Tabellen lohnen sich zur Join-Beschleunigung nur, wenn sie vollständig im Hauptspeicher gehalten werden können. Beim Hash-Join wird für beide Join-Partner und dieselbe Hashfunktion h für beide Joinattribute.A und.b verwendet, so dass "Join-Partner" in identischen Buckets zu finden sind. Um Hauptspeicher-Hash-Tabellen nutzen zu können, werden und so partitioniert, dass jeweils Teil-elationen entstehen, deren Hash-Tabellen im Hauptspeicher Platz haben: kleinere Operandenrelation: Einlesen in H und "Hashen" (Build Input) größerer Operand: Vorverarbeitung mit identischer Hashfunktion und Partitionieren, eventuell auch im Hintergrundspeicher (Probe Input) Joinphase: seitenweises Einlesen des Probe Input und Zuordnen von "Join- Partnern" mittels Hash-Tabellen des Build-Input 2002 Prof. Dr. ainer Manthey Informationssysteme 11 Hash-Funktionen beim Hash-Join: Beispiel Verwendung identischer Hashfunktionen für beide Join-Argumente A r 1 5 r 2 r 3 r 4 5 B 5 s 1 s 2 10 s 3 5 s 4 h(a) h(b ) r 1 5 r 2 r 3 5 s 1 s 2 r s 4 Bucket 1 Bucket 2 Bucket Prof. Dr. ainer Manthey Informationssysteme 12

7 Partitionierung von elationen für Hash-Join Prinzip der Partitionierung und Hash-Vorverarbeitung beim Hash-Join: (engl. "probe": testen) (engl. "build": bauen) (detailliertere Beispieldiskussion bei Kemper/Eíckler,.2.2) 2002 Prof. Dr. ainer Manthey Informationssysteme 13 Zwischenergebnisbehandlung und Pipelining Zwischenergebnisse werden oft so groß, dass sie selbst temporär im Hintergrundspeicher abgelegt werden müssen, bevor man sie weiterverwenden kann. Materialisierung Auch zur Wiederverwendung von Zwischenergebnissen, die wegen gemeinsamer Teilausdrücke sonst mehrfach zu berechnen wären, kann Materialisierung motivieren. einfache Materialisierung: Bucket-Operator; Varianten mit Vorverarbeitung: ort-, Hash- und Tree-Operatoren (Indexerzeugung) Alternative zur Materialisierung: direktes "Weiterreichen" einzelner Ergebnistupel an den jeweils nächsten Operator in Form mehrfach geschachtelter chleifen Bezeichnung im "DB-Jargon": Pipelining gut zu organisieren bei Verwendung des Iteratorprinzips (s. Kemper.2) Effizienz bei Pipelining-Organisation nimmt schnell ab, wenn Operanden wachsen: "tradeoff" zwischen Platz- und Zeitbedarf Details zur ortierung und Duplikateliminierung: siehe ebenfalls Kemper Prof. Dr. ainer Manthey Informationssysteme 14

8 Physische ealisierung logischer A-Operatoren: Join NestedLoop.A =. B MergeJoin.A =. B [ Bucket ] [ ort.a ] [ ort. B ].A =. B HashJoin.A =. B IndexJoin.A =. B [ Hash. B Tree. B ] [... ]: Operation kann fehlen, wenn erwünschte Eigenschaft bereits vorhanden ist 2002 Prof. Dr. ainer Manthey Informationssysteme 15 Physische ealisierung logischer A-Operatoren: Projektion NestedDup ortdup Project.A IndexDup π.a [ ort.a ] Project.A [ Hash.A Tree.A ] Project.A 2002 Prof. Dr. ainer Manthey Informationssysteme 16

9 Diskussion des Beispiel-Auswertungsplans IndexDup ort Project s.emester h.matrnr = s. MatrNr MergeJoin h.vorlnr = v.vorlnr v.vorlnr Hash IndexJoin s ort h.vorlnr temporäre Hashtabelle im Hauptspeicher Primärindex von s nur Teil des Primärschlüssels von h kein IndexJoin ekundärindex von v p.persnr = v.gelesenvon v IndexJoin h elect p.name = 'okrates' 2002 Prof. Dr. ainer Manthey Informationssysteme 1 p da kein Index auf 'Name' weiteres wichtiges Thema: Kostenmodelle (Kemper.3) Folien werden nachgetragen, bitte bereits im Buch anschauen! nächste Woche: Anmeldungsphase zur Abschlussprüfung (im Probebetrieb für neue DPO) Anmeldebogen wird ab Montag, über die Vorlesungsseite zum Herunterladen zur Verfügung gestellt. Voraussetzung: Vordiplom abgeschlossen oder mindestens zwei VD- Prüfungen absolviert. Abgabe: elektronisch (per Mail) oder "physisch" in den Übungen bis spätestens Freitag, Abmeldung möglich bis eine Woche vor Prüfungstermin (d.h. bis.2.03) Wegen des Probebetriebs wird keine Überprüfung der Anmeldedaten durch das PA durchgeführt und "anktionen" bei Nichterscheinen sind nicht zu befürchten Prof. Dr. ainer Manthey Informationssysteme 1