Kapitel 8 Schätzung von Anfragekosten

Transkript

1 Kapitel 8 Schätzung von Anfragekosten Einführung Berechnung von Operatorkardinalitäten Histogramme 2 Architektur und Implementierung von Datenbanksystemen WS 2009/10 Melanie Herschel Universität Tübingen

2 Überblick Architektur eines DBMS Web Forms Applications SQL Interface Figure inspired by Ramakrishnan/Gehrke: Database Management Systems, McGraw-Hill Transaction Manager Lock Manager SQL Commands Executor Operator Evaluator Parser Optimizer File and Access Methods Buffer Manager Disk Space Manager Database Recovery Manager DBMS data, files, indices,... 3

3 Anfragebearbeitung Grundproblem Anfragen sind deklarativ (SQL, relationale Algebra) Anfragen müssen in ausführbare (prozedurale) Form transformiert werden. Ziele Prozeduraler Query Execution Plan (QEP) Effizienz Schnelle Ausführung der Anfrage Wenig Ressourcenverbrauch (CPU, I/O, RAM, Bandbreite) 4

4 Anfragebearbeitung Parsing Parsen der Anfrage (Syntax) Überprüfung der Elemente (Semantik) Parserbaum Wahl des logischen Anfrageplans Baum mit logischen Operatoren Potentiell exponentiell viele Wahl des optimalen Plans (siehe Kapitel 9) Logische Optimierung Regelbasierte Optimierung Kostenbasierte Optimierung Wahl des physischen Anfrageplans Ausführbar Programm mit physischen Operatoren (siehe Kapitel 6 und 7) Wahl des optimalen Plans physische Optimierung SQL Anfrage Parsing Wahl des logischen Anfrageplans Wahl des physischen Anfrageplans Anfrageplan ausführen 5

5 Kostenmodell DB-Kardinalitäten Attributverteilungen Algebraischer Ausdruck Kostenmodell Ausführungskosten Index-Informationen Ballungsinformationen (Clustering) Folie nach Prof. Alfons Kemper, TU München 6

6 Kapitel 8 Schätzung von Anfragekosten Einführung Berechnung von Operatorkardinalitäten Histogramme 7 Architektur und Implementierung von Datenbanksystemen WS 2009/10 Melanie Herschel Universität Tübingen

7 Schätzung der Kardinalität Die Kardinalität einer Anfrage entspricht der Größe der Ausgabe der Anfrage. Die Kardinalität eines Operators entspricht der Größe der Ausgabe des Operators. Die Kardinalität wird typischerweise in Anzahl Seiten bzw. Anzahl Tupel angegeben. Die Selektivität einer Anfrage bzw. eines Operators ist sel = Anzahl Ausgabetupel / Anzahl Eingabetupel Die exakte Bestimmung von Kardinalitäten bedarf der Ausführung der Anfrage bzw. des Operators " Schätzung der Kardinalität zur Anfrageoptimierung 8

8 Schätzung der Kardinalität Zwei Varianten der Kardinalitätenschätzung: 1. Datenbankprofile Speichere Statistiken für Basisrelationen im database catalog, insb. Anzahl und Größe von Tupeln und Werteverteilungen von Attributen. Berechne diese Statistiken für Zwischenergebnisse einer Anfrage (Kardinalität der Operatoren der Anfrage) anhand eines statistischen Modells während der Anfrageoptimierung. Typischerweise basieren statistische Modelle auf vereinfachenden Annahmen wie die Datenunabhängigkeit und Gleichverteilung der Daten. Diese gelten oft nicht in realen Daten, deswegen sind die Schätzungen oft falsch. Um ein genaueres Ergebnis zu erzielen, werden Histogramme verwendet. 2. Sampling Sammeln relevanter Statistiken während der Anfrageausführung auf einem Sample der Eingabedaten. Extrapolieren der Ergebnisse auf Gesamteingabe. Es ist wichtig, die richtige Balance zwischen der Stichprobengröße und der Qualität der Schätzung zu finden. 9

9 Datenbankprofil Im Datenbankkatalog werden Profile gespeichert und bei SQL DML Befehlen (Datenbank-Updates) aktualisiert. Daten, die in einem Datenbankprofil typischerweise gespeichert sind: R NR s(r) V(A, R) Anzahl Tupel in Relation R Anzahl Seiten auf Platte die Tupel von R enthalten durschnittliche Tupellänge Anzahl verschiedener, sog. Distinct-Werte in Attribut A

10 Datenbankprofil Excerpt of IBM DB2 catalog information for a TPC-H database 1 db2 => SELECT TABNAME, CARD, NPAGES 2 db2 (cont.) => FROM SYSCAT.TABLES 3 db2 (cont.) => WHERE TABSCHEMA = TPCH ; 4 TABNAME CARD NPAGES ORDERS CUSTOMER NATION REGION PART SUPPLIER PARTSUPP LINEITEM record(s) selected. CARD = R, NPAGES = NR 11

11 Annahmen des Statistischen Modells Gleichverteilung und Unabhängigkeit (einfach, doch selten realistisch) Alle Werte eines Attributs erscheinen mit der gleichen Wahrscheinlichkeit (Gleichverteilung, engl. uniformity). Werte verschiedener Attribute sind unabhängig voneinander (Unabhängigkeit, engl. independence). Gegenbeispiele: Nachname Müller erscheint mit höherer Wahrscheinlichkeit als Nachname Blabla. Attribut PLZ ist nicht unabhängig von Attribut Stadt. Worst Case (unrealistisch) Es liegen keine Informationen über den Inhalt von Relationen vor. In diesem Fall wird z.b. im Fall einer Selektion nach Prädikat P angenommen, dass alle Tupel P entsprechen. Allwissendes Orakel (unrealistisch) Es liegen exakte Informationen über Werteverteilungen vor. Benötigt einen sehr großen Katalog oder genaues Wissen über eingehende Anfragen. 12

12 Schätzung der Kardinalität Relationaler Operatoren Selektion (mit Gleichheitsbedingung) Estimation for σ (Equality Predicate) Query: Q σ A=c (R) Selectivity sel(a = c) 1/V(A, R) Uniformity Q Record size s(q) Value Distribution V(A, Q) sel(a = c) R s(r) { 1, for A = A, c(v(a, R), Q ), otherwise. with (# of distinct colors obtained by drawing r balls from a bag of balls of m colors): r, for r < m/2, c(m, r) = (r + m)/3, for m/2 r < 2m, m, for r 2m Database Profiles Estimating Operator Set Operations, \, Statistical Views

13 Selectivity Estimation for σ (Other Predicates) Equality between attributes (Q σa=b (R)): Approximate selectivity by Selectivity Estimation forder σ (Other Predicates) Relationaler Operatoren Schätzung Kardinalität Selectivity Estimation for σ (Other Predicates) Selektion (andere sel(a Prädikate) = B) (Q = 1/ (R)): max(v(a, R), V(B, R)). Equality between attributes σa=b Equality between attributes (Q σa=b (R)): Selectivity Estimation for σby (Other Predicates) Approximate selectivity Cardin T Approximate selectivity with by Selectivity Estimation for σvalue (Other (Assumes that each of Predicates) the attribute fewer Database Profiles Gleichheit Equalitydistinct between attributes (Q σa=b (R)): zwischen Attributen values has a corresponding sel(a = B) = 1/ max(v(a, R), V(B, R)). sel(a = B) = 1/ max(v(a, R), V(B, R)). Equalityselectivity betweenbyattributes (Q σa=b (R)): Approximate Nimmt an, dass jeder Wert des Attributs mit weniger Distinct-Werten einem Estimating Operator Cardi Selectivity Estimation for σ (Other Predicates) match in the other attribute.) Independence Cardin Approximate selectivity by Wert des anderen Attributs entspricht. (Assumes that each value of the attribute with fewer (Assumes each the attribute with Datab Database Equality between attributes (Q σa=b (R)):Profiles that sel(a =selections B)value = of 1/ R), V(B,fewer R)). Range (Q max(v(a, = σ (R)): A>c distinct values has a corresponding distinct values has a corresponding Approximate selectivity by Set Operations, \, sel(a = B) = 1/ max(v(a, R), V(B, R)). In the database profile,match maintain the minimum Estima Estimation in the other attribute.) and Independence Estimating Operator Join " Cardin (Assumes that each value of the attribute with fewer match in the other attribute.) Independence Database Profiles maximum value of attribute A in = relation R,A>c Low(A, R) and Range selections (Q = σ (R)): sel(a B) = 1/ max(v(a, R), V(B, R)). Selection σ distinct values has a corresponding (Assumes that each value of the attribute with fewer Range selections (Q = σ (R)): Bereichsanfrage Database Profiles A>c High(A, R). In the database profile, maintain the Estimating minimum and Operator Cardi " match in the other attribute.) Independence distinct values has a corresponding Set Operations, \, (Assumes that each value of the attribute with fewer In the database profile, maintain the minimum and maximum value of attribute A in relation R, Low(A, R) and Im Datenbankprofil wird der minimale Wert Low(A, R) und maximale Datab Histog Join " σ Wert Estimating Operator Statistical Views Approximate selectivity by Uniformity Range selections (Q = σa>c match in von the other attribute.) Independence values has a corresponding High(A, R). π maximum value of attribute relation Low(A, R) and High(A, R) Attribut AA(R)): inindistinct Relation R R, gespeichert. Estim, \,Selection σ in the other and attribute.) Independence In the database profile, maintain the minimum Cardi R). High(A, Range selections (Q = σmatch (R)): Statist " A>c Approximate selectivity by Uniformity sel(a > c) = Set Operations, \, maximum of attribute in relation R, Low(A, and Range selections (Q =R)σA>c (R)): In thevalue database profile, Amaintain the minimum and Statistical ViewsJoin " Approximate Uniformity High(A, R). selectivity by In sel(a the database maintain the minimum and > c) = profile, " maximum A in relation R, Low(A, R) and value of attribute maximum value of attribute A in relation R, Low(A, R) and High(A, R) c Histo selectivity Statistical Views Approximate by Uniformity High(A, R)., Low(A, R) c High(A, R) sel(a > c) = High(A, R). High(A, R) Low(A, R) High(A, R) c, Low(A, R) c High(A, R) Statistical Views High(A,selectivity R) Low(A, R) Approximate Statis Approximate byuniformity Uniformity sel(a > c) = 0, selectivity by otherwise 0, otherwise High(A, R) c, Low(A, R)c)=c High(A, R) 9.10 sel(a > c) = sel(a > High(A,High(A, R) Low(A, R) c R) 14,von Datenbanksystemen Low(A, R) c2009/10 High(A, R) Universität Tübingen Architektur und Implementierung WS Melanie Herschel 0, High(A, otherwise R) Low(A, R) High(A, R) c High(A, R) c Estimation Estimation Assum Selecti Project Set Op Join Selection Projection Set Operations Assum Equi-W Equi-D Join Select Projec Set Op Join Equi-W Equi-D

14 for π Schätzung der Kardinalität Relationaler Operatoren Projektion For Q π L (R), estimating the number of result rows is difficult (L = A 1, A 2,..., A n : list of projection attributes): Esti Torsten Gr Q π L (R) Q Record size s(q) V(A, R), R, if L = A if keys of R L R, no dup. elim. min ( R, A i L V(A i, R) ), otherwise Independence A i L s(a i) Estim Database Profile Estimating Ope Set Operations, Statistical Views Val. Dist. V(A i, Q) V(A i, R) for A i L 15

15 Schätzung der Kardinalität Relationaler Operatoren Mengenoperatoren for, \, Q R S Q R + S s(q) = s(r) =s(s) schemas of R,S identical V(A, Q) V(A, R)+V(A, S) Q R \ S Q R S max(0, R S ) Q R s(q) = s(r) =s(s) V(A, Q) V(A, R) Database Profiles Estimating Operator Set Operations, \, Statistical Views Q = R S s(q) = s(r)+s(s) { V(A, Q) = V(A, R), V(A, S), for A R for A S

16 Database Profiles Schätzung Establish der a foreign Kardinalität key relationship (SQL) Relationaler Operatoren Join A special, yet very common case: foreign-key relationship between input relations R and S: 1 CREATE TABLE R (A INTEGER NOT NULL, PRIMARY KEY (A)); 4 CREATE TABLE S (..., Estimating Operator Set Operations, \, Im Allgemeinen Fall ist es sehr schwierig, die Kardinalität eines Joins abzuschätzen. 5 A INTEGER NOT NULL, 6... Ein Spezialfall, der häufig auftritt ist der Join zwischen einem Primärschlüssel und 7 FOREIGN KEY (A) REFERENCES R); einem entsprechenden Fremdschlüssel. Q R R.A=S.A S The foreign key constraint guarantees π A (S) π A (R). Thus: for Q = S. Statistical Views Ist ein Attribut nicht Unique, aber das andere Attribut dennoch eine Untermenge: Q R R.A=S.B S 9.13 Q = R S V(A, R), R S V(B, S), s(q) = s(r)+s(s) V(A, Q) { V(A, R), V(A, S), π B(S) π A (R) π A(R) π B (S) if A attribute in R otherwise Database Profiles Estimating Operator Set Operations, \, Statistical Views 17

17 Kapitel 8 Schätzung von Anfragekosten Einführung Berechnung von Operatorkardinalitäten Histogramme 18 Architektur und Implementierung von Datenbanksystemen WS 2009/10 Melanie Herschel Universität Tübingen

18 Histogramme In realistischen Datenbankinstanzen sind die Werte der aktiven Domäne eines Attributs (Werte, die tatsächlich gespeichert sind) nicht gleichmäßig verteilt. Um die tatsächliche Verteilung von Attributwerten besser zu reflektieren, wird diese durch Histogramme approximiert. Die aktive Domäne von Attribut A wird in adjazente Intervalle geteilt, indem Grenzwerte (boundary values) bi gewählt werden. Für jedes Intervall zwischen zwei Genzwerten werden Statistiken gesammelt, z.b., Anzahl Tupel mit bi-1 < r.a <= bi oder Anzahl Distinct-Werte von A im Intervall (bi-1, bi]. Die Intervalle eines Histogramms werden auch Buckets genannt. Weitherführende Literatur Yannis Ioannidis: The History of (Abridged), Proceedings of the Conference on Very Large Data Bases (VLDB), 2003, Berlin Histogram maintained for a column in a TPC-H database SELECT SEQNO, COLVALUE, VALCOUNT FROM SYSCAT.COLDIST WHERE TABNAME = LINEITEM AND COLNAME = L_EXTENDEDPRICE AND TYPE = Q ; SEQNO COLVALUE VALCOUNT

19 Histogramme Zwei Typen von Histogrammen sind weit verbreitet: 1. Histogramme Alle Buckets haben die gleiche Breite, d.h., Grenzwerte werden wie folgt gewählt bi = bi-1 + w, für eine Konstante w 2. Histogramme Alle Buckets enthalten die selbe Anzahl Tupel, d.h., ihre Breite ist variabel. Die Anzahl Buckets ist die Stellschraube, die den Tradeoff zwischen der Qualität der Kardinalitätsschätzung (histogram resolution) und die Größe (und daher den Speicherbedarf) eines Histogramms definiert. 20

20 Histogramme Beispiel Example (Actual value distribution) In Spalte A vom SQL Typ INTEGER (Domäne {..., -2, -1, 0, 1, 2, 3,...}) beobachten wir die folgende reale Verteilung von Werten in einer Relation R. Column A of SQL type INTEGER (domain {..., -2, -1, 0, 1, 2,... }). Actual non-uniform distribution in relation R: Database Profiles Estimating Operator Set Operations, \, Statistical Views

21 Histogramme Divide active domain of attribute A into B buckets of equal Wir teilen die Divide width. aktive active Domäne The bucket domain von Attribut width of attribute A win will B Buckets A be into Bgleicher bucketsbreite of equal w. Die Bucket- Breite w wird width. berechnet The bucket durch width High(A, w will R) be Low(A, R)+1 w = High(A, R) Low(A, R)+1 w = B B Beispiel Example Example (B = (Equi-width (Equi-width 4) histogram (B = 4)) histogram (B = 4)) Database Profiles Database Profiles Set Operations, \, Set Operations, \, Estimating Operator Estimating Operator Statistical Views Statistical Views Zusätzlich zu den Grenzwerten speichern wir die Summe der Wertehäufigkeiten. Maintain sum of value frequencies in each bucket (in addition Maintainto sum bucket of boundaries value frequencies b i ). in each bucket (in

22 Divide active domain of attribute A into B buckets of equal width. Histogramme The bucket width w will be Selektion mit Gleichheitsbedingung High(A, R) Low(A, R)+1 w = B Beispiel (Q Example A=5(R) (Equi-width ) histogram (B = 4)) Database Profiles Estimating Operator Set Operations, \, Statistical Views Wert 5 ist in Bucket [5, 8] (mit 19 Tupeln) Unter der Annahme Maintain einer sum Gleichverteilung of value frequencies von Werten innerhalb each bucket eines Buckets (in haben wir Q = 19 / B = 19 / 4 5 addition to bucket boundaries b i ) Tatsächlicher ist Q = 1. Welchen Schätzwert erhalten wir ohne Histogramm? 23

23 Divide active domain of attribute A into B buckets of equal width. Histogramme The bucket width w will be Selektion mit Bereichsprädikat High(A, R) Low(A, R)+1 w = B Beispiel (Q A>7 AND A <= 16 Example (Equi-width (R) ) histogram (B = 4)) Database Profiles Estimating Operator Set Operations, \, Statistical Views Anfrageintervall schließt Buckets [9, 12] und [13, 16] ein. Anfrageintervall umfasst einen Teil von Bucket [5, 8] Q = / 4 45 Maintain sum of value frequencies in each bucket (in addition to bucket boundaries b i ) Tatsächlicher ist Q = 48. Welchen Schätzwert erhalten wir ohne Histogramm? 24

24 Histogramme Initiallisierung und Aktualisierung Initialisierung eines Histogramm für ein Attribut A der Relation R mit B Buckets 1. Berechne Grenzwerte bi zwischen High(A,R) und Low(A, R). 2. Scanne R sequentiell. 3.Während des Scans werden B Tupel-Häufigkeits-Counter (einen für jeden Bucket) verwaltet. Ein Counter wird inkrementiert, wenn ein Tupel des entsprechenden Buckets gelesen wird. Wenn R (z.b. aufgrund seiner Größe) nicht gescannt werden kann, scannen wir eine Stichprobe RSample aus R und skalieren die Counter durch R / RSample Aktualisierung Werden Tupel gelöscht, werden einfach die entsprechenden Counter dekrementiert. Werden Tupel hinzugefügt, und fallen diese in einen existierenden Bucket (Wert zwischen High(A, R) und Low(A, R) ) so inkrementieren wir die entsprechenden Counter. Ansonsten ist prinzipiell eine Neubestimmung der Bucketgrenzen nötig. 25

25 Divide active domain of attribute A into B buckets of roughly the same number of tuples in each bucket, depth d Histogramme Divide of each active bucket domainwill of attribute be A into B buckets of Die aktive Domäne roughly the eines same Attributs number A wird of tuples in B Buckets in each bucket, unterteilt, depth wobei d jeder Bucket (ungefähr) die of each selbe bucket Anzahl will Tupel be enthält. Die Anzahl Tupel in eine Bucket, die Tiefe d, wird berechnet als d = R d = R B. B. Example (Equi-depth histogram (B = 4, d = 16)) Beispiel Example mit (Equi-depth B = 4, d = histogram 16 (B = 4, d = 16)) Maintain depth (and bucket boundaries b i ). Maintain depth (and bucket boundaries b i ). 5 Database Profiles Estimating Operator Set Operations, \, Statistical Views 9.23 Estima 26 Estima Database Profiles Estimating Operat Set Operations, \, Statistical Views

26 Histogramme Example (Histogram on customer age attribute (B = 8, R = 5,600)) Intuitiv werden Werte mit hoher Häufigkeit als wichtiger gewertet als Werte mit geringer Häufigkeit. Die Auflösung des passt sich somit Daten 1100 an, die starke 1000 Unterschiede in den Häufigkeiten aufweisen. idth vs. Histogramme investieren Bytes in dichte Datenregionen. le (Histogram Beispiel on Histogramme customer age für attribute Kundenalter (B = (B 8, = R 8, R = = 5,600)) 5600) Histogramm vs Database Profiles Estimating Operator Set Operations , \, Equi-depth histogram invests bytes in the densely Statistical Views Histogramm populated customer age region between 30 and

27 Histogramme Selektion mit Gleichheitsbedingung : Equality Selections Example (Q σ A=5 (R)) Beispiel (Q A=5(R) ) Value 5 is in first bucket [1, 7] (with d = 16 tuples) Assume uniform distribution within the bucket: Wert 5 ist in Bucket [1, 7] (mit d = 16 Tupeln) Unter der Annahme einer Gleichverteilung von Werten innerhalb eines Buckets haben wir Q = d / 7 = 16 / 7 2 Database Profiles Estimating Operator Set Operations, \, Statistical Views Q = d/7 = 16/7 2. (Actual: Q = 1) 28

28 Histogramme Selektion mit Bereichsprädikat : Equality Selections Example (Q σ A=5 (R)) Beispiel (Q A>5 AND A <= 16 (R) ) Value 5 is in first bucket [1, 7] (with d = 16 tuples) Assume uniform distribution within the bucket: Anfrageintervall schliesst Buckets [8, 9], [10, 11] und [12, 16] ein. Anfrageintervall umfasst einen Teil von Bucket [1, 7] Q = / 7 53 (Der exakte Wert beträgt Q = 59). (Actual: Q = 1) Q = d/7 = 16/7 2. Database Profiles Estimating Operator Set Operations, \, Statistical Views 29

29 Histogramme Initiallisierung : Construction To construct an equi-depth histogram for relation R, Initialisierung eines Histogramms für ein Attribut A der Relation R mit B attribute A: Buckets 1.Berechne Tiefe d = R / B. 2.Sortiere R nach A. 1 Compute depth d = R /B. 2 Sort R by sort criterion A. 3 b 0 = Low(A, R), then determine the b i by dividing the 3.Sei b0 = Low(A, R). Bestimme Grenzwerte bi indem das sortierte Feld A in Buckets der Größe d geteilt sorted werden. R into chunks of size d. Example (B = 4, R = 64) Beispiel mit B = 4, R = 64 1 d = 64 /4 = Sorted R.A: 1,2,2,3,3,5,6,6,6,6,6,6,7,7,7,7,8,8,8,8,8,8,8,8,9,9,9,9,9,9,9,9,10,10,... 3 Boundaries of d-sized chunks in sorted R: 1,2,2,3,3,5,6,6,6,6,6,6,7,7,7,7,8,8,8,8,8,8,8,8,9,9,9,9,9,9,9,9,10,10,... {z } {z } b 1 =7 b 2 =9 Database Profiles Estimating Operator Set Operations, \, Statistical Views 30

30 Zusammenfassung Anfragebearbeitung Um einen optimalen Anfrageplan unter allen möglichen zu finden, bewertet der Optimierer Pläne anhand eines komplexen Kostenmodells. Ein wichtiger Bestandteil dieses Kostenmodells sind die I/O Kosten, die durch die Menge an Daten (Seiten oder Tupel), die den Plan durchlaufen, approximiert wird. Kardinalität einer Anfrabe bzw. eines Operators Die Kardinalität entspricht der Größe der Ausgabe einer Anfrage bzw. eines Operators. Zur Schätzung der Kardinalität sammelt ein DBMS Statistiken über die Basisrelationen. Annahmen wie die Gleichverteilung und Unabhängigkeit von Daten machen eine Schätzung der Kardinalität möglich, sind jedoch oft fern der Realität. Histogramme Um potentiell eine bessere Schätzung zu erzielen, werden Histogramme für gewisse Daten angelegt. Zwei Histogramm-Typen: - und -Histogramme 31