Datenbankanwendung. Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern. Wintersemester 2014/15.

Transkript

1 Datenbankanwendung Wintersemester 2014/15 Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern

2 Anfrageverarbeitung Essentially, all models are wrong, but some are useful. (George E. P. Box) (c) xkcd.com Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 2 / 33

3 Anfrageverarbeitung Probabilistic (Approximate) Counting Probabilistic (Approximate) Counting V (R, A) ist die Anzahl der verschiedenen Attributsausprägungen für Attribut A. Wie kann diese Größe berechnet werden? Klar, via Duplikat-Eliminierung durch Sortieren oder durch Hashing Oder durch probabilistische Methoden (Schätzer) Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 3 / 33

4 Anfrageverarbeitung Probabilistic (Approximate) Counting Flajolet Martin (FM) Sketch (aka. Hash Sketch) Vorgeschlagen von Flajolet und Martin in Erzeuge einen leeren Bitvektor B der Länge m = log(n) Scan über Eingabedaten: Dabei wird für jedes Objekt eine Position im Bitvektor berechnet und auf 1 gesetzt: Hashing eines Objekts i in eine m-bit Zahl h(i) Berechne Position k des am wenigsten signifikanten 1 Bits von h(i) Setze bit B[k] auf 1 Beispiel Eingabe: 17, 5, 19, 211, 17, 5, 31 Annahme h(17)=010100, dann ist das am wenigsten signif. 1 Bit = 3 Annahme h(5)=000101, dann ist das am wenigsten signif. 1 Bit = 1 1 Philippe Flajolet, G. Nigel Martin: Probabilistic Counting Algorithms for Data Base Applications. J. Comput. Syst. Sci. 31(2): (1985) Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 4 / 33

5 Anfrageverarbeitung Probabilistic (Approximate) Counting Schätzer Am Ende sieht B dann z.b. so aus: B = Betrachte die Position t des am weitesten links stehenden 0 Bits, hier im Beispiel t = 4. Dann ergibt sich die Schäzung für die tatsächliche Anzahl n als ˆn = 2 t / in unserem Beispiel mit t = 4: ˆn = 2 4 / Verbesserung der Schätzung Verwendung mehrerer Bitvektoren B (entsprechend mit unterschiedlichen Hashfunktionen h) und Berechnung eines Durchnittlichen Werts von t. Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 5 / 33

6 Anfrageverarbeitung Probabilistic (Approximate) Counting Idee/Intuition B[0] wird ungefähr n/2 mal gesetzt B[1] wird ungefähr n/4 mal gesetzt... Also: B[i] = 0 falls i >> log 2 (n) B[i] = 1 falls i << log 2 (n) Mischung aus 1s und 0s um i log 2 (n) herum Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 6 / 33

7 Anfrageverarbeitung Statistiken (in Postgresql) Tuning von Datenbanken Statistiken (Histogramme, etc.) müssen explizit angelegt werden Andernfalls liefern die Kostenmodelle falsche Werte Oracle: analyze table Professoren compute statistics for table; Man kann sich auch auf approximative Statistiken verlassen Anstatt compute verwendet man estimate DB2: runstats on table... Postgres: analyze catalog-pg-statistic.html Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 7 / 33

8 Anfrageverarbeitung Statistiken (in Postgresql) Statistiken in Postgresql Tabelle analysieren mit: analyze lineitem; Daten werden in einer internen Tabelle (pg statistic) abgelegt; pg stats ist eine (besser zu lesende) Sicht darauf. select * from pg stats where tablename = lineitem ; Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 8 / 33

9 Anfrageverarbeitung Statistiken (in Postgresql) Beispiel: Auszug aus pg stats (in Postgresql) Für Tabelle lineitem des TPC-H Datasets ( Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 9 / 33

10 Anfrageverarbeitung Statistiken (in Postgresql) Erläuterung zu pg stats null frac: Fraction of column entries that are null n distinct: If greater than zero, the estimated number of distinct values in the column. If less than... most common vals: A list of the most common values in the column. (Null if no values seem to be more common than any others.) most common freqs: A list of the frequencies of the most common values, i.e., number of occurrences of each divided by total number of rows. (Null when most common vals is.) Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 10 / 33

11 Anfrageverarbeitung Statistiken (in Postgresql) Erläuterung zu pg stats (2) histogram bounds: A list of values that divide the column s values into groups of approximately equal population. The values in most common vals, if present, are omitted from this histogram calculation. correlation: Statistical correlation between physical row ordering and logical ordering of the column values. This ranges from -1 to +1. When the value is near -1 or +1, an index scan on the column will be estimated to be cheaper than when it is near zero, due to reduction of random access to the disk. Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 11 / 33

12 Anfrageverarbeitung Statistiken (in Postgresql) Beobachtungen Korrelation zwischen Physischer und Logischer Speicherung l orderkey hat Korrelationswert von 1 (!) Was bedeutet dies bzw. könnte bedeuten? Frequent Values und Distinct Values l shipinstruct ist DELIVER IN PERSON in ca. 25% aller Tupel. Es gibt ohnehin nur 4 unterschiedliche Werte für diese Spalte Was bedeuten diese Beobachtungen bzgl. Notwendigkeit Indexe anzulegen bzw. evtl. vorhandene Indexe zu benutzen? Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 12 / 33

13 Anfrageverarbeitung Statistiken (in Postgresql) Histogramm Für Spalte l extendedprice in Tabelle lineitem ( Tupel) Die ersten 36 Werte aus histogram bounds , , , , , , , ,8 2876, , ,2 3540, , , , , , , , , , , , , , , , , , , , , , , Equi-Depth-Histogramm mit 100 Zellen. Jede Histogrammzelle also beschreibt/umfasst rund Werte. Wie viele Tupel haben l extendedprice < 1600? Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 13 / 33

14 Anfrageverarbeitung Statistiken (in Postgresql) Schätzung mit Histogrammen Obwohl man für diskrete Daten auch Punktanfragen bearbeiten kann, ist dies im kontinuierlichen Fall nicht möglich. Es liegen unendlich viele Werte in jeder Histogrammzelle (mit Häufigkeit 0) D.h. es kann im kontinuierlichen Fall nur nach Häufigkeiten für Intervalle gefragt werden. Fehlermaße Ist für einen exakten Wert x eine Schätzung (Näherungswert) ˆx gegeben, - so heisst ˆx x absoluter Fehler und ˆx x - im Fall x 0 relativer Fehler x Für mehrere solcher Beobachtungen: Sum Squared Error (SSE), Mean Absolute Error (MAE), Mean Squared Error (MSE) Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 14 / 33

15 Anfrageverarbeitung Statistiken (in Postgresql) Selektivitätsschätzung: Zusammenfassung Kosten der Operatoren hängen (neben Implementierng) von Größe der Eingaben ab Für einen Anfrageplan kann so die Anzahl der erwarteten Ergebnisse (Tupel) sowie die erwartete Größe der anfallenden Zwischenergebnisse berechnet werden. Je nach verfügbarkeit an Statistiken können Schätzungen sehr grob oder recht genau sein, vlg. Schätzung von σ A<c (R) = 1/3 R mit Wert von Histogrammen. Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 15 / 33

16 Grundlagen Anfrageoptimierung - Join Ordering Literatur hierzu, Übersicht im Buch (Under Construction): Building Query Compilers von Guido Moerkotte (Uni Mannheim) (enthält Verweise auf Originalarbeiten). Großteil der Folien im Folgenden basierend auf Folien von Thomas Neumann (TUM) basierend auf diesem Buch. Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 16 / 33

17 Grundlagen Problemstellung und Setup Wir haben bereits gesehen, dass der Join-Operator kommutativ und assoziativ ist, d.h. R S = S R und (R S) T = R (S T ) Wir betrachten nun in welcher Reihenfolge die Joins eines Anfrageplans ausgeführt (geordnet) werden sollen bzw. können. Die beteiligten Relationen sind R 1,..., R n und wir betrachten Anfragen der Form: Selektionen sind Konjunktionen über einfachen Prädikate der Form x = y select... from R 1,..., R n where R 1.a = R 2.b and R 1.a = R 3.c... Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 17 / 33

18 Grundlagen Anfragegraph Anfragen dieses Typs können als Graph dargestellt werden: Der Anfragegraph ist ein ungerichteter Graph mit R 1,..., R n als Knoten Ein Pädiktat der Form a 1 = a 2, wobei a 1 R i und a 2 R j erzeugt eine Kante zwischen R i und R j, beschriftet mit dem Prädikat Studenten S S.MatrNr=h.MatrNr hören h h.vorlnr=v.vorlnr Professoren P P.PersNr=V.PersNr Vorlesungen V Für zwei Relationen, die nicht via einer Kante verbunden sind, kann nur ein Kreuzprodukt berechnet werden. Wir unterscheiden später ob Kreuzpodukte überhaupt zugelassen werden oder nicht. Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 18 / 33

19 Grundlagen Formen von Anfragegraphen Ketten (chains) Ringe (cycles) Sterne (stars) (cliques) (cyclic) Baum (tree) (grid) Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 19 / 33

20 Grundlagen Join-Baum Ein Join-Baum ist ein Binärbaum mit Join Operatoren als innere Knoten Relationen als Blätter Beispiel: R 4 R 3 R 1 R 2 Beschreibt eine tatsächliche Realisierung (Ordnung!) des Joins über den beteiligten Relationen eines Anfragegraphen. Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 20 / 33

21 Grundlagen Gestalt von Join-Bäumen links-tiefer Baum rechts-tiefer Baum zigzag Baum (mindestens eine Eingabe ist eine Relation) buschiger (bushy) Baum Die ersten drei Klassen werden auch zusammengefasst als lineare Bäume. R 4 R 4 R 3 R 3 R 1 R 2 R 1 R 2 R 1 R 2 R 3 R 4 (links-tief) (zigzag) (buschig) Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 21 / 33

22 Grundlagen Selektivität von Joins Eingabe: Kardinalitäten R i Selektivitäten f i,j : falls p i,j das Join-Präditkat zwischen R i und R j ist dann definieren wir Berechne: Kardinalität des Ergebnisses: f i,j = R i B pi,j R j R i R j R i B pi,j R j = f i,j R i R j Idee dahinter: Die Selektivität kann (idealerweise) recht einfach berechnet/geschätzt werden. Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 22 / 33

23 Grundlagen Kardinalität für Join-Bäume Gegeben ein Join-Baum T, die Kardinalität des Anfrageergebnisses T kann rekursiv berechnet werden durch R i falls T ein Blatt R i ist T = ( f i,j ) T 1 T 2 falls T = T 1 B T 2 R i T 1,R j T 2 Erlaubt einen einfache Berechnung der Kardinalität eines Joins Benötigt nur die Kardinalitäten der zugrunde liegenden Relationen und Selektivitäten Setzt Unabhängigkeit der Prädikate voraus Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 23 / 33

24 Grundlagen Beispiel Statistiken Als im Folgenden verwendetes Beispiel nehmen wir an: R 1 = 10 R 2 = 100 R 3 = 1000 f 1,2 = 0.1 f 2,3 = 0.2 Daraus folgt der Anfragegraph R 1 R 2 R 3 Für alle anderen Selektivitäten nehmen wir f i,j = 1 an Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 24 / 33

25 Grundlagen Kostenfunktion Gegeben ein Join-Baum T, dann ist die Kostenfunktion C out definiert als { 0 falls T ist ein Blatt Ri C out (T ) = T + C out (T 1 ) + C out (T 2 ) falls T = T 1 B T 2 Addiert die Größen der (Zwischen)ergebnisse af Idee dahinter: Größere Zwischenergebnisse erfordern mehr Arbeit Die Kosten der einzelnen Relationen werden hier weggelassen (da sie sowieso gelesen werden müssen) Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 25 / 33

26 Grundlagen Kostenfunktion für Joins Für einzelne Joins Nested-Loops Join: C nlj (e 1 B e 2 ) = e 1 e2 Hash-Join: C hj (e 1 B e 2 ) = 1.2 e 1 Sort-Merge-Join C smj (e 1 B e 2 ) = e 1 log( e 1 ) + e 2 log( e 2 ) Für Sequenzen von Join-Operatoren s = s 1 B... B s n : C nlj (s) = C hj (s) = C smj (s) = n s 1 B... B s i 1 s i i=2 n 1.2 s 1 B... B s i 1 i=2 n s 1 B... B s i 1 log( s 1 B... B s i 1 ) + i=2 i=2 n s i log( s i ) Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 26 / 33

27 Grundlagen Anmerkungen zu diesen Kostenfunktionen Kostenfunktionen sehr einfach Join-Implementierungen sind sehr einfach modelliert (z.b. Faktor 1..2, kein n-way sort/merge) Designed für links-tiefe Bäume C hj und C smj funktionieren nicht für Kreuzprodukte (Korrektur dafür: Betrachte Kardinalität der Ausgabe, d.h C nl ) Kostenfunktionen nehmen an, dass die gleiche Join-Implementierung (Algorithmus) für den gesamten Join-Baum benutzt wird Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 27 / 33

28 Grundlagen Beispiel für Kostenberechnung C out C nl C hj C smj R 1 B R R 2 B R R 1 R (R 1 B R 2 ) B R (R 2 B R 3 ) B R (R 1 R 3 ) B R Beobachtungen: Kosten variieren sehr stark Join-Bäume mit Kreuzprodukten sind sehr teuer Join-Ordnung essenziell Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 28 / 33

29 Grundlagen Weitere Beispiele Für R 1 = 1000, R 2 = 2, R 3 = 2, f 1,2 = 0.1, f 1,3 = 0.1 haben wir die Kosten C out R 1 B R R 2 R 3 4 R 1 B R (R 1 B R 2 ) B R (R 2 R 3 ) B R 1 44 (R 1 B R 3 ) B R Hier ist der Baum mit Kreuzprodukt am besten Aber nur weil die Kardinalitäten von R 2 und R 3 sehr klein Kann daher durchaus (im Allgemeinen) eine attraktive Lösung sein, eben wenn Kardinalitäten klein Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 29 / 33

30 Grundlagen Weitere Beispiele Für R 1 = 10, R 2 = 20, R 3 = 20, R 4 = 10, f 1,2 = 0.01, f 2,3 = 0.5, f 3,4 = 0.01 haben wir die Kosten C out R 1 B R 2 2 R 2 B R R 3 B R 4 2 ((R 1 B R 2 ) B R 3 ) B R 4 24 ((R 2 R 3 ) B R 1 ) B R (R 1 B R 2 ) B (R 3 B R 4 ) 6 Der buschige Baum ist besser als alle anderen Möglichkeiten Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 30 / 33

31 Suchraum Klassifikation der Join-Ordering-Probleme Die hier betrachteten Probleme können anhand der folgenden Kriterien klassifiziert werden: 1. Anfragegraph: Kette, Cycle, Stern und Clique 2. Struktur des Join-Baums: links-tief, zigzag oder buschig Bäume 3. Kreuzprodukte: mit oder ohne Kreuzprodukte Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 31 / 33

32 Suchraum Wiederholung(?): Catalan-Zahl Die Anzahl von Binärbäumen mit n Blättern ist gegeben durch C(n 1), wobei C(n) definiert ist durch 1 if n = 0 n 1 C(n) = C(k)C(n k 1) if n > 0 k=0 Dies kann in geschlossener Form geschrieben werden als C(n) = 1 ( ) 2n n + 1 n Die Catalan-Zahlen wachsen in der Ordnung von Θ(4 n /n 3 2 ) Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 32 / 33

33 Suchraum Anzahl Join-Bäume mit Kreuzprodukte links-tief n! rechts-tief n! zigzag n!2 n 2 buschig n!c(n 1) = (2n 2)! (n 1)! Idee: Anzahl der Kombination der Blätter (n!) Möglichkeiten einen Baum zu bilden (bei zigzag im Vergleich zu links bzw. rechtstief: Vertauschen von Eingaben möglich, d.h. Join oder Relation links oder rechts) Wächst exponentiell und je flexibler die Baumstruktur ist, desto schneller Prof. Dr.-Ing. S. Michel TU Kaiserslautern Datenbankanwendung, WS 14/15 33 / 33