Microbenchmarking XQuery

Transkript

1 Microbenchmarking XQuery DBSeminar HWS 2006 Daniel Rihm 10. November 2006

2 Microbenchmarks Ziel ist das Überprüfen der Features: Zeit für das Vorbereiten der Query Zeit für das Ausführen der Query Resourcenverbrauch Korrektheit Vollständigkeit

3 Featurebasiertes Benchmarking Testet Features des Anfrageauswerters isoliert voneinander Helfen die Feature-Implementation zu testen Unterschiede werden sichtbar die bei Applicationsbenchmarks evtl. verloren gehen

4 Präzision: Anforderungen Parameter müssen justierbar sein Parameter einzeln untersuchen Ein Feature pro Anfrage Vollständigkeit: Parameter (und deren Einfluss) beschreiben Eine Anfrage pro Feature

5 Einflussparameter Daten-Parameter Dokumentengröße (Vorsicht!) Dokumenten-Baumtiefe Fan-out Schema und Constraints Query-Parameter Selektivität Anfrageformulierung Ressourcen-Parameter Arbeitsspeicher Prozessorleistung

6 Struktur des Repository Kategorien Micro-benchmarks Ergebnisse Daten und Datengeneratoren Querygeneratoren

7 Der Michigan Benchmark

8 Daten (1) Dokumentengröße = 500MB * SF (für SF {0.1, 1, 10, 100} ) 2 Knotentypen: enest, eoccasional Level Fanout # der Knoten % der Knoten , /13 35, , , , , , , , ,

9 Daten (2) Attribute: aunique1 aunique2 alevel Nummer des Knotens im Baum (breadthfirst) zufälliges (deterministisches) Integer Tiefe des Knoten afour aunique2 mod 4 asixteen aunique1 + aunique2 mod 16 asixtyfour aunique2 mod 64 astring String mit durchschnittlicher Länge von 32 Bytes Inhalt der Knoten besteht aus generiertem Text welcher sich an der englischen Sprache orientiert. Wahrscheinlichkeit für eoccasional Sohn: 1/64

10 Anfragen 46 Anfragen 4 Returned Structure (QR1-QR4) 12 Simple Selection (QS1-QS12) 21 Structural Selection (QS15-QS35) 2 Value-Based Join (QJ1, QJ2) 2 Pointer-Based Join (QJ3, QJ4) 5 Aggregation (QA1, QA2, QA4-QA6)

11 Ausführung System AMD Athlon XP kb of RAM Linux version Engines Galax Version 0.5 MonetDB/XQuery Server-Version 4.16, XQuery-Version 0.12 SaxonB Version 8.8 Laufzeit 52:06:00 (hh:mm:ss)

12 Übersicht Alle Queries XCheck output (data analysis phase), Experiment: mbench, Document: d0.1 (46.69 MB) Galax MonetDB SaxonB Log Total execution time (sec) QR1 QS1 QS15 Query QJ1 QA1

13 Anfrage QS12 for $e in doc()//enest where contains(string($e), "oneb4") return <enest XCheck output (data analysis phase), Experiment: mbench, Query: QS12 Galax MonetDB SaxonB Total execution time (sec) d MB Document

14 Anfrage QA4 <maxfanout aunique1 = "{ for $e in doc()//enest[@alevel = 11] return for $p in doc()//enest[@alevel = 11] where count($e/enest) = max(count($p/enest)) return $e/@aunique1 }"></maxfanout> XCheck output (data analysis phase), Experiment: mbench, Query: QA Galax SaxonB Total execution time (sec) d MB Document

15 Anfrage QA4b <maxfanout aunique1 = "{ for $e in doc()//enest[@alevel = 11] let $maxfan := fn:max( for $p in doc()//enest[@alevel = 11] return count($p/enest) ) where count($e/enest) = $maxfan return $e/@aunique1 }"></maxfanout> XCheck output (data analysis phase), Experiment: qa4, Document: d0.1 (46.69 MB) 90 Galax SaxonB Total execution time (sec) QA4b Query

16 + Sehr ausführlich für einige Aspekte + Dokumentstruktur gut gewählt + Selektivitäten wurden angegeben - Viele XQuery Features werden nicht getestet - Stellenweise fehlerhaft