Benchmarking von XML-Datenbanksystemen

Transkript

1 Benchmarking von XML-Datenbanksystemen Timo Böhme Erhard Rahm

2 Überblick Einführung Ein Benchmark für alle? Problembereiche XML-Benchmarks XMach-1 Xmark XOO7 Ergebnisse FG-DB

3 Einfü hrung Warum? Richtlinien Domainspezifisch Eigenschaften Relevanz Portabilität Skalierbarkeit Einfachheit FG-DB

4 Ein Benchmark fü r alle? Die Domaine XML-Datenverarbeitung? Domains (Beispiele) Heterogene Dokumentenkollektion Repository, Suchmaschine Strukturierte Daten B2B-Daten (Bestellungen, Rechnungen, Listen,...) Gemischte Daten Online-Kataloge FG-DB

5 Ein Benchmark fü r alle? Domains Heterogene Dokumentenkollektion dokumentzentriert Daten unregelmäßige Struktur kein vordefiniertes Schema mixed content Elementreihenfolge wichtig Operationen hierarchische und sequentielle Navigation Volltextsuche auf Elementinhalten Extraktion von Dokumenten und Dokumentfragmenten Einfü gen/löschen von Dokumenten Änderungsoperationen auf Dokumentfragmenten FG-DB

6 Ein Benchmark fü r alle? Domains (2) Strukturierte Daten datenzentriert Daten regelmäßige Struktur vordefiniertes Schema mit Typinformation element content Elementreihenfolge frei Operationen Suche auf Attributwerten Anfragen mit Sortierung, Aggregation und Verbundanweisungen Erstellung von Ergebnisdokumenten aus Anfragedaten (Restrukturierung) Einfü gen/löschen von Dokumenten Änderungen an Attributwerten FG-DB

7 Ein Benchmark fü r alle? Domains (3) Gemischte Daten dokument- und datenzentrierte Eigenschaften Daten ein Dokument vs. verschiedene Dokumente Operationen Auswahl entsprechend des Datentyps Verhältnis dokument- zu datenzentrierten Operationen entsprechend Domain Gemischte Daten fü r universellen Benchmark? Einfachheit spezifische Optimierung beschränkt Portabilität FG-DB

8 Ein Benchmark fü r alle? Weitere Kriterien Definition zu evaluierender Komponenten Anfrageprozessor vs. Gesamtsystem Ein- vs. Mehrbenutzerbetrieb Definition der Operationen Parameter Anzahl Aussagekraft FG-DB

9 Problembereiche fehlende standardisierte Anfragesprache XPath kleinster gemeinsamer Nenner proprietä re Anfragesprachen unzureichend komplexe Operationen ü ber API-Zugriff XQuery? keine DML Änderung von Dokumentfragmenten teilweise nicht möglich große Unterschiede im Funktionsumfang Relevanz vs. Portabilitä t FG-DB

10 XML-Benchmarks XMach-1: Architektur Directory SUT Browser Inter-/ Intranet Upload Delete Query Retrieve XML documents XML Database Application Server Loader FG-DB

11 XML-Benchmarks XMach-1: Daten documentxx titlexx? host + (rek) chapterxx + author? path + (rek) headxx doc_info @loader paragraph link sectionxx * (rek) FG-DB

12 XML-Benchmarks XMach-1: Operationen 1. Liefere das Dokument zu URL X. 2. Liefere doc_id der Dokumente, die die Phrase X in einem paragraph-element enthalten. 3. Navigiere beginnend beim ersten chapter-element ü ber jedes erste section-element. Gib das letzte section-element zurü ck. 4. Liefere eine flache Liste der head-elemente aller section- Elemente des durch doc_id X selektierten Dokumentes. 5. Liefere alle Dokumentnamen, die unterhalb einer gegebenen URL liegen. 6. Finde alle author-elemente mit Inhalt X und liefere id-attribut des Elternelementes. 7. Liefere doc_id von allen Dokumenten, die wenigstens X- mal referenziert werden. 8. Liefer doc_id von den 100 zuletzt geä nderten Dokumenten, die ein author-attribut besitzen FG-DB

13 XML-Benchmarks XMach-1: Operationen (2) Datenmanipulation 1. Fü ge neues Dokument ein. 2. Lösche Dokument mit doc_id X. 3. Ändere Namen und update_time-attribut des Dokumentes mit doc_id X. Operationsmix feste prozentuale Anteile Antwortzeitrestriktionen Hauptoperation: Q1 (30%) Metrik: XML Anfragen pro Sekunde (Xqps) FG-DB

14 XML-Benchmarks Xmark Autoren: A.R. Schmidt, F. Waas, M.L. Kersten, D. Florescu, I. Manolescu, M.J. Carey, R. Busse Modelliert Internet-Auktionsanbieter Ausfü hrung auf lokalen Computer beschrä nkt Einbenutzerbetrieb Evaluierung des Anfrageprozessors FG-DB

15 site regions categories catgraph people open_auctions closed_auctions (africa, asia,...)... item name/payment/shipping/location/quantity description text (#PCDATA bold...)* parlist listitem * text... parlist (rek) incategory mailbox mail from/to/date name/ address/phone?/... text address street/city/country/province?/zipcode watches? watch open_auction *... initial/reserve?/current/privacy?/quantity/type bidder * date/time/increase annotation description? happiness interval start/end 15

16 XML-Benchmarks Xmark: Operationen 20 Anfrageoperationen Genaue Übereinstimmung Sequenzieller Zugriff Casting Regulä re Pfadausdrü cke Referenzverfolgung Konstruktion komplexer Ergebnisse Verbund ü ber Attributwerte Rekonstruktion eines komplexen Fragmentes Pfadnavigation Fehlende Elemente Funktionsaufruf Sortierung Aggregation FG-DB

17 XML-Benchmarks XOO7 Autoren: S. Bressan, M.L. Lee, Y.G. Li Anpassung des OO7-Benchmarks an XML Domain: technische Dokumentation Ausfü hrung auf lokalen Computer beschrä nkt Einbenutzerbetrieb Evaluierung des Anfrageprozessors FG-DB

18 Module Manual ComplexAssembly ComplexAssembly + (rek) BaseAssembly CompositePart + (#PCDATA (para+)) Connection AtomicPart 18

19 XML-Benchmarks XOO7: Operationen Ergä nzung der OO7-Operationen auf 18 Anfrageoperationen Unterteilung in traditionelle DB-Anfragen, Navigation, Dokumentanfragen Beispiele: Bereichsanfragen Anfragen mit Einbeziehung von Umgebungsinformationen Negation Elementanfragen mit Ausschluss der Kindelemente FG-DB

20 XML-Benchmarks Vergleich XMach-1 Xmark XOO7 Skopus DBMS Anfrageprozessor Anfrageprozessor # Benutzer Mehrbenutzer Einbenutzer Einbenutzer # Rechner * 1 1 # Schemas #Dok/ # Dokumente 1+10 x (x>2) 1 1 DB-Größe 16 KB * 10 x 10 MB 10 GB ca MB? # Anfragen # Änderungsop FG-DB

21 Ergebnisse XMach-1 Hardware/Betriebssystem Server: Client: Intel PIII 800 MHz, 256/512 MB, 1 HDD, Windows 2000 Sun Ultra 10, 440 MHz, 256 MB, 1 HDD, Solaris Netzwerk: 10 Mbit Ethernet Datenbankgröße: Dokumente (Ø Größe 15,7 kb, Ø 128 Elemente); 41 DTDs Dokumente (Ø Größe 15,3 kb, Ø 124 Elemente); 695 DTDs FG-DB

22 Ergebnisse XMach-1: Datenbank-Population #dok Hauptspeicher (MB) 256 NX0 512 NX NX3 512 NX Grö ß e Daten+Index (MB) 206, Grö ß e Daten Index (MB) 145,6 60,7 145,6 60,7 Zeit Daten+Index (sek) Zeit Daten Index (sek) Grö ß e Daten+Index (MB) 927,6 883,2 491 Grö ß e Daten Index (MB) 560,5 367,1 560,5 367,1 Zeit Daten+Index (sek) Zeit Daten Index (sek) FG-DB

23 6000 Ergebnisse XMach-1: Antwortzeiten NX time (ms) Docs 512 MB 1 User Docs 512 MB 10 User 9 Operation Docs 512 MB 20 User FG-DB

24 12000 Ergebnisse XMach-1: Antwortzeiten NX Docs 512 MB 1 User Docs 512 MB 1 User FG-DB

25 Ergebnisse XMach-1: Antwortzeiten NX0 vs. NX NX0 1000/ NX3 1000/ NX0 1000/ NX3 1000/ FG-DB

26 Links XMach-1 Xmark XOO FG-DB