Datenbanken und XML Passt das?

Transkript

1 IBM Software Group Datenbanken und XML Passt das? Manfred Päßler IBM Software Group Germany 4 Juli 2007, Berlin 2 XML vs. Relational <DEPARTMENT deptid="15" deptname="sales"> <EMPNO>10</EMPNO> <FIRSTNAME>CHRISTINE</FIRSTNAME> <LASTNAME>SMITH</LASTNAME> <PHONE> </PHONE> <SALARY> </SALARY> <EMPNO>27</EMPNO> <FIRSTNAME>MICHAEL</FIRSTNAME> <LASTNAME>THOMPSON</LASTNAME> <SALARY> </SALARY> </DEPARTMENT> Relational XML Mengenorientiert Sequenzen (Reihenfolge!) Strukturiert Semi-strukturiert Streng typisiert z.t. keine Typisierung Flach Verschachtelt, hierarchisch 3-wertige Logik 2-wertige Logik Null nicht genannt ANSI/ISO W3C Department DEPTID DEPTNAME 15 Sales Employee DEPTID EMPNO FIRSTNAME LASTNAME PHONE SALARY MICHAEL THOMPSON NULL CHRISTINE SMITH

2 XML als die bessere Wahl für Natürlicherweise verschachtelte oder hierarchische Daten 4 Medizinische Daten, Stücklisten, OO, Struktur-Evolution 4 Sich häufig verändernde Services/Produkte/Prozesse Nur schwach befüllte Beschreibungen 4 FIXML, FpML, Kundenprofile Viele oder sich schnell verändernde Strukturen 4 Datenintegration, Konsolidierung von verschiedenen Datenquellen Kombination von strukturierten und unstrukturierten Daten 4 CM, Life Sciences, News & Media 3 Unterschiede in der Implementierung von XML Datenbanken XML-enabled Datenbanken 4 Das zugrunde liegende Datemodell ist nicht XML (sondern meist relational) 4 Dadurch ist ein Mapping zwischen der XML und dem zugrunde liegenden Datenmodell notwendig (XML <->Relational) oder Speicherung als Text. Native XML Datenbanken 4 Benutzen ein (hierarchisches) XML Datenmodell zur Speicherung und Verarbeitung 4 Dadurch kein Mapping oder Textspeicherung 4 Speicherungsformat = Verarbeitungsformat 4

3 XML-Enabled Databanken: Zwei Optionen CLOB/Varchar Shredding XML DOC Extrahiere bestimmte Elemente/Attr. Side Tables XML DOC Festes Mapping Shredder Dekomposition XML DOC XML DOC XML DOC (Reguläre Tabellen für schnelleres Finden) 5 Varchar oder clob Spalten (Reguläre Tabellen) UseCase: Schema Evolution (1) <DEPARTMENT deptid="15" deptname="sales"> <EMPNO>10</EMPNO> <FIRSTNAME>CHRISTINE</FIRSTNAME> <LASTNAME>SMITH</LASTNAME> <PHONE> </PHONE> <SALARY> </SALARY> <EMPNO>27</EMPNO> <FIRSTNAME>MICHAEL</FIRSTNAME> <LASTNAME>THOMPSON</LASTNAME> <PHONE> </PHONE> <SALARY> </SALARY> </DEPARTMENT> 6 Department DEPTID DEPTNAME 15 Sales Employee DEPTID EMPNO FIRSTNAME LASTNAME PHONE SALARY MICHAEL THOMPSON CHRISTINE SMITH

4 7 UseCase: Schema Evolution (2) Mitarbeiter dürfen nun mehrere Telefonnummern besitzen <DEPARTMENT deptid="15" deptname="sales"> <EMPNO>10</EMPNO> <FIRSTNAME>CHRISTINE</FIRSTNAME> <LASTNAME>SMITH</LASTNAME> <PHONE> </PHONE> <PHONE> </PHONE> <SALARY> </SALARY> <EMPNO>27</EMPNO> <FIRSTNAME>MICHAEL</FIRSTNAME> <LASTNAME>THOMPSON</LASTNAME> <PHONE> </PHONE> <SALARY> </SALARY> </DEPARTMENT> Notwendig: Normalisierung der bestehenden Daten Änderungen der Applikationen Phone Department DEPTID EMPNO PHONE DEPTNAME 15 Sales Costly! Employee DEPTID EMPNO FIRSTNAME LASTNAME PHONE SALARY MICHAEL THOMPSON CHRISTINE SMITH Use Case: Life Sciences/Genomics (BSML) Komplexe, verschachtelte Beziehungen zwischen Daten, welche ein Gen beschreiben Darstellung im relationalen Format: ƒ benötigt ~40 Tabellen für die relationale Darstellung ƒ benötigt ein 40-Wege Join für die Rekonstruktion der Gene! ƒin BSML ƒ Suchbar in einem Dokument (300k-300MB/Dokument) ƒ Einfach erweiterbare Struktur mittels Gen Annotationen ƒ Einfacher Austausch von Gensequenzendaten zwischen Applikationen 8

5 DB2 und XML Probleme von XML-enabled Datenbanken < /> < /> < /> -Aufwändige Anfrageausführung -Aufwändiger Zugriff auf Unterstrukturen -Aufwändiger Update von Unterstrukturen -Auwändiges Einfügen (machmal sogar zu komplex) -Aufwändiges Komponieren der XML Dokumente aus dem relationalen Modell -Aufwändige Strukturerweiterungen Lösung: Native XML Databanken! IBM Corporation DB2 9: Integration des XML & relationalen Modells 4 Nativer XML Datentyp (Server & Client) (kein Varchar, kein CLOB, nicht object-relational!) 4 XML Verarbeitung in allen DB2 Komponenten 4 Applikationen können XML & relationale Daten kombinieren SERVER CLIENT DB2 Client / Applikationen SQL/X XQuery Relational Interface XML Interface DB2 Engine DB2 Storage: Relational XML 10

6 Information Management Spracherweiterungen in DB2 9 Datendefinition create table dept(deptid int, deptdoc xml); Einfügen insert into dept(deptid, deptdoc)values (?,?) Index SQL basierende Anfrage select deptid, xmlquery('$d/dept/name' passing deptdoc as d") from dept where deptid <> PR27 ; create index xmlindex1 on dept(deptdoc) generate key using xmlpattern /dept/name as XQuery basierende Anfrage varchar(30); XQUERY Anfragen for $book in db2-fn:xmlcolumn('books')/book select deptdoc from dept for $entry in where deptid =? db2-fn:xmlcolumn('reviews')/entry $book/title = $entry/title return <review> {$entry/review/text()} </review>; where 11 Information Management Performancesteigerung bei der Anwendungsentwicklung Reales Kundenbeispiel: Storebrand Development and app. performance re: XML data Development of search & retrieval business processes with relational data server CLOB: 8 hrs Shred: 2 hrs with DB2 Viper hybrid data server 30 min. Storebrand: eines der größten finanziellen Institutionen in Norwegen. Ziel war es, den Prozess für den Kredit-Check zu beschleunigen. Durch den Einsatz von purexml wurden dramatische Verbesserungen erreicht. Add field to schema 1 week 5 min. Relative lines of I/O code (65% reduction) Queries hrs 20 sec - 10 min Query non-shredded XML element 1 week day 12

7 Information Management Performanceverbesserungen beim Einfügen und Abfragen - Benchmark CLOB Dokumente mit 2-20k Größe Einfügen in CLOBs ohne Index und mit 1 Benutzer ist 2x schneller als mit purexml. Dies ändert isch mit der Einführung von Indizes. Dann ist purexml 23% schneller. Einfügen mit 10 parallelen Benutzern ändert das Bild: purexml ist 2-2.6x schneller (ohne/mit Indizes) Die Abfrageperformance ist signifikant höher mit purexml: abhängig vom Abfragetyp und der Benutzung von Indizes ist purexml 7-44x schneller als Abfragen über CLOBs. Ø Buffering/Blocking Ø Kein Parsen während der Abfragen Shredding Dokumente werden in 12 Tabellen und 3.5 Mio Zeilen zerlegt Einfügen in purexml ist x schneller als Shredding (abhängig von der Benutzung von Indizes und der Commit Häufigkeit) Relationales Abfragen der Daten und Konstruktion des XML Ergebnisses via SQL/XML Abfrageperformance ist -20x bis +>100x schneller mit purexml, abhängig vom Abfragetyp. -20x für eine Abfrage, welche nur ein Element pro Ergebnis taggen muss und nur 3 von 12 Tabellen verbinden. Ø Kein zerlegen während des Einfügens Ø Kein Parsen während der Abfragen 13 Weiterführende Links Native XMLSupport in DB2 UDB DB2 purexml Collection of technical papers and articles 03.ibm.com/developerworks/wikis/display/db2xml/Technical+Papers+and+Articles Search for Viper or DB2 9 on Bloor Research The business benefits of DB2 9 Download db2demo ibm.com/developerworks/db2/library/demos/db2demo/ Download DB2 9 Express-C for Windows XP 14

8 Fragen? 15