XML in kommerziellen Datenbanksystemen. Vortrag im Rahmen des Seminares: XML Datenbanken Cordula Bauer

Transkript

1 XML in kommerziellen Datenbanksystemen Vortrag im Rahmen des Seminares: XML Datenbanken Cordula Bauer Thematik: Untersucht werden MS SQL Server, Oracle und DB2 Alle drei Anbieter haben XML in ihre bestehenden, relationalen Datenbanksysteme integriert Ziel ist es das DBS als native XML Datenbank nutzen zu können Zentrale Fragestellung des Vortrags: Wie kann XML innerhalb eines relationalen DBS gespeichert, indexiert, wiedergefunden und geupdated werden? Problem der fehlenden Standardisierung: der XML-Datentyp wurde im SQL-2003-Standard definiert abgesehen davon sind viele Standards für XML noch nicht durchgesetzt Mitglieder aller drei Firmen (v.a. IBM) sind Mitglieder in den W3C-Gremien dennoch finden die Spezifikationen erst langsam Eingang in die kommerziellen Systeme Obwohl sich viele Gemeinsamkeiten in den 3 Systemen erkennen lassen, gibt es keine einheitliche Umsetzung Inhalt: Allgemeine Konzepte MS SQL Server Oracle DB2 Zusammenfassung Allgemeine Konzepte: XML Modell vs. relationales Modell XML Datentyp Speicherung: Bisher: Speicherung als BLOB oder CLOB Vorteil: schneller Aufruf des Dokuments Nachteil: mit Knoten kann nicht direkt gearbeitet werden Shredding: Knoten werden auf Tabellenzeilen gemappt (z.b. über Annotationen im XMLSchema) Vorteil: einfacher Zugriff auf die Informationen in den einzelnen Knoten Nachteil: aufwändig zu erstellen, viele Tablellen, viele Nullwerte Kann wie number oder varchar als Datentyp für eine Spalte in einer relationalen Tabelle vergeben werden Zugrunde liegendes Datenmodell: XQuery Data Model Beim Einfügen eines neuen Dokuments kann so auf Wohlgeformtheit geprüft werden create table XMLDocs (id number, doc XMLDatentyp) Diese logische Abstraktion ist in allen 3 Systemen gleich. Unterschiede bestehen in der physischen Speicherung.

2 SQL Server The Big Picture Physische Speicherung: Das physische Modell des XML Datentyps ist eine binäre Repräsentation der logischen Konzepte (Elemente, Attribute, etc.) XMLs. Speicherung dieser Repräsentation als BLOB Größe des Dokument wird um 20%-30% reduziert XML Schema Collection In der XML Schema Collection können verschiedene XML Schema Komponenten gespeichert werden, z.b. Element- oder Typ-Deklarationen create xml schema collection S1 Spalte vom XML Typ kann mit Schema versehen werden: create table Orders(id int, orderdate datetime, POContract XML(document ContractSchema)) Auch expliziter Type-Check möglich: select as XML(S1)) sei Instanz vom Typ XML) XML Index Der primäre XML Index von Microsoft nennt sich Node Table. Es ist eine Tabelle in welcher eine Zeile einem Knoten entspricht. create primary xml index xldx ON XDoc(doc) Vereinfacht sieht der Index in etwa so aus: OrdPath Path_ID tag node type value 1 #BOOK 1 (BOOK) 1 (Element) null 1.1 #ISBN#BOOK 2 (ISBN) 2 (Attribute) #TITLE#BOOK 3 (TITLE) 1 (Element) Bad Bugs Des weiteren stehen 3 sekundäre Indexe zur Verfügung: PATH Index PROPERTY Index VALUE Index XQuery Für SQL stehen Funktionen bereit um XQuery und XPath-Ausdrücke zu integrieren:.query() gibt Wert vom XML Datentyp zurück.value() gibt Wert eines der SQL-Datentypen zurück.exist() gibt 0 zurück wenn Ergebnis leere Menge, sonst 1.nodes() gibt für jeden Unterknoten des Ergebnisknotens eine Zeile zurück

3 Beispiel1: exist()-funktion SELECT doc FROM TripReports WHERE 1 = doc.exist( /doc/customer//saleslead ) Beispiel 3 value()-funktion: SELECT doc.value( /doc/customer/order/@id, int ) as OrderID FROM TripReports Beispiel 2 query()-funktion: SELECT doc.query ( for $c in /doc/customer where $c//saleslead return <customer id= {$c/@id} > {$c//saleslead}</customer> ) FROM TripReports Beispiel 4 value() und nodes()-funktion: SELECT int ) as OrderID FROM TripReports doc.nodes( /doc/customer/order ) as orders Falls node table (XML Index) von den vom Query betroffenen Dokumenten noch nicht erstellt wurde, wird dies nachgeholt. Er wird zur Query-Optimierung eingesetzt. XQuery wird transformiert. (siehe Grafik) XPath-Ausdrücke werden auf Path_ID im node table gemappt. Updating Geschieht über die in SQL integrierte modify()-funktion. Beispiel: update TripReports set doc.modify( delete /doc/customer//saleslead[@year < 2000] ) Physisch wird dies genauso realisiert wie XQuery- und XPath-Ausdrücke. OrdPath ist sozusagen die zugrundeliegende Update-Technologie Oracle The Big Picture physische Speicherung Hybrid Im XMLSchema wird angegeben welche Teile in CLOBs gespeichert werden und welche geshreddet werden sollen Binary XML Storage Tag tokenization Werte werden in ihrem ursprünglichen Datenformat gespeichert Teilbäume werden auf verschiedenen Seiten gespeichert! ist allerdings im aktuellen Release noch nicht vorhanden

4 XML Schema Für eine Spalte vom Typ XMLType oder eine Tabelle vom Typ XMLType kann ein bestimmtes Schema erzwungen werden. Das Schema muss zunächst in die Datenbank eingefügt und dann als Schema angemeldet werden. Anmeldung: BEGIN END; DBMS_XMLSCHEMA.REGISTERSCHEMA (schemaurl=>' schemadoc=>sys.urifactory.geturi('/public/doag/presentation.xsd')); Nun können Dokumente eingefügt werden und auf dieses Schema validiert werden. INSERT INTO "presentation1364_tab" values(xmltype( '<presentation xmlns:xsi= xsi:nonamespaceschemalocation= " some content... </presentation> ')); Angegebenes Schema wird in der Datenbank gesucht und gegen das einzufügende Dokument validiert. XML Index Oracle stellt einen XMLIndex für XML Dokumente, welche im (C)LOB Format gespeichert sind. Eine Zeile in der Indextabelle entspricht einem Knoten. document id dewey style order key path id value #meal#menue Rührei 3 sekundäre Indexe stehen desweiteren bereit: PATH Index POSITION Index VALUE Index XML Repository Das Oracle XML Repository stellt eine Abstraktionsebene dar, welche es ermöglicht in der Datenbank gespeicherte XML-Dokumente als Dateien im Dateisystem zu betrachten. Lesen und Bearbeiten der XML-Dokumente z.b. mit MSWord, FTP, HTTP etc. ist möglich XML View Aus objekt-relationalen Daten können nicht nur objekt-relationale Views sondern auch XML Views, also virtuelle XML Dokumente erstellt werden. Dazu werden für SQL Funktionen für Publishing aus dem SQL/XML Standard bereitgestellt. einige dieser Funktionen: XMLElement() - Element-Konstruktor XMLForest() - Konstruktion eines Waldes von attributlosen Elementen XMLConcat() - Zusammenfügen mehrere XML-Werte zu einem create or replace view Emp_view of xmltype with object id (extract(sys_nc_rowinfo$,'/emp/@empno').getnumberval()) as SELECT XMLElement("Emp", XMLAttributes(empno), XMLForest(e.fname ' ' e.lname AS "name", e.hire AS "hiredate")) AS "result" FROM emps e WHERE salary > 20000; <Emp EMPNO="2100"> <name>john Smith</name> <hiredate> </hiredate> </Emp> <Emp EMPNO="2200"> <name>mary Martin</name> <hiredate> </hiredate> </Emp>

5 XQuery XQuerys und XPath-Ausdrücke werden in SQL-Funktionen verarbeitet. Einige Funktionen: ExistsNode() Extract() XMLSequence() XMLQuery() XMLTable() in der FROM Klausel 1. Beispiel extractvalue()-funktion: SELECT a.lfd_nr, extractvalue(a.adresse, '/Adr/Name') FROM adressenliste a 2. Beispiel: integrierter XQuery auf einem XML View SELECT XMLQuery(for $b in ora:view( S_T )/site/person where $b/@id = 0 return $b/name returning content) FROM dual; XQuerys können aber auch alleine stehen. Beispiel 3: Alleinstehender XQuery, in welchem die Dateisystem-Abstraktion ausgenutzt wird: xquery for $i in doc("/docs/accounting.xml")/department/employee where $i/firstname="shelley" return $i Je nach der physischen Speicherung der XML Dokumente, wird der XQuery bzw. der XPath-Ausdruck anders ausgewertet. Falls ein Index vorhanden ist, so wird dieser zur Optimierung eingesetzt. CLOB Ausdruck wird entweder über SAX oder über DOM abgearbeitet Shredded Ausdruck wird in SQL-Funktion umgeschrieben, welche auf den entsprechenden zugrundeliegenden Tabellen ausgeführt wird Updating Auch dies geschieht über in SQL integrierte Funktionen (aus dem SQL/XML Standard). Auch diese Funktionen werden intern gemäß der physischen Speicherung ausgeführt. CLOB: Dokument wird in DOM transformiert, verändert, zurücktransformiert und das alte Dokument überschrieben Shredded: Werte in den entsprechenden zugrundeliegenden Tabellen werden verändert Funktionen: UpdateXML(), DeleteXML(), InsertChildXML(), InsertXMLBefore(), AppendChildXML() DB2 The Big Picture

6 physische Speicherung: Das physische Modell ist eine hierarchische Repräsentation des XML Dokuments. (XML-Baum-Repräsentation) Baum (Dokument) kann in Teilbäume (Regionen) geteilt werden und auf verschiedenen Datenseiten gespeichert werden. Ein Region Index erlaubt beschleunigten Zugriff auf gewünschte Regionen Tagnamen werden auf StringIDs gemappt und durch diese ersetzt. StringID-Index wird dazu erstellt. Falls Dokument gegen Schema validiert wurde, so werden die Daten in ihrem xs:datentyp abgespeichert XML Schema Für jedes XML Dokument einer Spalte kann ein (anderes!) XMLSchema verlangt werden. Schema muss an der Datenbank angemeldet werden, dann können Dokumente eingefügt werden und gegen dieses Schema validiert werden. register xmlschema from dept.xsd as departments.deptschema complete insert into dept(deptdoc) values xmlvalidate(? according to xmlschema id departments.deptschema) insert into dept(deptdoc) values xmlvalidate(?) (hier wird das im XMLDokument angegebene Schema erst noch in der Datenbank gesucht) XML Index Der primäre Index in DB2 wird als Value Index bezeichnet. Eine Zeile der Indextabelle entspricht einem Knoten create index idx1 on dept(deptdoc) generate key using xmlpattern /dept/employee/name as sql varchar(35) Es werden nur die in xmlpattern angegebenen Knoten indexiert. RowID PathID NodeID value 7 45FE22 45 Susi identifiziert Dokument innerhalb der Spalte id des Pfades aus dem Path Index id des Knotens, nach einem numbering scheme? Xquery XQuery wird über Funktionen in SQL integriert und umgekehrt! 1. XQuery-Funktionen in SQL, einige davon XMLQuery() XMLExists() XMLTable() Beispiel xmlquery()-funktion SELECT deptid, xmlquery( for $e in $deptdoc/dept/employee where $e/office = 344 return $e/name passing by ref d.deptdoc as deptdoc returning sequence) FROM dept d 2. SQL-Funktionen in XQuery

7 db2-fn:xmlcolumn db2-fn:sqlquery 1. Beispiel db2-fn:xmlcolumn: for $e in db2- fn:xmlcolumn( DEPT.DEPTDOC )/dept/employee where $e/office = 344 return $e/name 2. Beispiel db2-fn:xmlcolumn: for $e in db2-fn:sqlquery( SELECT DEPTDOC FROM DEPT )/dept/employee where $e/office = 344 return $e/name DB2 hat separate parser für SQL und XQuery, benutzt aber nur einen query compiler für beide Sprachen. Für XML gibt es einige neue Operatoren: XScan - für XML Navigation XIScan - für XML Index access Xandor - für Joins auf Indexen Falls ein Index vorhanden ist, so wird dieser zur Optimierung eingesetzt. Auch Statistiken Häufigkeiten von Elementen, Attributen und Werten sollen zur Query-Optimierung eingesetzt werden. Update Bisher ist noch kein Update-Mechanismus in DB2 integriert. Einige Entwickler haben sich jedoch Gedanken gemacht und Prozeduren geschrieben um Updates durchführen zu können. Hier eine Variante: DB2XMLFUNCTIONS.XMLUPDATE <name>susi</name> wird durch <name>tina</name> ersetzt call DB2XMLFUNCTIONS.XMLUPDATE ( '<updates><update action="replace" col="1" path="/x:customerinfo/x:name"> <name>tina</name> </update> </updates>', 'Select info from XMLCustomer where cid=1006', 'update XMLCustomer set info=? Where cid=1006',?,?); Zusammenfassung Alle Systeme stecken noch mitten in der Entwicklung, genau wie die Standards zu den einzelnen Funktionalitäten. Parallelen in den einzelnen Systemen sind zu erkennen, dennoch sieht die Umsetzung teilweise ganz anders aus. Zuviel technische Details wollen die 3 Firmen nicht verraten, 1. aus Wettbewerbsgründen 2. weil einiges noch gar nicht umgesetzt wurde 3. weil es kaum Erfahrungswerte mit den neuen Funktionalitäten gibt Charakteristiken der einzelnen Systeme Oracle: - bisher noch keine effiziente physische Speicherung - XMLDokumente können wie Dateien in Dateisystem benutzt werden - XML Views können generiert werden SQLServer: - binäre Speicherung kann Größe des Dokuments reduzieren - sämtliches Arbeiten mit XML-Dokumenten läuft über SQL-Funktionen DB2: - hierarchische Speicherung, Split des Dokuments in Regionen - SQL in XQuery integrierbar, gemeinsame query engine - bisher noch keine Möglichkeit XML Updates durchzuführen Da XML zunehmend an Bedeutung gewinnt und fleißig an den Standards gearbeitet wird, darf man gespannt sein wie sich die Systeme in nächster Zeit weiterentwickeln werden