<Insert Picture Here> XML DB Vorlesung Ulrike Schwinn Teil 3

Transkript

1 <Insert Picture Here> XML DB Vorlesung Ulrike Schwinn Teil 3

2 Agenda XQuery-Abfragesprache Query Rewrite XMLTYPE- Tabellen und Views Speicherform Binary XML Vergleich der Speicherformen

3 Operationen im Überblick Queries Mit XML/SQL-Funktionen wie xmlquery,extract, extractvalue... XQuery Laden und Manipulieren von Daten Erzeugen von Tabellen Sichten Mit Views und URIServlet Indizierung

4 XQuery: Was ist das? Abfragesprache für XML-Dokumente Entspricht Industriestandards wie: W3C (XQuery 1.0) Teil von SQL:2005 Eigenschaften: Abfrage in nativer XML Sprache Einheitliche Syntax Abfragen aus verschiedenen Datenquellen...

5 Anwendungsgebiete XQuery Transformation XML nach XML XML-Abfragen XML erzeugen Relationale Sichten XSLT SQL/XML XPath SQL SQL/XML SQL/XML PL/SQL XPath SQL

6 Basisbestandteile: FLWOR-Ausdrücke

7 Implementierung in Oracle-Datenbank Enthalten ab Oracle Database 10g Release 2 Ohne zusätzliche Installation verfügbar Neue Komponenten: SQL*Plus Kommandozeileninterpreter XQUERY Spezielle SQL/XML-Funktionen XMLQUERY XMLTABLE XQuery-Funktionen wie z.b. ora:view XQuery arbeitet auf Schema und non-schema based Quellen

8 XQuery-Anwendungen Abfragen von relationalen Tabellen und Views in XML- Form Einfache Abfragen von XMLTYPE-Daten Abfragen von XML-Daten, die im XML DB-Repository oder in externen Quellen vorliegen

9 XMLQUERY-Funktion Syntax: XMLQUERY('<xquery>[optional <passing-klausel>]' RETURNING CONTENT) <passing-klausel>: PASSING <expr> AS <ident> PASSING object_value führt XQUERY Klausel aus und gibt das evaluierte Ergebnis als XMLTYPE Instanz zurück

10 XQUERY: Beispiel SQL> SELECT xmlquery('for $v in (1,2,3,4) let $i :=$v*2 order by $i return (<ergebnis> {$i} </ergebnis>)' returning content) AS test FROM dual / SQL> xquery / for $v in (1,2,3,4) let $i :=$v*2 order by $i return (<ergebnis> {$i} </ergebnis>)

11 Beispiel 1: XQuery und Tabellen SELECT XMLQuery('for $j in 1 return (<EMPLOYEES> { for $i in ora:view("scott", "emp")/row where $i/empno <= return (<EMPLOYEE> <EMPNO>{($i/EMPNO)}</EMPNO> </EMPLOYEE>)} </EMPLOYEES>)' RETURNING CONTENT) AS ausgabe FROM dual; AUSGABE <EMPLOYEES><EMPLOYEE><EMPNO><EMPNO>7369</EMPNO></EMPNO> </EMPLOYEE><EMPLOYEE><EMPNO><EMPNO>7499</EMPNO></EMPNO> </EMPLOYEE>...

12 Vordefinierte Namespaces Präfix Namespace Beschreibung ora m/xdb Oracle XMLDB fn /11/xpath-functions XPATH Funktionen xml /namespace XML xsi /XMLSchema-instance XML Schema Instance

13 XQuery- Funktionen fn: Präfix für Funktionen: fn:sum fn:doc Beispiele: fn:doc('/public/dept.xml') fn:collection("/public/employees")//emp ora: Präfix für Oracle Erweiterungen: ora: Präfix für Oracle Erweiterungen: ora:view, ora:contains, ora:replace, ora:matches, ora:sqrt Beispiel: ora:view("scott", "EMP")

14 Folder-Ressourcen: Verzeichnis anlegen Mit DBMS_XDB DELETERESOURCE CREATEFOLDER CREATERESOURCE usw... DECLARE VAR1 boolean; BEGIN DBMS_XDB.DELETERESOURCE('/public/uschwinn/dept'); VAR1 := DBMS_XDB.CREATEFOLDER('/public/uschwinn/dept'); COMMIT; END;

15 Ressource erzeugen: XML Datei erzeugen execute DBMS_XDB.DELETERESOURCE('/public/uschwinn/dept.xml'); COMMIT; DECLARE res BOOLEAN; deptstring VARCHAR2(300):= '<?xml version="1.0"?> <depts> <dept deptno="10" dname="administration"/> <dept deptno="20" dname="marketing"/> <dept deptno="30" dname="purchasing"/> </depts>'; BEGIN res := DBMS_XDB.CREATERESOURCE( abspath => '/public/uschwinn/depts.xml', data => deptstring); END; / COMMIT;

16 DECLARE xmldoc XMLTYPE; BEGIN Beispiel mit xquery SELECT XMLQuery( 'for $j in 1 return (<DEPTS> { for $i in ora:view("scott", "dept")/row where $i/deptno > 10 return (<DEPARTMENT> <DEPTNO>{$i/DEPTNO}</DEPTNO> <DNAME>{$i/DNAME}</DNAME> </DEPARTMENT>)} </DEPTS>)' RETURNING CONTENT) INTO xmldoc FROM DUAL; IF (DBMS_XDB.CREATERESOURCE( END IF; COMMIT; END; abspath => '/public/uschwinn/depts.xml', data => xmldoc)) THEN DBMS_OUTPUT.PUT_LINE('Resource is created'); ELSE DBMS_OUTPUT.PUT_LINE('Cannot create resource');

17 Beispiel 3 SELECT XMLQuery( 'for $i in fn:doc("/public/uschwinn/depts.xml") return $i' RETURNING CONTENT) AS result FROM dual; RESULT <DEPTS><DEPARTMENT><DEPTNO><DEPTNO>30</DEPTNO></DE PTNO><DNAME><DNAME>SALES</DNAME>...

18 Beispiel 4 SELECT XMLQuery( 'for $i in fn:collection("/public/")//employee where $i/sal >= 5000 order by $i/ename return $i' RETURNING CONTENT) AS ausgabe FROM dual; AUSGABE <EMPLOYEE><EMPNO><EMPNO>7839</EMPNO></EMPNO><ENAME><E NAME>KING</ENAME></ENAME><SAL><SAL>5000</SAL></SAL></ EMPLOYEE> SELECT XMLQuery('count(for $i in fn:collection("/public/dept")//department return $i)' RETURNING CONTENT) AS ausgabe FROM dual;

19 Beispiel 5 SELECT XMLQuery(' for $j in ora:view("scott", "DEPT")/ROW where $j/deptno = 10 return (<DEPARTMENT> {$j/deptno} <EMPLOYEES> { for $i in ora:view("scott", "EMP")/ROW where $i/deptno = $j/deptno return (<EMPLOYEE> {$i/empno,$i/ename}</employee>)} </EMPLOYEES> </DEPARTMENT>)' RETURNING CONTENT) FROM dual;

20 XMLTABLE-Funktion Syntax: XMLTABLE ([opt.namespace]<xquery><optionen>) <optionen>: [passing_klausel][opt. Spalten] [opt. Spalten]: COLUMNS <datatype> PATH <STRING> [DEFAULT wert] [passing_klausel] Beispiel PASSING OBJECTVALUE bildet das Ergebnis von XQUERY auf Spalten und Zeilen ab

21 Relationale Sichten SELECT d.empno, d.ename FROM XMLTable('for $i in fn:collection("/public/")//employee return $i' COLUMNS empno NUMBER PATH '/EMPLOYEE/EMPNO', ename VARCHAR2(30) PATH '/EMPLOYEE/ENAME') d WHERE empno>7800; EMPNO ENAME EMPNO ENAME KING 7844 TURNER 7876 ADAMS 7900 JAMES 7902 FORD 7934 MILLER

22 EABEL xml

23 XMLTABLE Beispiel SELECT ttab.column_value AS OrderTotal FROM purchaseorder, XMLTable( 'for $i in /PurchaseOrder where $i/user = "EABEL" return <OrderTotal> {$i/reference}<total> {fn:sum(for $j in $i/lineitems/lineitem/part return ($j/@quantity*$j/@unitprice))} </Total> </OrderTotal>' PASSING OBJECT_VALUE ) ttab; ORDERTOTAL <OrderTotal><Reference>EABEL GMT</Reference> <Total> </Total></OrderTotal> <OrderTotal><Reference>EABEL GMT</Reference> <Total>279.86</Total></OrderTotal>...

24 Fazit: XQuery... Erste native Abfragesprache für XML Große Datenmengen Heterogene Datenquellen Schon jetzt breite Akzeptanz in der Community

25 Agenda XQuery-Abfragesprache Query Rewrite XMLTYPE- Tabellen und Views Speicherform Binary XML Vergleich der Speicherformen

26 Query Rewrite SELECT xmlquery('declare default element namespace " /Departments/Deptname' PASSING object_value RETURNING CONTENT) FROM department_table e SELECT e.xmldata.deptname FROM department_table e;

27 Query Rewrite Der direkte Zugriff auf die objektrelationalen Tabellenspalten erfolgt nur bei Anwendung von Query Rewrite Objektrelationale Tabelle departments Deptno Employees Deptname Name Addr Age Street XPath: /Departments/Employees/Name City

28 Query Rewrite Ohne Query Rewrite muß die Anfrage mit dem XML Parser druchgeführt werden => Aufbau eines DOM-Baumes Objektrelationale Tabelle DOM-Baum Departments Deptno Employees Deptname Name Addr Age Street XPath: /Departments/Employees/Name City

29 Query Rewrite: Eigenschaften Optimierung der SQL-Kommandos XPath Auswertung ohne Parsen des Gesamtdokuments Gezielte Nutzung der objektrelationalen Tabellenspalten Nutzung der vorhandenen Indizes

30 Query Rewrite wird für folgende XML Funktionen angewandt: XMLQUERY XMLEXISTS updatexml insertchildxml deletexml XMLSequence XMLTABLE usw. in jedem SQL-Statement

31 Kein Query Rewrite XPath Funktionen XPath Variablen-Reference Falls "axis" keine "child" und Attribute Achsen sind Keine Wildcards UNION Operationen

32 Einsatz von Events Schreibt Tracedatei bei Explain Plan ALTER SESSION SET EVENTS '19027 trace name context forever, level 8192'; EXPLAIN PLAN FOR select * from xml_tab1 x where xmlquery('/nachricht/titel/text()' passing xmldoc returning content) like '%IBM:%'; In Trace Datei schauen unter USER_DUMP_DEST: *** :32: NO REWRITE Reason ==> MKXML does not have schema or OR info

33 Ausführung und Optimierung Optimierung durch Query Rewrite in zwei Schritten 1. Rewrite XQuery nach SQL/XML 2. Rewrite XPath auf (objekt)relationale Spalten Query Rewrite ist Voraussetzung für Index-Nutzung Materialized Views Partitionierung... Query Rewrite = Wichtige XML Tuning-Maßnahme!

34 Agenda XQuery-Abfragesprache Query Rewrite XMLTYPE- Tabellen und Views Speicherform Binary XML Vergleich der Speicherformen

35 Tabellen erstellen Automatisch bei der Schema-Registrierung (siehe Annotation "defaulttable" ) Mit CREATE TABLE-Kommando Als CLOB oder BINARY XML ohne Schema-Bezug Mit Einschränkung auf globales Element (definiert im Schema) Als XMLTYPE-Tabelle Als XMLTYPE-Spalte Als CLOB mit Schemabezug

36 Relationale View erstellen CREATE VIEW- Kommando Erzeugen einer relationalen Sicht: Verwendung von Funktionen wie z.b. xmlquery, xmlsequence etc

37 Relationale View erstellen CREATE OR REPLACE VIEW purchaseorder_master_view (DATUM, GESELLSCHAFT, TITEL) CREATE VIEW Kommando AS SELECT XML-Sicht: XML/SQL Funktionen XMLFOREST etc oder XQuery Relationale Sicht: extractvalue, xmlsequence xmlquery ('declare default element namespace " text()' passing object_value returning content), xmlquery ('declare default element namespace passing object_value returning content), xmlquery ('declare default element namespace " text()' passing object_value returning content) FROM nr_nachricht_tab;

38 XMLTYPE Views Stellen relationale und objektrelationale Daten als XML dar. Verwendung von SQL/XML Funktionen Nutzen: Verwendung von XML DB Features ohne Stammdaten zu migrieren: Schemabasierte und nicht schemabasierte Speicherung Validierungsmöglichkeit Zugriffe und Query Rewrite...

39 Beispiel

40 XMLTYPE View erstellen Sind vergleichbar mit Objekt-Views: Jede Zeile einer XMLTYPE View korrespondiert mit einer XMLTYPE Instance. Eindeutige Objektidentifier identifiziert jede Zeile in der View. DML mit Instead of Trigger sicherstellen DD View USER_XML_VIEWS zur Überprüfung

41 Beispiel CREATE OR REPLACE VIEW department_xml of XMLTYPE XMLSCHEMA " ELEMENT "Department" WITH OBJECT ID (SUBSTR(extract(object_value,'/Department/Name'),1,30)) AS SELECT xmlelement ("Department", xmlattributes( d.department_id as "DepartmentId"), xmlelement("name", d.department_name), xmlelement ("EmployeeList", ( SELECT xmlagg... ) AS XML FROM HR.departments d, HR.countries c, HR.locations l WHERE d.location_id = l.location_id AND...

42 Zugriffe SELECT xmlquery('/department/name' passing object_value returning content) FROM department_xml d EXTRACTVALUE(OBJECT_VALUE,'/DEPARTMENT/NAME') Shipping...

43 Agenda XQuery-Abfragesprache Query Rewrite XMLTYPE- Tabellen und Views Speicherform Binary XML Vergleich der Speicherformen

44 Binary XML Speicherung Mit Oracle Release 11g Flexibler Schema Support Spezielles XML Encoding: STORE AS BINARY XML, STORE AS BINARY XML XMLSCHEMA, ALLOW NONSCHEMA, ALLOW ANYSCHEMA Reduzierter Platzverbrauch Optimiert für speziellen XML-Index Auch für Dokument- und semi- zentrische Speicherformen geeignet

45 Speicherungsformen: Platzbedarf CLOB OR BINARY Platzbedarf 1 gr. Dokument Platzbedarf 680 kl. Dokumente

46 Binary XML Speicherung BEGIN DBMS_XMLSCHEMA.registerUri( SCHEMAURL => ' SCHEMADOCuri => '/public/uschwinn/xsd/nachrichten.xsd', GENTYPES => false, OPTIONS => DBMS_XMLSCHEMA.REGISTER_BINARYXML); END; CREATE TABLE binary_xml_tab1( id NUMBER(2), doc XMLTYPE) XMLTYPE COLUMN doc STORE AS BINARY XML XMLSCHEMA " ELEMENT "nachricht" ALLOW NONSCHEMA;

47 Binary XML Speicherung CREATE TABLE binary_xml_tab2( id NUMBER(2), doc XMLTYPE) XMLTYPE COLUMN doc STORE AS BINARY XML XMLSCHEMA " ELEMENT "nachricht" ALLOW ANYSCHEMA; CREATE TABLE binary_xml_tab3( id NUMBER(2), doc XMLTYPE) XMLTYPE COLUMN doc STORE AS BINARY XML ALLOW ANYSCHEMA ALLOW NONSCHEMA;

48 Was passiert mit... INSERT INTO binary_xml_tab[1 2 3] VALUES (1,'<?xml version="1.0" encoding="utf-8"?> <nachricht xmlns=" typ="unternehmensmeldung" xmlns:xsi=" xsi:schemalocation=" <aktie wkn="766400" name="volkswagen" reuters="vw" branche="automobile"/> <datum> t12:29:00</datum>... INSERT INTO binary_xml_tab[1 2 3] VALUES (1,'<?xml version="1.0" encoding="utf-8"?> <nachricht><aktie wkn="766400" name="volkswagen" reuters="vw" branche="automobile"/> <datum> t12:29:00</datum> <quelle>dpa-afx</quelle>...

49 XML Indizieren: XML Index Neuer Index für Speicherungsform Textbasiert Binary XML Nicht geeignet für objektrelationale Speicherung CREATE INDEX xml_index ON binary_xml_tab3 (doc) INDEXTYPE IS xdb.xmlindex parameters ('PATHS (INCLUDE (/nachricht/aktie /nachricht/kontakt))');

50 Strukturierte Speicherung B* Index Text basierte Speicherung XML Index Welchen Index einsetzen? Binary XML basierte Speicherung XML Index

51 Agenda XQuery-Abfragesprache Query Rewrite XMLTYPE- Tabellen und Views Speicherform Binary XML Vergleich der Speicherformen

52 Speichermöglichkeiten für XML 1. Relationale Speicherung 2. Large Object (speziell als CLOB) 3. XML aware Speicherung mit speziellem Datentyp Die Speicherart richtet sich nach den Anforderungen der Anwendungen wie z.b. : Konkurrierender Zugriff Vokabularänderung Performance (beim Abfrage, Laden etc) Platzbedarf XML Schema Support Erhalt von XML Informationen

53 Speicherung mit speziellem XMLTYPE Datentyp Verwendbar wie jeder andere Datentyp in der Spalten- oder Tabellendefinition in PL/SQL Logik Unterstützt unterschiedliche Speicherformen

54 Speicherung mit XMLTYPE Datentyp: Textbasiert Die Speicherart richtet sich nach den Anforderungen der Anwendungen wie: Konkurrierender Zugriff Vokabularänderung Ladeperformance Abfrage-Performance Platzbedarf XML Schema Support Erhalt von XML Informationen Flexibilität Standardkonf. Zugriff Indizierung (XML) XML Validierung Performance (*) Sperre auf Dok-Ebene DOM Hoher Platzbedarf (*) Performance: INSERT, ganzes Dokument, Teilknoten, UPDATE...

55 Speicherung mit XMLTYPE Datentyp: objektrelationale Speicherung Die Speicherart richtet sich nach den Anforderungen der Anwendungen wie: Konkurrierender Zugriff Vokabularänderung Ladeperformance Abfrage-Performance Platzbedarf XML Schema Support Erhalt von XML Informationen Sperre auf Elementebene SQL und W3C-Standards Indizierung XML Validierung Intelligentes DOM-Handling Performance (*) Flexibilität (*) Performance: INSERT, ganzes Dokument, Teilknoten, UPDATE...

56 Speicherung mit XMLTYPE Datentyp: Binary XML Die Speicherart richtet sich nach den Anforderungen der Anwendungen wie: Konkurrierender Zugriff Vokabularänderung Ladeperformance Abfrage-Performance Platzbedarf XML Schema Support Erhalt von XML Informationen Hohe Flexibilität Standardkonf. Zugriffe Indizierung (XML) XML Validierung Intelligentes DOM-Handling Geringer Platzbedarf Performance (*) (*) Performance: INSERT, ganzes Dokument, Teilknoten, UPDATE...

57 Gegenüberstellung Abfragen Update Operationen Speicherplatz Flexibler XML Schema Support DOM Handling Index Support Flexible Datenspeicherung Text Object Binary

58 Speicherungsformen: Entscheidungshilfe Die richtige Wahl der Speicherungsform ist eine der wichtigsten Entscheidungen! Drei Fragen führen zur richtigen Speicherungsform Zugriffe auf ganze Dokumente oder auf Dokumentteile? Liegt ein XML Schema vor oder nicht? Wird sich das XML Schema ändern oder stabil bleiben?