<Insert Picture Here> XML DB Vorlesung Ulrike Schwinn Teil 1

Transkript

1 <Insert Picture Here> XML DB Vorlesung Ulrike Schwinn Teil 1

2 Agenda XML und Datenbank: Einführung Mögliche Speicherarten Exkurs: XPATH XML Abfragen XML Repräsentation DBURI-Servlet SQL/XML Funktionen

3 Einige Vorteile von XML in der Praxis Liefert ein gemeinsames Datenformat, das die Teilnahme an Geschäftsaustausch und Zulieferketten erleichtert Vereinfacht die Anwendungsintegration in einer Organisation Reduziert Datenkonvertierungskosten und Anwendungsentwicklungszeit

4 Verschiedene Sichtweisen Sichtweisen auf XML Dokumente: Datenzentrisch Dokumentzentrisch Mischformen Unterscheidung ist wichtig für die Speicherungsart die Speicherungsart den Entwurf des XML-Schemas Beispiele: Zeitungsartikel, Kreditanträge, etc.

5 Dokumentzentrisches XML Dokument als kleinste Einheit Lesen und Schreiben als Ganzes Häufig Volltextsuche Reihenfolge ist wichtig Dokument-Transformationen sind wichtig: sind aus anderem Format nach XML konvertiert XML als medienneutrales Speicherformat Beispiele: Bücher, , Artikel, Homepages...

6 Datenzentrisches XML Daten stehen im Vordergrund Dokumentkontext nicht unbedingt wichtig Häufig strukturierte Suche größer-als (>) und kleiner-als (<) Abfragen XML als Austauschformat Standardisierung der Werkzeuge Integration in die IT-Landschaft Beispiele: Telefonbücher, Messreihen, Fahrpläne, Bestellungen etc.

7 Mischformen Beide Konzepte in einem Dokument Beispiele: Zeitungsartikel mit strukturierten Zusatzinformationen Autor, Zeitung, Erscheinungsdatum Kreditanträge Strukturierte Kunden- und Kreditdaten Unstrukturierte Begründungen

8 Einige Anwendungsfälle von XML Publishing und Content Management Semantic Web und Metadatenspeicherung Grundlage für RDF XHTML RSS Feeds Webservices (siehe auch WSDL, UDDI) Speicherung in Datenbanken

9 Warum XML in der Datenbank? Zentrale Verwaltung Sicherheit Mission critical Daten => Backup Veränderbarkeit Verwendung mit relationalen Daten Hohe Skalierbarkeit und Performanz durch XML- Verarbeitung und Datenspeicherung in der DB Verbesserte Memoryverwaltung für große XML-Dateien Effizientes Laden, Processing, Generierung und Transformation

10 Warum XML in der Datenbank und nicht im Dateisystem? Einfache Entwicklung und Einsatz von XML Reduziert Administrationskosten von ausserhalb liegenden Layern Keine separaten XML-processing Layer Standardkonformität der Applikationen W3C, IETF, ANSI/ISO, J2EE Keine proprietäre Dateiformate, Message-formate, usw

11 Agenda XML und Datenbank: Einführung Mögliche Speicherarten Exkurs: XPATH XML Abfragen XML Repräsentation DBURI-Servlet SQL/XML Funktionen

12 Speichermöglichkeiten für XML 1. Relationale Speicherung 2. Large Object (speziell als CLOB) 3. XML aware Speicherung mit speziellem Datentyp XMLTYPE

13 Speicherung in der Datenbank Oracle Datentypen Built-In Datentypen Supplied Datentypen User-Defined Datentypen CHAR(n), NCHAR(n) VARCHAR2(n), NVARCHAR2(n) RAW(n), LONG RAW ROWID, UROWID NUMBER BINARY_FLOAT, BINARY_DOUBLE DATE BLOB, CLOB, NCLOB, BFILE TIMESTAMP INTERVAL XML Type Media Types Spatial Types Any Types Object types Varying Array (VARRAY) Nested Table Ref

14 Der XMLTYPE Datentyp Verwendbar wie jeder andere Datentyp in der Spalten- oder Tabellendefinition in PL/SQL Logik Unterstützt drei unterschiedliche Speicherformen

15 Eigenschaften von XMLTYPE Ist ein Oracle "build in" Datentyp Zugriff mit XPATH Funktionen möglich Enthält wohlgeformtes XML Dokument Kann als CLOB, Objektrelational oder Binary XML gespeichert werden Kann Schema konform gespeichert werden Besitzt XMLTYPE Methodenfunktionen/Konstruktoren in PL/SQL, C oder Java Beispiel: Enthält Methoden um Schema Validierung und XSL Transformation durchzuführen

16 Datentyp XMLTYPE in Tabelle/Spalte XML Speicherung in einer Spalte CREATE TABLE xml_tab (x_doc XMLTYPE) XMLTYPE COLUMN x_doc STORE AS [clob object relational binary xml] XML Speicherung der ganzen Tabelle CREATE TABLE xml_tab OF XMLTYPE XMLTYPE STORE AS [clob object relational binary xml]

17 Intern: Textbasierte Speicherung SQL> SELECT object_value FROM xml_text WHERE rownum=1; OBJECT_VALUE <PurchaseOrder xmlns:xsi=" xsi:nonamespaceschemalocation=" /posource/xsd/purchaseorder.xsd"> <Reference>EABEL PDT</Reference> <Actions> <Action>... SQL> SELECT e.xmldata FROM xml_text e WHERE rownum=1; OBJECT_VALUE <PurchaseOrder xmlns:xsi=" xsi:nonamespaceschemalocation=" /posource/xsd/purchaseorder.xsd"> <Reference>EABEL PDT</Reference> <Actions> <Action>...

18 Intern: Objektrelationale Speicherung SQL> SELECT object_value FROM xml_struct WHERE rownum=1; OBJECT_VALUE <PurchaseOrder xmlns:xsi=" xsi:nonamespaceschemalocation=" /posource/xsd/purchaseorder.xsd"> <Reference>EABEL PDT</Reference> <Actions> <Action>... SQL> SELECT e.xmldata FROM xml_struct e WHERE rownum=1; XMLDATA(SYS_XDBPD$, REFERENCE, ACTIONS(SYS_XDBPD$, ACTION(SYS_XDBPD$, ACTIONED_B PURCHASEORDER_T(XDB$RAW_LIST_T('23FF F A2F2F6C6F63616C 686F73743A F686F6D652F53434F54542F706F536F F F F E '), 'EABEL PDT', ACTION

19 Intern: Binary XML Speicherung SQL> SELECT object_value FROM xml_bin WHERE rownum=1; OBJECT_VALUE <PurchaseOrder xmlns:xsi=" xsi:nonamespaceschemalocation=" /posource/xsd/purchaseorder.xsd"> <Reference>EABEL PDT</Reference> <Actions> <Action>... SQL> SELECT e.xmldata FROM xml_bin e WHERE rownum=1; XMLDATA F01639E000000B C85DA1DD0001C03E A2F2F6C6F63616C686F73743A F686F6D652F53434F54542F706F 536F F F F E787364C01956E C2D C83A7CC81A AAC007033F455A4C4F544B4559D9D9C08F3AB8C00C1F54456C6C656E20532E

20 Wie fügt man XML ein? Einfüge-Operationen in Tabelle manuell INSERT INTO xml_tab VALUES (XMLTYPE('<ein XML Dokument eingebem>')) Einfügen eines vorhandenen Dokuments CREATE OR REPLACE DIRECTORY xml_dir AS '<directory>' INSERT INTO xml_tab VALUES (XMLTYPE(bfilename('XMLKURS', 'employees.xml'), NLS_CHARSET_ID('AL32UTF8')))

21 XML in der Datenbank - Orientierung Data Dictionary Views wie USER/DBA/ALL_XML_TABLES USER_XML_TAB_COLS USER_XML_VIEWS USER_XML_VIEW_COLS USER_XML_SCHEMAS SQL Developer Enterprise Manager Listener-Werkzeug

22 Übung Übung 1 Host: xmldb.informatik.fh-augsburg.de BS Account: ora11g/ora11gss11 DB Account: x1/x1 etc SID: xmldb Port: 1521

23 Agenda XML und Datenbank: Einführung Mögliche Speicherarten Exkurs: XPATH XML Funktionen XML Repräsentation DBURI-Servlet SQL/XML Funktionen

24 Lokatorsprache XPATH The primary purpose of XPath is to address parts of an XML document. In support of this primary purpose, it also provides basic facilities for manipulation of strings, numbers and booleans. XPath uses a compact, non-xml syntax to facilitate use of XPath within URIs and XML attribute values. (*) Zur Extraktion beliebiger Teile eines wohl-geformten XML-Dokuments Verabschiedung 1999 vom W3C Pfad-orientierte Lokatorsprache, die das Auffinden von Dokument-Teilen (einzelnen Elementen, Attributen, etc.) durch Ausdrücke gestattet. (*) Quelle:

25 Lokatorsprache XPATH Ein XPath-Ausdruck setzt sich zusammen aus: Einem oder mehreren Lokalisierungsschritten (location step), die mit dem Zeichen "/" getrennt werden. Ein Location Step besteht aus: Achse (axis) Knotentest (node-test), optional gefolgt von einem oder mehreren Prädikaten (predicates) Siehe auch XML Developer Guide Appendix

26 XPATH: Auszug der Pfadausdrücke Location Path para Description para element children of the contextnode * all element children of the context node text() all text node children of the context name attribute of the context para[1] para[last()] */para /doc/chapter[5]/section[2] //para all attributes of the context node the first para child of the context node the last para child of the context node all para grandchildren of the context node the second section of the fifth chapter of document element doc all para descendants of the document root, and thus all para elements in the same document as the context node

27 Beispiel

28 XPath Ausdrücke I /Abteilungen /Abteilungen/Abteilung /Abteilungen/Abteilung[@nr="1"] /Abteilungen/Abteilung[@nr="1"]/Mitarbeiter /Abteilungen/Abteilung[@nr="1"]/ Mitarbeiter[Age>30] /Abteilungen/Abteilung/Mitarbeiter[Age=30 and Name="Martina Schwinn"]')

29 XPath Ausdrücke II Mitarbeiter[Age=30]/Name [Age=30]/Name/text() /Abteilungen/Abteilung[count(Mitarbeiter)=1]

30 Agenda XML und Datenbank: Einführung Mögliche Speicherarten Exkurs: XPATH XML Abfragen XML Repräsentation DBURI-Servlet SQL/XML Funktionen

31 Datenaustausch und Integration Relationale Datenbank Relationale Tabellen Star Schema (speziell DWH) Meist relationale Auswertungswerkzeuge XML Hierarchisch W3C-Abfragesprachen XML-Parsing-Vorgänge sehr aufwändig => Integration mit relationalen Views

32 Relationale Sichten ORDER_TAB Konto Kundenname Strasse 4711 Max Mustermann Ringstra.... : : : : : : :

33 Beispiel

34 Abfragen über XML-Funktionen Zum Lesen und Verändern von XML Daten Operieren auf XML Dokumenten und liefern ein XML Dokument oder Fragmente zurück Beispiele: XMLQUERY XMLEXISTS Überblick im SQL Reference oder XML Developer s Guide Handbuch

35 Extraktion mit XMLQUERY Syntax: xmlquery (<xquery-ausdruck><passing Klausel> RETURNING CONTENT) Verwendet XQuery und liefert ein XML Fragment zurück SELECT xmlquery('/test/name' PASSING xmldoc RETURNING CONTENT) FROM xml_tab1; SELECT xmlquery( PASSING object_value RETURNING CONTENT) FROM xml_test Hinweis: Verwendung von Pseudospalte object_value, um Spalte einer Objekttabelle anzusprechen

36 XMLEXISTS Funktion Syntax: xmlexists (<xquery-ausdruck><passing Klausel>RETURNING CONTENT) Verwendet XQuery und liefert TRUE oder FALSE In WHERE Klausel SELECT * FROM x_tab0 SELECT * FROM x_tab0 WHERE xmlexists( '/Abteilungen/Abteilung[@nr="2"]/Mitarbeiter[Age>20]' PASSING xmldoc);

37 Syntax: Verändern von XML Dokumenten updatexml(xml,xpath, Wert [, optional NR]) XML Dokumentknoten gezielt ändern Änderung eines Teildokuments Piecewise Updates bei objektrelationaler Speicherung Beispiel: UPDATE x_test SET object_value= updatexml(object_value, '/Abteilungen/Abteilung[2]/Deptname/text()', 'Neuabteilung');

38 Verändern von XML-Inhalten Weitere Funktionen (Syntax XML Developers Guide oder SQL Reference Handbuch) INSERTCHILDXML INSERTXMLBEFORE APPENDCHILDXML DELETEXML Verwendung auch in Views möglich

39 Aufgabe 2-4 Übung

40 Agenda XML und Datenbank: Einführung Mögliche Speicherarten Exkurs: XPATH XML Abfragen XML Repräsentation DBURI-Servlet SQL/XML Funktionen

41 XML-Sichten ganz einfach EMP EMPNO ENAME JOB 7369 SMITH CLERK.. : : :

42 Komplexes Beispiel aktien_tab: wkn name 1 * kurse_tab: wkn datum kurs

43 Die Möglichkeiten 1. Oracle Paket DBMS_XMLGEN() (Keine Empfehlung) SELECT dbms_xmlgen.getxml( sqlquery=>'select * from scott.emp') FROM dual; 2. URI Servlet 3. SQL/XML Funktionen

44 DBURI-Servlet URIs können Daten aus relationalen Spalten als XML anzeigen Unterstützung durch Standard Servlet DBUriServlet Einfachste Methode um XML zu generieren Beispiel Syntax:

45 Gesamte Tabelle DBURI-Servlet: Anwendungen /database_schema/table (Bsp: /SCOTT/EMP) Teilansicht mit XPATH Prädikat /database_schema/table/row[predicate_expression]/column (Bsp: /SCOTT/EMP/ROW[EMPNO=7499]) wobei predicate_expression": Ausdrücke mit Boolschen Operatoren wie and, or, not Relationale Operatoren wie <, >, <=,!=, >=, =, mod,div,* Nicht verwenden: (parent),/ /(descendent or self), * (wildcard)...

46 Beispiel

47 DBURI-Servlet: weitere Syntax rowsettag: Änderung des Root Tag Namen cleemp contenttype: MIME Type wie XML, HTML, Plain Text pe=text/plain transform : Stylesheet-Transformation angewendet auf URL

48 Stylesheet-Transformation Extensible Stylesheet Language XML Standard Transformationen in der Datenbank: SQL Funktionen: XMLTRANSFORM, XMLAGG Muss in der Datenbank vorliegen

49 Http-Zugriff und Transformation ROW[ID="1"]/DOC/text() &contenttype=text/html &rowsettag=table &contenttype=text/html &rowsettag=/rowset/row

50 Stylesheet-Transformation

51 DBURI Servlet: Bewertung Einfache Handhabung mit XPATH Traversal Keine SQL-Kenntnisse notwendig Nur begrenzt einsetzbar

52 Agenda XML und Datenbank: Einführung Mögliche Speicherarten Exkurs: XPATH XML Funktionen XML Repräsentation DBURI-Servlet SQL/XML Funktionen

53 XML-Views Idee: View mit XML Sichtweise Notwendig: Zusätzliche SQL/XML-Funktionen Beispiele: XMLElement() XMLForest() XMLAGG Handbuch: Oracle Database SQL Language Reference 11g Release 2 (11.2)

54 Beispiel-Resultat

55 SQL/XML Funktionen Syntax XMLElement("<Name>", ContentExpr) Erzeugt XML Element mit "Nested Content" XMLAttributes( AttrList ) Fügt Attribute einem Element hinzu XMLForest( Expr1,, ExprN ) Erzeugt XML Fragment aus Elementausdrücken (in XML) XMLAgg(xmlCollExpr) Aggregiert Kollektionen von XML-Fragmenten

56 Beispiel 1 SELECT XMLElement("Emp", XMLAttributes(e.employee_id,e.last_name), XMLElement("Dept", XMLAttributes(e.department_id, (SELECT d.department_name FROM departments d WHERE d.department_id = e.department_id) as "Dept_name")), XMLElement("salary", e.salary), XMLElement("Hiredate", e.hire_date)) AS "Emp Element" FROM employees e WHERE employee_id = 205; Emp Element <Emp EMPLOYEE_ID="205" LAST_NAME="Higgins"> <Dept DEPARTMENT_ID="110" Dept_name="Accounting"/> <salary>12000</salary> <Hiredate>07-JUN-94</Hiredate> </Emp>

57 Beispiel 2 SELECT XMLElement("Employee", XMLAttributes(EMPNO, ENAME), XMLForest(e.sal as "Gehalt", e.job as "Titel")) AS ausgabe FROM emp e; AUSGABE <Employee EMPNO="7369" ENAME="SMITH"><Gehalt>10</Gehalt><Titel>CLERK</Titel></Em ployee> <Employee EMPNO="7566" ENAME="JONES"><Gehalt>10</Gehalt><Titel>MANAGER</Titel></ Employee> <Employee EMPNO="7788" ENAME="SCOTT"><Gehalt>10</Gehalt><Titel>ANALYST</Titel></ Employee>...

58 Beispiel 3 SELECT XMLElement("Department", XMLAgg (XMLElement("Employee",e.job ' ' e.ename) ORDER BY ename)) AS "Dept_list" FROM emp e GROUP BY deptno; Dept_list <Department><Employee>CLERK ADAMS</Employee><Employee>ANALYST FORD</Employee><Em ployee>manager JONES</Employee><Employee>ANALYST SCOTT</Employee><Employee>CLERK SMITH</Employee></Department> <Department><Employee>SALESMAN ALLEN</Employee><Employee>MANAGER BLAKE</Employee ><Employee>CLERK JAMES</Employee><Employee>SALESMAN MARTIN</Employee><Employee>S ALESMAN TURNER</Employee><Employee>SALESMAN WARD</Employee></Department>