Bewährt und vielfach im Einsatz: Oracle XML DB

Transkript

1 <Insert Picture Here> Bewährt und vielfach im Einsatz: Oracle XML DB Carsten Czarski Oracle Deutschland B.V. & Co KG

2 Oracle XML DB Kurzprofil XML und SQL in einer Datenbank Standardkonform (W3C, SQL: ) XML/SQL XQuery XML Schema, DOM Verfügbar ab Oracle 9i Release 2 Alle Datenbankeditionen Keine zusätzliche Installation erforderlich

3 Oracle XML DB Oracle XML DB XQuery XPath SQL Transformationen XML- Sichten SQL*Net HTTP / WebDAV FTP Recherchen Relationale Sichten

4 XML DB Installation Ab Oracle12c ist die XML DB immer installiert. Überprüfen ob Funktionalität installiert SQL> select comp_id, version from dba_registry where comp_id='xdb'; COMP_ID VERSION XDB Falls Funktionalität nicht installiert 1. XML DB Repository installieren mit $ORACLE_HOME/rdbms/admin/catqm.sql 2. Bei Bedarf: HTTP- und FTP-Listener aktivieren DBMS_XDB.SETFTPPORT DBMS_XDB.SETHTTPPORT

5 Oracle XML DB Entwicklung der Funktionalität Oracle12c XML DB Oracle11g XML DB XQuery Update und FullText Replication Support Parallel DML for XMLTYPE JSON Oracle9i XML DB Oracle10g XML DB Binary XML und XMLIndex DB Native Webservices PL/SQL Embedded Gateway Repository Events XQuery Protokollserver: HTTPS SQL:2003 Oracle8i Datentyp XMLTYPE CLOB und O/R Speicherung SQL/XML-Funktionen Protokollserver FTP, HTTP XML Developers Kit

6 XML DB: Zugriffe ftp> open Connected to cczarski-linux-140 Unauthorised use of this FTP server is prohibited and may be subject to civil SQL> and criminal select extract(object_value, prosecution. '/nachricht/aktie').getstringval() 220 cczarski-linux from "nachricht429_tab" FTP Server (Oracle e; XML DB/Oracle Database) ready. ftp> user xmldemo xmldemo 331 pass XML_TITEL required for XMLDEMO 230 XMLDEMO logged in ftp> dir <aktie xmlns=" wkn=" PORT Command name="oracle" successful reuters="orcl" branche="software"/> 150 ASCII <aktie Data xmlns=" Connection wkn=" drw-r--r-- name="oracle" 2 SYS oracle reuters="orcl" 0 AUG branche="software"/> 09 15:48 home drw-r--r-- <aktie xmlns=" 2 SYS 0 AUG 10 11:14 i wkn=" drw-r--r-- name="allianz" 2 SYS oracle reuters="alv" 0 AUG branche="versicherungen"/> 30 17:57 public drw-r--r-- : 2 SYS oracle 0 AUG 09 15:48 sys 226 ASCII Transfer Complete ftp: 238 SQL> bytes received in 0,03Seconds 7,93Kbytes/sec. ftp>

7 XML DB Protokollserver Kontrolle LSNRCTL for Linux: Version Production on 14-FEB :18:18 Copyright (c) 1991, 2013, Oracle. All rights reserved. Connecting to (DESCRIPTION=(ADDRESS=(PROTOCOL=IPC)(KEY=EXTPROC1521))) STATUS of the LISTENER Alias LISTENER Version TNSLSNR for Linux: Version Production Start Date 08-NOV :02:54 Uptime 97 days 19 hr. 15 min. 24 sec Trace Level off Security ON: Local OS Authentication SNMP OFF Listener Parameter File /opt/oracle/product/12.1.0/db/network/admin/listener.ora Listener Log File /opt/oracle/diag/tnslsnr/sccloud017/listener/alert/log.xml Listening Endpoints Summary... (DESCRIPTION=(ADDRESS=(PROTOCOL=ipc)(KEY=EXTPROC1521))) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=sccloud017.de.oracle.com)(PORT=1521))) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=sccloud017.de.oracle.com)(PORT=8080))(Presentation=HTTP)(Session=RAW)) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=sccloud017.de.oracle.com)(PORT=2100))(Presentation=FTP)(Session=RAW)) Services Summary... Service "orcl" has 1 instance(s). Instance "orcl", status READY, has 1 handler(s) for this service... Service "orclxdb" has 1 instance(s). Instance "orcl", status READY, has 1 handler(s) for this service... Service "pdb01" has 1 instance(s). Instance "orcl", status READY, has 1 handler(s) for this service... Service "sample" has 1 instance(s). Instance "orcl", status READY, has 1 handler(s) for this service... The command completed successfully

8 XML DB in der Oracle DB Dateien und Ordner im XML DB Repository File/Folder-Sicht auf eine Repository-Tabelle PL/SQL-Zugriff via DBMS_XDB Basis für FTP und WebDAV Zugriffskontrolle mit ACL Versionierung Links Metadatenverwaltung

9 XML DB Repository im SQL Developer

10 Datentyp XMLTYPE Verwendbar wie jeder andere Datentyp als Tabellenspalte, in PL/SQL Logik Entwickler-Schnittstelle (SQL-Funktionen) XMLQUERY, XMLTABLE UPDATEXML APPENDCHILDXML SCHEMAVALIDATE EXTRACT, EXTRACTVALUE...

11 Datentyp XMLTYPE Tabellen anlegen create table xml_tab (doc xmltype) xmltype column doc store as [clob object relational binary xml] Beispiel: Objektrelationale Speicherung CREATE TABLE order_tab( id number(10), order_doc xmltype ) xmltype column order_doc store as object relational xmlschema " element "purchaseorder"

12 Beispiel-XML Tabelle PURCHASEORDER_TAB

13 Zugriff mit SQL Standardfunktion XMLTABLE SQL/XML Standard als Teil von SQL:2003 select x.reference, x.username, x.costcenter from Purchaseorder_tab p, xmltable( '/PurchaseOrder' passing xml_document columns reference varchar2(30) path '/PurchaseOrder/Reference', username varchar2(30) path '/PurchaseOrder/User', costcenter varchar2(10) path '/PurchaseOrder/CostCenter' ) x

14 Zugriff mit SQL Hierarchie vs. flache Tabellen SQL-Funktion XMLTABLE: Ergebnis REFERENCE USERNAME COSTCENTER ADAMS PST ADAMS R20 ADAMS PST ADAMS R20 ADAMS PST ADAMS R20 ADAMS PST ADAMS R20 ADAMS PST ADAMS R20 ADAMS PST ADAMS R20 ADAMS PST ADAMS R20 : : :

15 Zugriff mit SQL Hierarchie vs. flache Tabellen XMLTABLE "hintereinander" schalten Ein XMLTABLE pro Hierarchieebene select x.reference, x.username, count(it.item_number) anz_items from Purchaseorder_tab p, xmltable( '/PurchaseOrder[CostCenter="A10"]' passing xml_document columns reference varchar2(30) path '/PurchaseOrder/Reference', username varchar2(30) path '/PurchaseOrder/User', lineitems xmltype path '/PurchaseOrder/LineItems/LineItem' ) x, xmltable( '/LineItem' passing x.lineitems columns item_number number path '/LineItem/@ItemNumber' ) it group by x.reference, x.username

16 Zugriff mit SQL Hierarchie vs. flache Tabellen SQL-Funktion XMLTABLE: Ergebnis REFERENCE USERNAME ANZ_ITEMS CLARK PST CLARK 7 CLARK PST CLARK 21 CLARK PST CLARK 17 CLARK PST CLARK 40 CLARK PST CLARK 5 CLARK PST CLARK 8 CLARK PST CLARK 26

17 Zugriff mit SQL-Funktionen Bearbeiten von XML-Dokumenten DML-Kommandos für XML updatexml() insertchildxml() appendchildxml() insertxmlbefore() deletexml() Piecewise Updates = Performance! Bei objektrelationaler Speicherung

18 XMLTYPE Update Ab Oracle12c: XQuery Update UPDATE purchaseorder_tab po SET xml_document = XMLQuery( 'copy $i := $p1 modify ( for $j in $i/purchaseorder/actions/action[1]/user return replace value of node $j with $p2 ) return $i' PASSING xml_document AS "p1", 'SKING' AS "p2" RETURNING CONTENT ) WHERE XMLExists( '$p/purchaseorder[reference="sbell pdt"]' PASSING xml_document AS "p" )

19 XMLTYPE Speicherungsformen Storage Clause einer XMLTYPE-Spalte

20 Oracle XML DB: Textbasiert Ein Blick hinter die Kulisse SQL> select object_value from xml_text where rownum=1; OBJECT_VALUE <PurchaseOrder xmlns:xsi=" nstance" xsi:nonamespaceschemalocation=" 1 Zeile wurde ausgewählt. SQL> select e.xmldata from xml_text e where rownum=1; XMLDATA <PurchaseOrder xmlns:xsi=" nstance" xsi:nonamespaceschemalocation="

21 Oracle XML DB: Objektrelational Ein Blick hinter die Kulisse SQL> select object_value from xml_or where rownum=1; OBJECT_VALUE <PurchaseOrder xmlns:xsi=" nstance" xsi:nonamespaceschemalocation=" 1 Zeile wurde ausgewählt. SQL> select e.xmldata from xml_or e where rownum=1; XMLDATA(SYS_XDBPD$, Reference, ACTIONS(SYS_XDBPD$, ACTION(SY XDBPO_TYPE(XDB$RAW_LIST_T('23FF A2F6C6F63616C686F73743A F C69632F584D4C44454D4 F2F F E '), ' ADAMS PST', XDBPO_ACTIONS_TYPE(XDB$RAW_LIST _T(' '),...

22 Objektrelationale Speicherung: XML Schema

23 XML Schema in der Oracle-Datenbank "Registrierung" PL/SQL Paket (DBMS_XMLSCHEMA) Oracle Enterprise Manager Nachbildung der XML-Strukturen Oracle Objekttypen XML-Speicherung als "Objekt"

24 Oracle XML DB: Binary XML Ein Blick hinter die Kulisse SQL> select object_value from xml_binary where rownum=1; OBJECT_VALUE <PurchaseOrder xmlns:xsi=" nstance" xsi:nonamespaceschemalocation=" 1 Zeile wurde ausgewählt. SQL> select e.xmldata from xml_binary e where rownum=1; XMLDATA F01039E000000B C85DA1DD0001C A2F6C6F63616C686F73743A F C69632F584D4C44 454D4F2F F E787364C01956E D53 2D C83A7CC81AAAC F53434F...

25 Speicherungsformen Entscheidungsbaum -I- 1. Zugriffe Nur auf ganze Dokumente Auf einzelne Dokumentknoten <document id="2"> <element date=" <action> <member name="ora : 2. XML Schema... Textbasierte Speicherung

26 Speicherungsformen Entscheidungsbaum -II- 2. XML Schema Nicht vorhanden vorhanden Flexibilität... Binary XML

27 Speicherungsformen Entscheidungsbaum -III- XML Schema wird sich häufig ändern 3. Flexibilität XML Schema wird stabil sein Binary XML Objektrelational

28 Speicherungsformen Zusammenfassung: Drei Fragen führen zur richtigen Speicherungsform Zugriffe auf ganze Dokumente oder auf Dokumentteile? Liegt ein XML Schema vor oder nicht? Wird sich das XML Schema ändern oder stabil bleiben? Richtige Speicherungsform ist entscheidend! Performance-Unterschied: Faktoren Durch Tuning (Index, I/O) nicht einzuholen Binary XML in den meisten Fällen richtig Sehr flexibel und performant Default für XMLTYPE ab

29 XML Indizieren Index für XML: XDB.XMLINDEX Für Storage: Textbasiert und Binary XML Nicht aber für objektrelationale Speicherung hier wie schon immer: B-Tree Indizes create index xml_index on purchaseorder_tab(object_value) indextype is xdb.xmlindex parameters ( 'PATHS (INCLUDE (/PurchaseOrder/User) (/PurchaseOrder/LineItems)' )

30 XML und Indizes Weitere Möglichkeiten B-Tree Index (Nur objektrelationale Speicherung) Indizierung einzelner Knoten oder Attribute Verhalten wie "normale" B-Tree Indizes; sehr performant Function Based Index (Alle Speicherungsformen) Indizierung von 1:n-Beziehungen nicht möglich Oracle TEXT-Index (Alle Speicherungsformen) Volltextrecherche, aber keine Bereichssuche Für "einfaches" Indizieren eines Knotens zu aufwändig

31 XQuery Full Text Oracle11g: Oracle TEXT zur Suche in XML-Dokumenten Section-Suche: Suche innerhalb gegebener XML-Tags SQL-Funktion CONTAINS (Oracle TEXT) XML_SECTION_GROUP, PATH_SECTION_GROUP Ab Oracle12c: XQuery Fulltext XML Datenmodell wird komplett unterstützt SQL Funktion XMLEXISTS (SQL:2003) Abfragesprache nun XQuery Fulltext und damit standardisiert!

32 XQuery Fulltext: Setup Oracle TEXT Index nötig Erstellen mit PATH_SECTION_GROUP und XML_ENABLE=TRUE begin ctx_ddl.create_section_group('my_sg_xquery', 'PATH_SECTION_GROUP'); ctx_ddl.set_sec_grp_attr('my_sg_xquery', 'xml_enable', 'true'); end; / sho err create index ft_tabxml on tab_xml (docs) indextype is ctxsys.context parameters ('section group my_sg_xquery') /

33 XQuery Fulltext: Abfragen Nutzung von XMLExists und XQuery-Syntax SELECT id FROM tab_xml WHERE XMLExists('declare namespace ns=" //ns:tag[. contains text "text"]' PASSING docs) SQL/XML-Funktion XMLExists verwenden CONTAINS-Funktion (Oracle TEXT) nicht verwenden Kombination mit XQuery oder SQL/XML möglich

34 XML erzeugen: In der Datenbank

35 XML-Schnittstellen SQL/XML Standard (SQL:2003) XMLElement() XMLForest() XMLAgg() XMLComment() XMLCDATA() XMLPI() XMLRoot() XMLSerialize()

36 XML-Dokumente erzeugen SQL/XML am Beispiel View auf Ebene der Wertpapiere create or replace view WERTPAPIER_XML_VIEW as select XMLElement("wertpapier", XMLAttributes( wp.isin as "isin", dp.kontonummer as "depotnummer" ), XMLElement("bezeichnung", wp.wp_bezeichnung), XMLElement("stueck_nominale", wp.amount) ) from wertpapier wp join depot dp using (depot_id)

37 XML-Dokumente erzeugen SQL/XML am Beispiel Ergebnis...

38 XML-Dokumente erzeugen SQL/XML am Beispiel Komplexeres XML mit Hierarchie erzuegen select XMLElement("kunde", XMLAttributes(kd.kunde_id as "kundennummer"), XMLForest( kd.kunde_name as "name", kd.kunde_vorname as "vorname", kd.kunde_ort as "ort" ), XMLComment('Generiert am ' to_char(sysdate)), ( select XMLAgg( XMLElement("depot", XMLAttributes(dp.kontonummer as "kontonummer"), ( select XMLAgg( :

39 XML-Dokumente erzeugen SQL/XML am Beispiel Ergebnis...

40 XML Views und das XML DB Repository Abrufen der Inhalte per HTTP oder FTP Virtuelle Dateien: Inhalte kommen aus View

41 XMLDIFF und XMPATCH "Original und Fälschung"... für XML 1. Dokument... <vortrag xmlns="oracle-sig" titel="oracle XML DB: Immer noch unschlagbar"/> 2. Dokument... <s:vortrag xmlns:s="oracle-sig" titel="oracle XML DB: Immer noch unschlagbar"></s:vortrag> Welche Unterschiede gibt es zwischen diesen Dokumenten...?

42 Deltas in XML-Dokumenten erkennen Die Herausforderung... XML: Das Gleiche unterschiedlich aussagen... Namespace-Präfix XML-Tags ohne Inhalt Whitespace Entity-Referenzen <vortrag xmlns="oracle-sig"/> <s:vortrag <vortrag></vortrag> xmlns:s="oracle-sig"/> <vortrag/> <tag1/> <tag2/> <vortrag>"</vortrag> </vortrag> <vortrag>"</vortrag> Einfacher Textvergleich greift zu kurz!

43 XML-Deltas in erkennen Die Lösung:... Mit SQL! SQL-Funktionen XMLDiff und XMLPatch Deltas erkennen (XMLDiff) und auf andere Dokumente anwenden (XMLPatch) Deltas zwischen Systemen übertragen mit Rücksicht auf XML-Besonderheiten! <xd:xdiff xsi:schemalocation=" <?oracle-xmldiff operations-in-docorder="true" output-model="snapshot" diff-algorithm="global"?> <!-- Leere Menge: Dokumente identisch--> </xd:xdiff>

44 XMLDiff: Ein anderes Beispiel Unterschiedliche XML-Dokumente (XML Schemas) <xd:xdiff xsi:schemalocation=" <?oracle-xmldiff operations-in-docorder="true" output-model="snapshot" diff-algorithm="global"?> <xd:append-node xd:node-type="element" xd:parent-xpath= "/xs:schema[1]/xs:simpletype[6]/xs:restriction[1]" > <xd:content> <xs:enumeration value="e999" /> </xd:content> </xd:append-node> </xd:xdiff>

45 Weitere Informationen Oracle XML DB im OTN Oracle Dokumentation Handbücher zur Oracle Database XML DB Developers Guide Blog: SQL und PL/SQL in Oracle

46