<Insert Picture Here> Ihre Datenbank besser in Wert setzen Nutzung von Oracle XML DB und Multimedia

Transkript

1 1

2 <Insert Picture Here> Ihre Datenbank besser in Wert setzen Nutzung von Oracle XML DB und Multimedia Karin Patenge Oracle Deutschland B.V. & Co. KG DOAG Regionalgruppentreffen Berlin-Brandenburg 7. Dezember 2011 Potsdam

3 Agenda Aktuelle Informationen Motivation Objektrelationales Know How in der Datenbank Multimediale Inhalte XML F & A Weiterführende Informationen <Insert Picture Here>

4 Aktuelle Informationen <Insert Picture Here>

5 Termine Kostenfreie Veranstaltungen Webseminar APEX und die Welt da draussen: Webservices, RSS Feeds und mehr um 11 Uhr am 9. Dezember Webseminar Von Verfügbarkeit bis Performance Oracle Engineered Systems um 11 Uhr am 16. Dezember Hands-On Workshop Oracle Text und XML DB am 2. Februar 2012 in Potsdam (10 16 Uhr) Webseminar Cloud Computing und Cloud Control am 10. Februar Weitere Veranstaltungen auf

6 Motivation <Insert Picture Here>

7 Motivation Strukturierte Daten organisiert in Relationen (Tabellen) Immer größerer Anteil an semi- und unstrukturierten Daten Grenzen bei der Modellierung komplexer Informationen der realen Welt Optimieren der Datenorganisation

8 Die intelligente Datenbank Die Datenbank erkennt die Art der Information und weiß,... welche Methoden auf diese angewendet werden können, wie Anfragen optimiert werden können, welche spezifischen Möglichkeiten der Indexierung gegeben sind, welche Einzelinformationen in der komplexen Information enthalten sind, wie die Information verarbeitet werden kann, und welche Funktionalität dafür zur Verfügung steht

9 Objekt-relationales Know How in der Oracle Datenbank <Insert Picture Here>

10 Datenorganisation Nicht-relationale Daten in der Oracle DB Objekt- Know How in der Datenbank Art der Daten XML-Dokumente Räumliche (Geo-)Daten Texte Bilder Audio Video Medizinische Bilder URL Objekte, eigene Definitionen Oracle-Datentyp XMLTYPE SDO_GEOMETRY, SDO_GEORASTER ORDDOC, CLOB ORDIMAGE, ORDDOC, BLOB ORDAUDIO, ORDDOC ORDVIDEO, ORDDOC ORDDICOM UriType (HTTPUriType) Objekttypen

11 Daher... Einführung mit Oracle DB Version 8 (1997) von objekt-relationalen Datentypen XML Unterstützung beginnend mit Oracle DB 9i (2001) Modellierung komplexer Informationen der realen Welt Konzepte aus Objektorientierung in die DB übersetzt Typen Instanzen Vererbung Methoden...

12 Oracle Domain Index Definition Applikationsspezifische Indizes Grundlage ist das Extensible Indexing Framework Enthält Operatoren, die den Indextyp unterstützen Art der Daten Index für räumliche Daten Index für Image Signatures Index für Texte XML Index Index MDSYS.SPATIAL_INDEX ORDSYS.ORDIMAGEINDEX CTXSYS.CONTEXT XDB.INDEX

13 Anwendungen Eine Auswahl Volltextrecherche, Klassifizierung und Clustering, Kataloganfragen, Räumliche Suchen, Geokodierung, Anfragen im RDF Modell, XML Anfragen mit SQL, Metadatenextraktion von Bildern, Thumbnail -Generierung, RSS Feeds auslesen mit Uritypes, XQuery-Anwendungen, relationale Daten als XML ausgeben, relationale Sichten auf XML Daten

14 Integration SQL-Beispiel

15 Oracle Multimedia im Überblick <Insert Picture Here>

16 Oracle Multimedia Bilder, Audio, Video... Management von Medien-Daten Media-Know How" in der Datenbank z.b. Einfache Bildbearbeitung Skalieren, Drehen, Spiegeln, Aufhellen, Abdunkeln, Kontraste, Watermarking Metadatenextraktion Erzeugen von Vorschaubildern (Thumbnails) Spezialfall: Multimedia DICOM Umgang mit Medizinischen Bildern und deren Metadaten Anonymisieren, Konvertieren,... Zugriff mittels SQL, PL/SQL, Java-API, OCI

17 Der Datentyp ORDIMAGE Attribute allgemein Image-spezifisch Methoden / Operatoren z.b. import, export, process, processcopy, applywatermark, getheight, getwidth, get-/set-funktionen,... sql> desc ordimage -- Attribute... source ORDSource, height INTEGER, width INTEGER, contentlength INTEGER, fileformat VARCHAR2(4000), contentformat VARCHAR2(4000), compressionformat VARCHAR2(4000), mimetype VARCHAR2(4000),... sql> desc ordsource -- Attribute... localdata BLOB, srctype VARCHAR2(4000), srclocation VARCHAR2(4000), srcname VARCHAR2(4000), updatetime DATE, local NUMBER,...

18 Der Datentyp ORDAUDIO Attribute allgemein Audiospezifisch Methoden / Operatoren z.b. Import, Export, getencoding, getsamplingrate, getnumberofchannels, get-/set-funktionen,... sql> desc ordaudio -- Attribute... description VARCHAR2(4000), source ORDSource, format VARCHAR2(31), mimetype VARCHAR2(4000), comments CLOB, encoding VARCHAR2(256), numberofchannels INTEGER, samplingrate INTEGER, samplesize INTEGER, compressiontype VARCHAR2(4000), audioduration INTEGER,...

19 Der Datentyp ORDVIDEO Attribute allgemein videospezifisch Methoden / Operatoren z.b. Import, Export, getcontentlength, processvideo, get-/set-funktionen,... sql> desc ordvideo -- Attribute... description source format mimetype comments width height frameresolution framerate videoduration numberofframes compressiontype numberofcolors bitrate... VARCHAR2(4000), ORDSource, VARCHAR2(31), VARCHAR2(4000), CLOB, INTEGER, INTEGER, INTEGER, INTEGER, INTEGER, INTEGER, VARCHAR2(4000), INTEGER, INTEGER,

20 Large Objects (LOBs) in der Datenbank Effiziente Speicherung und performanter Zugriff Typische Speicherung Internal BLOBs oder external BFILEs Typische Performanceprofile Ladeprozesse I/O hoch, CPU niedrig Verarbeitungsprozesse CPU variiert je nach Datentyp und Verarbeitung, I/O in Abhängigkeit von Zugriff auf Header oder Content LOB Storage Attribute beim Anlegen der Tabelle mitgeben Seit 11gR1: SECUREFILE (vs. BASICFILE) in STORE AS clause Empfehlung: LOBs im eigenen Tablespace CACHE/NOCACHE/CACHE READS sinnvoll anwenden ebenso wie LOGGING/NOLOGGING

21 Tabellen mit STORE AS SECUREFILE Beispiele create table images( id integer primary key, original ordsys.ordimage, scale50 ordsys.ordimage, scale25 ordsys.ordimage) tablespace lob_tbs1 lob(original.source.localdata) store as securefile (tablespace lob_tbs2) lob(scale50.source.localdata) store as securefile (tablespace lob_tbs2) lob(scale25.source.localdata) store as securefile (tablespace lob_tbs2); create table images ( product VARCHAR2(20), a BLOB) lob(a) store as securefile ( ) deduplicate compress high nocache nologging CREATE TABLE city_images_rdt OF SDO_RASTER ( PRIMARY KEY ( rasterid, pyramidlevel, bandblocknumber, rowblocknumber, columnblocknumber)) TABLESPACE raster_im_tbs LOB(rasterBlock) STORE AS SECUREFILE lobseg( NOCACHE NOLOGGING) CREATE TABLE my_geom_tab ( feature_name VARCHAR2(4000), geometry SDO_GEOMETRY ) VARRAY geometry.sdo_ordinates STORE AS SECUREFILE lob geom_ord VARRAY geometry.sdo_elem_info STORE AS SECUREFILE lob geom_elem NOCACHE NOLOGGING);

22 Beispiel Bildarchiv mit Application Express (APEX)

23 XML in der Datenbank <Insert Picture Here>

24 Oracle XML DB Kurzprofil XML und SQL in einer Datenbank Nahtlose Integration Standardkonform (W3C, SQL: ) XML/SQL XQuery, XPath XML Schema, DOM, Namespaces, XSLT, DOM, WebDAV 1. DB-seitige Implementierung der XQuery Spezifikation (seit 10g R2) Verfügbar ab Oracle 9i Release 2 Alle Datenbankeditionen Keine zusätzliche Installation erforderlich

25 Oracle XML DB Kurzprofil Oracle XML DB XQuery XPath SQL Transformationen XML- Sichten SQL*Net HTTP / WebDAV FTP Recherchen Relationale Sichten

26 XML Views und das XML DB Repository Abrufen der Inhalte per HTTP oder FTP Virtuelle Dateien: Inhalte kommen aus View

27 XML DB: Zugriffe ftp> open Connected to kpatenge-linux-140 Unauthorised use of this FTP server is prohibited and may be subject to civil and criminal prosecution. 220 kpatenge-linux-140 SQL> select extract(object_value, FTP Server (Oracle '/nachricht/aktie').getstringval() XML DB/Oracle Database) ready. ftp> user 2 from xmldemo "nachricht429_tab" xmldemo e; 331 pass required for XMLDEMO 230 XMLDEMO XML_TITEL logged in ftp> dir <aktie xmlns=" wkn=" PORT name="oracle" Command successful reuters="orcl" branche="software"/> 150 ASCII <aktie Data xmlns=" Connection wkn=" name="oracle" reuters="orcl" branche="software"/> drw-r--r-- <aktie 2 xmlns=" SYS 0 AUG 09 15:48 home wkn=" drw-r--r-- name="allianz" 2 SYS oracle reuters="alv" 0 AUG 10 branche="versicherungen"/> 11:14 i : drw-r--r-- 2 SYS oracle 0 AUG 30 17:57 public drw-r--r-- SQL> 2 SYS oracle 0 AUG 09 15:48 sys 226 ASCII Transfer Complete ftp: 238 bytes received in 0,03Seconds 7,93Kbytes/sec. ftp>

28 XML DB Repository im SQL Developer SQL Developer

29 Datentyp XMLTYPE Verwendbar wie jeder andere Datentyp als Tabellenspalte in PL/SQL Logik XML-Know How in der Datenbank EXTRACT, EXTRACTVALUE * XSLTRANSFORM UPDATEXML APPENDCHILDXML SCHEMAVALIDATE... * Seit 11.2 deprecated. Funktionieren immer noch. Empfehlung ist die Verwendung der neuen Syntax XMLQUERY und XMLTABLE.

30 XML nativ speichern: Oracle XML DB Speicherungsformen

31 Verwendung XMLTYPE am Beispiel -- Tabellen anlegen create table xml_tab (doc xmltype) xmltype column doc store as [clob object relational binary]; -- Beispiel Objekt-relational Speicherung create table order_tab ( id number(10), order_doc xmltype) xmltype column order_doc store as object relational xmlschema element purchaseorder

32 Oracle XML DB: Textbasiert Ein Blick hinter die Kulisse SQL> select object_value from xml_text where rownum=1; OBJECT_VALUE <PurchaseOrder xmlns:xsi=" nstance" xsi:nonamespaceschemalocation=" 1 Zeile wurde ausgewählt. SQL> select e.xmldata from xml_text e where rownum=1; XMLDATA <PurchaseOrder xmlns:xsi=" nstance" xsi:nonamespaceschemalocation="

33 Oracle XML DB: Objektrelational Ein Blick hinter die Kulisse SQL> select object_value from xml_or where rownum=1; OBJECT_VALUE <PurchaseOrder xmlns:xsi=" nstance" xsi:nonamespaceschemalocation=" 1 Zeile wurde ausgewählt. SQL> select e.xmldata from xml_or e where rownum=1; XMLDATA(SYS_XDBPD$, Reference, ACTIONS(SYS_XDBPD$, ACTION(SY XDBPO_TYPE(XDB$RAW_LIST_T('23FF A2F6C6F63616C686F73743A F C69632F584D4C44454D4 F2F F E '), ' ADAMS PST', XDBPO_ACTIONS_TYPE(XDB$RAW_LIST _T(' '),...

34 Oracle XML DB: Binary XML Ein Blick hinter die Kulisse SQL> select object_value from xml_binary where rownum=1; OBJECT_VALUE <PurchaseOrder xmlns:xsi=" nstance" xsi:nonamespaceschemalocation=" 1 Zeile wurde ausgewählt. SQL> select e.xmldata from xml_binary e where rownum=1; XMLDATA F01039E000000B C85DA1DD0001C A2F6C6F63616C686F73743A F C69632F584D4C44 454D4F2F F E787364C01956E D53 2D C83A7CC81AAAC F53434F...

35 Zugriffsoptionen Daten-/ Dokumentzugriffe Query-basiert Path-basiert SQL Verfügbare Sprachen / XML Type APIs JDBC PL/SQL C Repository Verfügbare Sprachen / XML Type APIs SQL (RESOURCE_VIEW bzw. PATH_VIEW) FTP HTTP/WebDav Objektrelational

36 Speicherungsformen und Platzverbrauch 680 XML-Dokumente Größe: ~ 10KB TNAME MB PO_TAB_OR 4,4 PO_TAB_BIN_BASICFILE 2,2 PO_TAB_BIN_SECUREFILE 2,2 PO_TAB_BIN_SECUERFILE_COMPRESS 0,8 Objektrelational Binary XML PO_TAB_CL_BASICFILE 5,9 PO_TAB_CL_SECUREFILE 7,4 PO_TAB_CL_SECUERFILE_COMPRESS 1,0 XML als CLOB

37 Speicherungsformen und Platzbedarf CLOB OR BINARY Platzbedarf 1 gr. Dokument Platzbedarf 680 kl. Dokumente

38 Performance: 680 kleine Dokumente Antwortzeiten CLOB OR BINARY XML speichern ganze Dokumente lesen einzelne Dokumentknoten Relationale View Update Einzelknoten

39 Performance: 1 gr. Dkument (~55 MB) Antwortzeiten CLOB OR BINARY 50 0 XML speichern ganze Dokumente lesen einzelne Dokumentknoten E R R O R Relationale View Update Einzelknoten

40 XML erzeugen/abfragen in der Datenbank Verfügbare SQL/XML-Funktionen 9iR2 11gR2 APPENDCHILDXML DELETEXML DEPTH EXTRACT EXTRACTVALUE INSERTCHILDXML INSERTXMLBEFORE PATH SYS _DBURIGEN SYS_XMLAGG SYS_XMLGEN UPDATEXML XMLAGG XMLCAST XMLXDATA XMLCOLATTRVAL XMLCOMMENT XMLCONCAT XMLDIFF XMLELEMENT XMLFOREST XMLPARSE XMLPATCH XMLPI XMLQUERY XMLROOT XMLSEQUENCE XMLSERIALIZE XMLTABLE XMLTRANSFORM

41 Zugriff mit SQL EXTRACT, EXTRACTVALUE bzw. XMLTABLE, XMLQUERY -- Syntax seit Oracle 9i select id, extractvalue(xml, emp_cnt from xmltest; -- Optimierte Syntax seit Oracle 11.2 select t.id, x.emp_cnt from xmltest t, xmltable( 'for $i in /emps return $i' passing xml columns "EMP_CNT" number path ) x;

42 Zugriff mit SQL Umgang mit Hierarchien XMLSEQUENCE bzw. XMLTABLE -- Standardisierte Syntax -- Syntax select seit Oracle 9i select t.id, x.emp_cnt, e.ename, e.sal id, from extractvalue(xml, xmltest t, emp_cnt, extractvalue(value(e), xmltable( -- FLOWR ename, extractvalue(value(e), 'for $i in /emps sal from xmltest, return $i' table(xmlsequence(extract(xml, passing '/emps/emp'))) e; columns "EMP_CNT" number path ) x, xmltable( 'for $i in /emps/emp return $i' passing xml columns "ENAME" varchar2(20) path "SAL" number path ) e;

43 Zugriff mit SQL Bearbeiten von XML-Dokumenten DML-Kommandos für XML updatexml() insertchildxml() appendchildxml() insertxmlbefore() deletexml() Piecewise Updates = Performance! Bei objektrelationaler Speicherung

44 XML Schema in der Datenbank "Registrierung" PL/SQL Paket (DBMS_XMLSCHEMA) Oracle Enterprise Manager Nachbildung der XML-Strukturen Oracle Objekttypen XML-Speicherung als "Objekt"

45 XML Indizieren: Möglichkeiten bis Oracle10g B-Tree Index (Nur objektrelationale Speicherung) Indizierung einzelner Knoten oder Attribute Verhalten wie "normale" B-Tree Indizes; sehr performant Function Based Index (Alle Speicherungsformen) Indizierung von 1:n-Beziehungen nicht möglich Oracle TEXT-Index (Alle Speicherungsformen) Volltextrecherche, aber keine Bereichssuche Für "einfaches" Indizieren eines Knotens zu aufwändig Für Experten: CTXXPATH-Index Sollte nicht mehr genutzt werden

46 Anfrageoptimierung Query Rewrite SELECT extractvalue(...),... FROM PURCHASEORDER_TAB Query Rewrite SELECT SYS_NC000015$,... FROM PURCHASEORDER_TAB Objektrelational gespeicherte XML-Dokumente PurchaseOrder PurchaseOrder PurchaseOrder PurchaseOrder PurchaseOrder * LineItem * LineItem * LineItem * LineItem LineItem 1 1 User 1 User 1 User User User

47 Ausführung ohne Query-Rewrite DOM Parsing SELECT extractvalue(...),... FROM PURCHASEORDER_TAB XML-Dokument DOM-Baum wkn

48 Speicherungsformen Entscheidungsbaum Nur auf ganze Dokumente 1. Zugriffe Auf einzelne Dokumentknoten <document id="2"> <element date=" <action> <member name="ora : Nicht vorhanden 2. XML Schema... Vorhanden Textbasierte Speicherung Binary XML XML Schema wird sich häufig ändern XML Schema wird stabil sein 3. Flexibilität... Objektrelational

49 Daumenregel Daten- oder Dokumentzentrische Sicht Datenzentrisch Dokumentzentrisch

50 Speicherungsformen Zusammenfassung Drei Fragen führen zur richtigen Speicherungsform Zugriffe auf ganze Dokumente oder auf Dokumentteile? Liegt ein XML Schema vor oder nicht? Wird sich das XML Schema ändern oder stabil bleiben? Richtige Speicherungsform ist entscheidend! Performance-Unterschied: Faktoren Durch Tuning (Index, I/O) nicht einzuholen

51

52 Weiterführende Informationen <Insert Picture Here>

53 Hilfreiche Links Dokumentation Technische Foren Oracle By Example (OBE) Using Oracle XML DB to Store, Query and Access XML and Relational Data gmt/xmldb/xmldb.htm Using Oracle XML DB to Optimize Performance and Manage Structured XML Data v/xmldb/xmldb_structured/optimizeandmanagexmldata_v5.htm

54