Carsten Czarski, Nina Neuwirth Oracle Deutschland. Volltextsuche in XML-Dokumenten mit Oracle

Transkript

1 Carsten Czarski, Nina Neuwirth Oracle Deutschland Volltextsuche in XML-Dokumenten mit Oracle

2 $JHQGD Oracle XML DB: Kurzabriß Volltextsuche in XML-Dokumenten Tipps und Tricks

3 2UDFOH;0/'%.XU]SURILO XML und SQL in einer Datenbank Nahtlose Integration Standardkonform... XML/SQL (SQL:2003) XQuery XML Schema, DOM Verfügbar ab Oracle 9L Release 2 Alle Datenbankeditionen

4 2UDFOH;0/'%]ZHL:HOWHQ 5'%06 ;0/6HUYHU bqghuxqjhq bqghuxqjhq ;4XHU\ 64/ ;3DWK 5HFKHUFKHQ 5HFKHUFKHQ

5 ZDFKVHQ]XVDPPHQ 2UDFOH;0/'% ;4XHU\ ;3DWK 64/ 7UDQVIRUPDWLRQHQ ;0/ 6LFKWHQ 64/1HW +773:HE'$9 )73 5HFKHUFKHQ 5HODWLRQDOH6LFKWHQ

6 ;0/'%=XJULIIH IWS!RSHQ &RQQHFWHG WR FF]DUVNLOLQX[ 8QDXWKRULVHGXVH RIWKLV )73VHUYHULVSURKLELWHG DQGPD\EHVXEMHFW WR FLYLODQGFULPLQDOSURVHFXWLRQ 64/!VHOHFWH[WUDFWREMHFWBYDOXHQDFKULFKWDNWLHJHWVWULQJYDO FF]DUVNLOLQX[)736HUYHU2UDFOH;0/'%2UDFOH'DWDEDVHUHDG\ IURP QDFKULFKWB7$%H IWS!XVHU[POGHPR[POGHPR SDVVUHTXLUHG ;0/B7,7(/ IRU;0/'(02 ;0/'(02ORJJHG LQ IWS!GLU DNWLH[POQV KWWSZZZRUDFOHFRPDNWLHQDFKULFKWHQ[VGZNQ Ä 3257&RPPDQGVXFFHVVIXO QDPH 2UDFOHUHXWHUV 25&/EUDQFKH 6RIWZDUH! $6&,,'DWD DNWLH[POQV &RQQHFWLRQ KWWSZZZRUDFOHFRPDNWLHQDFKULFKWHQ[VGZNQ Ä GUZUU QDPH 6<6RUDFOH$8*KRPH 2UDFOHUHXWHUV 25&/EUDQFKH 6RIWZDUH! GUZUU DNWLH[POQV 6<6RUDFOH$8*L KWWSZZZRUDFOHFRPDNWLHQDFKULFKWHQ[VGZNQ Ä GUZUU QDPH 6<6RUDFOH$8*SXEOLF $OOLDQ]UHXWHUV $/9EUDQFKH 9HUVLFKHUXQJHQ! GUZUU 6<6RUDFOH$8*V\V $6&,,7UDQVIHU&RPSOHWH IWSE\WHVUHFHLYHG 64/! LQ6HFRQGV.E\WHVVHF IWS!

7 %HLVSLHO% UVHQQDFKULFKWHQ

8 %HLVSLHO% UVHQQDFKULFKWHQ hehuohjxqjhq Strukturierte Informationen (WKN, Reuters-Code, Quelle, Kontakte, Datum) Zugriff auf Elemente im Vordergrund Kombination mit bspw. Kursdatenbank Strukturierte Speicherung Unstrukturierte Informationen Zugriff auf den vollständigen Text im Vordergrund Volltextsuche Unstrukturierte Speicherung

9 %HLVSLHO% UVHQQDFKULFKWHQ %HVFKUHLEXQJDOV;0/6FKHPD

10 %HLVSLHO% UVHQQDFKULFKW 5HJLVWULHUXQJGHV;0/6FKHPDV

11 %HLVSLHO% UVHQQDFKULFKWHQ Neue Tabellen "manuell" anlegen XMLTYPE als Datentyp &5($7(7$%/(QDFKULFKWHQBWDE QUBLGQXPEHU QUBQDFKULFKW [POW\SH [POW\SH FROXPQ QUBQDFKULFKW VWRUH DV REMHFW UHODWLRQDO [POVFKHPD VFKHPDXUO! HOHPHQW URRW HOHPHQW!

12 ;0/'RNXPHQWHODGHQ± 5HIHUHQ]DXI;0/6FKHPD <nachricht xmlns="kwwszzzrudfohfrpdnwlhqdfkulfkwhq[vg" xmlns:xsi="kwwszzzzruj;0/6fkhpdlqvwdqfh" typ="8qwhuqhkphqvphogxqj" xsi:schemalocation="kwwszzzrudfohfrpdnwlhqdfkulfkwhq[vg KWWSZZZRUDFOHFRPDNWLHQDFKULFKWHQ[VG" > Laden mit FTP und WebDAV XML-Dokument muss das XML Schema referenzieren SQL und SQL*Loader

13 6FKHPDYDOLGLHUXQJ "leichte" Schemavalidierung beim Einfügen Strukturprüfung Performancegründe vollständige Schemavalidierung aktivierbar Trigger ;0/7<3(VFKHPD9DOLGDWH

14 =XJULIIPLW64/ Gib mir von allen Oracle-Nachrichten das Datum und den Titel VHOHFW H[WUDFWYDOXH YDOXHHQDFKULFKWGDWXPDV GDWXP H[WUDFWYDOXH YDOXHHQDFKULFKWDNWLH#QDPHDV DJ H[WUDFWYDOXH YDOXHHQDFKULFKWWLWHODV WLWHO IURP QUBQDFKULFKWBWDE H ZKHUH H[LVWVQRGH

15 0LWÄ4XHU\5HZULWH³ 6(/(&7 H[WUDFWYDOXH )520QUBQDFKULFKWBWDE H Objektrelational gespeichertes XML-Dokument Query Rewrite 6(/(&7 H[POGDWD )520QUBQDFKULFKWBWDE H nachricht: aktie datum quelle kontakte titel body * aktie: wkn name branche reuters NRQWDNWH ]LHO DUW DGUHVVH

16 2UDFOH7(;7 XQG;0/'RNXPHQWH Text On Top (ToT) XML Strukturen in einer Oracle TEXT Abfrage XML On Top (XoT) Volltextsuche in einer XML Abfrage

17 2UDFOH7(;7,QGH[DXI ;0/'RNXPHQWH SECTION GROUPS XML_SECTION_GROUP AUTO_SECTION_GROUP PATH_SECTION_GROUP Operatoren WITHIN INPATH / HASPATH

18 ;0/B6(&7,21B*5283 Prinzip: Nur deklarierte Abschnitte werden indiziert Keine vordefinierten Abschnitte CONTAINS-Operatoren WITHIN Vorteile Tendenziell kleinere Indizes Kontrolle über zu indizierende Dokumentteile Nachteile Relativ hoher Implementierungsaufwand Keine XPath-ähnliche Syntax möglich

19 ;0/B6(&7,21B*5283 EHJLQ FW[BGGOFUHDWHBVHFWLRQBJURXS HQG JURXSBQDPH!µQDFKULFKWHQBVHFBJURXS JURXSBW\SH!µ;0/B6(&7,21B*5283 EHJLQ FW[BGGODGGBILHOGB6HFWLRQ JURXSBQDPH!QDFKULFKWHQBVHFBJURXS VHFWLRQBQDPH!WLWHO WDJ!WLWHO HQG

20 ;0/B6(&7,21B*5283 EHJLQ FW[BGGODGGB]RQHBVHFWLRQ JURXSBQDPH!QDFKULFKWHQBVHFBJURXS VHFWLRQBQDPH!VHFBQDFKULFKW WDJ!QDFKULFKW HQG EHJLQ FW[BGGODGGB]RQHBVHFWLRQ JURXSBQDPH!QDFKULFKWHQBVHFBJURXS VHFWLRQBQDPH!DGUHVVH WDJ!DGUHVVH HQG

21 $872B6(&7,21B*5283 Prinzip: Standardmäßig vollständige Indizierung Deklaration von sog. "STOP"-Abschnitten möglich CONTAINS-Operatoren WITHIN Vorteile Implementierung einfacher Nachteile Keine XPath-ähnliche Syntax möglich

22 $872B6(&7,21B*5283 EHJLQ FW[BGGOFUHDWHBVHFWLRQBJURXS JURXSBQDPH!QDFKULFKWHQBVHFBJURXS JURXSBW\SH!$872B6(&7,21B*5283 HQG EHJLQ FW[BGGODGGBVWRSBVHFWLRQ JURXSBQDPH!QDFKULFKWHQBVHFBJURXS WDJ!DGUHVVH HQG

23 3$7+B6(&7,21B*5283 Prinzip Stets vollständige Indizierung des Dokumentes CONTAINS-Operatoren WITHIN INPATH und HASPATH Vorteile XPath-Ähnliche Syntax möglich Einfache Implementierung Nachteile Keine Möglichkeit zum Ausschließen bestimmter Abschnitte Indexumfang größer

24 3$7+B6(&7,21B*5283 Ein Beispiel... EHJLQ FW[BGGOFUHDWHBVHFWLRQBJURXS JURXSBQDPH!QDFKULFKWHQBVHFBJURXS JURXSBW\SH! 3$7+B6(&7,21B*5283 HQG

25 ,QGH[HUVWHOOHQ Wie immer... FUHDWHLQGH[LG[BQDFKULFKWHQBYROOWH[W RQQUBQDFKULFKWBWDE REMHFWBYDOXH LQGH[W\SHLV &7;6<6&217(;7 SDUDPHWHUV VHFWLRQJURXS QDFKULFKWHQBVHFBJURXS

26 $EIUDJHRSHUDWRU:,7+,1 Unterstützt von allen "Section groups" Verschachtelungen möglich VHOHFWURZLG IURP15B1$&+5,&+7B7$% ZKHUH&217$,16 REMHFWBYDOXH.RRSHUDWLRQ ZLWKLQ WLWHO! VHOHFWURZLG IURP15B1$&+5,&+7B7$% ZKHUH&217$,16 REMHFWBYDOXH.RRSHUDWLRQ ZLWKLQ WLWHO ZLWKLQ ERG\!

27 $EIUDJHRSHUDWRU,13$7+ Unterstützt von PATH_SECTION_GROUP XPath-ähnliche Syntax VHOHFWURZLG IURP15B1$&+5,&+7B7$% ZKHUH&217$,16 REMHFWBYDOXH.RRSHUDWLRQ LQSDWK WLWHO! VHOHFWURZLG IURP15B1$&+5,&+7B7$% ZKHUH&217$,16 REMHFWBYDOXH.RRSHUDWLRQ LQSDWK ERG\WLWHO!

28 $EIUDJHRSHUDWRU+$63$7+ Unterstützt von PATH_SECTION_GROUP XPath-ähnliche Syntax Prüft die Existenz eines Pfades VHOHFWURZLG IURP15B1$&+5,&+7B7$% ZKHUH&217$,16 REMHFWBYDOXH KDVSDWK VHOHFWURZLG IURP15B1$&+5,&+7B7$% ZKHUH&217$,16 REMHFWBYDOXH KDVSDWK

29 ;0/%HVRQGHUKHLWHQ XQG,13$7++$63$7+ XML Standards Keine 100%-Unterstützung des XPath-Standards ABER: XPath definiert keine Volltextsuche Keine Unterstützung für benutzerdefinierte Entities Keine XML-Namensräume

30 ;3DWK9ROOWH[WVXFKH XPath-Standard kennt nur einfache Teilstringsuche contains()-funktion Oracle-Erweiterung in XPath ora:contains() Bindet Oracle TEXT-Funktionalität ein Einschränkungen beachten (XPath, Query Rewrite) VHOHFWURZLG IURP15B1$&+5,&+7B7$%H ZKHUHH[LVWV1RGHYDOXHH [POQVRUD KWWS[POQVRUDFOHFRP[GE

31 2UDFOH7(;7 9HUKDOWHQEHL'0/ Indexsynchronisierung Manuell (CTX_DDL.SYNC_INDEX) Job-Gesteuert On Commit (nicht zu empfehlen) Aber: "Transactional"-Index In Memory-Suche der Pending-Dokumente Abfrageergebnisse stets auf aktuellem Stand Ermöglicht "Höheres" Synchronisierungsintervall Aktualität Fragmentierung

32 75$16$&7,21$/,QGH[ Indexerstellung FUHDWHLQGH[LG[BQDFKULFKWHQBYROOWH[W RQQUBQDFKULFKWBWDE REMHFWBYDOXH LQGH[W\SHLV &7;6<6&217(;7 SDUDPHWHUV VHFWLRQJURXS QDFKULFKWHQBVHFBJURXS WUDQVDFWLRQDO Transactional-Query abschalten EHJLQ FW[BTXHU\GLVDEOHBWUDQVDFWLRQDOBTXHU\ 758( HQG

33 9HUZHQGXQJYRQ0'$7$ MDATA-Sektionen, um Performanz von Mixed Queries zu verbessern 6(/(&7LG )520LG[BGRFV :+(5(&217$,16WH[Wµ6RPPHU $1'0'$7$DXWRU1LJHOOD /DZVRQ! -> werden nicht tokenized -> sind transaktional veränderbar Abfrage nur mit Context Index verwendbar MDATA-Sections können nur in der XML_SECTION_GROUP verwendet werden.

34 8QGGDQQZDUGDQRFK XML DB: CTXXPATH-Index wird obsolet 11J kommt bald... Neuerungen bei TEXT Neuerungen bei der XML DB Compact Binary XML Neuer Indextyp: ";0/,QGH["

35 :HLWHUH,QIRUPDWLRQHQ Oracle Dokumentation Oracle TEXT Developers Guide Oracle TEXT Reference Oracle XML DB Developer s Guide and Reference Oracle Technology Network (OTN) Database Æ Content Management Metalink Note : Oracle TEXT technical Overview