Mehr als einfache Texte Alleskönner ORACLE TEXT

Transkript

1 Mehr als einfache Texte Alleskönner ORACLE TEXT Carsten Czarski Business Unit Database Oracle Deutschland B.V. & Co KG

2 Jede Anwendung kann Oracle TEXT nutzen! 2

3 DEMO

4 Die Indizierung Unterstützung aller gängigen Datentypen XMLTYPE, VARCHAR2, CLOB, BLOB, Database Filesystem, SecureFile Filter bei Binärdaten möglich create index idx_textindex on dokument_tab (dokument) indextype is CTXSYS.CONTEXT Index created.

5 Funktionen der Volltextrecherche Abfrage mit SQL CONTAINS-Funktion XQuery Fulltext für XML-Dokumente Oracle12c Kombinierbar mit relationalen Abfragen Relevanz-Ranking anhand Wort-Häufigkeiten SCORE()-Funktion Ergebnis-Aufbereitung Highlighting "Keyword-in-Context" select score(1), dokument from dokument_tab where CONTAINS( dokument, 'Software AND Oracle', 1 )>0

6 Abfragemöglichkeiten Logische Kombinationen... where contains(text, 'Hund AND Katze') >0 Wildcard-Suche... where contains(text, 'Hu%d AND Kat_e') >0 Namenssuche... where contains(text, 'NDATA(name, Hunt)') >0 Fuzzy matching... where contains(text, '?Hunt') >0 Multilinguale Stammsuche... where contains(text, '$läuft') >0

7 Abfragemöglichkeiten NEAR-Operator... where contains(text, 'near(hund, Katze), 4') >0 Suche in Sektionen, Sätzen und Paragraphen (XML)... where contains(text, 'Hund WITHIN TITEL') >0 ISO 2788 konformer Thesaurus... where contains(text, 'SYN(Hund,[thes]' >0)

8 Oracle Text Name Search Ähnlichkeitssuche, optimiert für Namen Unterschiedliche Schreibweisen, unterschiedliche Reihenfolge Vor- und Nachname Sprachunabhängiges Regelwerk Findet mehr Treffer als "normale" Fuzzy-Suche mit "?" Spezielle NDATA-Sections im Index nötig tendenziell größere Indizes select * from names where contains(name, 'NDATA(name,Tsaarski)') > 0 ID NAME Carsten Czarski

9 Ergebnis-Aufbereitung: SNIPPET Funktion CTX_DOC.SNIPPET Teil der SQL SELECT-Liste Hervorhebung konfigurierbar (Default ist <b></b>) Berücksichtigung von Ähnlichkeits- oder linguistische Suche

10 Oracle TEXT Indizierungsprozess Filter Sectioner Lexer AUTO_FILTER Plain Text HTML XML News/ Basic Whitespace Themen Engine Decompounding alternate spelling

11 Aufbau eines TEXT Index Tabelle DR$... $I DR$... $K DR$... $N DR$... $R DR$... $P DR$... $S DR$... $E DR$... $G DR$... $D Inhalt Token-Tabelle: Enthält die Tokens und Informationen über deren Vorkommen in den Dokumenten Mapping-Tabelle ROWID DOCID Negativliste: Enthält alle gelöschten DOCID's Mapping-Tabelle DOCID ROWID Substring-Index zur Unterstützung von %TOKEN Abfragen SDATA-Tabelle enthält strukturierte Elemente für Abfragen wie >, <, BETWEEN Oracle12c: XQuery Fulltext XML Namespace-Informationen Oracle12c: Near Realtime Index Oracle12c: Save Copy Feature

12 Index konfigurieren: Preference API Es gibt Nutzer- und Systemdefinierte Preferences. select distinct pre_class, pre_owner from ctx_preferences; PRE_CLASS PRE_OWNER DATASTORE ODD_EDITIONS STORAGE US STORAGE SH DATASTORE CTXSYS DATASTORE US...

13 Beispiele für Preference Klassen Preference Datastore Filter Lexer Storage Stop List Section Group Word List Was wird in Oracle TEXT gesteuert? Zu indizierende Datenquelle Umwandlung von Binärformaten in ASCII-Text Zerlegung des Fließtexts in Tokens Physikalische Speicherung der DR$-Tabellen Welche Wörter werden nicht indiziert? Unterteilung von Dokumenten in Abschnitte (Sections) Linguistische Einstellungen im Index

14 Lexer-Preference: Einstellungen für die deutsche Sprache Typische Einstellungen in Deutschland begin CTX_DDL.create_preference('MEIN_LEXER','BASIC_LEXER'); CTX_DDL.set_attribute('MEIN_LEXER', 'ALTERNATE_SPELLING', 'GERMAN'); CTX_DDL.set_attribute('MEIN_LEXER', 'COMPOSITE', 'GERMAN'); CTX_DDL.set_attribute('MEIN_LEXER', 'MIXED_CASE', 'NO'); CTX_DDL.set_attribute('MEIN_LEXER', 'BASE_LETTER', 'YES'); CTX_DDL.set_attribute('MEIN_LEXER', 'INDEX_STEMS', 'GERMAN'); end;

15 Tokentabelle mit Standard-Lexer TOKEN_TEXT ALLE BESTÜRZT CLINTON DEN DER DIESEM ERNEUTER ERSTE FACKELLAUF GANGE GEHT GELD GEWINNT GEWINNZUWACHS HANSESTADT IMMER IST TOKEN_TEXT LIVE MACHEN MEHR MESSE NAHOST NÄHER OBAMA OLYMPIA PAPST PARTEI PRÄSIDENT RÜCKT SEHEN SEINE SKANDAL SOFTWARE STEIGT

16 Token-Tabelle mit eigenem Lexer TOKEN_TEXT ALL ALLE BESTURZEN BESTURZT CLINTON DEN DER DIE DIES DIESER ERNEUEN ERNEUT ERNEUTER ERST ERSTE ERSTER FACKEL TOKEN_TEXT GEHEN GEHT GELD GEWINN GEWINNEN GEWINNT GEWINNZUWACHS HANSE HANSESTADT IMMER IST JAHR JAHREN JUNG JUNGSTEN KAMPF KRIMINALITAT

17 Suche in Dokumentabschnitten: Section Groups Abschnitte gekennzeichnet durch Tags (XML) Schachtelung möglich Keine strenge Hierarchie erforderlich XML-Anforderungen gelten nicht Abbildung im Textindex durch Section Groups Unterschiedliche Typen (Field, Zone) Unterschiedliche Indizierungsvarianten Suche mit WITHIN

18 Oracle TEXT und XML XML_SECTION_GROUP Explizite Indizerung von XML-Tags und deren Inhalt Einfache WITHIN-Suche möglich (keine PATH-Syntax) AUTO_SECTION_GROUP Indizierung des gesamten Dokumentes Expliziter Ausschluß von Abschnitten möglich Einfache WITHIN-Suche möglich (keine PATH-Syntax) PATH_SECTION_GROUP Indizierung des gesamten Dokuments Keine Ausschlüsse möglich (außer USER DATA STORE) Erweiterte Abfragesyntax (PATH)

19 Suche in XML-Dokumenten select id from xml_text where contains(doc, 'Carsten within (VORNAME)') > 0; ID Zeile wurde ausgewählt. select id from xml_text where contains(doc, 'Carsten') > 0; ID Zeile wurde ausgewählt. select id from xml_text where contains(doc, 'Carsten within (NAME)') > 0; Es wurden keine Zeilen ausgewählt

20 Oracle TEXT Unterstützung für JSON Erstellung eines Oracle TEXT Index für JSON CREATE INDEX po_search_idx ON po_json (json) INDEXTYPE IS CTXSYS.CONTEXT PARAMETERS ( 'section group CTXSYS.JSON_SECTION_GROUP SYNC (ON COMMIT)' ) / Index wurde erstellt. 20

21 Oracle TEXT Unterstützung für JSON Erstellung eines Oracle TEXT Index für JSON select filename from po_json WHERE json_textcontains( json, '$.PurchaseOrder.LineItems.LineItem.Description', 'Magic' ); TURNER PDT.js CLARK PST.js : 21

22 DEMO: Power-Suche auf "normalen" Daten 22

23 Oracle TEXT Index auf "normalen" Daten

24 Vorgehensweise: USER_DATA_STORE USER_DATASTORE: Eine PL/SQL Prozedur liefert die zu indizierenden Daten Tabelle(n) PL/SQL-Prozedur Index-Engine Volltextindex

25 Einrichten des User Data Store Signatur der PL/SQL Prozedur ist vorgegeben create or replace procedure adressen_suche_uds ( rid in rowid, tlob in out NOCOPY clob ) is v_adresse_xml clob; begin select xmlelement("kunde_adresse", xmlelement( "CUST_FIRST_NAME", CUST_FIRST_NAME ), xmlelement( "CUST_LAST_NAME", CUST_LAST_NAME), : ).getclobval() into v_adresse_xml from customers c, cust_address_suche cs where cs.cust_id = c.cust_id and cs.rowid = rid; :

26 Einrichten des User Data Store Signatur der PL/SQL Prozedur ist vorgegeben create or replace procedure adressen_suche_uds ( rid in rowid, tlob in out NOCOPY clob ) is : : dbms_lob.copy ( dest_lob => tlob, src_lob => v_adresse_xml, amount => Dbms_Lob.GetLength ( v_adresse_xml ), dest_offset => 1, src_offset => 1 ); end; /

27 PL/SQL-Prozedur für den Index Mehrere Signaturen verfügbar! Rückgabe als VARCHAR2 Rückgabe als CLOB Rückgabe als BLOB Filter! Prozedur wird für jede ROWID aufgerufen daher... Wenn alle "Dokumente" < 32K: Rückgabe als VARCHAR2 Temporäre LOBs einmal initiaisieren und im Package halten Bindevariablen nutzen; auf effizientes SQL achten XML per Stringverkettung erstellen Ist schneller!

28 Einrichten des User Data Store Registrieren des User Datastore für Oracle TEXT begin ctx_ddl.create_preference ( PREFERENCE_NAME => 'ADRESSEN_UDS_PREF', OBJECT_NAME => 'user_datastore' ); ctx_ddl.set_attribute ( PREFERENCE_NAME => 'ADRESSEN_UDS_PREF', ATTRIBUTE_NAME => 'PROCEDURE', ATTRIBUTE_VALUE => 'ADRESSEN_SUCHE_UDS' ); end; /

29 Das Ergebnis 29

30 Weitere Informationen Deutschsprachiges Blog zu Oracle TEXT Handbücher (Dokumentation) Oracle TEXT Application Developers Guide Oracle TEXT Reference Informationen zur Oracle-Datenbank auf Deutsch

31 Fragen & Antworten