Kategorisierung und Clustering als Technologien für die Erschließung unstrukturierter Information auf der Grundlagevon Oracle 10g TEXT

Transkript

1

2 Kategorisierung und Clustering als Technologien für die Erschließung unstrukturierter Information auf der Grundlagevon Oracle 10g TEXT Barbara Steinhanses Business Development Manager TEXT, intermedia, PORTAL Oracle Deutschland GmbH

3 AGENDA Klassifikation Definition Einsatzgebiete für Klassifikation Methoden zur Kategorisierung von Dokumenten Kategorisierung mit Oracle Text 10g Rule_Classifier SVM_Classifier Methoden zum Clustern von Dokumenten Clustering mit Oracle Text 10g KMEAN_Cluster

4 Dokumenten Klassifikation Allgemeine Definition DUDEN : Einteilung, Einordnung in Klassen bzw. Gruppen Das Zusammenführen von unterschiedlichen Bereichen von Information und das Verringern der daraus resultierenden Informationsüberladung durch das Gruppieren von ähnlichen Dokumenten ist das Hauptziel von Klassifikation.

5 Klassifikation bei der Intranet Suche Volltext Recherche Liste der Kategorien Einordnung des Dokumentes in Kategorie Clustering

6 Klassifikation in Anwendungen

7 Klassifikation YAPA Demosystem

8 Dokumenten Klassifikation Allgemeine Definition Der Begriff Dokumenten Klassifikation beschreibt 2 unterschiedliche Analysearten : das Kategorisieren von Dokumenten das Clustern von Dokumenten. Unterscheidung : Kategorisieren = überwachte Klassifikation Clustern = nicht-überwachte Klassifikation

9 Dokumenten Klassifikation Kategorisierung Zuordnung von Dokumenten zu vordefinierten Kategorien 2 Phasen Trainingsphase zum Aufbau der Wissensbasis Kategorisieren neuer Dokumente Wissenbasis bleibt in der Regel unverändert

10 Dokumenten Klassifikation Clustering nicht-überwachte Form der Dokumenten Klassifikation. Ziel: Ermittlung von Ähnlichkeiten Gruppieren der Dokumente anhand der Ähnlichkeiten Steuerung des Clusterprozesses Unterscheidung in Hierarchische Clustermethoden Partitionierende Clustermethoden

11 Methoden zur Klassifikation Feature Selection Preprocessing ist der erste Schritt bei der Klassifikation von Dokumenten Feature Extraction Gewichtung der ermittelten Features Feature Selection Feature Analyse

12 Dokumenten Kategorisierung Algorithmen Decision Trees Decision Rules - SWAP-1 - Ripper k-nearest Neighbors (K-NN) - ExpNet Bayessches Lernen - Bayesian Independance Classifier => Naive Bayes Bayesian Network Induction => Bayesian Network Approach Neuronale Netze Regressions-basierte Methoden - Least Linear Squares Fit (LLSF) Vektor-basierte Methoden - Centroid - Support Vector Machine (SVM)

13 Algorithmen Decision Trees / Entscheidungsbäume Decision Rules / Entscheidungsregeln Vortrag DOAG Oracle World SIG Klasse Feature

14 Algorithmen Support Vector Machines (SVM) Pro Klasse Ermitteln des maximalen Raums zwischen positiven und negativen Beispielen Dokumente werden als binäre Vektoren dargestellt Nur Support Vektoren werden für die Entscheidung herangezogen Sehr gutes Laufzeitverhalten W Vektor W = gelernte Gewichtung

15 Kategorisierung mit Oracle TEXT CLASSIFIERs 2 Methoden für das Kategorisieren von Dokumenten: RULE_CLASSIFIER SVM_CLASSIFIER Zuordnung zu > 1 Kategorie Verwendung der CONTEXT Präferenzen für den Features-Selection Prozess CTXRULE Index + MATCHES Operator für das Kategorisieren neuer Dokumente

16 RULE_CLASSIFIER Der Trainingsprozess Die Schritte: Anlegen einer Tabelle für die Trainingsdokumente Anlegen der Tabelle für die Kategorien Anlegen der Zuordnungstabelle (IOT) Anlegen des Textindexes auf die Trainingsdokumente (context Index ) Anlegen der Tabelle für die Wissensbasis Anlegen einer individuellen Präferenz für den RULE_CLASSIFIER Aufruf des Trainingsprozesses Anlegen eines CTXRULE Indexes auf die generierten Regeln

17 RULE_CLASSIFIER Der Trainingsprozess Anlegen einer Tabelle für die Trainingsdokumente create table trainingsdokumente ( tr_trdok_id integer primary key, tr_text varchar2(4000) ); insert into Trainingsdokumente values(1, 'Aus Sorge vor Anschlägen auf das Technische Hilfswerk (THW) im Irak setzt das Bundesinnenministerium '); insert into Trainingsdokumente values(2, 'Angeführt vom dreimaligen Olympiasieger Georg Hackl starten die deutschen Erfolgs-Rodler '); insert into... commit; Anlegen der Tabelle für die Kategorien create table kategorien ( k_kat_id integer primary key, k_beschreibung varchar2(4000) ); insert into kategorien values (1, 'Politik/Ausland/IRAK-Konflikt'); insert into kategorien values (2, 'Sport/Wintersport/RODELN'); insert into kategorien values (3, 'Politik/Inland/Parteien/CDU'); commit;

18 RULE_CLASSIFIER Der Trainingsprozess Anlegen der Zuordnungstabelle (IOT) create table trdok_kategorien_zuordnung ( tkz_kat_id integer, tkz_trdok_id integer, primary key (tkz_kat_id, tkz_trdok_id)) organization index; insert into trdok_kategorien_zuordnung values (1, 1); insert into trdok_kategorien_zuordnung values (2, 2); insert into trdok_kategorien_zuordnung values (3, 3); insert into trdok_kategorien_zuordnung values (1, 4); commit; Anlegen des Textindexes auf die Trainingsdokumente (context Index populate) create index TRDOK_index on trainingsdokumente (tr_text) indextype is ctxsys.context parameters ('stoplist German_stoplist' );

19 RULE_CLASSIFIER Der Trainingsprozess Anlegen der Tabelle für die Wissensbasis create table wissensbasis ( w_kat_id integer, w_regel varchar2(4000), w_konfidenzwert number); Anlegen einer individuellen Präferenz für den RULE_CLASSIFIER exec CTX_DDL.create_preference ('MY_RULE_CLASSIFIER', 'RULE_CLASSIFIER'); Einstellbare Attribute für den RULE_CLASSIFIER sind : Threshold Max_Terms Memory_size NT_Threshold Term_Threshold Prune_Level

20 RULE_CLASSIFIER Der Trainingsprozess Aufruf des Trainingsprozesses begin ctx_cls.train( index_name => 'trdok_index', docid => 'tr_trdok_id', cattab => 'trdok_kategorien_zuordnung', catdocid => 'tkz_trdok_id', catid => 'tkz_kat_id', restab => 'wissensbasis', rescatid => 'w_kat_id', resquery => 'w_regel', resconfid => 'w_konfidenzwert', preference => 'MY_RULE_CLASSIFIER' ); end; Anlegen eines CTXRULE Indexes auf die generierten Regeln create index regel_idx on wissensbasis (w_regel) indextype is ctxsys.ctxrule;

21 RULE_CLASSIFIER Der Trainingsprozess Kontrolle der generierten Regeln select w_kat_id, w_regel, w_konfidenzwert from wissensbasis; W_KAT_ID W_REGEL W_KONFIDENZWERT {2004} {CDU} ~ {2004} {US} {WELTCUP} {ACHT} ~ {WELTCUP} {KAMPF} ~ {WELTCUP} ~ {ACHT} 100

22 RULE_CLASSIFIER Der Kategorisierungsprozess Im vorliegenden Beispiel wird das zu indizierende Dokument direkt angegeben, die Abfrage liefert die Kategorie 1 zurück. select w_kat_id from wissensbasis where matches (w_regel, ' Die Lage im Irak bleibt gespannt. Beobachter rechnen mit einer Beruhigung der Lage erst nach 2004' ) > 0;

23 SVM_CLASSIFIER Unterschiede Text Index > nopopulate ist ausreichend für den Trainingsprozess Struktur der Wissensbasis create table wissensbasis ( cat_id integer, type number, rule blob ); SVM_CLASSIFIER MAX_DOCTERMS MAX_FEATURES THEME_ON TOKEN_ON STEM_ON MEMORY_SIZE SECTION_WEIGHT

24 SVM_CLASSIFIER Unterschiede Anlegen einer SVM_CLASSIFIER Präferenz exec CTX_DDL.create_preference('MY_SVM_CLASSIFIER', 'SVM_CLASSIFIER'); Aufruf des Trainingsprozesses begin ctx_cls.train( index_name => 'trdok_index', docid => 'tr_trdok_id', cattab => 'trdok_kategorien_zuordnung', catdocid => 'tkz_trdok_id', catid => 'tkz_kat_id', restab => 'wissensbasis', preference => 'MY_SVM_CLASSIFIER' ); end;

25 Cluster Methoden Einteilung der Clusteringverfahren in Partitionierende Verfahren Hierarchische Verfahren Verwendung z.b. Für Zeige mir mehr Dokumente, wie dieses hier... Häufig verwendete Algorithmen K-means Agglomeratives Clustern K-medoid Optics DBSCAN

26 Cluster Methoden Partitionierendes Clustern - kmean Jedes Cluster enthält aus mindestens ein Dokument Jedes Dokument ist in höchstens einem Cluster enthalten x x x

27 Clustering mit Oracle TEXT Der Clustering Prozess Die Schritte: Anlegen der Tabelle für die Dokumente Anlegen des Context Indexes nopopulate Anlegen der Ergebnistabellen: Cluster_Beschreibung Dokument_zu_Cluster_Zuordnung Anlegen der Cluster Präferenz mit den gewünschten KMEAN_CLUSTER Attributen Starten des Clustering Prozesses

28 Clustering mit Oracle TEXT Der Clustering Prozess Anlegen der Dokumententabelle CL_DOKUMENTE create table cl_dokumente (cl_id number primary key, text varchar2(4000)); insert into cl_dokumente values (1, 'Ein Sprengsatz hat am Samstag in der nordirakischen Stadt Mosul zwei US-Soldaten getötet und drei weitere verletzt. Das sagte eine Sprecherin des US-Militärkommandos in Bagdad. '); insert into cl_dokumente values (2, 'Das US Militär und die irakische Polizei zeigten in Bagdad verstärkte Präsenz. ); insert into cl_dokumente values (3, 'Olympiasiegerin Gunda Niemann Stirnemann hat nach fast Tagen Wettkampfpause ein grandioses Comeback auf der Eisschnelllauf-Bahnen in Erfurt gefeiert. '); commit;

29 Clustering mit Oracle TEXT Der Clustering Prozess Anlegen des Textindexes auf die Dokumententabelle create index cl_index on cl_dokumente(text) indextype is ctxsys.context parameters('lexer GERMAN_LEXER stoplist GERMAN_STOPLIST nopopulate'); Anlegen der Ergebnistabellen (die Struktur der Tabellen vorgegeben, der Tabellenname ist frei wählbar) create table dokument_zu_cluster_zuordnung ( docid number, clusterid number, score number); create table cluster_beschreibung ( clusterid number, descript varchar2(4000), label varchar2(200), sze number, quality_score number, parent number);

30 Clustering mit Oracle TEXT Der Clustering Prozess Anlegen der KMEAN_CLUSTER Präferenz exec ctx_ddl.create_preference('cluster1','kmean_clustering'); exec ctx_ddl.set_attribute('cluster1','cluster_num','3'); exec ctx_ddl.set_attribute('cluster1','theme_on','no'); exec ctx_ddl.set_attribute('cluster1','token_on','yes'); Aufruf von CTX_CLS.CLUSTERING exec ctx_output.start_log('cluster_log'); begin ctx_cls.clustering(index_name =>'cl_index', docid =>'cl_id', doctab_name =>'dokument_zu_cluster_zuordnung', clstab_name =>'cluster_beschreibung', pref_name =>'cluster1'); end; / exec ctx_output.end_log;

31 Clustering mit Oracle TEXT KMEAN_CLUSTER KMEAN_CLUSTER max_docterms max_features theme_on token_on stem_on memory_size section_weight cluster_num min_similarity hierarchy_depth

32 Clustering mit Oracle TEXT Der Clustering Prozess automatisch generiertes Labeling der Cluster select rpad(clusterid,10) clusterid, rpad(label, 16) label, rpad(descript,70) descript from cluster_beschreibung; CLUSTERID LABEL DESCRIPT US US,MILITÄRKOMMANDO,NORDIRAKISCH,SPRECHERIN,SOLDAT 1 OLYMPIASIEGERIN GUNDA,COMEBACK,,BAHNEN,ERFURT,GEFEIERT,STIRNEMANN 2 DOKUMENTE DOKUMENTE,TEXT,INDIZIERUNG,ULTRASEARCH,ORACLE Zuordnung der Texte zu ihren Clustern column text format a65 select rpad(text,65) text, clusterid from cl_dokumente c, dokument_zu_cluster_zuordnung where docid=c.cl_id;

33 FRAGEN???

34