Text Mining Wissensrohstoff Text

Transkript

1 Text Mining Wissensrohstoff Text Gerhard Heyer Universität Leipzig Institut für Informatik

2 Text Mining 2

3 Text als Grundlage der Wissensverarbeitung Einige Arbeitshypothesen Wissen wird hauptsächlich durch (digitalen) Text vermittelt (Wissensgesellschaft) digitaler Text dient als Codierung von Wissen digitaler Text ist in sehr grossen Mengen verfügbar Text kann als digitaler Wissensrohstoff wiederverwendet werden (vgl. translation memories) semantische Relationen können unter Verwendung vorhandener Ressourcen (z.b. Lexika, Mark-ups u.a. Wissensquellen) automatisch extrahiert werden 3

4 Text Mining Technologie für die automatische Strukturierung und Transformierung sehr großer Textmengen Voraussetzung: Text ist digitaler Wissensrohstoff Wissensbasierte/ Regelbasierte Ansätze problematisch zu große Menge an Textdaten flexible Strukturen erforderlich Zeit, Geld und Repräsentationsformalismen beschränken die Codierung von Wissen Text Mining Forschungsbereich zwischen Information Retrieval und linguistischer Informatik 4

5 Text Mining (Begriff): Inhaltlich orientierter Zugriff auf unstrukturierte Daten Zugriffsergebnis bekannt Zugriffsergebnis nicht bekannt Strukturierte Daten Unstrukturierte Daten Datenabfrage Datenbank-Systeme Inhaltsabfrage Dokumentenmanagement-Systeme Datenanfrage Suchmaschinen, Data Mining Inhaltsanfrage Text Mining Werkzeuge 5

6 Aufgaben des Text-Mining Erweitertes Text-Retrieval Finden von Definitionen, Erläuterungen, Referenzen ggf. mehrsprachig Konzeptanalyse Extrahieren von Eigennamen und Fachterminologie Finden von fachspezifischen Schlüsselbegriffen Berechnung semantischer Relationen zwischen Entitäten 6

7 Beispiel: Ortsnamenserkennung Emmendingen DV - ExpectGmbH LABORSYSTEME Herbolzheim Belchenstr. 44 HRB 662 K November 2001 Neueintragungen HRB 662 K November 2001: DV Expect GmbH LABORSYSTEME in Herbolzheim (Belchenstr. 44). Gesellschaft mit beschränkter Haftung. Gesellschaftsvertrag vom 28. August 2001, geändert in 1 (Firma) am 09. Oktober Gegenstand des Unternehmens ist die Montage von medizinischen Geräten und Elektronikteilen und deren Vertrieb, auch im Lohnauftrag für Unternehmen der Gerätemedizin und der Bauindustrie, die Endmontage von Bauelementen, der Vertrieb von Ersatzteilen für Personen- und Güterbeförderungsunternehmen sowie der ambulante Handel und Vertrieb mit Fast-food Produkten. Stammkapital: ,-- EUR. Die Gesellschaft hat einen oder mehrere Geschäftsführer. Ist nur ein Geschäftsführer bestellt, vertritt er die Gesellschaft allein. Sind mehrere Geschäftsführer bestellt, wird die Gesellschaft durch zwei Geschäftsführer gemeinschaftlich oder durch einen Geschäftsführer in Gemeinschaft mit einem Prokuristen vertreten. Einzelvertretungsbefugnis und Befreiung von den Beschränkungen des 181 BGB kann erteilt werden. Geschäftsführer sind Vidko Umek, geb. am 7. März 1951, Herbolzheim, und Dolores Umek, geb. am 8. August 1979, Herbolzheim; diese sind einzelvertretungsberechtigt und befugt, die Gesellschaft bei der Vornahme von Rechtsgeschäften mit sich selbst oder als Vertreter eines Dritten uneingeschränkt zu vertreten ( 181 BGB). Nicht eingetragen: Die Gesellschafterin Dolores Umek hat ihre Einlage in Höhe von ,-- EUR durch Einbringung ihres PKW Audi A3 TDI, amtl. Kennzeichen EM-D 2299, Schätzwert: ,-- EUR, erbracht; im übrigen wird auf die eingereichten Unterlagen Bezug genommen. Bekanntmachungen der Gesellschaft erfolgen im Bundesanzeiger. 7

8 Beispiel: Erkennung rechtsrelevanten Vokabulars Emmendingen DV - ExpectGmbH LABORSYSTEME Herbolzheim Belchenstr. 44 HRB 662 K November 2001 Neueintragungen HRB 662 K November 2001: DV Expect GmbH LABORSYSTEME in Herbolzheim (Belchenstr. 44). Gesellschaft mit beschränkter Haftung. Gesellschaftsvertrag vom 28. August 2001, geändert in 1 (Firma) am 09. Oktober Gegenstand des Unternehmens ist die Montage von medizinischen Geräten und Elektronikteilen und deren Vertrieb, auch im Lohnauftrag für Unternehmen der Gerätemedizin und der Bauindustrie, die Endmontage von Bauelementen, der Vertrieb von Ersatzteilen für Personen- und Güterbeförderungsunternehmen sowie der ambulante Handel und Vertrieb mit Fast-food Produkten. Stammkapital: ,-- EUR. Die Gesellschaft hat einen oder mehrere Geschäftsführer. Ist nur ein Geschäftsführer bestellt, vertritt er die Gesellschaft allein. Sind mehrere Geschäftsführer bestellt, wird die Gesellschaft durch zwei Geschäftsführer gemeinschaftlich oder durch einen Geschäftsführer in Gemeinschaft mit einem Prokuristen vertreten. Einzelvertretungsbefugnis und Befreiung von den Beschränkungen des 181 BGB kann erteilt werden. Geschäftsführer sind Vidko Umek, geb. am 7. März 1951, Herbolzheim, und Dolores Umek, geb. am 8. August 1979, Herbolzheim; diese sind einzelvertretungsberechtigt und befugt, die Gesellschaft bei der Vornahme von Rechtsgeschäften mit sich selbst oder als Vertreter eines Dritten uneingeschränkt zu vertreten ( 181 BGB). Nicht eingetragen: Die Gesellschafterin Dolores Umek hat ihre Einlage in Höhe von ,-- EUR durch Einbringung ihres PKW Audi A3 TDI, amtl. Kennzeichen EM-D 2299, Schätzwert: ,-- EUR, erbracht; im übrigen wird auf die eingereichten Unterlagen Bezug genommen. Bekanntmachungen der Gesellschaft erfolgen im Bundesanzeiger. 3 8

9 Beispiel: Erkennung von Firmenzweck Emmendingen DV - ExpectGmbH LABORSYSTEME Herbolzheim Belchenstr. 44 HRB 662 K November 2001 Neueintragungen HRB 662 K November 2001: DV Expect GmbH LABORSYSTEME in Herbolzheim (Belchenstr. 44). Gesellschaft mit beschränkter Haftung. Gesellschaftsvertrag vom 28. August 2001, geändert in 1 (Firma) am 09. Oktober Gegenstand des Unternehmens ist die Montage von medizinischen Geräten und Elektronikteilen und deren Vertrieb, auch im Lohnauftrag für Unternehmen der Gerätemedizin und der Bauindustrie, die Endmontage von Bauelementen, der Vertrieb von Ersatzteilen für Personen- und Güterbeförderungsunternehmen sowie der ambulante Handel und Vertrieb mit Fast-food Produkten. Stammkapital: ,-- EUR. Die Gesellschaft hat einen oder mehrere Geschäftsführer. Ist nur ein Geschäftsführer bestellt, vertritt er die Gesellschaft allein. Sind mehrere Geschäftsführer bestellt, wird die Gesellschaft durch zwei Geschäftsführer gemeinschaftlich oder durch einen Geschäftsführer in Gemeinschaft mit einem Prokuristen vertreten. Einzelvertretungsbefugnis und Befreiung von den Beschränkungen des 181 BGB kann erteilt werden. Geschäftsführer sind Vidko Umek, geb. am 7. März 1951, Herbolzheim, und Dolores Umek, geb. am 8. August 1979, Herbolzheim; diese sind einzelvertretungsberechtigt und befugt, die Gesellschaft bei der Vornahme von Rechtsgeschäften mit sich selbst oder als Vertreter eines Dritten uneingeschränkt zu vertreten ( 181 BGB). Nicht eingetragen: Die Gesellschafterin Dolores Umek hat ihre Einlage in Höhe von ,-- EUR durch Einbringung ihres PKW Audi A3 TDI, amtl. Kennzeichen EM-D 2299, Schätzwert: ,-- EUR, erbracht; im übrigen wird auf die eingereichten Unterlagen Bezug genommen. Bekanntmachungen der Gesellschaft erfolgen im Bundesanzeiger. 9

10 Beispiel: Erkennung numerischer Angaben (Zeit, Geld,, HR-Nr.) Emmendingen DV - ExpectGmbH LABORSYSTEME Herbolzheim Belchenstr. 44 HRB 662 K November 2001 Neueintragungen HRB 662 K November 2001: DV Expect GmbH LABORSYSTEME in Herbolzheim (Belchenstr. 44). Gesellschaft mit beschränkter Haftung. Gesellschaftsvertrag vom 28. August 2001, geändert in 1 (Firma) am 09. Oktober Gegenstand des Unternehmens ist die Montage von medizinischen Geräten und Elektronikteilen und deren Vertrieb, auch im Lohnauftrag für Unternehmen der Gerätemedizin und der Bauindustrie, die Endmontage von Bauelementen, der Vertrieb von Ersatzteilen für Personen- und Güterbeförderungsunternehmen sowie der ambulante Handel und Vertrieb mit Fast-food Produkten. Stammkapital: ,-- EUR. Die Gesellschaft hat einen oder mehrere Geschäftsführer. Ist nur ein Geschäftsführer bestellt, vertritt er die Gesellschaft allein. Sind mehrere Geschäftsführer bestellt, wird die Gesellschaft durch zwei Geschäftsführer gemeinschaftlich oder durch einen Geschäfts führer in Gemeinschaft mit einem Prokuristen vertreten. Einzelvertretungsbefugnis und Befreiung von den Beschränkungen des 181 BGB kann erteilt werden. Geschäftsführer sind Vidko Umek, geb. am 7. März 1951, Herbolzheim, und Dolores Umek, geb. am 8. August 1979, Herbolzheim; diese sind einzelvertretungsberechtigt und befugt, die Gesellschaft bei der Vornahme von Rechtsgeschäften mit sich selbst oder als Vertreter eines Dritten uneingeschränkt zu vertreten ( 181 BGB). Nicht eingetragen: Die Gesellschafterin Dolores Umek hat ihre Einlage in Höhe von ,-- EUR durch Einbringung ihres PKW Audi A3 TDI, amtl. Kennzeichen EM-D 2299, Schätzwert: ,-- EUR, erbracht; im übrigen wird auf die eingereichten Unterlagen Bezug genommen. Bekanntmachungen der Gesellschaft erfolgen im Bundesanzeiger. 10

11 Anwendungsbereiche des Text-Mining Konzeptbasierte Suche bzw. Finden ähnlicher Texte (Dokumente, Definitionen, Produktbeschreibungen...) WWW, Intranet, Portale Dokumenten-Management-Systeme, e/i/m-commerce Call Center, CRM Netzoptimierung und -verwaltung (Communities) Dokumentenklassifikation und Clustering Archivierung Workflow-Optimierung ( s, Geschäftsvorfälle,...) Informationsstrukturierung und -extraktion OO-Analyse und Software-Reengineering Aufbau von Ontologien Wissensakquisition... 11

12 Web Search

13 Web Search: Use find web pages containing specific keywords retrieve the most important and imperative web sites find keywords in text documents on the web (.txt,.pdf,.doc,.ppt, ) find phrases in web pages and documents wikipedia.org/ wiki/google

14 Text Classification elektra.digicol.de

15 Text Classification: Use assign new stories to person in charge personal profile distribute to responsible person find scientific articles belonging to a topic find patents for a specific problem class

16 Similarity Search

17 Similarity Search Back links: find follow-up work Reconstruct discourse Measure impact Search by co-citation, context of reference Search contributions by author, etc.

18 Text Clustering Cluster search results Extract cluster labels Hierachical clusters

19 Text Clustering: Grafical Representation Cluster web sites Arrange by similarity

20 Term Clustering: Grafical Representation Cluster terms and phrases Arrange by similarity wortschatz.uni-leipzig.de

21 Taxonomies Hierachical organization of concepts Domains: patents, computer science, medical science Tasks Assignment of phrases to taxonomy concepts Automatic generation of taxonomies

22 Question Answering

23 Information Extraction Identify Names Locations Institutions Points in time, dates Amounts of money

24 Product Recommendations

25 Forschungsansätze 25

26 Forschungsansätze Wissensbasierte/Regelbasierte Annsätze Mustersuche Neuronale Netze statistische/korpus-linguistische Ansätze 26

27 Traditionelle KI Traditionelle KI Knowledge-based expert systems... employ human knowledge to solve problems that ordinarily require human intelligence... Encyclopedia of AI, S. 287 Fokus Expertensysteme Modellierung menschlicher Intelligenz Problem Solving Knowledge = facts + belief + heuristics 27

28 Traditionelle KI Methoden und Probleme Eingesetzte Methoden und Verfahren Regelbasierte und deklarative (logik-basierte) Wissensrepräsentation Inferenz- und Deduktionssysteme Wissensakquisition durch Expertenbefragung Probleme Kaum skalierbar (Mikrowelten) Hoher Aufwand bei der Wissensakquisition (Zeit, Granularität der Repräsentation, Kosten) Geringer wirtschaftlicher Nutzen durch unzureichende Systemintegration und Nutzerakzeptanz 28

29 Ontologiebasiertes Wissensmanagement Wissensmanagement Nutzung und Vermehrung von Wissen in einer Organisation durch ontologiebasierte, IT-unterstützte Kommunikationsformen. (vgl. Staab 2002) Fokus Nutzung und Vermehrung von Wissen (Informations-, Interaktions- und Transaktionssysteme für verschiedene Anwendungen) IT-unterstützte Kommunikationsformen (Content Management basierte Anwendungen für Intra-, Extra- und Internet) Ontologien (XML-Metatags, domänenspezifische Schemata). 29

30 Ontologiebasiertes Wissensmanagement Eingesetzte Methoden und Verfahren Inhaltsmodellierung durch semantische Netze Codierung und Verarbeitung der Semantik eines Dokuments mittels Schemata, Metainformationen und Ontologien auf der Grundlage von XML (z. B. RDFS, Topic Maps, DAML+OIL,...) Content Management Systeme für die Erstellung, Verwaltung und Verteilung von Contents Verfahren ist skalierbar Zunehmende Systemintegration und Nutzerakzeptanz Aber Wissensakquisition durch Expertenbefragung: Hoher Aufwand bei der Wissensakquisition (Zeit, Granularität der Repräsentation, Kosten) 30

31 Literatur Heyer, G., Quasthoff, U., Wittig, Th., Text Mining Wissensrohstoff Text, W3L Verlag: Bochum 2006 Manning, C., Schütze, H., Foundations of Statistical Language Processing, MIT Press: Cambridge (Mass.) 1999 Witten, I., Frank, E., Data Mining: Practical Machine Learning Tools and Techniques with JAVA Implementations, Morgan Kaufman: San Francisco