Text-Mining: Einführung

Transkript

1 Text-Mining: Einführung Claes Neuefeind Fabian Steeg 22. April 2010

2 Organisatorisches Was ist Text-Mining? Definitionen Anwendungsbeispiele Textuelle Daten Aufgaben u. Teilbereiche Literatur

3 Kontakt Sprechstunde: Nach dem Seminar / nach Vereinbarung Mail: c.neuefeind@uni-koeln.de fabian.steeg@uni-koeln.de Büro: Philosophikum, 3. Etage, Zimmer 334 (SIV)

4 Materialien Homepage zum Seminar: spinfo-textmining.html Literatur: Soweit nicht online verfügbar, wird die Literatur in einem Seminarordner bereitgestellt

5 Definitionen Definition nach Feldman/Sanger Text mining [... ] tries to solve the information overload problem by using techniques from data mining, machine learning, natural language processing, information retrieval and knowledge management. [Feldman and Sanger, 2006, S. 1]

6 Definitionen Data Mining Knowledge discovery in databases Explorative Datenanalyse Trends und Muster über große Datenmengen DM operiert auf strukturierten Daten Neue Informationen

7 Definitionen Information-Retrieval Effiziente Suche in Texten IR operiert auf unstrukturierten Daten Informationsbedarf erfüllen Bekannte Informationen

8 Definitionen Abgrenzung nach [Heyer et al., 2006, S. 5] Ergebnis Ergebnis holen interpretieren Strukturierte Datenabfrage Datenanfrage Daten DB-Systeme DM-Werkzeuge Unstrukturierte Inhaltsabfrage Inhaltsanfrage Daten IR-Techniken TM-Werkzeuge

9 Definitionen Definition nach Heyer et al. Mit [... ] Text Mining werden computergestützte Verfahren für die semantische Analyse von Texten bezeichnet, welche die automatische bzw. semi-automatische Strukturierung von Texten, insbesondere sehr großen Mengen von Texten, unterstützen. [Heyer et al., 2006, S. 3] TM = Wissenserschließung aus Texten durch Strukturierung auf versch. Ebenen Siehe

10 Anwendungsbeispiele Hypothesenbildung durch Text-Mining Aufdecken von Mustern/Korrelationen Ableiten von Regeln Formulieren von Hypothesen durch Inferenz und/oder Transfer Evidenz durch experimentelle Überprüfung

11 Anwendungsbeispiele Beispiel: Medizinische Texte [Hearst, 2003, S. 621] Beobachtungen: Stress ist assoziiert mit Migräne Stress kann zu Magnesiummangel führen Blockieren der Calcium-Zufuhr kann Migräne verhindern Magnesium ist ein Calcium-Blocker... Hypothesen: Magnesiummangel spielt eine Rolle für bestimmte Arten von Migräne Magnesium kann Migräne lindern...

12 Anwendungsbeispiele TM-Tasks Effiziente Recherche in spezialisierten Textbeständen Filterung u. Verteilung von Mails, Korrespondenzen, etc. Erstellung firmen- u. fachspezifischer Glossare u. Thesauri Aufbau semantischer Netze für Wissensmanagement Autom. Zusammenfassen (Abstracting) Verbesserung IR Semantic Web... etc.

13 Eigenschaften textueller Daten Allgemein Redundanz Unschärfe Latente Strukturierung Markup Metadaten Ling. Struktur

14 Eigenschaften textueller Daten Heterogenität hinsichtlich der Formate Sprache? Dateiformat? Zeichensatz? Identifikation wichtig für Vorverarbeitung

15 Eigenschaften textueller Daten Heterogenität hinsichtlich der Inhalte Textsorte? Herkunft? Sachgebiet? Identifikation wichtig bei Weiterverarbeitung

16 Leitfragen Aufgabe: Unstrukturierte Daten aufbereiten, so dass das enthaltene Wissen extrahiert werden kann Informationsanreicherung Leitfrage: Welche Informationen werden benötigt? Semantische Relationen als Schlüssel zum Wissen Leitfragen des Seminars: Wie kommen wir an diese Informationen? Wie nutzen wir diese Informationen?

17 Bausteine für ein TM-System Datenstrukturen: Indexterme Vektoren für Dokumente/Terme Verfahren: Musteranalyse Klassifikation Clustering

18 Erste Schritte: Datenaufbereitung Korpuserstellung: Crawling, Ablegen in DB Tokenisierung: Ermitteln der Untersuchungseinheiten Normalisierung: Vereinheitlichen der Untersuchungseinheiten Stemming/Lemmatisierung: Anzahl der Untersuchungseinheiten reduzieren Siehe dazu u.a. [Manning et al., 2008], Kap 2.2

19 Feldman, R. and Sanger, J. (2006). The Text Mining Handbook: Advanced Approaches in Analyzing Unstructured Data. Cambridge University Press. Hearst, M. A. (2003). Text data mining. In Mitkov, R., editor, The Oxford Handbook of Computational Linguistics, Oxford Handbooks in Linguistics, pages Oxford University Press, Oxford. Heyer, G., Quasthoff, U., and Wittig, T. (2006). Text Mining: Wissensrohstoff Text. w3l Verlag, Herdecke/Bochum. Manning, C. D., Raghavan, P., and Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.