Fortgeschrittene Computerintensive Methoden: Text Mining Steffen Unkel Manuel Eugster, Bettina Grün, Friedrich Leisch, Matthias Schmid

Transkript

1 Fortgeschrittene Computerintensive Methoden: Text Mining Steffen Unkel Manuel Eugster, Bettina Grün, Friedrich Leisch, Matthias Schmid Institut für Statistik LMU München Sommersemester 2013

2 Text Mining - Zielsetzung Text Mining bezeichnet ein breites Feld an Ansätzen und Methoden zur Analyse von un- oder schwach strukturierten Textdaten Extension of classical data mining to texts Anwendungsgebiete: Text clustering Document classification Association analysis Web mining Sentiment Detection Prinzip: Texte zunächst in ein strukturiertes Datenformat überführen, anschließend klassische Lernverfahren verwenden Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 1 / 37

3 Text Mining - Zielsetzung / 2 Dokumente Aufbereitung Data Mining Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 2 / 37

4 Beispiele Google Books Ngram Viewer: The New York Times Analysis of the State of the Union Address: STATEOFUNION.html. GuttenPlag Wiki: http: //de.guttenplag.wikia.com/wiki/guttenplag_wiki. Schavanplag Wiki: http: //de.schavanplag.wikia.com/wiki/schavanplag_wiki. Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 3 / 37

5 Text Mining - Prozessablauf 1 Dokumentselektion 2 Dokumentaufbereitung Entfernung von Zahlen, Satzzeichen, etc. Groß- und/oder Kleinschreibweise Stemming Synonym-Behandlung 3 Term-Document Matrix Tokenisierung Term-Häufigkeiten Gewichtung 4 Data Mining Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 4 / 37

6 Software Feinerer, I.: tm: Text Mining Package. R package version Feinerer, I., Hornik, K. and Meyer, D. (2008): Text Mining Infrastructure in R, Journal of Statistical Software, Vol. 25, Issue 5, URL: Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 5 / 37

7 Dokumentselektion Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 6 / 37

8 Textkorpus Ein Textkorpus ist eine Sammlung von Textdokumenten. Ein Textdokument besteht aus dem eigentlich Textkörper und eventuell zusätzlichen Metadaten. Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 7 / 37

9 Beispiel: Über Lorem Ipsum Contrary to popular belief, Lorem Ipsum is not simply random text. It has roots in a piece of classical Latin literature from 45 BC, making it over 2000 years old. Richard McClintock, a Latin professor at Hampden-Sydney College in Virginia, looked up one of the more obscure Latin words, consectetur, from a Lorem Ipsum passage, and going through the cites of the word in classical literature, discovered the undoubtable source. Lorem Ipsum comes from sections and of "de Finibus Bonorum et Malorum" (The Extremes of Good and Evil) by Cicero, written in 45 BC. This book is a treatise on the theory of ethics, very popular during the Renaissance. The first line of Lorem Ipsum, "Lorem ipsum dolor sit amet..", comes from a line in section The standard chunk of Lorem Ipsum used since the 1500s is reproduced below for those interested. Sections and from "de Finibus Bonorum et Malorum" by Cicero are also reproduced in their exact original form, accompanied by English versions from the 1914 translation by H. Rackham. (*) Text kopiert von Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 8 / 37

10 Dokumentaufbereitung Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 9 / 37

11 Gängige Vorverarbeitungsschritte Einfache Transformationen zur Bereinigung der Textdokumente; z.b: Entfernen von... Zahlen... Satzzeichen... Leerzeichen Behandlung von Groß-/Kleinschreibung Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 10 / 37

12 Beispiel: Über Lorem Ipsum Gängige Vorverarbeitungsschritte Original: Contrary to popular belief, Lorem Ipsum is not simply random text. It has roots in a piece of classical Latin literature from 45 BC, making it over 2000 years old. Richard McClintock, a Latin professor at Hampden-Sydney College in Virginia, looked up one of the more obscure Latin words, consectetur, from a Lorem Ipsum passage, and going through the cites of the word in classical literature, discovered the undoubtable source. Lorem Ipsum comes from sections and of "de Finibus Bonorum et Malorum" (The Extremes of Good and Evil) by Cicero, written in 45 BC. This book is a treatise on the theory of ethics, very popular during the Renaissance. The first line of Lorem Ipsum, "Lorem ipsum dolor sit amet..", comes from a line in section The standard chunk of Lorem Ipsum used since the 1500s is reproduced below for those interested. Sections and from "de Finibus Bonorum et Malorum" by Cicero are also reproduced in their exact original form, accompanied by English versions from the 1914 translation by H. Rackham. Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 11 / 37

13 Beispiel: Über Lorem Ipsum Gängige Vorverarbeitungsschritte / Satzzeichen-Entfernung: Contrary to popular belief Lorem Ipsum is not simply random text It has roots in a piece of classical Latin literature from 45 BC making it over 2000 years old Richard McClintock a Latin professor at HampdenSydney College in Virginia looked up one of the more obscure Latin words consectetur from a Lorem Ipsum passage and going through the cites of the word in classical literature discovered the undoubtable source Lorem Ipsum comes from sections and of de Finibus Bonorum et Malorum The Extremes of Good and Evil by Cicero written in 45 BC This book is a treatise on the theory of ethics very popular during the Renaissance The first line of Lorem Ipsum Lorem ipsum dolor sit amet comes from a line in section The standard chunk of Lorem Ipsum used since the 1500s is reproduced below for those interested Sections and from de Finibus Bonorum et Malorum by Cicero are also reproduced in their exact original form accompanied by English versions from the 1914 translation by H Rackham Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 12 / 37

14 Beispiel: Über Lorem Ipsum Gängige Vorverarbeitungsschritte / Nummer-Entfernung: Contrary to popular belief Lorem Ipsum is not simply random text It has roots in a piece of classical Latin literature from BC making it over years old Richard McClintock a Latin professor at HampdenSydney College in Virginia looked up one of the more obscure Latin words consectetur from a Lorem Ipsum passage and going through the cites of the word in classical literature discovered the undoubtable source Lorem Ipsum comes from sections and of de Finibus Bonorum et Malorum The Extremes of Good and Evil by Cicero written in BC This book is a treatise on the theory of ethics very popular during the Renaissance The first line of Lorem Ipsum Lorem ipsum dolor sit amet comes from a line in section The standard chunk of Lorem Ipsum used since the s is reproduced below for those interested Sections and from de Finibus Bonorum et Malorum by Cicero are also reproduced in their exact original form accompanied by English versions from the translation by H Rackham Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 13 / 37

15 Beispiel: Über Lorem Ipsum Gängige Vorverarbeitungsschritte / Leerzeichen-Behandlung: Contrary to popular belief Lorem Ipsum is not simply random text It has roots in a piece of classical Latin literature from BC making it over years old Richard McClintock a Latin professor at HampdenSydney College in Virginia looked up one of the more obscure Latin words consectetur from a Lorem Ipsum passage and going through the cites of the word in classical literature discovered the undoubtable source Lorem Ipsum comes from sections and of de Finibus Bonorum et Malorum The Extremes of Good and Evil by Cicero written in BC This book is a treatise on the theory of ethics very popular during the Renaissance The first line of Lorem Ipsum Lorem ipsum dolor sit amet comes from a line in section The standard chunk of Lorem Ipsum used since the s is reproduced below for those interested Sections and from de Finibus Bonorum et Malorum by Cicero are also reproduced in their exact original form accompanied by English versions from the translation by H Rackham Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 14 / 37

16 Beispiel: Über Lorem Ipsum Gängige Vorverarbeitungsschritte / Gross-/Kleinschreibung-Behandlung: contrary to popular belief lorem ipsum is not simply random text it has roots in a piece of classical latin literature from bc making it over years old richard mcclintock a latin professor at hampdensydney college in virginia looked up one of the more obscure latin words consectetur from a lorem ipsum passage and going through the cites of the word in classical literature discovered the undoubtable source lorem ipsum comes from sections and of de finibus bonorum et malorum the extremes of good and evil by cicero written in bc this book is a treatise on the theory of ethics very popular during the renaissance the first line of lorem ipsum lorem ipsum dolor sit amet comes from a line in section the standard chunk of lorem ipsum used since the s is reproduced below for those interested sections and from de finibus bonorum et malorum by cicero are also reproduced in their exact original form accompanied by english versions from the translation by h rackham Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 15 / 37

17 Entfernen von Stoppwörtern Stoppwörter sind Wörter einer konkreten Sprache, welche sehr häufig auftreten und gewöhnlich keine Relevanz für die Analyse der Textdokumente haben. English: a, about, above, across, after, again,... Deutsch: aber, alle, allem, allen, aller, alles,... Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 16 / 37

18 Beispiel: Über Lorem Ipsum Stoppwörter Aktueller Text: 168 Wörter contrary to popular belief lorem ipsum is not simply random text it has roots in a piece of classical latin literature from bc making it over years old richard mcclintock a latin professor at hampdensydney college in virginia looked up one of the more obscure latin words consectetur from a lorem ipsum passage and going through the cites of the word in classical literature discovered the undoubtable source lorem ipsum comes from sections and of de finibus bonorum et malorum the extremes of good and evil by cicero written in bc this book is a treatise on the theory of ethics very popular during the renaissance the first line of lorem ipsum lorem ipsum dolor sit amet comes from a line in section the standard chunk of lorem ipsum used since the s is reproduced below for those interested sections and from de finibus bonorum et malorum by cicero are also reproduced in their exact original form accompanied by english versions from the translation by h rackham Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 17 / 37

19 Beispiel: Über Lorem Ipsum Stoppwörter / Stoppwörter-Entfernung: 95 Wörter contrary popular belief lorem ipsum simply random text roots piece classical latin literature bc richard mcclintock latin professor hampdensydney college virginia looked obscure latin words consectetur lorem ipsum passage cites word classical literature discovered undoubtable source lorem ipsum comes sections de finibus bonorum et malorum extremes evil cicero written bc book treatise theory ethics popular renaissance line lorem ipsum lorem ipsum dolor sit amet comes line section standard chunk lorem ipsum reproduced sections de finibus bonorum et malorum cicero reproduced exact original form accompanied english versions translation rackham Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 18 / 37

20 Stemming Stemming bezeichnet die (algorithmische) Rückführung eines Wortes auf den Wortstamm. Stem spiel: haus: schnarch: Term Spiel, spielerisch, Spieler, gespielt Wohnhaus, häuslich, hausen, Haus, Haustür schnarche, schnarchst, schnarcht Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 19 / 37

21 Porter-Stemmer-Algorithmus Verbreiteter Algorithmus für das Stemming englischsprachiger Texte (leicht für andere Sprachen zu implementieren). Verkürzungsregeln (bestehend aus Bedingungen und Ableitungen und eingeteilt in Gruppen) für verschiedene Wortendungen werden so lange auf ein Wort angewendet, bis es eine Minimalzahl von Silben aufweist. Beispiele auf Deutsch: http: //snowball.tartarus.org/algorithms/german/stemmer.html Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 20 / 37

22 Beispiel: Über Lorem Ipsum Stemming Aktueller Text: 650 Zeichen contrary popular belief lorem ipsum simply random text roots piece classical latin literature bc richard mcclintock latin professor hampdensydney college virginia looked obscure latin words consectetur lorem ipsum passage cites word classical literature discovered undoubtable source lorem ipsum comes sections de finibus bonorum et malorum extremes evil cicero written bc book treatise theory ethics popular renaissance line lorem ipsum lorem ipsum dolor sit amet comes line section standard chunk lorem ipsum reproduced sections de finibus bonorum et malorum cicero reproduced exact original form accompanied english versions translation rackham Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 21 / 37

23 Beispiel: Über Lorem Ipsum Stemming / Stemming: 590 Zeichen contrari popular belief lorem ipsum simpli random text root piec classic latin literatur bc richard mcclintock latin professor hampdensydney colleg virginia look obscur latin word consectetur lorem ipsum passag cite word classic literatur discov undoubt sourc lorem ipsum come section de finibus bonorum et malorum extrem evil cicero written bc book treatis theori ethic popular renaiss line lorem ipsum lorem ipsum dolor sit amet come line section standard chunk lorem ipsum reproduc section de finibus bonorum et malorum cicero reproduc exact origin form accompani english version translat rackham Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 22 / 37

24 Synonyme Behandlung von Wörtern mit gleicher oder ähnlicher Bedeutung; z.b. durch die Ersetzung von allen Synonymen eines Wortes durch ein ausgewähltes Wort. Wort company (en): Freund (de): Synonyme caller, companionship, company, fellowship, party Kumpel, Gefährte, Kamerad, Kumpan, Homie Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 23 / 37

25 Term-Document Matrix Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 24 / 37

26 Term-Document Matrix Umwandeln der (bereinigten) Textdokumente in Zahlen, um das Rechnen auf den Textdokumenten zu ermöglichen: 1 Tokenisierung 2 Term-Häufigkeit 3 Gewichtung Bemerkung: In vielen Fällen ist die Betrachtungsweise Document-Term Matrix sinnvoller; entspricht der transponierten Term-Document Matrix. Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 25 / 37

27 Tokenisierung Segmentierung eines Textdokuments in die kleinsten Einheiten; z.b. N-Gramme, Wörter, Phrasen, Sätze, Absätze, etc. Die gängigste Unterteilung ist in Wörter. Einfachste Form einer Wörter-Tokenisierung ist auf Basis der Leerräume: 1 Eine zusammenhängende Zeichenkette bestehend aus Buchstaben (und Nummern) gehört zu einem Token; 2 Tokens sind getrennt durch Leerräume (Leerzeichen, Zeilenumbruch, Tabulatoren,...); 3 Satzzeichen und Leerräume können zu einem Token gehören (oder auch nicht). Probleme der Tokenisierung: Mehrwortlexeme (z.b. New York ) und nicht-segmentisierende Schriften (z.b. chinesische oder japanische Schriften). Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 26 / 37

28 Beispiel: Über Lorem Ipsum Tokenisierung Erste 40 Tokens: [1] "contrari" "popular" "belief" "lorem" [5] "ipsum" "simpli" "random" "text" [9] "root" "piec" "classic" "latin" [13] "literatur" "bc" "make" "year" [17] "old" "richard" "mcclintock" "latin" [21] "professor" "hampdensydney" "colleg" "virginia" [25] "look" "one" "obscur" "latin" [29] "word" "consectetur" "lorem" "ipsum" [33] "passag" "go" "cite" "word" [37] "classic" "literatur" "discov" "undoubt" Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 27 / 37

29 Bag-of-Words Modell Bisher: Keine Veränderung der Token-Reihenfolge durch den bisherigen Prozessablauf. Generell könnte die Reihenfolge der Tokens eine Rolle in der Analyse spielen. Eine oft getroffene Annahme ist jedoch das Bag-of-Words-Modell: Die Ordnung der Tokens spielt keine signifikante Rolle; Textdokumente werden als ungeordnete Menge von Wörtern betrachtet. Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 28 / 37

30 Term-Häufigkeit Die Term-Häufigkeit tf ij bezeichnet die Häufigkeit, mit der ein Term t i (z.b. Token, Wort) in einem Textdokument d j auftritt (d j D). Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 29 / 37

31 Beispiel: Über Lorem Ipsum Term-Häufigkeit Dokumenthäufigkeiten der ersten 40 Terme: accompani also amet bc belief bonorum book chunk cicero cite classic colleg come consectetur contrari de discov dolor english et ethic evil exact extrem finibus first form go good h hampdensydney interest ipsum latin line literatur look lorem make malorum Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 30 / 37

32 Beispiel: The Wizard of Oz Document-Term Matrix Die ersten 11 Terme von 5 Wizard of Oz Büchern: Terms Docs aaa aback abandon abash abdic abid abject abl ablaz LittleWizardStoriesOfOz OzmaOfOz TheMarvelousLandOfOz TheRoyalBookOfOz TheWonderfulWizardOfOz Terms Docs aboard LittleWizardStoriesOfOz 2 OzmaOfOz 0 TheMarvelousLandOfOz 4 TheRoyalBookOfOz 1 TheWonderfulWizardOfOz 0 Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 31 / 37

33 Gewichtung Maß für die Wichtigkeit eines Wortes: tf: term frequency, eventuell noch normalisiert mit der Gesamtanzahl an Termen (um eine Verzerrung durch die Länge der Textdokumente zu verhindern). tf-idf: term frequency inverse document frequency setzt die Term-Häufigkeit in Relation zur Corpus-Häufigkeit. Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 32 / 37

34 Gewichtung / 2 Die inverse document frequency ist ein Maß für die allgemeine Wichtigkeit eines Terms: idf i = log D {d j D : t i d j } Die term frequency inverse document frequency ist ein Maß für die Wichtigkeit eines Wortes in einem Dokument gegeben den gesamten Korpus: tf-idf ij = tf ij idf i Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 33 / 37

35 Beispiel: The Wizard of Oz tf idf Die ersten 11 Terme von 5 Wizard of Oz Büchern: Terms Docs aaa aback abandon abash LittleWizardStoriesOfOz OzmaOfOz TheMarvelousLandOfOz TheRoyalBookOfOz TheWonderfulWizardOfOz Terms Docs abdic abid abject abl ablaz LittleWizardStoriesOfOz e+00 OzmaOfOz e+00 TheMarvelousLandOfOz e+00 TheRoyalBookOfOz e-05 TheWonderfulWizardOfOz e+00 Terms Docs aboard abound LittleWizardStoriesOfOz OzmaOfOz TheMarvelousLandOfOz TheRoyalBookOfOz TheWonderfulWizardOfOz Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 34 / 37

36 Data Mining Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 35 / 37

37 Häufigkeitsanalysen Aufgrund der Einfachheit basieren viele Analysen auf der Heuristik je wichtiger desto häufiger. Beispiel: Diejenigen Terme, die mindestens 1000 mal im Korpus der fünf Bücher auftreten, sind dorothi, said, scarecrow d.h. u.a. die Hauptfigur Dorothy und die Vogelscheuche. Pro Buch sind die Häufigkeiten wie folgt verteilt: Terms Docs dorothi said scarecrow LittleWizardStoriesOfOz OzmaOfOz TheMarvelousLandOfOz TheRoyalBookOfOz TheWonderfulWizardOfOz Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 36 / 37

38 Data Mining Die Document-Term Matrix kann nun weiter analysiert werden: Finden von Assoziationen zwischen Wörtern: findassocs() Bilden von Tag Clouds ( Schlagwortwolken ) Clustering von Text oder Dokumenten: mit typischen Funktionen wie hclust oder kmeans Die Größe der Document-Term-Matrix kann mit Hilfe von Dimensionsreduktionsverfahren verringert werden (beispielsweise durch Einsatz von Singular Value Decomposition oder Non-Negative Matrix Factorization) Steffen Unkel c Sommersemester 2013 Fortgeschrittene Computerintensive Methoden: Text Mining 37 / 37