Christian Zietzsch / Norman Zänker. Text Mining. und dessen Implementierung. Diplomica Verlag

Transkript

1 Christian Zietzsch / Norman Zänker Text Mining und dessen Implementierung Diplomica Verlag

2 Christian Zietzsch, Norman Zänker Text Mining und dessen Implementierung ISBN: Herstellung: Diplomica Verlag GmbH, Hamburg, 2011 Dieses Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte, insbesondere die der Übersetzung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen, der Funksendung, der Mikroverfilmung oder der Vervielfältigung auf anderen Wegen und der Speicherung in Datenverarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfältigung dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des Urheberrechtsgesetzes der Bundesrepublik Deutschland in der jeweils geltenden Fassung zulässig. Sie ist grundsätzlich vergütungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des Urheberrechtes. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Die Informationen in diesem Werk wurden mit Sorgfalt erarbeitet. Dennoch können Fehler nicht vollständig ausgeschlossen werden und der Verlag, die Autoren oder Übersetzer übernehmen keine juristische Verantwortung oder irgendeine Haftung für evtl. verbliebene fehlerhafte Angaben und deren Folgen. Diplomica Verlag GmbH Hamburg 2011

3 Inhaltsverzeichnis 7 Inhaltsverzeichnis 1 Einleitung Zielsetzung Aufbau der Arbeit Grundlagen Was ist Text Mining? Aufbau und Struktur von Text Linguistischer Strukturalismus als Grundlage zur Bedeutungsanalyse Die Linguistik und ihre Ebenen Syntagmatische und Paradigmatische Relationen Semantische Relationen Text Mining-Prozess Unterschied Text Mining und Data Mining Dokumentsuche Information Retrieval Aufbau und Funktion eines Information Retrieval Systems Dokumentaufbereitung Textressourcen Aufbau eines Analysekorpus Satzsegmentierung Wortsegmentierung Text Mining - Statistische Analysemethoden Zipfsches Gesetz Dierenzanalyse Part-of-SpeechTagging Regelbasierte Tagger Stochastische Tagger Regelbasierte Tagger vs. Stochastische Tagger Kookkurrenzanalyse Text Mining - Clusteranalyse Nicht-hierarchische Verfahren Hierarchische Verfahren Fuzzy-Clusteranalyse Dokumentähnlichkeit Anwendungsbeispiel Text Mining - Musteranalyse Reguläre Ausdrücke Syntaktische Muster Text Mining-Prozess anhand des Zalazar Text Miner Programmaufbau... 65

4 Inhaltsverzeichnis Dokumentaufbereitung Formatierung des zu analysierenden Textdokuments Aufbau des Analysekorpus anhand der Satz- und Wortsegmentierung Dokumentanalyse Part-of-Speech Tagging Dierenzanalyse Musteranalyse Ergebnisevaluation Handhabung des Zalazar Text Miner Önen einer neuen Mail Durchführen der Textanalyse Speichern der Ergebnisse Laden der Ergebnisse einer bereits analysierten Mail Schlusswort 87 Literatur 89

5 Abbildungsverzeichnis 9 Abbildungsverzeichnis 1 Überblick: Aufbau eines Textes (vgl. G. Heyer [5]) Prozess des Text Mining Vergleich Text Mining- unddata Mining Prozess Aufbau eines IR-Systems (vgl. T. Gottron [2]) Aufbau eines Hidden-Markov-Modells Komplettes Gitter für The design of the car is great. (in Anlehnung an K. Haenelt [4]) Reduziertes Gitter für The design of the car is great. mithilfe des Viterbi- Algorithmus (in Anlehnung an K. Haenelt [4]) Wortnetz der Wortform technology (vgl. Uni-Leipzig, Projekt Wortschatz [12]) Clustering mit k-means (vgl. G. Heyer [5]) Hierarchische Verfahren: agglomerativ (Links), divisiv (Rechts) Schmetterlingsproblem (vgl. S. Grossmann [3]) Verfahren zur Ähnlichkeitsbestimmung zweier Cluster: single-link (Links), complete-link (Mitte), group-average (Rechts) Beispiel: Clustering thematisch ähnlicher Dokumente Schematischer Aufbau des Zalazar Text Miner Klassendiagramm des Zalazar Text Miner Analysekorpus des Zalazar Text Miner Hauptfenster des Zalazar Text Miner Filedialog zum Önen einer Mail Analysefenster des Zalazar Text Miner Filedialog zum Speichern der gewonnenen Ergebnisse Filedialog zum Laden bereits gespeicherter Analyseergebnisse Tabellenverzeichnis 1 Linguistische Ebenen undihre Teildisziplinen (vgl. G. Heyer [5]) Häugkeitssortierte Liste des Romans Tom Sawyer (vgl. B. Homann [6]) 37 3 Hidden-Markov-Matrix für den Satz The design of the car is great (Matrizenanordnung: A-Π-B) Beispiele für Signikanzwerte der Kookkurrenz zweier Wortformen (vgl. G. Heyer [5]) Term-Dokument-Matrix (vgl. G. Heyer [5]) Dokument-Dokument-Matrix (vgl. G. Heyer [5]) Dokument-Dokument-Matrix (Beispiel) Auszug aus dem Penn Treebank Tagset Softwarelösungen zur Informationsextraktion

6 1 Einleitung 10 1 Einleitung In der heutigen Zeit, in der der Umgang mit Informationsressourcen den Alltag bestimmt, ist es wichtig, dass es Systeme gibt, die gewährleisten, dass für den Nutzer relevante Informationen gesucht und auf die wichtigsten Fakten reduziert werden. Ein Groÿteil der gespeicherten Informationen, welche extrahiert werden sollen, sind dabei in Form von Textdokumenten vorhanden. Zu diesem Zweck gibt es in der Informatik ein Fachgebiet, dass es sich zur Aufgabe gemacht hat, Analysewerkzeuge zur Bearbeitung von natürlich sprachigen Texten zu entwickeln. Diese Entwicklung hatte ihren Ursprung bereits in den Anfängen der Informatik und ist somit eines der ältesten Probleme der IT-Branche. Mit der erhöhten Zugänglichkeit der Informationen steigen die Anforderungen an Informationssysteme, von denen eine automatische Generierung und Aufbereitung von Wissen erwartet wird. Dabei wird die Entwicklung solcher Informationssysteme mit verschiedenen Problemen konfrontiert. Beispielsweise erschwert die schiere Masse an Daten die Auswahl der Informationsquellen. Allein das Volumen des Internets umfasst ca. 75 Mio. Webseiten (Stand: 2005), ganz zu schweigen von unternehmensinternen Datenbanken, -Verkehr und Dokumentenmanagementsysteme, deren Datenvolumen bereits im Jahr 2000 auf 1000 Petabyte geschätzt wurde. Da elektronische Medien in der modernen Zeit immer mehr an Bedeutung gewinnen, steigen auch die gespeicherten Informationen in unaufhaltsamem Maÿe fast exponentiell an. Dieser Trend wird auch als Information Overload bezeichnet. Erschwerend dabei ist, dass weder die Inhalte, noch der Zweck des Systems im World Wide Web klar deniert sind. Desweiteren macht die natürliche Sprache der einzelnen Informationsquellen zu schaen. Solang die Daten strukturiert in einer Datenbank vorliegen, können sie von Informationssystemen ohne Probleme gelesen und die wichtigsten Informationen herausgeltert werden. Dieses Verfahren ist bekannt unter dem Begri Data Mining. Bei natürlichen Texten liegt jedoch keine feste Datenstruktur vor, da Semantik und Syntax bei der Informationsgewinnung berücksichtigt werden müssen. Hinzu kommt noch, dass statistische Methoden eine groÿe Rolle, bei der Gewinnung von gewünschten Informationen aus den Texten, spielen. Ohne entsprechende Systeme ist es somit unmöglich, eektiv mit den Informationen aus Texten umzugehen. Eine Technik, die es dennoch ermöglicht Textdatenbanken zu analysieren und Wissen aus unbekannten Texten zu extrahieren, wird als Text Mining bezeichnet, welches auf den Grundlagen des Data Mining basiert. Nichts desto trotz stecken die Analyseverfahren noch in den Kinderschuhen, da die enorme Fülle an Informationen und deren dierenzierter sprachlicher Aufbau der Entwicklung zu schaen macht. In der folgenden Arbeit geben wir grundlegende Einblicke in das Gebiet des Text Mining, denieren und beschreiben den Prozess und erläutern die Methodik an einem eigens konzipierten Text Mining-Tool.

7 1.1 Zielsetzung Zielsetzung Ziel dieser Studie ist es, einen grundlegenden Überblick über den Prozess des Text Mining zu verschaen. Dabei steht die englische Sprache im Mittelpunkt. Die Herausforderung soll anschlieÿend darin liegen, ein Programm zu entwickeln, welches anhand der vorgestellten Verfahren des Text Mining-Prozesses diskriminierende Terme aus englisch sprachlichen Fach-Mails extrahiert und dem Nutzer präsentiert. 1.2 Aufbau der Arbeit Der Aufbau dieses Buches gliedert sich in mehrere Kapitel, die im Folgendem kurz vorgestellt werden sollen. In Kapitel 2 wird zunächst der Wissensgrundstein gelegt, der für das Verständnis aller weiteren Ausführungen unabdingbar ist. Dabei werden wir speziell auf die verschiedenen Charakteristika der Linguistik eingehen. Kapitel 3 bildet das Hauptkapitel unserer Arbeit. Hier werden wir einzelne Prozessschritte des Text Mining-Prozess der Reihe nach ausführlich erläutern. Im Folgekapitel stellen wir unseren selbstentwickelten Zalazar Text Miner in Bezug auf die, in Kapitel 3 erläuterten, Teilprozesse vor. Der Abschluss der Studie gewährt einen kleinen Einblick in die aktuelle Marktlage, bzw. den technischen Stand und versucht eine tendenzielle Aussage über die Entwicklung dieses Fachbereichs zu treen.

8 2 Grundlagen 12 2 Grundlagen 2.1 Was ist Text Mining? Obwohl Text Mining ein wichtiges Fachgebiet der Informatik darstellt, existiert keine einheitliche Denition. Vielmehr besteht eine groÿe Vielzahl verschiedener Begrisklärungen, die von Autor zu Autor sehr unterschiedlich sein können. Folglich ist es nicht gerade leicht für den Begri Text Mining eine allgemeine und doch detailierte Denition anzubieten. Dies wird anhand der folgenden beiden ausgewählten Denitionen besonders deutlich. Mit dem Terminus Text Mining werden computergestützte Verfahren für die semantische Analyse von Texten bezeichnet, welche die automatische bzw. semi-automatische Strukturierung von Texten, insbesondere sehr groÿen Mengen von Texten, unterstützen. G.Heyer [5] Text Mining ist das Verwandeln von unstrukturierten oder semistrukturierten, für den Benutzer also anfangs wertlosen Textmaterialien oder in Text umwandelbaren Materialien, in strukturiertes und wertvolles Wissen. M. Marinschek [8] Nach Heyer wird der Begri Text Mining sehr technisch auf Grundlage der eingesetzten Verfahren beschrieben. Etwas dierenzierter erfolgt die Begrisklärung durch Marinschek und Daume, welche nicht das technische Detail, sondern eher den wirtschaftlichen Nutzen des Text Mining in den Vordergrund rücken. Da es im Kern dieser Arbeit um die Implementierung von Text Mining-Verfahren gehen soll, beziehen wir uns mehr auf die Denition nach Heyer, welche gleich zwei wichtige Informationen in sich trägt. Zum einen, dass es sich bei Text Mining nicht um ein Verfahren, sondern um mehrere handelt und zum anderen, dass die Datengrundlage Texte darstellen, welche eine, für die automatische Weiterverarbeitung, ungünstige Struktur aufweisen. Sie werden daher in der Allgemeinsprache auch als unstrukturiert bezeichnet.

9 2.2 Aufbau und Struktur von Text Aufbau und Struktur von Text Wie bereits im vorhergehenden Kapitel angesprochen, kann man Texte allgemein als unstrukturiert bezeichnen. In der Informatik sind es einfach Daten vom Typ String, welcher nichts weiter als eine Aneinanderreihung von Zeichen (Char) darstellt. Die Zeichen ergeben wiederum unter Einbeziehung eines sprachspezischen Syntax und einer sprachspezischen Semantik Informationen, die bei Verständnis auch als Wissen bezeichnet werden. Um dieses Wissen ezient und automatisch anhand von Text Mining-Verfahren extrahieren zu können, benötigt man auf der einen Seite detailierte Informationen über den Syntax einer Sprache und auf der anderen Seite deren semantisches Verständnis. Beispielsweise unterscheidet sich der Syntax eines japanischen Textes von einem westlichen Text, da der Satzbau verschieden ist. Hinzukommt, dass ein Leser der die japanische Sprache nicht kennt und versteht, den Text auch nicht inhaltlich interpretieren kann. Folglich betrachten wir Texte unabhängig von der Sprache als Wissensrohsto, welcher zum Festhalten, Bearbeiten und der Weitergabe von Wissen dient. Dabei können Wissen vermittelnde Texte in den verschiedensten Formen auftreten. Als Beispiele für solche Textsorten wären unter anderem wissenschaftliche Aufsätze, Fachbücher, Lexika oder auch technische Dokumentationen zu nennen. Hinzu kommen digitalisierte Texte, die sich in unserem modernen Zeitalter immer gröÿerer Beliebtheit erfreuen (ca. 1 Million neuer Dokumente täglich!). In diesem Zusammenhang ist es wichtig, erst einmal die Struktur eines Textes und die Beziehung zwichen Wissen und Text genauer zu untersuchen. Sprachwissenschaftlich besteht ein Text aus einer Menge von Sätzen mit einer verschiedenen Anzahl an Wortformen. In der Informatik wiederum handelt es sich um eine Aneinandereihung von Buchstaben, Ziern, Leer -und Sonderzeichen. Demnach besteht jeder Text lediglich aus einer Aneinanderreihung von Zeichen, also einer Zeichenkette. Diese Betrachtungsweise ist aber mit der Sprachwissenschaft und der ihr zu Grunde liegenden Linguistik nicht vereinbar, da die Struktur eines Textes auf der im Text genutzten Sprache beruht. Im nächsten Kapitel wird dies noch ausführlich behandelt. Jeder sinnvolle Text repräsentiert eine Menge von Aussagen, welche wir bereits als Wissen bezeichnen können. Dieser Sachverhalt ist aber nicht ganz korrekt, da erst von Wissen gesprochen werden kann, wenn der Text bzw. dessen Zeichenketten semantisch richtig verstanden worden sind. Um Wissen aus Texten extrahieren zu können, müssen zunächst sogenannte semantische Relationen [vgl. Kap ] zwischen den Zeichenketten untersucht werden [5]. Hierzu nutzt man Verfahren aus der Sprachstatistik, dem Clustering und der Musteranalyse. Auf einige werden wir später in dieser Arbeit noch eingehen. An dieser Stelle soll aber erst einmal der Verweis auf die entsprechenden Kapitel genügen. Statistische Analysemethoden [Kap. 3.4] Clusteranalyse [Kap. 3.5] Musteranalyse [Kap. 3.6]