TEXTKLASSIFIKATION. WS 2011/12 Computerlinguistik I Deasy Sukarya & Tania Bellini

Transkript

1 TEXTKLASSIFIKATION WS 2011/12 Computerlinguistik I Deasy Sukarya & Tania Bellini

2 GLIEDERUNG 1. Allgemeines Was ist Textklassifikation? 2. Aufbau eines Textklassifikationssystems 3. Arten von Textklassifikationssystemen 4. Anwendungsbereiche 5. Beispiel: Spam-Filter

3 ALLGEMEINES DEFINITION Einordnung von Zeitungsnachrichten in Rubriken Anordnung von Klassen Einordnung eines Textes in mehreren/keine Klassen Ziele: Automatisierte, inhaltliche Erschließung von großen Textmengen und leichterer Zugang zur gewünschten Information

4 AUFBAU EINES TEXTKLASSIFIKATIONSSYSTEMS Komponente zum Wissenserwerb (1) und zur Klassifikation (2) (1) Es werden erst Klassenprofile erstellt Besteht aus einer Menge von Merkmalen und deren Beziehungen Merkmale basieren auf Wörtern oder Buchstaben

5 ARTEN VON TEXTKLASSIFIKATIONSSYSTEMEN - KLASSENPROFILE Nicht-lernende Systeme: Erstellung von manuellen Klassifikationsprofilen, Regeln werden von Menschen erstellt Lernende Systeme: Automatische Berechnung von Klassifikationsprofilen anhand von Trainingsdaten Die wichtigsten Maße für die Gewichtung der Merkmale: Entropie-Maße und Korrelations- Maße

6 ARTEN VON TEXTKLASSIFIKATIONSSYSTEMEN - VERFAHREN Regelbasierte Verfahren: Regeln werden in Form von booleschen Anfragen benutzt bei denen zw. Wörtern und Klassen durch logische Operatoren (u. a AND, OR und NOT) ausgedrückt wird Beispiel: Klasse Straßenverkehr

7 ARTEN VON TEXTKLASSIFIKATIONSSYSTEMEN - VERFAHREN Statistische Verfahren Rocchio-Algorithmus: Berechnung der Distanz zu den Zentroid-Vektoren aller Klassen und die nahe liegendste wird ausgewählt K-Nearest-Neighbour-A.: Vergleich des Merkmalsvektors mit Trainingsvektor und Ermittlung der K nächsten Support-Vector-Machine: Distanzberechnung zu den Support-Vektoren Naive-Bayes-Algorithmus: Schätzung der bedingten Wahrscheinlichkeiten aus den Trainingsdaten

8 ARTEN VON TEXTKLASSIFIKATIONSSYSTEMEN VERFAHREN VOR-,UND NACHTEILE Regelbasierte Verfahren Nachteil: Trainingsphase sehr aufwendig, Overfitting Vorteile: Hohe Güte der Klassifikation, hohe Effizienz in der Anwendungsphase Statistische Verfahren Rocchio-A. Nachteile: Stark nachlassende Güte bei mehr als 100 Klassen Vorteile: Einfachheit, hohe Geschwindigkeit KNN-A. Vorteile: Geschwindigkeit des Trainings, gute Skalierbarkeit bzgl. der Anzahl der Klassen SVM-A. Nachteile: Aufwendiges Training Vorteile: Schnell, gut skalierbar, wenig anfällig gegenüber dem Overfitting, hohe Klassifikationsgüte Naive Bayes Nachteile: Keine Voraussetzung der statistischen Unabhängigkeit der Merkmale

9 OVERFITTING-PROBLEM

10 ANWENDUNGSBEREICHE (vertikale) Suchmaschine Analyse von Nachrichtenartikel Sentiment-Analyse Spam-Filter

11 BEISPIEL: SPAM-FILTER - PROBLEMDARSTELLUNG Binäre Kategorisierung Allgemein: Unterscheidung, ob man ein Dokument kategorisieren (document-pivoted categorization) oder finden möchte (categorypivoted-categorization) Fall Spam-Filter: document-pivoted categorization Harte vs. bewertete Kategorisierung Spam-Filter -> Nutzung des Bayes-Klassifizierers (bewertete Klassifizierung)

12 BEISPIEL: SPAM-FILTER WIE FUNKTIONIERT DAS? Vorhandene Datenbasis mit klassifizierten Dokumenten Aufteilung der Daten in Trainingsmenge und Validierungsmenge Klassifizierer wird mit den Dokumenten aus der Trainingsmenge trainiert Validierungsmenge wird mit Klassifizierer kategorisiert Ergebnis wird mit gewünschtem Ergebnis verglichen

13 BEISPIEL: SPAM-FILTER - PROBLEME Schwankende Anzahl von Spam-Mails Fehlerkosten false positives vs. False negatives Inhalt schwankt Klassifikation wird erschwert