Sentiment Analysis & Opinion Mining. Sonja Subičin 04. Mai 2010

Transkript

1 Sentiment Analysis & Opinion Mining Sonja Subičin 04. Mai 2010

2 Gliederung Text Mining Sentiment Analysis & Opinion Mining System zur Sentiment Classification System Experimente Perspektiven

3 Text Mining Input Strukturierte Daten Datenbankinhalte Datenbanksysteme, Data Mining Unstrukturierte Daten Information Retrieval, Text Mining Texte

4 Text Mining Wissensgenerierung aus Text * * Abbildung dem Sinn nach entnommen aus Heyer (2006: 5). Text Mining Sentiment Classification System Experimente Perspektiven

5 Text Mining Wissensgenerierung aus Text * NLP-Methoden * Abbildung dem Sinn nach entnommen aus Heyer (2006: 5). Text Mining Sentiment Classification System Experimente Perspektiven

6 Text Mining Wissensgenerierung aus Text * Statistische Methoden * Abbildung dem Sinn nach entnommen aus Heyer (2006: 5). Text Mining Sentiment Classification System Experimente Perspektiven

7 Text Mining Sentiment Analysis & Opinion Mining Wissensgenerierung aus Text Anstelle von Fakten Sentiment / Meinung * Abbildung dem Sinn nach entnommen aus Heyer (2006: 5). Sentiment Analysis Sentiment Classification System Experimente Perspektiven

8 Sentiment Analysis & Opinion Mining Sentiment vs. Meinung sentiment polarity perspective modulation direction point of view appraisal private state affect attitude intent colouring subjectivity stance opinion emotion (semantic) orientation tone Meinung Polarität Sentiment subjective positive negative mixed balanced not recommended thumbs down thumbs up objective good neutral opinion-bearing non-neutral sentiment-bearing bad recommended

9 Sentiment Analysis & Opinion Mining Anwendungen Kundenzufriedenheit Meinungssuche, Vergleich von Produkten Objekt x vs. Objekt y Tracking von Meinungen Trends Werbung Argumente Verbesserung von Text Mining-Tools Review Spam Detection Wortsinndisambiguierung Semantischen Textanalyse Question Answering u. v. m. * Abbildung dem Sinn nach entnommen aus Heyer (2006: 5). Sentiment Analysis Sentiment Classification System Experimente Perspektiven

10 Sentiment Analysis & Opinion Mining Usergenerierter Content Mein Tipp ich habe über die TV Karte den Projektor laufen und den Sound vom Compi auf dem Suround Versterker das gibt einfach nen genialen Effekt für Spiele in verbindung mit ein wenig Funk Zubehör mit dem man dann die Spiele steuert wird es so als wenn man sich im Compi bewegt! ;-) - gute N8 -!!!!!!!!!- suuuuuuuuuuuper - imo - ---( v )---

11 Sentiment Analysis & Opinion Mining Verortung von Subjektivität & Sentiment (Atomare) Träger von Subjektivität / Sentimentträger genial weiterempfehlen Katastrophe mollig warm / warmes Bier (sinn)-los nach Strich und Faden SEHR!!!! ;)

12 Sentiment Analysis & Opinion Mining Teilbereiche Word Sentence Sentiment Classification Document Subjektivität Sentiment Polarität (Feature Based) Opinion Mining SC Subjectivity Analysis OM Meinung

13 Sentiment Analysis & Opinion Mining Word Sentiment Classification Ermittlung atomarer Sentimentträger Lexikonerstellung Qualitätsadjektive Substantive Idiome Muster Clustering oder Klassifikation Häufig Bootstrapping-Methoden mit kleinem Anfangsset Problem: Verschiedene Domänen Gibt es ein generisches Sentimentlexikon?

14 Sentiment Analysis & Opinion Mining Document Sentiment Classification * Sentiment Classification Häufig nur wenige Klassen Trotzdem schwieriger * Abbildung dem Sinn nach übernommen aus Brückner (2001: 442).

15 Sentiment Analysis & Opinion Mining Document Sentiment Classification Datensets Filmrezensionen Produktbewertungen Blogs... Klassifikation SVM Naive Bayes MEM Arithmetische Verfahren Tw. Subjectivity Classifier vorgeschaltet Merkmalsset Unigramme Bigramme Adjektive * Negations- und Intensitätspartikel Lexikonbasiert Komplexe Merkmalssets Kombination * Abbildung dem Sinn nach übernommen aus Brückner (2001: 442).

16 Sentiment Analysis & Opinion Mining Sentence Sentiment Classification Klassifikation von Sätzen in gut / schlecht / neutral subjektiv / objektiv Klassifikationsverfahren / Clusteringverfahren

17 Sentiment Analysis & Opinion Mining Feature Based Opinion Mining Das Essen war ein Traum. Es war wie in einem schlechten Film. Hut ab! So etwas muss man erstmal hinkriegen.??? Außer den praktischen Check-In Bedingungen (per Code-System) gibt es an diesem Hotel nichts gutes. Häßliche Einrichtung, GEstank, und Autobahnlärm sind die TReffendsten Beschreibungen für dieses Hotel. (..) einiges gewöhnt, aber selbst in Vietnam hätte dieses Hotel die schlechteste Kategorie und ich würde es nicht besser bewerten.???

18 Magisterarbeit Text Mining zur Analyse von Produktbewertungen

19 Evaluation Vergleichbarkeit Domänenabhängigkeit Ressourcen Sprachen im Internet 29% 20% 8% 16% 2% 2% 3% 4% 5% 6% 5% 1 Englisch 2 Chinesisch 3 Spanisch 4 Japanisch 5 Französisch 6 Portugiesisch 7 Deutsch 8 Arabisch 9 Russisch 10 Koreanisch Restl. Sprachen * Daten übernommen von Internet World Stats Mai 2009).

20 System zur Evaluation Reproduzierbare Rahmenbedinungen für Experimente Konfiguration Datenset Merkmalsset Classifier Erweiterbarkeit Ergebnispräsentation Austauschbarkeit einzelner Module

21 Systemarchitektur

22 Datenexploration Spanien 3419 Türkei Österreich Italien USA Griechenland Thailand Frankreich Schweiz Großbritannien Sonstige Digitalkameras Handys MP3-Player DVD-Player Notebooks Kopfhörer Camcorder LCD-Fernseher Receiver Autolautsprecher Beamer

23 Sentimentwerte Spanien Autolautsprecher Türkei Österreich Italien USA Griechenland Thailand Frankreich Schweiz Großbritannien Sonstige Beamer Camcorder Digitalkameras DVD-Player Handys Kopfhörer LCD-Fernseher MP3 Notebooks Receiver % 20% 40% 60% 80% 100% 0% 20% 40% 60% 80% 100%

24 Kategorisierung negativ positiv Spanien Österreich USA Thailand Schweiz Sonstige 0% 50% 100% Autolautsprecher Beamer Camcorder Digitalkameras DVD-Player Handys Kopfhörer LCD-Fernseher MP3 Notebooks Receiver 0% 50% 100%

25 Mögliche Settings Datenset Anzahl der Texte Trainings- und Testset bzw. Cross-Validation Kategorien Verteilung Sentimentwerte im Trainingsset zufällig normalisiert: 50% positiv / 50% negativ

26 Mögliche Settings Merkmalsberechnung Adjektive Adjektive + Negierte Adjektive Unigramme (Lemmata) Dimensionsreduktion Häufigkeit Nur die letzten x Wörter eines Textes Klassifikation Naive Bayes SVM

27 Experimenten-Setup 12 Datenset-Konfigurationen Merkmalsberechnung Nur ADJ ADJ + NEG Unigramme Merkmalsauswahl Alle Merkmale Häufigkeit >= 5 Häufigkeit >= 10 Häufigkeit >= 5 UND nur die letzten 25 Wörter Klassifikation Naive Bayes SVM

28 Ergebnisse (Auszug) Datenset Trainingsset nicht normalisiert Accuracy 81% - 92% F-Maß positive Instanzen deutlich besser Trainingset normalisiert (50/50) Accuracy 69% - 79% F-Maß positive und negative Instanzen ähnlich Digitalkamera in Trainingsund Testset Accuracy 79% - 88% F-Maß positive Instanzen besser Digitalkamera im Trainingsset, LCD im Testset Accuracy 73% - 92% F-Maß positive Instanzen besser keine negative Instanz richtig klassifiziert

29 Ergebnisse (Auszug) Merkmalsset Häufigste Unigramme Negation Nur Adjektive Letzter Abschnitt Klassifikation Naive Bayes

30 Perspektiven Weiterentwicklung Ressourcen Merkmalsauswahl Classifier Featurebasierte Ansätze Informationsextraktion Verwendung von Ontologien