Thumbs up? Sentiment Classification using Machine Learning Techniques

Größe: px

Ab Seite anzeigen:

Download "Thumbs up? Sentiment Classification using Machine Learning Techniques"

Michael Dieter
vor 5 Jahren
Abrufe

1 Thumbs up? Sentiment Classification using Machine Learning Techniques Eine Präsentation von Aikaterini Azoidou. Das ist meine Präsentation für das Proseminar: Selected Topics of Sentiment Analysis WS17/18 Dozent: Michael Wiegand Name des Papers: Thumbs up? Sentiment Classification using Machine Learning Techniques, 2002 Autoren: Bo Pang, Lillian Lee, Shivakumar Vaithyanathan 1

Filmbewertungen 2 Screenshot von http://www.imdb.

2 Filmbewertungen 2 Screenshot von

3 Sentiment Classification Viele Filme, viele Kritiker, viele Meinungen Wie automatisch die Meinung (Sentiment) erfassen? In dieser Präsentation mit Hilfe von Machine Learning Verfahren 3

4 Gliederung Das Grundgerüst: Was bisher geschah Fokus des Papers Machine Learning Naive Bayes Maximum entropy Support vector machines 4

5 Gliederung Das Grundgerüst: Experimentvorbereitung Daten Baseline Feature Ergebnis Diskussion Zusammenfassung 5

6 1 Was bisher geschah Stand der Forschung vor dem Paper 6

7 Was bisher geschah Topic-Klassifikation Daten meist Zeitungsartikel Zu welcher Kategorie gehört der Artikel? 7

8 2 Fokus des Papers Ziel/Intention/Herzstück 8

9 Fokus des Papers Wende Machine Learning Verfahren für Sentimentanalyse an Funktioniert das? Funktioniert es so gut wie für Topic-Klassifikation? Kann man Sentimentanalyse wie einen Sonderfall der Topic-Klassifikation betrachten? 9

10 3 Machine Learning Verfahren Naive Bayes - Maximum Entropy Support Vector Machines 10

11 Machine Learning Verfahren - Naive Bayes class/klasse (hier: positiv oder negativ) Dokument f = feature 11

12 Machine Learning Verfahren - Maximum Entropy Normalisierungsfunktion feature/class-funktion Wertebreich = {0,1} Gewichtungsfunktion 12

13 Machine Learning Verfahren - Support Vector Machines

14 Machine Learning Verfahren - Support Vector Machines Kreise und Vierecke verschiedene Klassen Max. margin: weitester Abstand zw. den Klassen Hyperplane = Ebene (kann nicht verbogen werden)

15 4 Experimentvorbereitung Daten - Baseline - Feature 15

16 Experimentvorbereitung - Die Daten Daten: Filmkritiken aus IMDb Bedingung: Mit einem Ratingsystem versehen Aufteilung/Kategorien: positiv und negativ (neutral wurde rausgenommen) Max 20 Kritiken pro Autor pro Kategorie 16

17 Experimentvorbereitung - Die Daten 2053 Kritiken 1301 positiv negativ 144 Kritiker mit je max.20 Kritiken p.kategorie 100% max. 27 Kritiken Pro Film 17

18 Experimentvorbereitung - Die Daten Aus den Kritiken wurden zufällig 1400 Kritiken ausgewählt, je 700 positive und 700 negative 18

19 Experimentvorbereitung - Die Daten Satzzeichen separat behandelt Kein stemming Unigramme: Negation hinzufügen not really entertained. This movie really_not, entertained_not, this, movie Training und Testen auf den 1400 Kritiken durch cross-validation 19

20 Experimentvorbereitung - Die Baseline Wie gut können Menschen zw. positiver und negativer Kritik unterscheiden? Idee: bestimmte Wörter sind Anzeichen (Indikatoren) für starkes Sentiment Liste der Indikatoren erstellen! 20

21 Experimentvorbereitung - Die Baseline Zwei Studenten erstellen je zwei Listen Liste für Wörter, die pos. Kritik anzeigen Liste für Wörter, die neg. Kritik anzeigen 21

22 Experimentvorbereitung - Die Baseline Human 1: Positive Wörter: dazzling, brilliant, phenomenal (gesamt: 5 positive Wörter) Negative Wörter: suck, terrible, awful...(gesamt: 5 negative Wörter) Human 2: Positive Wörter: gripping, mesmerizing, spectacular (gesamt: 11 positive Wörter) Negative Wörter: sucks, cliched, stupid (gesamt: 6 negative Wörter) 22

23 Experimentvorbereitung - Die Baseline Human 3 + Statistiken aus dem Korpus Positive Wörter: Idee: Menschliche Auswahl + Frequenzen im Korpus love, wonderful, best, great, superb, still, beautiful (gesamt: 7 positive Wörter) Negative Wörter: bad, worst, stupid, waste, boring,?,! (gesamt: 7 negative Wörter) 23

24 24

25 Experimentvorbereitung - Die Baseline Es lohnt sich, sich Korpusbasierte Techniken auszuprobieren! Human Baseline: 69% Accuracy 25

26 Experimentvorbereitung - Die features Unigramme + Position Unigramme + POS Unigramme Wichtig! Alle features, außer unigramme_frequenzen, wurden mit der Präsenz berechnet! Frequenz Präsenz Adjektive Bigramme 26

27 5 Ergebnisse Diagramme, Diagramme, Diagramme 27

28 Ergebnisse Das Ergebnis von Unigramme_Frequenz wurde mit Naive Bayes erzeugt. Das Ergebnis von Unigramme_Präsenz wurde mit Support Vector Machines (SVM) erzeugt. 28

29 Ergebnisse Naive Bayes Maximum Entropy SVM Höchste Accuracy Feature mit Höchster Accuracy Unigramme+POS Top Unigramme Unigramme_Präsenz Tabelle mit den drei Machine Learning Verfahren mit ihren jeweils besten Leistungen und dem dazugehörigen Feature. 29

30 Ergebnisse Feature Ergebnisse für SVM 1 Unigramme_Präsenz Unigramme+Bigramme Unigramme+POS Unigramme+Position Top Unigramme Bigramme Adjektive Unigramme_Frequenz

31 Ergebnisse Andere Paper mit Thema Topic-Klassifikation mit Unigrammen und den gleichen MLV im Experiment: Ergebnisse mit 90 % 31

32 Ergebnisse Hier: Unigramme_Präsenz besser als Unigramme_Frequenz Widerspruch zu Paper mit Thema Topic-Klassifikation Paper arbeitete mit NB Unigramme_Frequenz bessere Ergebnisse Spekulation: Schlüsselwörter tragen das Thema, werden oft wiederholt 32

33 6 Diskussion 33

34 Diskussion Wieso schlechtere Ergebnisse mit Machine Learning Verfahren (MLV) bei Sentiment-Klassifikation als bei Topic-Klassifikation? 34

35 Diskussion Kleine Unterschiede der Klassifikationen: Topic-Klassifikation Sentiment-Klassifikation Probleme durch Negation nein ja Probleme durch Ambiguität Eher nein ja Probleme durch Sarkasmus nein ja Sentiment-Klassifikation braucht mehr Verständnis des Textes 35

36 Diskussion Ideen/Annahmen: Stilmittel in der Sprache verstehen Diskursanalyse verwenden Schauen, ob ein Satz on-topic ist 36

37 7 Zusammenfassung take-home-message 37

38 Zusammenfassung Fokus des Papers war: Wende Machine Learning Verfahren für Sentimentanalyse an Funktioniert das? Funktioniert es so gut wie für Topic-Klassifikation? Kann man Sentimentanalyse wie einen Sonderfall der Topic-Klassifikation betrachten? 38

39 Zusammenfassung MLV besser als human baseline MLV in Sentimentanalyse schlechter als in Topic-Klassifikation Sentimentanalyse fordert mehr Verständnis des Inhalts Sentimentanalyse kann nicht wie ein Sonderfall der Topic-Klassifikation betrachtet werden 39

40 Filmbewertungen Screenshot von

41 Übersicht der Ergebnisse 41

42 Experimentvorbereitung - Die features Ergebnis mit feature1 feature1 Naive Bayes Ergebnisse mit feature3 Ergebnisse mit feature4 feature2 ME... feature3 Ergebnisse mit feature2 feature4... SVM 42

Ähnliche Dokumente

Sentiment Analysis (SA) Robert Bärhold & Mario Sänger Text Analytics WS 2012/13 Prof. Leser

Sentiment Analysis (SA) Robert Bärhold & Mario Sänger Text Analytics WS 2012/13 Prof. Leser Gliederung Einleitung Problemstellungen Ansätze & Herangehensweisen Anwendungsbeispiele Zusammenfassung 2 Gliederung