Sentiment Analysis (SA) Robert Bärhold & Mario Sänger Text Analytics WS 2012/13 Prof. Leser

Transkript

1 Sentiment Analysis (SA) Robert Bärhold & Mario Sänger Text Analytics WS 2012/13 Prof. Leser

2 Gliederung Einleitung Problemstellungen Ansätze & Herangehensweisen Anwendungsbeispiele Zusammenfassung 2

3 Gliederung Einleitung Problemstellungen Ansätze & Herangehensweisen Anwendungsbeispiele Zusammenfassung 3

4 Motivation Entscheidungsprozess des Menschen: Einbeziehung anderer Meinungen Beispiel: Kauf eines Autos 1980: Beratung vom Experten & Freunden 1990: Erster Austausch von Meinungen im Internet Heute: Informationsflut im Internet Systematische Analyse der Meinungen 4

5 Begriffsklärung Automatische Verarbeitung zumeist unstrukturierter Texte mit dem Fokus auf Stimmungen/Meinungen Junges Forschungsfeld Weitere Bezeichnungen: Opinion mining Subjectivity analysis 5

6 Besonderheiten und Unterschiede Die Häufigkeit eines Wortes zählt Der Film Flight ist mit Denzel Washington. Er ist überaus gut besetzt, entsprang einer herausragenden Story und hat bisher nur gute Kritiken erhalten. Leider kann ich die guten Kritiken nicht bestätigen. Die Häufigkeit ist nicht alles 6

7 Besonderheiten und Unterschiede Die Position eines Wortes ist irrelevant Der Film Flight ist mit Denzel Washington. Er ist überaus gut besetzt, entsprang einer herausragenden Story und hat bisher nur gute Kritiken erhalten. Leider kann ich die guten Kritiken nicht bestätigen. Die Anordnung kann Information enthalten 7

8 Besonderheiten und Unterschiede Ein Text kann als ganzes betrachtet werden Der Film Flight ist mit Denzel Washington. Er ist überaus gut besetzt, entsprang einer herausragenden Story und hat bisher nur gute Kritiken erhalten. Leider kann ich die guten Kritiken nicht bestätigen. Aufteilung des Textes lässt genauere Schlüsse zu Fakten können aussortiert werden 8

9 Besonderheiten und Unterschiede Weitere Punkte: Negation ist besonders wichtig: Ich kann den Film nicht empfehlen (Gegenteil) Der Film war gut, aber auch nicht mehr (Einschränkung) Kontext muss beachtet werden Lesen Sie das Buch Buch- vs. Filmrezension 9

10 Gliederung Einleitung Problemstellungen Ansätze & Herangehensweisen Anwendungsbeispiele Zusammenfassung 10

11 Problemstellungen Subjectivity Detection / Opinion Identification Unterscheidung zwischen Fakten und Meinungen Sentiment Polarity Classification Drückt der Text eine negative oder positive Meinung aus? (0 / 1) Degree of Positivity Wie negativ oder positiv ist der Text? (0-1) 11

12 Problemstellungen Joint Topic-Sentiment Analysis Untersuchung von Aspekten / Information in den einzelnen Abschnitte des Textes Non-Factual Information Ermittlung der Gemütslage: Fröhlich / traurig Entspannt / wütend Summarization Zusammenfassung der Meinung eines oder mehrerer Dokumente 12

13 Gliederung Einleitung Problemstellungen Ansätze & Herangehensweisen Anwendungsbeispiele Zusammenfassung 13

14 Herangehensweisen 1990er: Vorschläge und erste Prototypen Keine Lernkomponenten Keine empirische Evaluation Nutzung von manuell erstellten Wörterbüchern Heute: Daten-getriebene Ansätze Unsupervised / supervised learning 14

15 Supervised Learning Vorgehen: Bildung eines Trainingscorpus Auswahl der Features Training des Klassifikators Angewandte Methoden Naïve Bayes Support Vector Machine Conditional Random Fields 15

16 Features Wortvorkommen vs. Worthäufigkeit Binäre Repräsentation des Wortvorkommens (0/1) Unigramme vs. N-Gramme Speicherung von Positions-/ Kontextinformationen Verschiedene Ergebnisse in unterschiedlichen Domänen Part-of-speech Informationen Unterscheidungsmöglichkeit für Neutralität/ Subjektivität Bspw. Adjektive als Indikator 16

17 POS-Informationen 17

18 Weitere Ansätze Unsupervised learning Bildung eines Lexikons Linguistische Heuristik: Konjunktionen: but / and Seed words 18

19 Summarization Informationen eines Dokuments: Extraktion repräsentativer Abschnitte Graphische Darstellung: 19

20 Summarization (2) Informationen mehrerer Dokumente: Sammlung von Ausschnitten Graphische Darstellung: 20

21 Summarization (3) 21

22 Gliederung Einleitung Problemstellungen Ansätze & Herangehensweisen Anwendungsbeispiele Zusammenfassung 22

23 Anwendungsbeispiele Meinungsplattformen Business Intelligence Analyses Klassifikation Neuartige Suchmaschinen Auto-Korrektur von User Ratings Zitatanalyse 23

24 Anwendungsbeispiel: sentiment140.com 24

25 Anwendungsbeispiel: thestocksonar.com 25

26 Gliederung Einleitung Problemstellungen Ansätze & Herangehensweisen Anwendungsbeispiele Zusammenfassung 26

27 Zusammenfassung Versuch: Stimmungen / Meinungen zu analysieren Unterschiedlich vom klassischen Text Mining Verschiedene Klassifikationsprobleme Aktueller Forschungsstand: Sehr stark untersuchtes Feld (wirtschaftsgetrieben) Verschiedene Domänen schaffen >80% Genauigkeit 27

28 Vielen Dank für Eure Aufmerksamkeit! Rober Bärhold Mario Sänger

29 Quellen Bo Pang, Lillian Lee: Opinion Mining and Sentiment Analysis. Foundations and Trends in Information Retrieval, 2008 Qiang Ye, Ziqiong Zhang, Rob Law: Sentiment classifcation of online reviews to travel destinations by supervised lerning approaches. Expert Systems with Applications 36, 2009 Alexander Pak, Patrick Paroubek: Twitter as a Corpus for Sentiment Analysis and Opinion Mining. Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10),