Opinion Mining Herausforderungen und Anwendung in der Politik

Transkript

1 Opinion Mining Herausforderungen und Anwendung in der Politik Umut Yilmaz

2 Inhaltsübersicht 1. Einführung 2. Grundlagen 3. Anwendung in der Politik 4. Anwendungsbeispiel 5. Fazit 2

3 1. Einführung Leitfragen Welche Herausforderungen existieren bei Anwendung von Opinion Mining? Unterschied zum Text Mining Wie kann Opinion Mining in der Politik angewendet werden? Nutzung von Meinungen in Social Media Plattformen 3

4 2. Grundlagen Text Mining Analyse von Texten, um Informationen bzw. Fakten zu extrahieren unstrukturierte Form Methoden von Data Mining, maschinelles Lernen und Statistik Opinion Mining Erweiterung von Text Mining Analyse von Texten, um Meinungen zu extrahieren 4

5 2. Grundlagen Text Mining Methoden Verschlüsselung Filtermethoden: Wegfall von Wörtern ohne nützliche Informationen Lemmatisierungsmethode: Beschränkung von Wortformen auf die Grundform Stemming-Methode: Zurückführens eines Wortes auf den Wortstamm Klassifizierung Naive Bayes: Zuordnung des Objektes zu einer Klasse zu dem es mit der größten Wahrscheinlichkeit gehört Support Vector Machine: Unterteilung von Objekten im Vektorraum 5

6 2. Grundlagen Text Mining Methoden (Fortsetzung) Clustering Gruppierung von Objekten Heterogenität zwischen den Clustern Homogenität innerhalb von Clustern Ähnlichkeitsmaß notwendig: Fachgebiet, Länge, etc. 6

7 2. Grundlagen Opinion Mining Methoden Part-of-Speech Zuordnung von Wörtern eines Textes zu Wortarten n-gramme Zerlegung von Texten in einzelne Fragmente Negation Änderung der Bedeutung 7

8 2. Grundlagen Herausforderungen UNTERSCHIED Text Mining sucht nach Fakten bildet Kategorien z.b. Sport, Politik, Gesundheit, etc. Opinion Mining sucht nach Meinungen bildet Kategorien z.b. positiv, negativ, neutral PROBLEM Text Mining Opinion Mining Ausdrucksweisen Kontextsensivität Differenzierung 8

9 2. Grundlagen Herausforderungen Ausdruckweisen Ironie, Übertreibungen, Social Media Dialekt Beispielsatz von Mark Twain: Jane Austen s books madden me so that I can t conceal my frenzy from the reader. Analyse Thema: Jane Austen Polarität: negativ madden und frenzy (deutsch: rasend machen und Wahnsinn ) 9

10 2. Grundlagen Herausforderungen Kontextsensivität Meinungen sind domainabhängig gleiche Ausdrücke können unterschiedliche Polaritäten besitzen Beispiel: lese das Buch positiv bei Buchbewertungen lese das Buch negativ bei Filmbewertungen trinke Cola positiv: Cola-Werbung trinke Cola negativ: Diabetes-Kranke 10

11 2. Grundlagen Herausforderungen Differenzierung Beispiel von Lui: (1) I bought an iphone a few days ago. (2) It was such a nice phone. (3) The touch screen was really cool. (4) The voice quality was clear too. (5) Although the battery life was not long, that is ok for me. (6) However, my mother was mad with me as I did not tell her before I bought it. (7) She also thought the phone was too expensive, and wanted me to return it to the shop. 2, 3, 4 : positiv 5, 6, 7 : negativ 2, 3, 4, 5, 7 iphone 6 me Meinungen können nur für ein bestimmtes Objekt extrahiert werden!!! 11

12 3. Anwendung in der Politik Meinungsumfragen zahlreiche Möglichkeiten z.b. Telefoninterview, Fragebogen, Online- Umfragen etc. teuer zeitintensiv Teilnahme sehr niedrig neue Möglichkeit Anwendung von Opinion Mining auf Kommunikationsplattformen wie z.b. Twitter günstig, schnell, öffentliche (teilweise) 12

13 3. Anwendung in der Politik Studie von O`Connor et al. zwei Themen: US-Präsidentschaftswahlen : Obama oder McCain (Jahr 2008) Zustimmungsrate für Barack Obama (Jahr 2009) möglicher Ersatz für konv. Umfragen : Twitter-Umfragen Aber: Verbesserungen notwendig (Smilies, Social Media Dialekt) Fazit/Ausblick: teure, zeitintensive (politische) Umfragen können durch Extraktion von Daten aus Sozialen Netzwerken ersetzt werden Funktionsweise: Suche nach Schlüsselwörtern: Obama für Thema 1 und Obama & McCain für Thema 2 Ermittlung der Polarität anhand des Subjektivitätslexikons von OpinionFinder 13

14 4. Anwendungsbeispiel Twitter Sentiment Automatische Klassifizierung von Schlagwörtern Suche Schlagwörter werden in Twitter-Nachrichten Einteilung der Meinung des Twitter-Users in positive, negative oder neutrale Klassen Einsatz Markenpositionierung Produktbewertung Umfragen Funktionsweise Merkmalextraktoren wie Uni- und Bigramme mit Part-of-Speech-Tags Klassifikation mit Hilfe von Naive Bayes und SVM 14

15 4. Anwendungsbeispiel Funktionsweise (sehr grob) Beispiel: Angela Merkel ist seit 2005 deutsche Bundeskanzlerin gute Leistung! 1. Schritt: Tokenisierung {Angela, Merkel, ist, seit, 2005, deutsche, Bundeskanzlerin,, gute, Leistung,!} 2. Schritt: Normalisierung, d. h. Sonderzeichen, Usernamen, URLs, wiederholte Buschstaben, Zahlen etc. entfernt. {Angela, Merkel, ist, seit, deutsche, Bundeskanzlerin, gute, Leistung} 3. Schritt: Zerlegung in n-gramme (hier: n=1 8) n=2: {Angela Merkel, Merkel ist, ist seit, seit deutsche, deutsche Bundeskanzlerin, Bundeskanzlerin gute, gute Leistung} 4. Schritt: Klassifizierung anhand von Trainingsdaten 15

16 4. Anwendungsbeispiel Wie ist die Meinung von Twitter-Usern zum Thema: Papst Benedikt XVI im Bundestag 16

17 4. Anwendungsbeispiel 17

18 4. Anwendungsbeispiel 18

19 5. Fazit Vorteile möglicher Ersatz für konv. Umfragen kostengünstiger, schneller, einfacher Nachteile Verbesserungen in den Bereichen Ironie, Übertreibungen etc. notwendig nur in englischer Sprache 19

20 Diskussion Vielen Dank für Ihre Aufmerksamkeit! 20