Data and Text Mining in Social Networks

Transkript

1 Data and Text Mining in Social Networks Seminar Wintersemester 2011/2012 Ulf Leser, Lars Döhling Humboldt-Universität zu Berlin

2 Voraussetzungen für Teilnahme Ggf. Vordiplom Englische Originalveröffentlichungen lesen Kenntnisse in Maschinellem Lernen / Statistik Z.B: durch Mitchell, Machine Learning Interesse an Text Mining / Graph Mining

3 Ablauf Heute: Themenvorstellung und Themenvergabe Besprechung der Themen bis zum Flash-Präsentation aller Themen am tba Pro Thema 3-5 Folien um was geht s? Klausur über Inhalte der grundlegenden Literatur am tba Besprechung der Folien bis zum Blockseminar: tba (1-2 Tage am Semesterende) Ca. 30 Minuten pro Thema Anwesenheitspflicht Jedes Thema hat einen Opponenten Seminararbeiten: Abgabe bis Frühzeitig Termine machen

4 Was Sie alles tun müssen Diverse Veröffentlichungen lesen Mehrmals den Betreuer treffen Flash-Präsentation halten (3-5 Folien) Miniklausur bestehen Vortrag halten (ca. 30 Minuten) Opponent zu einem Vortrag sein Arbeit schreiben (10-12 Seiten)

5 Fragen Fragen? Diplominformatiker? Bachelor? Wirtschaftsinformatik? Semester? Maschinelles Lernen oder Text Mining? Besondere Gründe?

6 Ablauf heute Grundlagen und Einführung Themenvorstellung Themenvergabe Hinweise zu Seminararbeit und -vortrag

7 SOCIAL MEDIA

8 Was sind Social Media?

9 Was sind Social Media? Digitale (webbasierte) Kommunikation zwischen Nutzern 1:n 1:1 Jeder kann mitmachen Kostenfrei/-günstig Schnell Beinhalten verschiedene Formen von digitalen Inhalten Fotos, Texte, Videos, Songs User generated Content Bieten Verlinkung und Metaattributierung Social Networks, Geo-Tagging Unterschied zu klassischen Massenmedien

10 Social Media Landschaft (2008)

11

12 Social Media Landschaft 2011 Beispiele Facebook [1] More than 800 million active users More than 50% of our active users log on in any given day Average user has 130 friends Twitter More than 200 million users [2] Over 200 million Tweets per day [3] [1] [2] [3]

13 Social Networks Small-World Hypothese Milgram 1967: Pfadlänge zwischen beliebigen Teilnehmer bei MS Messenger bestätigt [1] Skalenfreiheit (Sehr) viele Knoten mit wenigen Kanten Wenige Knoten mit vielen Kanten (Hubs) [2] Analyse-Metriken Zentralität Clusterkoeffizient [1] [2]

14 Text Mining Analog zu Data Mining : Wissensendeckung in schwach- oder unstrukturierten Texten Typische Einsatzgebiete Einordnen von Texten (Klassifikation) Finden von ähnlichen Texten (Clustering) Meinungsanalyse Finden von relevanten Texten (Information Retrieval) Informationsextraktion

15 Text Mining Werkzeuge & Verfahren (Ausz.) Statistische Verteilungen von textuellen Merkmalen Häufigkeiten Kookkurrenzen Wörterbücher Sprachverarbeitung Stemming, Lemmatisierung Wortart-Tagging (POS) Syntaktisches Parsieren (Konstituenten, Dependenzen) Maschinelles Lernen Naïve Bayes Hidden-Markov-Modell Support-Vektor-Maschine

16 Ziele des Seminars Wecken des Interesses an Social Media deren Analyse und Anwendung. Kritische Auseinadersetzung mit einem selbstgewählten Thema in Form eines Vortrags, einer Diskussion und einer Ausarbeitung.

17 Einführungslektüre Pflichtlektüre für alle Hristidis et al., Survey of data management and analysis in disaster situations. J. Syst. Softw. 83, 10 Carstensen et al., 2009: Computerlinguistik und Sprachtechnologie. Spektrum Akademischer Verlag. Seiten Mislove et al., 2007: Measurement and Analysis of Online Social Networks. 7th ACM SIGCOMM Inhalt wird in einer Klausur abgefragt Empfohlen Tom Mitchell: Machine Learning. McGraw-Hill, 1997

18 Themenübersicht Block Thema Name Ereignisentdeckung mit Twitter Klassifikation von Weblog, Tweets Trendanalyse Meinungsanalyse Informationsaggregation Earthquake Detection Hay Fever Observation Obtaining Situational Awareness IR in the Blogosphere Tie Strength in Social Networks Disease Trends Box-Office Forecasts Wisdom of the Crowd Stock Market Sentiment Classification Handling many texts Georeferenzierung /Flickr Travel recommendation Folksonomies Georeferencing Photos Tagging

19 Earthquake Detection (LD) Detektieren von Erdbeben, Taifunen in Twitter Finden von relevanten Tweets (IR) Klassifikation von Tweets per SVM Zeit- und Ortsbestimmung mit Probalistischen Modellen Kalman-, Partikelfilter

20 Hay Fever Observation (LD) Erstellen einer Heuschnupfenkarte aus Tweets Finden von relevanten Tweets (IR) Klassifikation von Tweets per Boosting-basiertem Klassifikator Lokalisierung per Wörterbuch Korrelation zu echten Sensoren Überschneidungen zu Earthquake Detection

21 Obtaining Situational Awareness (LD) Entdecken von nützlichen Tweets bei Katastrophen Klassifikation von Tweets mit Naive Bayes Maximum Entropy Verwendung von NLP und Subjektivität Sprachregister: in- /formal Sprachklang: un- /persönlich Vieweg et.al, Microblogging During Two Natural Hazards Events: What Twitter May Contribute to Situational Awareness. CHI 2010.

22 IR in the Blogosphere (LD) Finden von relevanten Blogbeiträgen Suchmachinenoptimierung durch Nachträgliche Klassifikation von Treffern per SVM unter Anwendung von Tag Clouds Auswirkung von Featurereduktion

23 Tie Strength in Social Networks (LD) Unterscheidung von Freunde/Fremden in Facebook Basiert auf Befragung von Facebook-Mitgliedern Modelliert als Linearkombination von gemessenen Variablen Grundwissen in Statistik ist empfehlenswert

24 Disease Trends (UL) schwer/2 Clustering zur Themenerkennung (Twitter) Zuweisung von Keywords zu Themen (Krankheiten) Link-Analyse zur Erkennung ungewöhnlicher Grippe- Effekte (in Blogs) Probabilistisches Modell Soft clustering Einfaches Graph Mining

25 Box-Office Forecasts (UL) einfach/1 Beobachtung von Tweeds über Filme Klassifikator basierend auf linearer Regression der Tweet- Rate Vorhersage für zweite Woche mit einfacher Sentiment-Klassifikation Deskriptive Statistik, Regression

26 Wisdom of the Crowd (UL) mittel/2 Benutzung von Sentiment- Tracking in Twitter zur Messung der Public Mood Korrelation mit Dow Jones Industrial Average Index Korrelation, Kausalität, Vorhersage Genetischer Algorithmus zur Erkennung von Experten Statistik, genetische Algorithmen, Korrelation

27 Sentiment Classification (UL) mittel/2 Klassischer Klassifikationsansatz zur Erkennung von Sentiment in Tweets (POS, n-grams) Multinomialer Bayes-Klassifier, Feature Selection Semi-supervised, k-nn Klassifikator

28 Handling Many Texts (UL) einfach/1 Hierarchische Aggregation von Meldungen durch Clustering Ableitung dynamischer Formulare zur Suchunterstützung Empfehlungstechniken zur Community-Building Eher dicht als schwer

29 Travel recommendation Bestimmen von Reiseempfehlungen anhand der eigenen Vorlieben Flickr liefert die Geodaten, um ähnliche Nutzer zu finden Ähnlichkeit über Convolution Kernel In einer für mich fremden Stadt werden mir deren besuchte Orte empfohlen Analog für gegebene Orte (Wormholes)

30 Placing Photos on a Map Verortung von Fotos auf Flickr Grundlage sind die vom Nutzer vergebenen Schlagworte (Tags) Naive Bayes Klassifikator Hierarchische Verortung mittels Vorab-Clustering Platz, Stadt, Region, Land

31 Tagging (UL) einfach/2 Tagging: Verschlagwortung unstrukturierter Daten Tag-Vorhersage für Blogs basierend auf Co-occurrence von Tags Evaluation von social tagging für Kunstwerke in Museen

32 Themenübersicht Block Thema Name Ereignisentdeckung mit Twitter Klassifikation von Weblog, Tweets Earthquake Detection Hay Fever Observation Obtaining Situational Awareness IR in the Blogosphere Tie Strength in Social Networks Alexander Konrad Florian Hönicke Florian Kaase Max Schultze Daniel Will Trendanalyse Disease Trends Martin Beckmann, Arne Binder Box-Office Forecasts Wisdom of the Crowd Stock Market Randy Witte Martin Fobian Meinungsanalyse Sentiment Classification Jan Lelis Informationsaggregation Handling many texts Cristian Bell Georeferenzierung /Flickr Travel recommendation Georeferencing Photos Christian Hänel Folksonomies Tagging Martin Schulze David Asher, Alexander Frenzel

33 Allgemeine Hinweise Dozenten sind ansprechbar! Vorbesprechung des Themas Folien durchgehen Abgrenzung der Ausarbeitung Diskussion erwünscht Keine Angst vor Fragen: Fragen sind keine Kritik Eine Frage nicht beantworten können ist in Ordnung Tiefe, nicht Breite Lieber das Thema einengen und dafür Details erklären Bezug nehmen Vergleich zu anderen Arbeiten (im Seminar)

34 Allgemeine Hinweise Werten und bewerten Keine Angst vor nicht ganz zutreffenden Aussagen solange gute Gründe vorhanden sind Begründen und argumentieren Kritikloses Abschreiben ist fehl am Platz Literaturrecherche ist erwünscht Die ausgegebenen Arbeiten sind Anker Weiterführende Arbeiten müssen herangezogen werden Auch Grundlagen nachlesen Wir schicken eine Liste zum Abhaken rum

35 Wie halte ich einen Seminarvortrag 1. Wenn man nun so einen Seminarvortrag halten muss, dann empfiehlt es sich, möglichst lange Sätze auf die Folien zu schreiben, damit die Zuhörer nach dem Vortrag aus den Folienkopien noch wissen, was man eigentlich gesagt hat. 2. Während so einem Vortrag schaut sowieso jeder zum Projektor, also kann man das selbst ruhig auch tun - damit kontrolliert man gleichzeitig auch, ob der Beamer wirklich alles projeziert, was auf dem Laptop zu sehen ist. Ausserdem kann man so den Strom für das Laptop-Display sparen. 3. Übersichtsfolien am Anfang sind langweilig, enthalten keinen Inhalt und nehmen den Zuhörern die ganze Spannung. Schliesslich gibt s im Kino am Anfang auch keine Inhaltsangabe. 4. Powerpoint kann viele lustige Effekte, hat tolle Designs und Animationen. Die sollte man zur Auflockerung des Vortrags unbedingt alle benutzen, um zu zeigen, wie gut man das Tool im Griff hat. 5. Nicht zu wenig auf die Folien schreiben. Man weiß ja nie, ob man sie nicht doch ausdrucken muss, und man kann so wertvolle Zeit sparen, wenn man nicht weiterschalten muss. 6. Man sollte versuchen, möglichst lange zu reden. Die Zeitvorgaben sind nur für die Leute, die nicht genug wissen - eigentlich will der Prüfer sehen, dass man sich auch darüber hinaus mit dem Thema beschäftigt hat. Bloß keine Hervorhebungen im Text sonst müssen die Zuhörer ja gar nicht mehr aufpassen!

36 Hinweise zum Vortrag ~30 Minuten plus Diskussion Klare Gliederung Ab und an Hinweise geben, wo man sich befindet Bilder und Grafiken; Beispiele Font: mind. 16pt Eher Stichwörter als lange Sätze Vorträge können auch unterhaltend sein Gimmicks, Rhythmuswechsel, Einbeziehen der Zuhörer, etc. Adressat sind alle Teilnehmer, nicht nur die Betreuer Technik: Laptop? Powerpoint?

37 Der Opponent Opponenten kennen die Arbeiten Aber schreiben nichts darüber Sie suchen Schwachstellen, unklare Passagen oder Kritikpunkte Nach dem Vortrag fragen die Opponenten den Vortragenden zu diesen Themen; der Vortragende vereidigt, so gut es geht Ziel: Bloßstellung des Vortragenden Anregung zur kritischen Auseinandersetzung mit einem Thema Erkennen von Schwachstellen

38 Hinweise zur Ausarbeitung Eine gedruckte Version abgeben Selbstständigkeitserklärung unterschreiben Eine elektronische Version schicken Referenzen Alle verwendeten und nur die Im Text referenzieren, Liste am Schluss Korrekt zitieren Vorsicht vor Übernahme von kompletten Textpassagen; wenn, dann deutlich kennzeichnen Aussagen mit Evidenz oder Verweis auf Literatur versehen Verwendung von gefundenen Arbeiten im Web Möglich, aber VORSICHT Eventuell Themenschwerpunkt verschieben Betreuer fragen

39 Format Benutzung unserer Latex-Vorlage Nur eine Schriftart, wenig und konsistente Wechsel in Schriftgröße und stärke Inhaltsverzeichnis Bilder: Nummerieren und darauf verweisen Referenzen: [1] Yan, X., Yu, P. S. and Han, J. (2004). "Graph Indexing: A Frequent Structure-Based Approach". SIGMOD, Paris, France. [YYH04] Yan, X., Yu, P. S. and Han, J. (2004). "Graph Indexing: A Frequent Structure-Based Approach". SIGMOD, Paris, France. Darf man Wikipedia zitieren? Nur zur äußersten Not Perma-Link verwenden!

40 Hinweise zur Ausarbeitung 2- Gezielt und sachlich schreiben Ausführungen zur Philosophische Überlegungen zu Vorzügen probabilistischer Verfahren im Vergleich zu Dempster s Theory of Evidence oder zur Anmerkungen zur Trivialisierung des politischen Diskurs für soziale Netzwerke unter besonderer Berücksichtigung von Twitter möglichst kurz halten Füllwörter vermeiden (dabei, hierbei, dann, ) Knappe Darlegung, präzise Sprache Eine gute Gliederung ist die halbe Miete Kommen Sie zu Aussagen Vorteile, Nachteile, verwandte Arbeiten, mögliche Erweiterungen, Anwendbarkeit, eigene Erfahrungen,

41 Wir suchen SHKs

42 Mögliche Studienarbeit In Kooperation mit KPI-Wall Start-Up zur Erstellung von Dash-Boards Schnelle und intuitive Visualisierung von zentralen Kennzahlen Umsatz, Ausschussrate, Börsenkurse, Weblog-Analyse, Ziel der Arbeit: Ableitung von Trends aus Tweets Sentiment Analyse Aggregation vieler Tweets Trendanalysen