Automatisierte Dossier- Erstellung mittels Text-Mining

Transkript

1 Automatisierte Dossier- Erstellung mittels Text-Mining Paul Assendorp Grundseminar Paul Assendorp Automatisierte Dossier-Erstellung 1

2 Gliederung Motivation Textmining Tools Aktueller Stand Ausblick Konferenzen & Forschung Paul Assendorp Automatisierte Dossier-Erstellung 2

3 Gliederung Motivation Textmining Tools Aktueller Stand Ausblick Konferenzen & Forschung Paul Assendorp Automatisierte Dossier-Erstellung 3

4 Motivation Editors don t scale (nach Dr. Carsten Brosda, Amt Medien, Senatskanzlei Hamburg) Paul Assendorp Automatisierte Dossier-Erstellung 4

5 Was ist ein Dossier? Zusammenstellung von Dokumenten Zu thematischem Hintergrund politisch, historisch oder kulturell Aber: Keine eindeutige Definition Paul Assendorp Automatisierte Dossier-Erstellung 5

6 Automatisierte Dossier-Erstellung We emphasize that the complexity of language implies that automated content analysis methods [ ] are best thought of as amplifying and augmenting careful reading and thoughtful analysis [Grim13] Paul Assendorp Automatisierte Dossier-Erstellung 6

7 Automatisierte Dossier-Erstellung (2) Ansatz: Optimierung der Dossier-Erstellung Vorschläge für Domäne-Experten Leitartikel als Vorgabe Paul Assendorp Automatisierte Dossier-Erstellung 7

8 Automatisierte Dossier-Erstellung (3) [Sch14] Paul Assendorp Automatisierte Dossier-Erstellung 8

9 Gliederung Motivation Textmining Tools Aktueller Stand Ausblick Konferenzen & Forschung Paul Assendorp Automatisierte Dossier-Erstellung 9

10 Textmining [FPSS96] Paul Assendorp Automatisierte Dossier-Erstellung 10

11 Textmining [FPSS96] Paul Assendorp Automatisierte Dossier-Erstellung 11

12 Preprocessing von Dokumenten Wie sehen Dokumente aus? Semistrukturierte Text-Dokumente Paul Assendorp Automatisierte Dossier-Erstellung 12

13 Preprocessing von Dokumenten Normalisierung Stemming Stopword-Eliminierung Paul Assendorp Automatisierte Dossier-Erstellung 13

14 Textmining [FPSS96] Paul Assendorp Automatisierte Dossier-Erstellung 14

15 Transformation Dokument Bag of Words Feature-Vektor über Vector Space Model (VSP) Jeder Term als eine Dimension: Key-Words Extraction [LIU12] Paul Assendorp Automatisierte Dossier-Erstellung 15

16 Distanzfunktion Einfache Distanz nach Euklid: dist Euklid v, w = v i w i 2 i [CLEV14] Paul Assendorp Automatisierte Dossier-Erstellung 16

17 Distanzfunktion (2) Cosinus-Ähnlichkeitsmaß Am meisten verbreitet beim Clustering [Feld07] cos x, y = i i xix i y i 2 y i 2 i [CLEV14] Paul Assendorp Automatisierte Dossier-Erstellung 17

18 Textmining [FPSS96] Paul Assendorp Automatisierte Dossier-Erstellung 18

19 Anwendungsklassen des Data Mining Klassifizierung ( ) Cluster-Analyse Assoziationsanalyse Numerische Vorhersage Paul Assendorp Automatisierte Dossier-Erstellung 19

20 Cluster-Analyse K-means Algorithmus Einfaches, populäres Verfahren nach MacQueen [Mac67] Künstliche neuronale Netze Selbstorganisierte Karten Neuronale Gase ART-Netze Paul Assendorp Automatisierte Dossier-Erstellung 20

21 Clusterbildung mittels Self Organizing Map (SOM) [CLEV14] Paul Assendorp Automatisierte Dossier-Erstellung 21

22 SOM (2) [CLEV14] Paul Assendorp Automatisierte Dossier-Erstellung 22

23 SOM (3) [CLEV14] Paul Assendorp Automatisierte Dossier-Erstellung 23

24 SOM (4) [CLEV14] Paul Assendorp Automatisierte Dossier-Erstellung 24

25 SOM (5) [CLEV14] Paul Assendorp Automatisierte Dossier-Erstellung 25

26 SOM (6) [CLEV14], Tool: SoKo-Wismar (Self-Organizing Kohonen Map) Paul Assendorp Automatisierte Dossier-Erstellung 26

27 Gliederung Motivation Textmining Tools Aktueller Stand Ausblick Konferenzen & Forschung Paul Assendorp Automatisierte Dossier-Erstellung 27

28 Tools zum Textmining Rapidminer (YALE) Weka (Waikato Environment for Knowledge Analysis) Beagle Search (Apache Lucene) Hadoop mit z.b. Apache Tez oder Apache Mahout auf Spark Paul Assendorp Automatisierte Dossier-Erstellung 28

29 Gliederung Motivation Textmining Tools Aktueller Stand Ausblick Konferenzen & Forschung Paul Assendorp Automatisierte Dossier-Erstellung 29

30 Aktueller Stand Vorarbeit durch Marcel Schöneberg (M.-Inf.), Nina Hälker (M.-Next Media) Datenbasis Eurozine Netzwerk ( [Sch2014] 2700 Journalistische Artikel Meta-Informationen semi-strukturiert in XML (Autor, Abstract, Überschriften usw.) Größtenteils englisch Paul Assendorp Automatisierte Dossier-Erstellung 30

31 Aktueller Stand (2) Einfache Distanzfunktion Distanz nach Euklid gemäß Gewichtung Dossier-Vorschläge anhand ähnlicher Dokumente Keine multimedialen Dossiers Paul Assendorp Automatisierte Dossier-Erstellung 31

32 Gliederung Motivation Textmining Tools Aktueller Stand Ausblick Konferenzen & Forschung Paul Assendorp Automatisierte Dossier-Erstellung 32

33 Ausblick Verbesserung der Gewichtung durch Kenntnis der Fachdomäne Linguistische Verbesserungen Optimierung der Distanzfunktion Evaluierung von Methoden zum Clustering Entwicklung einer Toolchain Paul Assendorp Automatisierte Dossier-Erstellung 33

34 Gliederung Motivation Textmining Tools Aktueller Stand Ausblick Konferenzen & Forschung Paul Assendorp Automatisierte Dossier-Erstellung 34

35 Konferenzen ACM SIGKKD Knowledge Discovery & Data Mining ACM SIGMOD Management of Data IEEE Big Data 2014 ISC Big Data Paul Assendorp Automatisierte Dossier-Erstellung 35

36 Forschung (Digital Journalism) Center for Digital Journalism Jay Rosen Digital Storytelling Bryan Alexander Paul Assendorp Automatisierte Dossier-Erstellung 36

37 Quellen [Clev14] CLEVE, Jürgen; LÄMMEL, Uwe: Data Mining. De Gruyter, 2014 [Grim13] GRIMMER, Justin; STEWARD, Brandon M.: Text as Data: The Promise and Pitfalls of Automatic Content Analysis Methods for Political Texts. Stanford University, 2013 [FPSS96] [Sch14] [Feld07] [Mac67] [Lui12] FAYYAD, Usma M.; PIATETSKY-SHAPIRO, Gregory; SMYTH, Padhraic: From Data Mining to Knowlege Discovery: An Overview. In: FYYAD, Usama M.; PIATETSKY-SHAPIRO, Gregory; SMYTH, Padhraic; UTHURU-SAMY, Ramasamy (Hrsg.): Advances in Knowlege Discovery and Data Mining. Menlo Park, Cambridge, London: MIT Press, 1996, S SCHÖNEBERG, Marcel: Automatisierte Erstellung von Pressedossiers durch Textmining: Kontextualierung im journalistischen Umfeld Masterseminar Ausarbeitung FELDMAN, Ronen; SANGER, James: The Text Mining Handbook: Advanced Approaches in Analysing Unstructured Data. Cambridge University Press, 2007 MACQUEEN, J.: Some methods for classification and analysis of multivariate observations. Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, 1: London, UK: Cambridge University Press LIU, Yuan-Chao; LIU, Ming; WANG, Ming: Application of Self-Organizing Maps in Text Clustering: A Review, Applications of Self-Organizing Maps Paul Assendorp Automatisierte Dossier-Erstellung 37

38 Vielen Dank für die Aufmerksamkeit! Gibt es Fragen? Paul Assendorp Automatisierte Dossier-Erstellung 38