Keyword-basierte Themenerkennung von Online-Nachrichten

Transkript

1 Keyword-basierte Themenerkennung von Online-Nachrichten Elisabeth Günther & Thorsten Quandt Jahrestagung der FG Computervermittelte Kommunikation der DGPuK 2013 Wien, 7.-9.November Westfälische Wilhelms-Universität Münster Institut für Kommunikationswissenschaft

2 Forschungsinteresse Inhaltlich Über welche Themen wird im Vorfeld der Bundestagswahl 2013 auf deutschen Online- Nachrichtenseiten berichtet? Für welche Themen stehen die Spitzenkandidaten? Welche Themen können sie in der Berichterstattung für sich einnehmen? Methodisch (Wie) Können Nachrichtentexte ohne vorgefertigtes Codebuch zu Themen geclustert werden? Zu Frames siehe auch: Ivanova, Ana & Schäfer, Mike; Zur Identifikation von Frames in großen Medienkorpora. Jahrestagung der DGPuK. Mainz,

3 Problemstellung Komplexität der Sprache kein Computeralgorithmus kann menschliche Codierer ersetzen Datenmenge erfordert automatisiertes Vorgehen (Tracking von 42 Nachrichtenseiten und 28 Blogs über zehn Wochen vor der Wahl N > Artikel) Annahme: Sprache muss nicht in ihrer vollen Komplexität erfasst werden Vorgehen: Überführen von Text in quantitative Daten über Auszählung von Worthäufigkeiten Ziel: Ergänzung zu manuellen/deduktiven Verfahren

4 Themenklassifikation bekannte Kategorien (deduktiv) manuell diktionärbasiert supervised learning unbekannte Kategorien (induktiv) vollautomatisiert single membership mixed membership

5 Topic Detection and Tracking (TDT) Versuch, die zugrunde liegende semantische Struktur von Texten vollautomatisch über wiederkehrende Muster zu entschlüsseln. exploratives Verfahren Bag of Words -Ansatz ohne Einbezug von Syntax oder Grammatik Basis ist die Extraktion relevanter Keywords Entfernen von Füllworten über Stoplisten Kürzen aller Terme auf den Wortstamm Gewichtung von Keywords Clustern der Artikel führt zu Themen

6 Kmeans Clustering (Steinbach, Karypis & Kumar 2000; Wartena & Brussee 2008) C Docs Thema (manuell) Labels (automatisch) ? wulff, washington, brows, partei, putin, obama, mord, grun, militar Syrien assad, obama, Syrien, damaskus, chemiewaff, regim, militar, syrischen, putin, Russland Bundestagswahl steinbruck, Peer_Steinbrück, merkel, kanzlerin, wahlkampf, oradour, partei, Angela_Merkel, grun, SPD Bayern/Wahl FDP, grun, csu, afd, seehofer, ude, Bayern, union, landtagswahl, bundestagswahl Pädophilie-Skandal trittin, grun, padophil, sexuell, gotting, franz_walter, jurg, padophil, agil, kommunalwahlprogramm Papst/kath. Kirche kirch, bischof, franziskus, van, kathol, papst, priest, kardinal, vatikan, Rom Hessen/Wahl 8 62 NSU-Prozess bouffier, gumbel, schaf, hessen, landtagswahl, volker_bouffier, thorsten_schäfer_gümbel, grun, rot, landtag zschap, beate_zschäpe, anwalt, oberlandesgericht, richt, verteid, mord, hauptangeklagt, senat, angeklagt 9 53 Schulden/ Griechenland griechenland, schaubl, schuldenschnitt, Athen, esm, griechenlands, troika, griechischen, milliard, finanzminist Eurokrise rezession, schatt, bruttoinlandsprodukt, defizit, arbeitslosenquot, konjunktur, zypern, italien, uberschuss, portugal Dargestellt sind die zehn größten Cluster; Stichprobe aller Politik-Feeds vom , n=16.953, k=19.

7 Kmeans Clustering Über kmeans muss die Zahl der Cluster a priori bestimmt werden Konflikt beim Bestimmen der Anzahl der Cluster (k): wird k niedrig angesetzt, so drohen punktuell relevante Themen in einem zu breiten Themenkomplex aufzugehen wird k hoch angesetzt, so können die entstandenen Cluster nur mit großem menschlichem Zusatzaufwand aufgearbeitet werden

8 Keyword-Erweiterung Cluster werden anhand von Informationen auf mehreren Ebenen berechnet Schritt 1: Extraktion von Named Entities (Eigennamen) Schritt 2: Erweiterung der Named Entities über externe Quellen (z.b. Wikipedia)

9 Extraktion von Named Entities (Stanford NER) Unser Mann in Moskau : Bildschirmfoto Edward Snowdens, das der russische Fernsehsender Rossiya 24 Ende Oktober veröffentlichte. Einer Befragung des amerikanischen Informanten Edward Snowden durch deutsche Vertreter in Russland steht aus Sicht des Kreml nichts im Weg. Er (Snowden) befindet sich auf russischem Territorium, hat vorläufiges Asyl erhalten und ist deshalb frei, sich mit irgend jemandem zu treffen. Wir können ihn daran nicht hindern, sagte der Sprecher des russischen Präsidenten Wladimir Putin in der russischen Tageszeitung Kommersant vom Samstag.

10 Erweiterung der Named Entities am Beispiel Wikipedia (L = Location, P = Person, O = Organization) moskau L föderationssubjekt der russischen föderation/hauptstadt in europa/ millionenstadt/moskau/ort im föderationskreis zentralrussland/ort in europa/ sonderwirtschaftszone/träger des leninordens/wikipedia:exzellent edward snowden P überwachungs- und spionageaffäre 2013/whistleblower/person (central intelligence agency)/person (national security agency)/ziviler ungehorsam/ flüchtlingsthematik/us-amerikaner/geboren 1983/mann russland L gruppe der acht/mitglied des europarats/mitgliedstaat der vereinten nationen/ russland/staat in asien/staat in europa wladimir putin P wladimir wladimirowitsch putin/amtierendes staatsoberhaupt/präsident der russischen föderation/ministerpräsident (russische föderation)/oberst (russische föderation)/mitglied der ehrenlegion (großkreuz)/ehrendoktor der universität belgrad/person (moskau)/person (sankt petersburg)/person (dresden)/person (kgb)/sowjetbürger/russe/geboren 1952/mann kommersant O russischsprachige zeitung/zeitung (russland)

11 Lösungsansatz Ähnlichkeit zwischen zwei Dokumenten beruht auf: Artikelworte Worthäufigkeiten Named Entities Kategorien Genannte Personen, Organisationen & Orte Ext. Kontextinformation erneutes Clustern des Rest-Clusters

12 Kmeans Clustering mit Erweiterung C Docs Thema C (manuell) Docs Thema Labels (manuell) (automatisch) Labels (automatisch) ? wulff, washington, brows, partei, putin, obama, mord, grun, militar 1a 4918? istanbul, indien, pakistan, bo xilai, japan, china Syrien assad, obama, Syrien, damaskus, chemiewaff, regim, militar, syrischen, putin, Russland b 618 Eurohawk spd, eurohawk, thomas de maizière, angela merkel, cdu steinbruck, Peer_Steinbrück, merkel, kanzlerin, wahlkampf, oradour, partei, Bundestagswahl 1c 557 NSA Angela_Merkel, / Brasilien grun, washington, SPD usa, brasilien, us-präsident, nsa Bayern/Wahl 1d 544 Prozess FDP, Nawalny grun, csu, afd, moskau, seehofer, alexej ude, nawalny, Bayern, russischen, union, landtagswahl, sergej sobjanin, bundestagswahl russland trittin, grun, padophil, sexuell, gotting, franz_walter, jurg, padophil, agil, Pädophilie-Skandal fdp, rainer brüderle, philipp rösler, fdp-spitzenkandidat, 1e 348 Wahl kommunalwahlprogramm / FDP guido westerwelle Papst/kath. Kirche kirch, bischof, franziskus, van, kathol, papst, priest, kardinal, vatikan, Rom 1f 218 Wahl / Bayern csu, bayerischen, christian ude, horst seehofer, bayern Hessen/Wahl 1g 209 bouffier, gumbel, schaf, hessen, landtagswahl, volker_bouffier, thorsten_schäfer_gümbel, grun, rot, landtag nsa, washington, us-geheimdienst nsa, us-geheimdienste, NSA national security agency 8 62 NSU-Prozess 1h 197 zschap, beate_zschäpe, anwalt, oberlandesgericht, richt, verteid, mord, hauptangeklagt, Peer senat, Steinbrück angeklagtpeer steinbrück, gertrud, bonn, spd-kanzlerkandidaten, spd 9 53 Schulden/ griechenland, schaubl, tv-duell, schuldenschnitt, peer steinbrück, Athen, spd-herausforderer, esm, griechenlands, angela troika, merkel, griechischen, 1i 154 TV-Duell Griechenland milliard, finanzminist spd-kanzlerkandidaten Eurokrise 1j 127 GR / rezession, Mord an schatt, athen, bruttoinlandsprodukt, griechenland, griechischen, defizit, arbeitslosenquot, antonis samaras, konjunktur, nazi zypern, griech. italien, Neonazis uberschuss, portugal Dargestellt sind die zehn größten Cluster; Stichprobe aller Politik-Feeds vom , n=16.953, k=19.

13 Vielen Dank für Ihre Aufmerksamkeit. Fragen und Anmerkungen gerne auch Universität Münster Institut für Kommunikationswissenschaft