Analyse qualitativer Daten mit dem Leipzig Corpus Miner

Transkript

1 Schriftenreihe des Verbundprjekts Pstdemkratie und Neliberalismus Discussin Paper Nr.5 Analyse qualitativer Daten mit dem Leipzig Crpus Miner Zur Vrbereitung des Wrkshps Text Mining in der Plitikwissenschaft Gregr Wiedemann & Andreas Niekler

2 ISSN Zitierweise: Wiedemann, Gregr / Niekler, Andreas (2014): Analyse qualitativer Daten mit dem Leipzig Crpus Miner Schriftenreihe des Verbundprjekts Pstdemkratie und Neliberalismus Discussin Paper Helmut-Schmidt-Universität Hamburg (UniBw) und Universität Leipzig 2

3 Zusammenfassung Der Leipzig Crpus Miner (LCM) ist eine Webanwendung, die verschiedene Text Mining Verfahren für die Analyse grßer Mengen qualitativer Daten bündelt. Durch eine einfach zu bedienende Benutzerberfläche ermöglicht der LCM Vlltextzugriff auf 3,5 Millinen Zeitungstexte, die nach Suchbegriffen und Metadaten zu Subkllektinen gefiltert werden können. Auf dem Gesamtdatenbestand swie auf den Subkllektinen können verschiedene cmputergestützte Auswertungsverfahren angewendet und zu Analysewrkflws kmbiniert werden. Damit ermöglicht der LCM die empirische Analyse szialwissenschaftlicher Fragestellungen auf Basis grßer Dkumentkllektinen, wbei qualitative und quantitative Analyseschritte miteinander verschränkt werden können. Dieser Artikel gibt einen Überblick über die Analysekapazitäten und mögliche Wrkflws zur Anwendung des LCM. 3

4 Inhaltsverzeichnis Vrbereitung zum Wrkshp vn Seiten des Teilprjekts Infrmatik Datenbestand Analysen auf dem Gesamtkrpus Dkumentselektin Cllectins Time Series Vlltextansicht Facets Analysen auf Basis vn Cllectins Frequenzanalyse Kkkurrenzanalyse Tpic Mdelle Term Extraktin KWIC Manuelle Anntatin Autmatische Klassifikatin Aufteilung vn Datengrundlagen Kmbinatin vn Einzelverfahren Cllectin-Größe und Berechnungszeiten Parameter Task spezifische Parameter Vrbereitung auf den Wrkshp / Operatinalisierung Weiterführende Literatur zur Vrbereitung

5 Vrbereitung zum Wrkshp vn Seiten des Teilprjekts Infrmatik Der LCM ist eine Serveranwendung, die im Rahmen des Prjekts epl Pstdemkratie und Neliberalismus in der Abteilung Autmatische Sprachverarbeitung an der Universität Leipzig entwickelt wird. Bei der Sftware handelt es sich um einen Prttypen, der für die Analysezwecke des epl-prjekts erstellt wurde und auf die Bedürfnisse eines kleinen Nutzerkreises abgestimmt wurde. Flglich sind die Analysekapazitäten für bestimmte Zwecke ptimiert. Für den Wrkshp werden Sie in die Benutzung des LCM eingewiesen, s wie wir sie uns im Rahmen des epl- Prjekts erdacht haben. Darüber hinaus werden Sie aber wmöglich Benutzungsweisen anwenden, welche wir nicht vrhergesehen haben. Dadurch swie durch den erstmaligen gleichzeitigen Einsatz der Sftware durch Sie als Teilnehmende kann es zu unerwarteten Ereignissen der Fehlfunktinen kmmen. Beim LCM handelt es nicht um ein fehlerfreies, fertiges 'Prdukt'. Wir möchten Sie hiermit als bitten, geduldig zu sein, wenn nicht alles reibungsls laufen sllte. Für Fragen zur Sftware stehen wir Ihnen immer zur Verfügung. Wir hffen, ein hilfreiches Stück Sftware für spannenden Analyse entwickelt zu haben. Andreas Niekler, Gregr Wiedemann 5

6 1. Datenbestand Im Rahmen des Wrkshps erhalten Sie Zugriff auf lizenzierte Daten vn deutschen Tages- bzw. Wchenzeitungen, die Sie für ihre Frschungsfragen auswerten können. Zeitung Frankfurter Allgemeine Zeitung (FAZ) abgedeckter Zeitraum Anzahl Ausgaben Anzahl Artikel Stichprbe Süddeutsche Zeitung (SZ) die tageszeitung (taz) Die Zeit Gesamt Die Zeitungsartikel liegen in einer Datenbank vr, auf die mit Hilfe der Webserveranwendung LCM zugegriffen werden kann. Drt können Sie nach Artikeln suchen, diese im Vlltext lesen, Kdierungen im Text vrnehmen und verschiedene Text Mining Verfahren auf gefilterten Subkllektinen anwenden. Für den Zugriff auf den LCM erhalten Sie einen Benutzeraccunt zu Beginn des Wrkshps. Dieser Accunt dient gleichzeitig dazu, ihre spezifischen Analyseschritte bzw. Ergebnisse abzuspeichern. Auswahlen vn Dkumenten werden als Subkllektinen benutzerspezifisch gespeichert. Sie können auch zu mehreren Persnen mit einer Subkllektin arbeiten. Das gleiche gilt für Kategriesysteme für den Fall, dass Sie Kdierungen am Text vrnehmen wllen. 2. Analysemöglichkeiten 2.1 Analysen auf dem Gesamtkrpus Dkumentselektin Über den LCM erhalten Sie Zugriff auf den Vlltext der 3,5 Mi. Zeitungsartikel. Dieser Krpus muss selbstverständlich für die Untersuchung knkreter Frschungsfragen auf möglichst relevante Artikel eingeschränkt werden. Dazu stellt der LCM die Möglichkeit einer kmplexen Vlltextsuche bereit. Artikel können nach einzelnen Suchbegriffen, Kmbinatinen vn Suchbegriffen und Metadaten (Zeitraum, Zeitung, Ressrt, Autr, Begriffsvrkmmen in Überschriften der Artikeltext) gefiltert werden. Für einfache Suchen nach Keywrds und Metadaten stehen Frmulare auf der Benutzerberfläche zur Verfügung. Für kmplexe Anfragen gibt es eine Anfragesprache (Lucene Query Language) mit der genauere Filterungen vrgenmmen werden können. Im Vlltextindex sind die flgenden Infrmatinen erfasst und durchsuchbar: 1. Überschrift* 2. Unterüberschrift* 6

7 3. Dachtitel* 4. Dkumenttext (Absätze)* 5. Ressrt 6. Subressrt 7. Schlagwrte (nur bei manchen ZEIT-Daten) 8. Autr 9. Verlag 10. Nachrichtenagentur 11. Named-Entities 12. Datum 13. Seite Die mit * gekennzeichneten Datenfelder sind in zwei Varianten vlltextindiziert: nrmal und raw : nrmale Indexierung: ermöglichst Suche nach Schlüsselbegriffen hne Berücksichtigung vn Grß-Kleinschreibung aber mit Stemming und Entfernung vn Stppwrten1 raw -Indexierung: ermöglichst Suche nach Schlüsselbegriffen hne Berücksichtigung vn Grß-Kleinschreibung, hne Stemming und hne Entfernung vn Stppwrten Im LCM finden sich 3 Such-Möglichkeiten: Simple: einfache Suche nach Schlagwrtsuche auf den indexierten Textfeldern. Auswahl b auf "_raw" der nrmalen Indexfeldern gesucht wird Detailed: zusätzliche Sucheinschränkung nach Metadaten Custm: Eingabe eines Suchstrings in Lucene Query Syntax. Für eine Custm Query kann die mächtige Lucene Query Syntax direkt mit flgenden Feldnamen genutzt werden 1. Title bzw. Title_raw 2. Subtitle bzw. Subtitle_raw 3. Rftitle bzw. Rftitle_raw 4. Paragraph bzw. Paragraph_raw 5. Sectin 6. Subsectin 7. Subject 8. Creatr 9. Cmpany 10. NewsAgency 11. Entity 12. Date 13. Page 14. PublicatinType Beispiel 1 Eine Suche nach allen Artikeln aus der FAZ der taz, die "keine Alternative" im Untertitel enthalten 1 Unter Stppwörtern versteht man die Wrtarten, welche in einer Sprache sehr häufig für den Satzaufbau genutzt werden. Sie haben keine semantische Bedeutung für die Textinhalte. 7

8 kann flgendermaßen gestellt werden: Subtitle:"keine Alternative" AND (Cmpany:taz OR Cmpany:faz) --> liefert 2822 Treffer, vn denen die viele das Wrt "Alternative" der "Alternativen", aber nicht "keine Alternative" enthalten. Das liegt daran, dass wir hier auf dem Feld Subtitle gesucht haben, bei dem Stppwrte (wie "keine") nicht berücksichtigt werden Subtitle_raw:"keine Alternative" AND (Cmpany:taz OR Cmpany:faz) --> liefert 166 Treffer, vn denen alle die Phrase "keine Alternative" enthalten. Subtitle_raw:"keine Alternativen" AND (Cmpany:taz OR Cmpany:faz) --> liefert 16 Treffer, vn denen alle die Phrase "keine Alternativen" enthalten. (Subtitle_raw:"keine Alternative" OR Subtitle_raw:"keine Alternativen") AND (Cmpany:taz OR Cmpany:faz) --> liefert = 182 Treffer Beispiel 2 Suche nach allen Artikeln vn Karen Hrn in unserem Krpus: Creatr: (Karen Hrn) --> 21 Treffer, nämlich alljene, bei denen genau der Name als Autr- Metadatum in unserer DB ist. Frau Hrn schreibt aber auch unter Kürzel "rn" Creatr: (Karen Hrn) OR Paragraph_raw:rn --> 169 Treffer, aber auch ein paar Unerwünschte durch schlechtes OCR. Alle die nicht vn der FAZ sind könnten wir nch ausschließen (Creatr: (Karen Hrn) OR Paragraph_raw:rn) AND Cmpany:FAZ --> 73 Treffer Beispiel 3 Suche nach Date Ranges: Paragraph: Cbain AND Date:[ T00:00:00Z TO T00:00:00Z] -> 8 Treffer aus der Wche in der Kurt Cbain verstarb Cllectins Sbald sie ihre Suchanfrage passend für ihr Frschungsvrhaben frmuliert haben, können Sie aus der Treffermenge eine Cllectin anlegen, auf der dann weitere Analysen ausgeführt werden können. Cllectins haben einen selbst zu vergebenden Namen und sind mindestens einer NutzerIn zugerdnet. Tipp: Sbald Sie eine Suchanfrage zusammengestellt haben, die Sie als Grundlage für eine Cllectin nehmen möchten, sllten Sie sich die Suchanfrage separat in ein Textdkument abspeichern Time Series Treffer zu Suchanfragen können direkt als Zeitreihe visualisiert werden. Dabei lassen sich auch die Ergebnisse mehrerer Anfrage in einer Grafik kmbinieren. 8

9 Zusätzlich können Treffermengen auch als Heatmaps zu einzelnen Tagen des Suchzeitraums visualisiert werden Vlltextansicht Zeitungsartikel können im Vlltext gelesen werden. Schlussflgerungen und Interpretatinen auf Basis quantifizierender Auswertungsschritte können und sllten auf diese Weise immer mit einem qualitativen Blick in die Daten validiert werden Facets Bestimmte Metadaten zu Treffern vn Suchanfragen können aggregiert dargestellt werden. S ist es möglich zu erfassen, b eine Suchanfrage in einer bestimmten Publikatin, einem bestimmten Ressrt der in Zusammenhang mit einem bestimmten Eigennamen abslut der relativ häufig gemeinsam miteinander auftritt. Beispiel: Suchanfrage Olympia 9

10 2.2 Analysen auf Basis vn Cllectins Die flgenden Analysen können auf nach Suchanfragen gefilterten und anschließend gespeicherten Cllectins durchgeführt werden Frequenzanalyse Der LCM erlaubt die Berechnung vn Begriffsfrequenzen über die Zeit. Ergebnisse lassen sich in absluten und relativen Häufigkeiten (relativ in Bezug zur Gesamtmenge an Artikeln innerhalb der Cllectin). Beispiel: Cllectin Mindestlhn in den 1990er Jahren, Relative Frequenz der Begriffe Arbeitszeit und Arbeitsbedingungen 10

11 2.2.2 Kkkurrenzanalyse Statistisch signifikant überzufällig häufig miteinander auftretende Begriffe innerhalb vn Sätzen, Absätzen der Dkumenten lassen sich als Graphen darstellen. gerichteter Graph: linke / rechte Nachbarn eines Terms innerhalb des Texts ungerichteter Graph: gemeinsames Vrkmmen innerhalb einer Kntexteinheit (Satz, Absatz, Dkument) zweier Begriffe Matrix: gemeinsames Vrkmmen innerhalb einer Kntexteinheit Für die Berechnung der Kkkurrenzen ist eine Filterung nach Eigennamen möglich. S ist es beispielsweise möglich gemeinsam innerhalb eines Dkuments auftretende Eigennamen (Named Entities) zu messen. Beispiel: Cllectin Mindestlhn, gemeinsames Auftreten vn Named Entities zu Angela Merkel in Dkumenten 11

12 2.2.3 Tpic Mdelle Tpic Mdelle bilden glbale Begriffszusammenhänge auf Ebene einer Dkumentkllektin mit Hilfe latenter Variablen, den sgenannten Tpics, ab (Blei 2012). Die mit diesem Verfahren autmatisch berechneten Begriffszusammenhänge, können als latente Sinnkmplexe der Thematiken interpretiert werden, deren Verteilung über den Krpus insgesamt untersucht werden kann. Diese Verteilungen wiederum lassen sich zur Themenidentifikatin anwenden, mit deren Hilfe auf Artikelebenen bestimmte Themenkategrien in der Untermenge vn Artikeln aus dem Plitik-Ressrt des Zeitungskrpus separiert werden können. Der LCM erlaubt die Berechnung vn Tpic Mdels mit Hilfe einer Online-LDA Implementierung, mit der schnell sehr grße Kllektinen analysiert werden können. Als zweites steht ein Hierarchical Pitman-Yr Prcess zur Verfügung, der ggf. exaktere Tpics aber mit wesentlich längerer Berechnungszeit liefert. Berechnete Tpics aus einem Tpic Mdell auf Basis einer Cllectin können: zur Identifikatin vn Themen innerhalb einer Kllektin herangezgen werden (Tpic- Wahrscheinlichkeiten in der Kllektin und der die Tpics knstitiuerenden Begriffslisten) abslut der relativ über die Zeit visualisiert werden zur Verfeinerung der Cllectin genutzt werden (z.b. Filterung aller Dkumente die mit dem Thema Musik in Zusammenhang stehen aus einer Cllectin die anhand des Suchbegriffes Funk erzeugt wurde) Term Extraktin Tpic Mdellen extrahieren glbale Begriffszusammenhänge über latente Variablen. Die Begriffe, die Tpics repräsentieren können auch genutzt werden, um Listen wichtiger Begriffe einer Cllectin generell zu beschreiben. Der LCM bietet die Möglichkeit slche Listen vn Schlüsselbegriffen auf Basis vn Tpic-Mdellen zu berechnen und sich Beispiele für das Auftreten slche Begriffe in der Cllectin anzeigen zu lassen KWIC Begriffe aus der Liste der extrahierten Terme lassen sich als Keywrd in Cntext anzeigen. Dabei werden aus der aktuellen Cllectin Beispiel-Abschnitte extrahiert, die den ausgewählten Begriff enthalten und s eine qualitative Überprüfung der Verwendungsweise eines Begriffes ermöglichen Manuelle Anntatin Methdlgien der qualitativen Datenanalyse arbeiten in der Regel mit Kategrien, die entweder induktiv aus dem empirischen Material durch gründliches Lesen und interpretieren gewnnen werden der deduktiv auf Basis existierender Therien angeleitet und peratinalisiert werden (z.b. mit Hilfe vn Begriffslisten, sgenannten Diktinären). Der LCM unterstützt slche Arten der Analyse mit flgenden Funktinen: Definitin hierarchischer Kategriesysteme Kdierung vn Dkumenten der Textstellen mit Kategrien des Kategriesystems (vgl. zu Cde-and-Retrieve-Sftware a wie etwa MAXQDA der Atlas.ti) Messung vn Intercder-Übereinstimmungen bei der Vergabe vn Cdes durch 12

13 unterschiedliche Benutzer Beispiel Cllectin Mindestlhn : Kdierte Sätze, die eine Zustimmung bzw. Ablehnung zur Frderung nach einem Mindestlhn zum Ausdruck bringen Autmatische Klassifikatin Kategrien, für die sich eine hhe Intercder-Reliabilität erzielen lässt, die als hinreichend eindeutig definiert sind, s dass verschiedene Kdierer (größtenteils) die gleichen Kategrien für Dkumente der Textstellen vergeben, eignen sich auch für autmatische Klassifikatinsverfahren. Überwachte maschinelle Lernverfahren zur Klassifikatin lernen anhand gegebener Trainingsbeispiele die Einteilung in Zugehörigkeiten einer Datenentität zu einer definierten Klasse. Übersetzt für die Arbeit mit Texten bietet der LCM die Möglichkeit, Textstellen die einer Kategrie X zugerdnet wurden, als Trainingsbeispiele für die Klasse Zugehörigkeit zu X anzunehmen. Textstellen in anntierten Dkumenten, die nicht mit X kdiert sind, werden zu Trainingsbeispielen mit der Annahme nicht Zugehörig zu X. Aus genügend vielen Trainingsbeispielen für hinreichend diskriminative Kategrien lernt der LCM Textmerkmale (Wrtvrkmmen und deren Kmbinatinen), die auf das Vrhandensein einer bestimmten Klasse schließen lassen. Smit ist es möglich, zu bereits kdierten Textstellen neue Textstellen in Dkumenten einer Kllektin zu identifizieren, die höchstwahrscheinlich zur Kategrie passen. Auf diese Weise wird es möglich, sehr grße Dkumentmengen zu kdieren. Zur Bestimmung der Qualität der autmatischen Klassifikatin kmmen Evaluierungsmaße auf den Trainingsdaten zum Einsatz (Niekler/Dumm 2014). Zu iterativen Verbesserung der autmatischen Klassifikatin können die autmatisch ermittelten Zurdnungen bestätigt bzw. krrigiert werden ( Active Learning ). S wird das autmatische Klassifikatinsergebnis schrittweise verbessert. Auf diesem Wege können wenige Hand-kdierte Textabschnitte (n < 100) mit relativ wenig Aufwand auf größere Mengen vn Beispieltextabschnitten erweitert werden. Sbald die Evaluatinsmaße für die autmatische Klassifikatin befriedigende Ergebnisse liefern, kann mit der Anwendung des Klassifikatrs auf eine Cllectin eine zuverlässige Aussage über die Verteilung vn Kategrien, z.b. im Zeitverlauf getrffen werden. Beispiel: Häufigkeit der Kategrie Mindestlhn Zustimmung aus autmatisch klassifizierten Sätzen wie 13

14 DGB-Chef Michael Smmer hat einen gesetzlichen Mindestlhn vn 7,50 Eur gefrdert. der Die Vrwürfe zum Pst-Mindestlhn seien völlig ungerechtfertigt 3 Wrkflws und Hinweise zur Umsetzung Die ben vrgestellten Text Mining Verfahren, die im LCM zur Verfügung gestellt werden, können als Einzelverfahren zur Unterstützung vn Inhaltsanalysen genutzt werden. Durch die Kmbinatin vn Verfahren lassen sich für die Analyse aber erheblich mehr Erkenntnisse aus den prduzierten Ergebnissen ableiten. Die durch Text Mining Verfahren prduzierten Ergebnisse sind mitunter schwer als Einzelergebnisse für sich stehend zu interpretieren. Erkenntnisse können in diesem Fällen über den Vergleich vn Einzelergebnissen auf unterschiedlichen Grundgesamtheiten vn Daten gewnnen werden. 3.1 Aufteilung vn Datengrundlagen Cllectins aus Zeitungsartikeln als Repräsentanten einer Grundgesamtheit in Bezug auf eine bestimmte Fragestellung können am einfachsten nach Meta-Daten aufgeteilt werden. S lässt sich eine Cllectin, die anhand bestimmter Suchbegriffe identifiziert wurde, beispielsweise in verschiedene Zeitabschnitte der nach Zeitung der Zeitungsressrt der Kmbinatinen aus all diesen Metadaten aufteilen. Der Vergleich vn Ergebnissen aus Kkkurrenzanalysen zu bestimmten Schlüsselbegriffen kann s zum Beispiel zur Erfassung vn Bedeutungswandel über die Zeit beitragen (vgl. Lemke 2014 zum Begriff Sziale Marktwirtschaft ). 3.2 Kmbinatin vn Einzelverfahren Die zusammenhängende Betrachtung vn Ergebnissen aus den Einzelverfahren ermöglicht interessante Analyseprzesse. S lassen sich zum Beispiel aus der Bebachtung vn Frequenzen über den Zeitverlauf Zeitabschnitte erkennen, die auf eine gleichartige Verwendungsweise vn Begriffen hindeuten und Zeitpunkte, an denen Veränderungen stattfinden. Diese Zeitabschnitte 14

15 können zur Aufteilung einer Cllectin in Sub-Cllectins genutzt werden, auf denen dann weitere vergleichende Analysen wie Tpic Mdell- der Kkkurrenzberechnungen angewendet werden können. Tpic Mdelle selbst eignen sich über die Beschreibung vn thematischen Zusammenhängen hinaus zur Filterung vn Cllectins. S können spezifische semantische Zusammenhänge selektiert werden, mit denen die Aussagekraft vn Frequenzanalysen deutlich erhöht werden kann. Im Rahmen des epl-prjekts haben wir beispielsweise das Vrkmmen vn sgenannter Alternativlsigkeitsrhetrik in den Zeitungsartikeln gemessen. Dabei handelt es sich im Wesentlichen um ein Dictinary, dass Begriffe wie alternativls, keine Alternative, unvermeidbar, unumgänglich etc. enthält. Eine Messung der Begriffe auf dem Gesamtkrpus kann kaum aussagekräftig sein, da nichts über die Verwendungskntexte der Begriffe bekannt ist. Selektiert man aber Artikel aus dem Ressrt Plitik und filtert diese über ein Tpic Mdel zu einer Dkumentmenge, die Dkumente mit einem Themenanteil-Anteil EU, Eurpa, Eurpäische Integratin vn mindestens 20% enthalten, s werden Zählungen vn Begriffen der Knzepten (Begriffslisten) durch ihre Kntextualisierung deutlich aussagekräftiger. 3.3 Cllectin-Größe und Berechnungszeiten Der LCM erlaubt das Ausführen der.g. Analyseschritte und das Einstellen vn bestimmten Parametern über die Webanwendung. Einzelne Analyseschritte können dabei sehr lange Berechnungszeiten in Anspruch nehmen. Eine Kllektin mit ca Dkumenten benötigt zur Zeit für die Berechnung einer Frequenzextraktin ca. 11 Stunden, für ein Tpic Mdell ca. 12 Std. Dies sllten Sie für ihre Analyseplanung im Hinterkpf behalten. Für die Berechnungen wird außerdem sehr viel Arbeitsspeicher verbraucht, s.d. nur eine begrenzte Anzahl an Berechnungen parallel auf dem epl-server laufen kann. Das bedeutet, dass die vn Ihnen beauftragten Analysen vm Server unter Umständen einige Zeit in einer Warteschleife hängen. Denken Sie als daran, wenn Sie Analysetasks während des Wrkshps starten, dass Sie den anderen TeilnehmerInnen nicht durch ein Nacheinanderauslösen sehr vieler aufwändiger Tasks die Nutzungsmöglichkeiten zu sehr einschränken. Für den Wrkshp werden wir Kllektinen auf maximal Dkumente zu beschränken. Schränken Sie bei größeren Suchergebnismengen ihre Suche nach Zeitung, Zeitraum etc. ein und berechnen Sie Ergebnisse auf kleineren Cllectins. 3.4 Parameter Für Text Mining Anwendungen werden Textdaten in numerische Daten umgewandelt. In der Regel werden dafür Wrtvrkmmen in Dkumenten (bzw. Absätzen, Sätzen) gezählt. Die Zählungen über dem gesamten Vkabular einer Dkumentkllektin (als alle enthalten verschiedenen Wrtfrmen, sg. Types) werden pr Dkument in einem Vektr gespeichert. Alle Dkument- Vektren einer Kllektin bilden eine Term-Dkument-Matrix (TDM), auf der dann verschiedene textstatistische Auswertungen gemacht werden können. Slch eine TDM bildet die Bag-f-Wrds- Hypthese ab, bei der lediglich das Vrhandensein vn Wrtvrkmmen Berücksichtigung findet, nicht jedch die spezifische Reihenflge. Dies ist eine krasse Vereinfachungsannahme zur Mdellierung vn Sprachbedeutung, die sich jedch für viele Anwendungen als nützlich herausstellt. Vn besnderer Bedeutung für die Analysen sind die Vrverabreitungsschritte, wie diese TDM 15

16 erzeugt wird. Zum Beispiel sllten Wrtvrkmmen unter einem gewissen Schwellwert ignriert werden. Vrkmmen der Wrtvrkmmen Haus, Häuser, Hauses sllten ggf. zu Haus unifiziert werden. Für bestimmte Analysen sllen gar nur Nmen der Eigennamen berücksichtigt werden. Wenig Bedeutung tragende Wrte wie der, die, das, sgenannte Stppwrte, sllten für die meisten Anwendungen generell unberücksichtigt bleiben. Die Vrverarbeitung im LCM kann durch Benutzer über Parametereinstellungen im Task Scheduler gesteuert werden. Flgende Parameter können standardmäßig eingestellt werden: Replace tken with multi-wrd-units and entities : Vrberechnete Mehrwrteinheiten wie Sziale Marktwirtschaftlich der Ludwig Erhardt werden als ein Wrt statt zwei Wrte behandelt Transfrm entities t cannical frm : Verschiedene Varianten vn Persnennamen wie Barack Obama und Barack Hussein Obama werden auf eine Frm Barack Obama unifiziert Basefrm: ein Wrt wird auf sein Lemma unifiziert (ging gehen, geht gehen) Stemming: ein Wrt wird auf seinen Stamm unifiziert (ging ging, gehen geh, geht geh) Remve Stpwrds : lässt eine Liste mit ca dt. Stppwrten für die Analyse unberücksichtigt Transfrm t lwercase : Unifiziert Grßbuchstaben auf Kleinbuchstaben N-Gram: 1 = Unigram, zählt in Dkumenten Einzel-Tkens für die Term-Dkument-Matrix 2 = Bigram, zählt zusätzlich zu den Unigrammen Vrkmmen zweier aufeinanderflgender Tkens 3 = Trigram, zählt zusätzlich zu den Unigrammen Vrkmmen dreier aufeinanderflgender Tkens Die Benutzung vn N-Grams > 1 kann für die Klassifikatin vn Textabschnitten nützlich sein, um die strikte Bag-f-Wrds Hypthese aufzuweichen, indem kurze Kntexteinheiten durch aufeinanderflgender Wrte berücksichtigt werden Pruning: Für die Bedeutungsknstitutin vn Aussagen sind Wrte die besnders häufig bzw. besnders selten vrkmmen in der Regel weniger relevant als Wrte, die zwischen diesen Extremen liegen. Zur Verringerung der zu bearbeitenden Datenmengen und zur Verbesserung vn Ergebnissen sllten deshalb bestimmte besnders häufige/seltene Wrte für die Erstellung der TDM nicht berücksichtigt werden: relatives Pruning (min x/max y): Unberücksichtigt bleiben alle Wrte, die in weniger als x Przent, in mehr als y Przent aller Dkumente einer Cllectin vrkmmen abslutes Pruning (min x/max y): Unberücksichtigt bleiben alle Wrte, die seltener als x, häufiger als y mal in einer Cllectin vrkmmen Append_POS: Part-f-Speech Tagging ist eine Text Mining Aufgabe, bei der zu jedem Wrt 16

17 ein Wrtartenlabel zugerdnet wird (z.b. Nmen, gebeugtes Verb, Adjektiv, ). Beim Einsatz vn Stemming wird bspw. Eurpa und eurpäisch zur eurpa unifiziert. Das Anhängen des POS-Labels kann helfen etwa für eine Frequenz-Zählung eurpa_ne als Eigennamen und eurpa_adj als Adjektiv zu unterscheiden POS-Types : ermöglicht eine generelle Filterung der TDM nach POS-Types. S können z.b. für bestimmte Analysen nur Nmen der Verben Berücksichtigung finden Tken Minimum Length: Lässt alle Wrte unberücksichtigt, die kürzer als n Zeichen sind Wir haben uns bemüht, für die meisten Anwendungen sinnvlle Default-Parameter-Werte einzustellen. Weitere Erläuterungen dazu erflgen während des Wrkshps. 3.5 Task spezifische Parameter Kkkurrenzanalyse Minimum Cccurrence Frequency: Gespeichert werden nur Wrt-Paare, die mindestens n mal gemeinsam miteinander in einer Kntexteinheit auftreten Cntext Unit: Die Zählung gemeinsamer Wrtvrkmmen bezieht sich auf ungerichtete Kkkurrenzen innerhalb eines Satzes, Absatzes der Dkuments Neighbrhd hrizn: die Zählung bezieht sich auf gerichtete Kkkurrenzen (linke, rechte Nachbarn) im Abstand vn n tkens Tpic Mdels use paragraph as dcument : Themenmischungen innerhalb eines Absatzes (anstelle des ganzen Dkuments) inferieren. Diese Einstellung ist nur bei sehr langen Dkumenten sinnvlle (etwa Buchkapitel) Minimum length f dcument: Dkumente, die kürzer als n Zeichen sind, werden bei der Mdellberechnnung nicht berücksichtigt Klassifikatin Cntext unit: Kntexteinheit, der ein Cde aus ihrem Kategriesystem per Klassifikatin zugerdnet werden sll. Wenn Sie im Przess der manuellen Anntatin Textabschnitte über mehrere Sätze kdiert haben, ist Absatz hier wahrscheinlich die beste Wahl. Ist ihre Kdierung vrwiegend auf Einzelsätzen bzw. Satzfragmenten erflgt, dann wählen Sie hier auch Sätze aus. Prject / Categry: Auswahl des Prjekts / der Kategrie des Kategriensystems aus der manuellen Anntatin zu der eine autmatische Klassifikatin durchgeführt werden sll. Mde: Evaluate: Führt eine 10-Fld-Crssvalidierung auf den Trainingsdaten (manuell vergebene Cdes und ggf. bestätigte/krrigierte Ergebnisse aus der autmatischen Klassifikatin) aus und gibt die Ergebnisse im Lg des Task Schedulers aus (Dumm/Niekler 2014) 17

18 Evaluate Optimize: Führt eine 10-Fld-Crssvalidierung auf den Trainingsdaten mit verschiedenen Parameter-Werten (Psitive Scre, C-Wert) aus und gibt die beste Knfiguratin für die aktuelle Trainingsdatensituatin im Lg des Task Scheduler aus; ACHTUNG: Das Ausprbieren der verschiedenen Wertekmbinatinen kann sehr viel Zeit in Anspruch nehmen Classify: Führt eine Klassifikatin mit den angegebenen Parametern auf der ausgewählten Kategrie aus. Es werden neue Beispiele für den Active Learning Przess generiert. Zudem werden Frequenzzählungen der vergebenen Kategrie für Zeitreihendarstellungen auf der gesamten Cllectin prduziert. Save t Database: Speichert die Ergebnisse in der Datenbank. Wählen Sie diese Optin nur, wenn die Evaluatinsergebnisse anzeigen, dass Sie einige richtige Ergebnisse aus dem Przess der autmatischen Klassifikatin erwarten können. Andernfalls prbieren Sie / ptimieren Sie verschiedene der zwei flgenden Parameter, anntieren Sie manuell mehr Trainingsbeispiele der überarbeiten Sie ihr Kategriesystem Psitive scre threshld: Der eingesetzte SVM-Klassifikatr gibt für die Wahrscheinlichkeit dass das ausgewählte Kategrielabel an die Kntexteinheit vergeben wird einen Wert zwischen 0 und 1 aus. Ein Schwellwert vn 0.5 bedeutet für die Vrhersage, dass die Zurdnung des Labels wahrscheinlicher ist, als dass es nicht vergeben werden sllte. Für geringe Trainingsmengen am Anfang eines Klassifikatinsprzesses macht es jedch ggf. Sinn, auch bei kleineren Wahrscheinlichkeiten ein Label zu vergeben (Erhöhung des Recall), um genug Beispiele für den Active Learning Przess zu generieren (Evaluatin und ggf. Berichtigung der autmatisch gefundenen Textsstellen). Für abschließende Klassifikatinen zu finalen Auswertung einer Kategrie können Werte > 0.5 sinnvlle sein, um möglichst nur die bestpassendsten Textstellen zu berücksichtigen (Erhöhung der Precisin) 2 SVM C value: Ein Optimierungsparameter des SVM-Klassifikatrs, der entscheidet, wie gut der Klassifikatr auf die Trainingsdaten passend trainiert wird. Daumenmaß: wenig Trainingsdaten kleiner C-Wert; viele Trainingsdaten grßer C-Wert 4. Vrbereitung auf den Wrkshp / Operatinalisierung Dieser Paper sll Ihnen einen Vrgeschmack auf die Möglichkeiten der Text Mining gestützten Inhaltsanalyse mit dem LCM geben. Für die ptimale Nutzung der Zeit während des Wrkshps würde wir Sie bitten, sich schn einmal ein paar Gedanken zur Operatinalisierung ihrer Frschungsfrage zu machen. In (Dumm/Niekler 2014) wird eine Strategie für die Operatinalisierung vn Mixed-Methd-Ansätzen vrgeschlagen. Demnach sllte die Operatinalisierung flgende Schritte beachten, um eine methdische Nachvllziehbarkeit und Qualitätssicherung zu implementieren. 2 Siehe (Dumm/Niekler 2014) 18

19 1. Die gesamte Frschungsfrage muss in geeignete Teilaufgaben zerlegt werden. Dies beinhaltet die Analyse des Frschungsprzesses und Identifikatin vn Teilergebnissen, die zur Beantwrtung der Frschungsfrage beitragen. 2. In jeder der Teilaufgaben muss die Frschungsmethde identifiziert und festgelegt werden. Es muss definiert werden, b eine Teilaufgabe quantitativer der qualitativer Natur ist und b die Erkenntnisse deduktiv der induktiv erzeugt werden. 3. Durch die genaue Einteilung der Teilaufgaben ist es möglich, die aus den Methdenkatalgen der Disziplinen gültigen Mess-, Bewertungs-, Güte- der Evaluierungsverfahren zu identifizieren und einzusetzen. Ihre Vrbereitung auf den Wrkshp sllte die flgenden Schritte umfassen: 1. Dkumentselektin: Welche Suchbegriffe / Kmbinatin vn Suchbegriffen (Einschluss, Ausschluss, Nähe vn Begriffen,) und Meta-Daten (Daten, Zeitschrift, Ressrt, ) können geeignet sein, ihre Grundgesamtheit zu bestimmen? 2. Welche Verfahren des LCM wllen Sie einsetzen? Arbeiten Sie eher explrativ / induktiv? Dann sind Tpic Mdelle, Frequenz- und Kkkurrenzanalysen primär interessant für Sie. Haben Sie ein theretisches Mdell, dass Sie in ein Kategriensystem übersetzen und deduktiv testen wllen? Dann sind manuelle Kdierung und Klassifikatin interessante Anwendungen. Evtl. möchten Sie beides kmbinieren? 3. Dkumentieren Sie ihre Vrgehensweise und ihre Eindrücke während der Arbeit mit dem LCM. Wir betrachten das ganze auch als NutzerInnenexperiment, das uns hilft, die Sftware zu verbessern. Vr allem aber möchten wir gerne die methdische und methdlgische Reflexin über den Einsatz vn Text Mining Verfahren in den Szialwissenschaften vran bringen. 19

20 Weiterführende Literatur zur Vrbereitung Dumm, Sebastian / Niekler, Andreas (2014): Methden und Gütekriterien. Cmputergestützte Diskurs- und Inhaltsanalyse zwischen Szialwissenschaft und Autmatischer Sprachverarbeitung, Discussin Paper 4, epl-schriftenreihe. Niekler, Andreas / Wiedemann, Gregr / Heyer, Gerhard (2014): Leipzig Crpus Miner - A Text Mining Infrastructure fr Qualitative Data Analysis, Lemke, Matthias (2014): Das Verschwinden der Szialen Marktwirtschaft. Analyse der Verwendungsknjunkturen eines plitisch-kulturellen Kernbegriffs der Bundesrepublik Deutschland mit Text Mining Verfahren, im Review aber per Mail an die Wrkshp-TN. Grimmer, Justin; Stewart, Brandn (2013): Text as Data: The Prmise and Pitfalls f Autmatic Cntent Analysis Methds fr Plitical Texts. In: Plitical Analysis, S Blei, David M. (2012): Prbabilistic tpic mdels. Surveying a suite f algrithms that ffer a slutin t managing large dcument archives. Cmmunicatins f the ACM, 55(4),

21 Schriftenreihe des Verbundprjekts Pstdemkratie und Neliberalismus Auswahl der Diskussinspapiere (Stand Juli 2014) Nr. 1 Neliberalismus und Pstdemkratie: Bausteine einer kritischen Gesellschaftstherie. Gary S. Schaal & Claudia Ritzi Nr. 2 Die Öknmisierung des Plitischen. Entdifferenzierungen in kllektiven Entscheidungsprzessen Matthias Lemke Nr. 3 Argumentmarker. Definitin, Generierung und Anwendung im Rahmen eines semiautmatischen Dkument-Retrieval-Verfahrens Sebastian Dumm & Matthias Lemke Nr. 4 Methden und Gütekriterien. Cmputergestützte Diskurs- und Inhaltsanalysen zwischen Szialwissenschaft und Autmatischer Sprachverarbeitung Sebastian Dumm & Andreas Niekler Nr. 5 Analyse qualitativer Daten mit dem Leipzig Crpus Miner. Zur Vrbereitung des Wrkshps Text Mining in der Plitikwissenschaft Gregr Wiedemann & Andreas Niekler Die Arbeitspapiere können bestellt werden/the discussin papers can be rdered: Helmut-Schmidt-Universität Hamburg Frschungsprjekt Pstdemkratie und Neliberalismus Prfessur für Plitische Therie und Ideengeschichte z. H. Susanne Kirst Hlstenhfweg Hamburg 21