Korpusbasierte Analyse internetbasierter Kommunikation

Transkript

1 35. Jahrestagung der DGfS, März 2013, Potsdam Arbeitsgruppe 10: Modellierung nicht-standardisierter Schriftlichkeit Thomas Bartz, Angelika Storrer Korpusbasierte Analyse internetbasierter Kommunikation Phänomene und Herausforderungen *räusper* Hömma woher kommste denn? Ick bin aus Do-Stadt, net aus Berlin. Dortmunder Chat-Korpus: a_CvK_Welcome_ _a.xml Institut für deutsche Sprache und Literatur Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 1

2 0. Dieser Vortrag Überblick über den Vortrag 1. Motivation und Projekthintergrund 3. Ausblick Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 2

3 1. Motivation und Projekthintergrund Korpusbasierte Analyse internetbasierter Kommunikation So ruhig kann ein Mann sein, der verkörpern muss, was er singt, nämlich Ein bisschen Spaß muss sein, was genauso fürchterlich ist wie alles, was sein muss. Die Zeit, , Nr. 46 Hallo Martin alles klar, wie sang schon einst Roberto Blanco? Ein büschen Späßken muss sein. In diesem sinne angenehme Wikiwoche. Glückauf on:pittimann/archiv/2012/januar Empirische Untersuchungen an Sprachdaten aus Genres internetbasierter Kommunikation (IBK) ermöglichen Einblicke in die sprachlichen Besonderheiten des Kommunizierens im Netz (im Vergleich zu traditionellen schriftlichen und mündlichen Kommunikationsformen), helfen, durch IBK angestoßene sprachliche Innovationen und aktuelle Tendenzen des Sprachwandels in der Gegenwartssprache aufzudecken. sind auch für die Arbeit mit linguistisch aufbereiteten Webkorpora in Linguistik, Computerlinguistik und Informatik interessant. Dilemma: Benötigt werden hochwertige, linguistisch aufbereitete Spezialkorpora, deren Aufbau aber gerade aufgrund der IBK-Besonderheiten eine Herausforderung darstellt. Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 3

4 1. Motivation und Projekthintergrund Projekt Deutsches Referenzkorpus zur internetbasierten Kommunikation (DeRiK) BBAW / TU Dortmund (seit 2010), DFG-Netzkerk Empirische Erforschung internetbasierter Kommunikation (seit 2010) Sprecher: Michael Beißwenger, Netzwerk Building & Annotating CMC Corpora Korpusprojekte aus D, F, IT, NL (seit 2013), wiki.itmc.tu-dortmund.de/cmc/ BMBF-Verbundprojekt Korpusgestützte Recherche und Analyse mit Hilfe von Data Mining (KobRA) TU Dortmund: Germanistik/Informatik, BBAW, SfS Tübingen, IDS Manneim (seit 2012) Projektleitung: Angelika Storrer, Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 4

5 Nicht-standardisierte Schriftlichkeit in der IBK: Interaktionsorientiertes Schreiben Zu den Besonderheiten der IBK gehört eine Schreibhaltung, bei der der unmittelbare kommunikative Erfolg im Kontext der laufenden Interaktion eine höhere Priorität hat als die (für Schrifttexte sonst notwendige) situationsunabhängige Verständlichkeit des sprachlichen Produkts. Dies zeigt sich an folgenden typischen Merkmalen: Schnellschreib-Phänomene Sprachliche Ökonomie: Liberaler Umgang mit GKS und Interpunktion; Akronyme Orientierung am Duktus der gesprochenen Umgangssprache (Lexik und Syntax) Verschriftete Umgangssprache : An der umgangssprachlichen Lautung orientierte Verschriftungen Innovative semiotische und sprachliche Formen: Emoticons, Inflektive, Adressierungsausdrücke wieso stoeps?biste losgerannt einkaufen udn ahst vergessen dich anzuziehen vorher?*g* Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 5

6 Tests mit Werkzeugen zur automatischen Annotation Testdatenset: Belege für ausgewählte Phänomene IBK-spezifischer Sprachverwendung Phänomene Wikipedia- Diskussionen Chat Ökonomie: Akronyme Verschriftete Umgangssprache: Wortschreibung Verschriftete Umgangssprache: Kontraktive Formen DWDS Innovative Zeichen: Emoticons Innovative Zeichen: Aktionswörter Belege gesamt 1000 Toolchain 1: Tokenisierer/Satzgrenzenerkenner + TreeTagger des IMS Toolchain 2: Tokenisierer/Satzgrenzenerkenner + OpenNLP-Tagger (SfS) Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 6

7 Tagset: STTS Automatische Verarbeitung von IBK-Sprachdaten: Herausforderungen auf verschiedenen Ebenen Tokenizer POS-Tagger Daten Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 7

8 Tagset: STTS Automatische Verarbeitung von IBK-Sprachdaten: Herausforderungen auf verschiedenen Ebenen Segmentierung Nicht-standardkonforme Verwendungen von Spatien und Interpunktionszeichen führen bei der Tokenisierung z.t. zu Einheiten, die in den folgenden Schritten der Verarbeitung nicht sinnvoll klassifizierbar sind. Tokenizer POS-Tagger Daten Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 8

9 Tagset: STTS Automatische Verarbeitung von IBK-Sprachdaten: Herausforderungen auf verschiedenen Ebenen Segmentierung Nicht-standardkonforme Verwendungen von Spatien und Interpunktionszeichen führen bei der Tokenisierung z.t. zu Einheiten, die in den folgenden Schritten der Verarbeitung nicht sinnvoll klassifizierbar sind. Tokenizer POS-Tagger Daten Klassifizierung Einheiten werden trotz korrekter bzw. normalisierter Segmentierung nicht als Vertreter im Tagset vorhandener Kategorien identifiziert. Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 9

10 Tagset: STTS Automatische Verarbeitung von IBK-Sprachdaten: Herausforderungen auf verschiedenen Ebenen Segmentierung Nicht-standardkonforme Verwendungen von Spatien und Interpunktionszeichen führen bei der Tokenisierung z.t. zu Einheiten, die in den folgenden Schritten der Verarbeitung nicht sinnvoll klassifizierbar sind. Tokenizer POS-Tagger Daten Klassifizierung Einheiten werden trotz korrekter bzw. normalisierter Segmentierung nicht als Vertreter im Tagset vorhandener Kategorien identifiziert. Kategorien Einheiten können trotz korrekter bzw. normalisierter Segmentierung nicht zugeordnet werden, weil im Tagset keine entsprechende Kategorie existiert. Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 10

11 Ökonomie: IBK-typische und okkasionelle Akronyme IMHO in my humble opinion bspw. beispielsweise b.t.w. by the way Btw. by the way vllt vielleicht evt. eventuell me meines Erachtens zb zum Beispiel Thx thanks jmd jemand(en) LG Liebe Grüße POV point of view (in Wikipedia-Diskussionen) Die Akronyme werden z.t. in Kombination mit anderen Einheiten verwendet. Einzelne Bestandteile können iteriert oder variiert werden. cuuuuu cya rääää see you see ya + Adressierung re = returned Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 11

12 Tagset: STTS Segmentierung Korrekte Tokenisierungen Toolchain 1 Toolchain 2 Datenset Wikip.-Diskussion Chat <>vllt</> <>cs=chpo</> Tokenizer POS-Tagger Daten Klassifizierung Korrekte POS-Tags Toolchain 1 Toolchain 2 Datenset 8 21 Wikip.-Diskussion Chat dat fusion-pack fuer cs/fm Sollen wir evt./adjd nicht gleich anfangen sollte das me/adv noch ergänzt werden Ansonsten: IMO/NE Abgekürzte Wortformen werden getaggt wie die ausgeschriebene Form. Mehrteilige, nicht durch Spatien getrennte Abkürzungen werden entsprechend ihrer syntaktischen Funktion klassifiziert. Vgl. STTS-Guidelines: 9 Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 12

13 Verschriftete Umgangssprache : Wortschreibung DWDS Wikipedia-Diskussion Chat ja, in ihm offenbare sich Jo, gute Vorbereitung ist ahjo :) Nein, mein Leben besteht Nö, hat er nicht mehr ;-) nope nusu, nur die üblen Okay, okay, sie ist ein okidoki, sag Bescheid oki...mach s gut Gut, gelegentlich brachte Jut, ich find die Variante jo mir jehts jut dir och das ist schon kraftraubend Schaden kann dat ja nich syno det is to wenig for de nicht genug Anregungen ich wars ja net ;O) nur mit Dir. Sonst nüscht. Guten Tag, Silke gudn tach! ok, mach ich all gun tach, kolleje jauch! ins Grübeln, was? Wat bisse, derzeit bei die na watt? Chance für Kollege Zufall nur unter Kollegen und all gun tach, kolleje jauch! wieder gucken konnten mal mal drüber guggn. und pösguggende elsi :) Mit letzten Grüßen nicht ;o) Grüßken greetz von nadi Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 13

14 Tagset: STTS Segmentierung Korrekte Tokenisierungen Tokenizer POS-Tagger Toolchain 1 Toolchain 2 Datenset Wikip.-Diskussion Chat DWDS <>moin,moin:-</> <>dori,wa?:-</> Daten Klassifizierung Korrekte POS-Tags Toolchain 1 Toolchain 2 Datenset Wikip.-Diskussion Chat DWDS Jut/NN Jute/VVFIN Jo/NE okidoki/ne jetze/vvfin Vadder/NN feddich/adjd nix/pis Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 14

15 Verschriftete Umgangssprache : Kontraktive Formen na da haste aber was verschlimmbessert, machstes selber rückgängig? :) wasn dat fürn heller streifen auf dem monitor? slebst anna uni inna mensa shcmeckt das richtig gut Standard Non-standard Typ / STTS-Tags findest du, ich kenne es geht es findest + e, kenn + s, geht + s VVFIN + PPER mach es, schreib es mach + s, schreib + s VVIMP + PPER hast du, bist du, ist es hast + e, bist + e, iss + es VAFIN + PPER könntest du, kann es könntest + e, kann + s VMFIN + PPER machst du es machst + e + s VVFIN + PPER + PPER Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 15

16 Tagset: STTS Segmentierung Korrekte Tokenisierungen Toolchain 1 Toolchain 2 Datenset Wikip.-Diskussion Chat Tokenizer POS-Tagger Daten Klassifizierung Zugewiesene POS-Tags (Auswahl) Toolchain 1 Toolchain 2 Datenset VVFIN 35 VVFIN 26 VVIMP 1 VMFIN 10 Wikip.-Diskussion NN 34 VAFIN 6 VVFIN 41 VVFIN 34 VMFIN 6 VAFIN 11 Chat NN 32 VMFIN 6 Es ist bis jetzt [ ] nicht möglich, [ ] kontraktive Formen mit einer Kombination aus mehreren Tags zu versehen. STTS-Guidelines: 9 Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 16

17 Innovative Zeichen: Emoticons :) (: :-) :-)) :-))) :o) ;-) ;-)))) :( :-( :O) :P :-P 8) =o) :-} (#):-) >:-> :Ü :-9 8) :-? ^^ -.- o_o O-O ---./\.--- _ `- ` «o o» Die Menge an Kombinationen aus Interpunktionszeichen, Zahlen und Buchstaben, die als Emoticons verwendet werden können, ist prinzipiell nicht begrenzt. Einzelne Elemente von Emoticons werden häufig absichtsvoll und kreativ iteriert. Weiß zufällig jemand, warum der Verein sich - entgegen allen Rechtschreibregeln :) - mit -ss- und nicht mit -ßschreibt? bekommt von mir einen Orden;-) Nee, mal im Ernst bitte wo hat anthony hopkins in anaconda mitgespielt? nirgends^^! :((( Mit mir will einfach keiner ja, wenn man das so genau wüsste...:/ Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 17

18 Tagset: STTS Segmentierung Korrekte Tokenisierungen Toolchain 1 Toolchain 2 Datenset Wikip.-Diskussion Chat <>:-D</> <>(#):-) </> <>;-</> <>)</> <>)</> Tokenizer POS-Tagger Daten Kategorien Zugewiesene POS-Tags (häufigste) Toolchain 1 Toolchain 2 Datenset ADJA/D 52 $./$,/$( 68 NN/NE 43 NN/NE 23 Wikip.-Diskussion VVFIN 3 VV* 5 ADJA/D 52 NN/NE 40 NN/NE 43 $./$( 36 Chat CARD 4 XY 15 Auffällig: Selten bzw. gar nicht vergeben werden die Kategorien: XY Nichtwort, Symbolgruppen oder Kombinationen aus Ziffern und Zeichen ITJ den Emoticons positional und funktional ähnlich Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 18

19 Innovative Zeichen: Inflektive und Inflektivkonstruktionen Inflektive *freu* *lach* *lächel* *grins* *ächz* *stotter* *wunder* *wink* *sss* *lol* *rofl* *g* *ggg* Einfache Inflektive sind oft homonym zu bestimmten Verbformen, insbesondere zu Imperativformen. Bei mehrteiligen Inflektivkonstruktionen (z.t. ohne Spatien) wäre die Möglichkeit einer Analyse der Bestandteile wünschenswert. Inflektivkonstruktionen *baff bin*, *entäuschtguck*, *fiesgrins*, *rotwerd* *feuerzeug an reb weiterreich*, *auf locher rumhüpf & konfetti mach*, *beimpostmannbedank*, *malganzdollgrüßundliebindenarmnehm* Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 19

20 Tagset: STTS Segmentierung Korrekte Tokenisierungen Toolchain 1 Toolchain 2 Datenset 9 9 Wikip.-Diskussion 0 0 Chat <>*freu*</> <>*</> <>grins</> <>*</> Tokenizer POS-Tagger Daten Kategorien Zugewiesene POS-Tags (häufigste) Toolchain 1 Toolchain 2 Datenset VV* 41 XY 30 NN/NE 32 VV* 24 Wikip.-Diskussion ADJA/D 25 ADJA/D 22 Tag VVIMP, wenn homonyme Imperativform vorhanden Toolchain 1 Datenset 34 von 58 Wikip.-Diskussion 28 von 47 Chat VV* 41 XY 46 Toolchain 2 Datenset ADJA/D 32 VV* 23 NN/NE 26 ADJA/D 20 Chat 0 von 58 Wikip.-Diskussion 1 von 47 Chat Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 20

21 Segmentierungsproblematik Token-Verschmelzungen wegen z.t. fehlender Spatien 3. Zusammenfassung und Ausblick Phänomene nicht-standardisierter Schriftlichkeit führen bei der automatischen linguistischen Aufbereitung von Sprachdaten aus der internetbasierten Kommunikation je nach Phänomentyp zu Herausforderungen auf verschiedenen Ebenen des Verarbeitungsprozesses: A Schnellschreib- und Ökonomie-Phänomene Verschriftete Umgangssprache Klassifizierungsproblematik Vorhandene Kategorien werden nicht zuverlässig zugewiesen (abweichende Schreibungen, sprechsprachliche Syntax). Mögliche Lösung: Aufbau handannotierter Korpora und Anpassung/Optimierung vorhandener Sprachverarbeitungswerkzeuge Nächster Vortrag: Kay-Michael Würzner, Lothar Lemnitzer, Alexander Geyken & Bryan Jurish: Linguistische Annotation von Dokumenten internetbasierter Kommunikation - Eine explorative Analyse Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 21

22 B Innovative semiotische und sprachliche Formen 3. Zusammenfassung und Ausblick Segmentierungsproblematik Token-Verschmelzungen, Aufsplittung zusammenhängender netztypischer Zeichenkombinationen Mögliche Lösung: Entwicklung von Werkzeugen zur Identifizierung netztypischer Zeichenverwendungen Kategorienproblematik Fehlende Kategorien für netztypische Zeichen und Wortformen in gängigen Tagsets Erweiterung relevanter Kategorien in bestehenden Annotationsschemata/Tagsets Aktuelle Arbeiten: Mitarbeit in der Arbeitsgruppe zur Überarbeitung des STTS Thomas Bartz, Michael Beißwenger, Angelika Storrer Vorschlag zur Erweiterung der TEI-Guidelines um IBK-typische Elemente M. Beißwenger, M. Ermakova, A. Geyken, L. Lemnitzer, A. Storrer (2012): A TEI Schema for the Representation of Computer-Mediated Communication. In: Journal of the Text Encoding Initiative (TEI), issue 3 November 2012 (DOI: /jtei.476). Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 22

23 3. Zusammenfassung und Ausblick Ausblick: Identifizierung IBK-typischer Zeichenverwendungen Die Identifizierung IBK-typischer Zeichenverwendungen wird durch homonyme konventionelle Zeichenverwendungen erschwert. Instanz Treffer falsch positiv Belege wink, *wink* :-) ?? Niederlande Finnland -:- (-:-) :-), danke. IBK-Stilelemente auf Wikipedia-Diskussionsseiten BMBF-Verbundprojekt: KobRA Entwicklung von Verfahren zur Filterung und Disambiguierung bei der korpusbasierten Recherche und Analyse mit Hilfe von Data-Mining. Beteiligte: Angelika Storrer (Germanistik TU Dortmund, Koordination), Katharina Morik (Informatik TU Dortmund), Alexander Geyken (BBAW) Erhard Hinrichs (SfS Tübingen) Korpus-basierte Recherche und Analyse mithilfe von Data-Mining Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 23 Marc Kupietz, Andreas Witt (IDS Mannheim)

24 35. Jahrestagung der DGfS, März 2013, Potsdam Arbeitsgruppe 10: Modellierung nicht-standardisierter Schriftlichkeit Thomas Bartz, Angelika Storrer Korpusbasierte Analyse internetbasierter Kommunikation Phänomene und Herausforderungen *räusper* Hömma woher kommste denn? Ick bin aus Do-Stadt, net aus Berlin. Dortmunder Chat-Korpus: a_CvK_Welcome_ _a.xml Institut für deutsche Sprache und Literatur Institut für deutsche Sprache und Literatur Thomas Bartz / Angelika Storrer, : 24