Repräsentation und linguistische Annotation von Korpora internetbasierter Kommunikation: Herausforderungen und Perspektiven

Transkript

1 Repräsentation und linguistische Annotation von internetbasierter Kommunikation: Herausforderungen und Perspektiven Michael Beißwenger

2 Internetbasierte Kommunikation Internetbasierte Kommunikation (IBK) engl. Computer-Mediated Communication (CMC) Im Fokus der Erforschung internetbasierter Kommunikation stehen nicht beliebige Webtexte, sondern die sprachlichen Äußerungen in dialogischen Webgenres wie z.b. Online-Foren, Chats, Instant Messaging und Wiki-Diskussionen, in Twitter-Postings, in Kommentaren und Diskussionen in Weblogs, auf Videoplattformen (YouTube) und auf den Profilseiten sozialer Netzwerke (Facebook, MySpace) sowie in multimodalen Kommunikationsumgebungen wie Skype, MMORPGs und virtuellen Welten (SecondLife u.a.).

3 Ein Blick in die Korpuslandschaft Die Anzahl der frei verfügbaren, linguistisch aufbereiteten zur IBK steht bislang in einem deutlichen Missverhältnis zum Interesse der Linguistik und der sprachinteressierten Öffentlichkeit an empirischen Befunden zur Sprachverwendung in IBK: Fehlende Abdeckung des Bereichs IBK in existierenden Referenzkorpora zur deutschen Gegenwartssprache; sehr wenige frei zugängliche Spezialkorpora. Kann man die deutsche Gegenwartssprache zum Stand 2014 beschreiben und empirisch untersuchen, wenn man den Kommunikationsbereich IBK (aufgrund fehlender Abdeckung in ) einfach ausspart? (Vgl. u. a. die Befunde der ARD/ZDF-Onlinestudie, der JIMund der KIM-Studie zur Nutzung von IBK-Angeboten in Deutschland)

4 Korpusprojekte zur IBK / Sprache in sozialen Medien Projekt: Deutsches Referenzkorpus zur internetbasierten Kommunikation (DeRiK) Ziel: Aufbau einer Zusatzkomponente zu den des Projekts Digitales Wörterbuch der deutschen Sprache (DWDS), die Sprachdaten aus den wichtigsten Genres internetbasierter Kommunikation umfasst und gemeinsam mit den bereits existierenden Korpusressourcen abgefragt werden kann. ( M. Beißwenger, A. Geyken, L. Lemnitzer, A. Storrer ) Schließung der IBK-Lücke in den DWDS- zur deutschen Gegenwartssprache. Vgl. Beißwenger et al. (2013), Beißwenger/Lemnitzer (2013).

5 Korpusprojekte zur IBK / Sprache in sozialen Medien CoMeRe DeRiK SoNaR Web2Corpus_it Netzwerk Building & Annotating CMC Corpora :

6 Korpusprojekte zur IBK / Sprache in sozialen Medien Dortmunder Chat-Korpus Ergebnis eines Lehrstuhlprojekts an der TU Dortmund ( ) (A. Storrer / M. Beißwenger) CLARIN-D-Kurationsprojekt (F-AG 1 Deutsche Philologie, 2015): ChatCorpus2CLARIN: Integration des Dortmunder Chat-Korpus in die CLARIN-D- Korpusinfrastrukturen am Institut für deutsche Sprache (IDS) und an der Berlin- Brandenburgischen Akademie der Wissenschaften (BBAW)

7 Korpusprojekte zur IBK / Sprache in sozialen Medien Datensammlung

8 Herausforderungen beim Aufbau von IBK- Die rechtlichen Rahmenbedingungen für die Erhebung, Speicherung, Bearbeitung und Bereitstellung von IBK-Daten für Forschungszwecke sind bislang noch großenteils unklar. Schnelle Veränderung des Gegenstands: IBK als moving target Hohe Anforderung an Dokumentation und Metadaten Für die Annotation von Primärdaten aus Genres internetbasierter Kommunikation gibt es derzeit noch keine Standards: Texttechnologische Modelle für die Strukturbeschreibung von Textkorpora und von Gesprächstranskripten etabliert sind, werden den strukturellen Besonderheiten von Genres internetbasierter Kommunikation nur bedingt gerecht. Sprachtechnologische Verfahren für die automatische lingu-istische Annotation von Textkorpora führen bei IBK-Daten zu nicht akzeptablen Ergebnissen (Phänomene nichtstandardisierter Schriftlichkeit). Der Aufbau von IBK- muss als ein eigener Teilbereich der Korpuslinguistik entwickelt werden. Bartz et al. (2013); Beißwenger et al. (2012); Storrer (2013).

9 IBK- und andere Typen von IBK- Überschneidung im Merkmal Geschriebene Sprache Überschneidung in den Merkmalen Dialogische Sprachverwendung und Konzeptionelle Mündlichkeit Text- Gesprächs-

10 IBK- und andere Typen von IBK- konzeptionell mündlich dia logisch mono logisch konzeptionell schriftlich Text- IBK = untypische Texte medial schriftlich en bloc -Übermittlung (zeitliche Entkopplung von Produktion, Übermittlung und Rezeption) on-line -Verbalisierung medial mündlich Gesprächs- IBK = untypische Gespräche

11 IBK- und andere Typen von IBK- Überschneidung im Gegenstand Daten aus Webgenres IBK Web- konzeptionell mündlich dia logisch mono logisch konzeptionell schriftlich Text- IBK = untypische Texte medial schriftlich en bloc -Übermittlung (zeitliche Entkopplung von Produktion, Übermittlung und Rezeption) on-line -Verbalisierung medial mündlich Gesprächs- IBK = untypische Gespräche

12 IBK- und andere Typen von IBK- IBK-Genres und zugehörige sprachliche Phänomene bilden den zentralen Gegenstand dees Korpus IBK = noise IBK Web- Primärer Fokus i.d.r. auf der Sammlung großer Datenmengen (zu unterschiedlichen schriftlichen Webgenres) und weniger auf der Modellierung und Annotation interpersonaler Kommunikation in Foren, Chats, sozialen Netzwerken (die für ling. + sozialwiss. Analysen von Interesse ist)

13 IBK- und andere Typen von IBK- IBK = noise IBK Web- Text- IBK = untypische Texte Gesprächs- IBK = untypische Gespräche

14 Desiderat 1: Texttechnologische Modellierung IBK = untypische Texte / untypische Gespräche : Existierende Standards für die Strukturbeschreibung von Textkorpora und von Gesprächstranskripten sind nur bedingt geeignet, die strukturellen Besonderheiten von schriftlicher IBK zu erfassen. Forschungsdesiderat: 1) Anpassung texttechnologischer Standards für die Repräsentation von IBK-Genres und - (Strukturannotation, Metadaten) Interoperabilität von IBK-Ressourcen TEI Encoding Framework ( De-facto- Standard im Bereich der Digital Humanities

15 Desiderat 1: Texttechnologische Modellierung customization Because the TEI Guidelines must cover such a broad domain and user community, it is essential that they be customizable: both to permit the creation of manageable subsets that serve particular purposes, and also to permit usage in areas that the TEI has not yet envisioned. Kustomisiertes TEI-Schema für IBK-Genres in DeRiK (Beißwenger et al. 2012) TEI Encoding Framework ( De-facto- Standard im Bereich der Digital Humanities

16 Desiderat 1: Texttechnologische Modellierung Modellierungsoptionen im TEI-Standard (Version P5): Grundlegende Strukturelemente von Texten: <p> - paragraph <div> - division Grundlegendes Strukturelement von Gesprächstranskripten: <u> - utterance Grundlegendes Strukturelement von Dramentexten: <sp> - speech

17 Zwischen text und speech: Postings in schriftlicher IBK Grundlegende Einheit getippter Dialoge : das Posting: eine Zeichenfolge, die ein Nutzer an den Server schickt, um damit einen Dialogbeitrag zu realisieren. Der Prozess der Produktion ist für die Adressaten nicht einsehbar, die Rezeption erfolgt nachträglich zur Verbalisierung. Am Bildschirm wird das Posting i.d.r. durch einen Absatzwechsel von den Beiträgen der Vorkommunikation abgesetzt Chat- Logfile zora freut sich über ihr zeugniss :))) quaki: *aufpluster* system: Thor... betritt den Raum. marc30: ich mal wieder nich... quaki: was hast denn zori?? quaki: erzähl system: stoeps kommt aus dem Raum Number_of_the_beast herein. Lantonie: Das hast du dir verdient, zori? TomcatMJ: oh man wat fürn krawall hier draußen...*guck* zora: nur einsen *brustschwell* system: Emon betritt den Raum. stoeps: ree :-))) Emon: reee system: Emon ist wieder da. stoeps: r emon WhatsApp-Dialog Freibad statt Tunnel In Schwäbisch Gmünd wurde ein Name für einen neu gebauten Strassentunnel gesucht. Dank Aktionen im Facebook gelang es der Gruppe die den Namen Bud Spencer Tunnel wollte die Abstimmung deutlich zu gewinnen. Es kam jedoch anders. Die Abstimmung und somit der Name wurden vom Gemeinderat abgelehnt. Als Kompromiss wird nun das örtliche Freibad in "Bad Spencer" umbenannt. Nachzulesen in 2 Artikeln in den Printmedien. Gescheiterter Bud-Spencer-Tunnel/Focus.de Artikel im Tages-Anzeiger Zürich Sollte diese Geschichte im Artikel erwähnt werden? --Netpilots -?- 10:36, 28. Jul (CEST) Ja, sollte eigentlich. Aber der Starrsinn hat bisher über die Vernunft gesiegt. Wahrscheinlich muss vor einer Bearbeitung des Artikels Spencers Tod abgewartet werden, da die Darstellung von Sachverhalten einer noch lebenden Person sonst als Live-Ticker revertiert werden könnte. Klingt zynisch? Soll's auch. -- Jamiri 11:56, 28. Jul (CEST) Wird auch relevant für den Artikel, wenn das Schild dran hängt und Freikarten für die Eröffnung gültig werden. Namen sind derzeit immer noch Gerüchte... von "Bad Spencer" wie geil ist das denn \(^_^)/ bis über "Frei-Bud" Schenkelklopfer?. Wer braucht sonst noch ein Taschentuch? (*_*) deeleres ansprechen 13:35, 28. Jul (CEST) Vorschlag zur Güte: Man läßt den Kram mit dem Freibad (zunächst) unerwähnt und schreibt lediglich ein Kapitel über die bereits beendete (!!!) öffentliche Wahl zur Benennung des Straßentunnels (Kurzform: Bürger sollten über Namen eines Tunnels abstimmen Bud-Spencer-Tunnel war der Sieger- Vorschlag die Stadt Schwäbisch Gmünd hat diesen Vorschlag abgelehnt) -- Jamiri 14:23, 28. Jul (CEST) Ich hab grundsätzlich nichts dagegen, wenn es irgendwie erwähnt werden wird. Nur es ist immer noch nichts passiert - etabliertes Wissen ist ja vorausgesetzt und das tun wir im Moment nicht außer Tod oder vll. die Zukunft der Erde. Das Echo ist zwar laut, die Welle aber auch nicht wirklich hoch. Ich würde es jetzt nicht reinschreiben wollen und das gemähte Gras wieder Wikipedia-Diskussionsseite wachsen lassen. Die Bud-Spencer-Statue - New York setzt auf den Koloss von Liberty Island - (^_^) die Welle wäre wohl um einiges höher deeleres ansprechen 15:43, 28. Jul (CEST)

18 Postings: weder <u>, noch <p> oder <div> TEXT SPOKEN CONV. Written CMC shares characteristics both with monologic text and spoken conversation: CMC is dialogic interaction in which each communivative move creates/changes the context for follow-up moves. CMC discourse is organized in (and displayed on the screen as) sequences of stretches of written text which may contain internal textual structuring (use of line breaks/paragraphs, lists, varying font face, size, color and weight, embedded media objects etc.). Under aspects of planning and coherence, the similarity with paragraphs in monologic texts and with speeches in performance texts is just a formal, not a functional one: there is no author who planned the entire dialogue in advance; instead, the dialogue is developed by the users as they go along with each posting creating the context for the partners next moves. Unlike spoken utterances, the production of people s contributions to CMC dialogues is text-like: they are first (1) composed by their authors in their entirety, then (2) sent to the server, then (3) displayed on the screen as written messages before (4) they can be read and replied by other interlocutors.

19 Postings: weder <u>, noch <p> oder <div> TEXT SPOKEN CONV. Written CMC shares characteristics both with monologic text and spoken conversation: CMC is dialogic interaction in which each communivative move creates/changes the context for follow-up moves. CMC discourse is organized in (and displayed on the screen as) sequences of stretches of written text which may contain internal textual structuring (use of line breaks/paragraphs, lists, varying font face, size, color and weight, embedded media objects etc.). Under aspects of planning and coherence, the similarity with paragraphs in monologic texts and with speeches in performance texts is just a formal, not a functional one: there is no author who planned the entire dialogue in advance; instead, the dialogue is developed by the users as they go along with each posting creating the context for the partners next moves. Unlike spoken utterances, the production of people s contributions to CMC dialogues is text-like: they are first (1) composed by their authors in their entirety, then (2) sent to the server, then (3) displayed on the screen as written messages before (4) they can be read and replied by other interlocutors.

20 Vorschlag für ein neues TEI-Modell <posting> Decision: TEI module text strucure as the basis for our schema allows us to describe the inner structure of postings with standard TEI elements for text structure, text design etc. <posting>: a content unit that is being sent to the server en bloc. The posting model: o a block of written text which may contain paragraphs and other types of internal textual structuring defined as model.divlike o each posting is assigned an author additional from the att.ascribed class which provides attributes for elements representing speech or action that can be ascribed to a specific individual. In the TEI standard, att.ascribed cannot occur with <div> (but, e.g., with <u> from the TEI module transcribed speech). The concept of the element <posting> takes into account the hybrid character of written user contributions to CMC dialogues

21 TEI-SIG Computer-Mediated Communication Special Interest Group Group im im Rahmen der der TEI: TEI: seit seit 2013: 2013: Erarbeitung eines eines Entwurfs zu zu einem einem TEI- TEI- Standard für für die die Annotation von von IBK-Genres (unter (unter Berücksichtigung sowohl sowohl schriftlicher als als auch auch multimodaler Genres): -- IBK-Makrostrukturen -- IBK-Mikrostrukturen -- Metadaten Beteiligteaus aus Korpusprojekten zu zu versch. versch. Sprachen (CoMeRe, DeRiK, DeRiK, SoNaR, Web2Corpus_it, Dortmunder Chat-Korpus, Mannheimer Wikipedia-Korpus,...)...)

22 IBK-Makro- und -Mikrostrukturen

23 Desiderat 2: Linguistische Verarbeitung/Annotation IBK = untypische Texte / untypische Gespräche : Verfahren für die automatische linguistische Analyse von Textdaten liefern für IBK unbefriedigende Ergebnisse Forschungsdesiderat: Anpassung von Tagsets und Verfahren/Werkzeugen für die linguistische Annotation Suche über linguistischen Annotationen Problemaufriss am Beispiel von Experimenten mit NLP-Tools in WebLicht: Bartz et al. (2013)

24 Typische Verarbeitungsprobleme a) Segmentierungsprobleme: ergeben sich dadurch, dass auf der Ebene der automatischen Tokenisierung Zeichenfolgen als Tokens konstituiert werden, die beim POS-Tagging nicht sinnvoll weiter analysiert werden können. Gründe: irreguläre Verwendung von Spatien; Nutzung von Interpunktions- und Sonderzeichen für die Bildung von Emoticons und für die Kennzeichnung von Aktionswörtern. b) Klassifizierungsprobleme: ergeben sich auf der Ebene des POS- Tagging und bestehen darin, dass bestimmte Tokens, für die im verwendeten POS-Tagsets geeignete Kategorien existieren, aufgrund nicht-standardkonformer Formmerkmale nicht mit dem entsprechenden Tag versehen werden können. Gründe: u.a. Schnellschreibphänomene, Phänomene geschriebener Umgangssprache, IBK-typische Akronyme.

25 Typische Verarbeitungsprobleme c) Kategorienprobleme: inkorrekte Zuordnung von POS-Kategorien zu Tokens beruht darauf, dass für die Zielkategorien im Tagset keine Tags vorgesehen sind: u.a. Emoticons, Aktionswörter, Adressierungen, Hashtags, umgangssprachliche kontraktierte Formen (haste, biste, willste, machstes; aufm; isn usw.). Ein Teil der Verarbeitungsprobleme (a + b) lässt sich entweder über eine Normalisierung der Daten oder über eine Anpassung der Verarbeitungswerkzeuge bearbeiten. Für bestimmte Phänomene müssen neue Kategorien in die Tagsets eingeführt werden, um sie auf der Ebene des POS-Taggings sinnvoll behandeln zu können. Anschließend müssen Verarbeitungsverfahren auf den Umgang mit diesen Kategorien trainiert werden.

26 Vorschlag: Erweiterung des STTS für IBK-

27 Vorschlag: Erweiterung des STTS für IBK-

28 Shared Task zur linguistischen Verarbeitung von IBK Community Shared Task zur automatischen linguistischen Annotation von IBK-Daten (2015), initiiert von Mitgliedern des Empirikom-Netzwerks und unterstützt durch die GSCL Fokus: Tokenisierung Part-of-Speech-Annotation Grundlage: Handannotierte Trainingsund Evaluationsdaten (Goldstandard) Ziel: Anpassung automatischer Verfahren an den Umgang mit IBK-Schriftlichkeit (in einem kompetitiven Szenario) Tag Kategorie Beispiele I. Tags für IBK-spezifische Phänomene: EMO ASC Emoticon, als Zeichenfolge dargestellt (Typ ASCII ) :-) :-( ^^ O.O EMO IMG Emoticon, als Grafik-Ikon dargestellt (Typ Image ) AKW Aktionswort *lach*, freu, grübel, *lol* HST Hashtag Kreta war super! #urlaub ADR Wie isset so? URL Uniform Resource Locator EML -Adresse peterklein@web.de II. Tags für Phänomene der konzeptionellen Mündlichkeit: VV PPER APPR ART VM PPER VA PPER KOUS PPER PPER PPER ADV ART Tags für die häufigsten Bildungsmuster kontraktierter Formen (APPRART ist in STTS bereits vorhanden) schreibste, machste vorm, überm, fürn willste, darfste, musste haste, biste, isses wenns, weils, obse ichs, dus, ers son, sone PTK IFG Intensitäts-, Fokus- oder Gradpartikel sehr schön, höchst eigenartig, nur sie, voll geil PTK MA Modal- oder Abtönungspartikel Das ist ja / vielleicht doof. Ist das denn richtig so? Das war halt echt nicht einfach. DM Diskursmarker prototypisch: weil, obwohl, nur, also als Einheiten mit projektivem Potenzial im Vorvorfeld von V2-Sätzen ONO Onomatopoetikon boing, miau, zisch STTS-Tagset mit Erweiterungen für IBK und für gesprochene Sprache (Beißwenger, Bartz, Storrer, Westpfahl; forthc.)

29 Shared Task zur linguistischen Verarbeitung von IBK Two data sets: CMC data set : data from several CMC genres (chat, Wikipedia discussions, blog comments, tweets, forums/social networks) (all data CC-licensed or donated) responsible for building & annotating the CMC data set: Michael Beißwenger (Dortmund), Kay-Michael Würzner (Berlin) web corpora datas set : main focus on monologic www pages but with a small portion of CMC included (forum threads, blog comments,...) representing the heterogeneous character of web corpora that have been automatically crawled from the web (all data CC-licensed) responsible for building & annotating the CMC data set: Sabine Bartsch (Darmstadt), Stefan Evert (Erlangen)

30 Shared Task zur linguistischen Verarbeitung von IBK Guidelines will be made available together with the trial data / full task.

31 Shared Task zur linguistischen Verarbeitung von IBK April 2015 minus X: Release of trial data (manually tagged) and tagset / guidelines April 2015: Release of full task: - description of task - complete data sets + training data June 15-28, 2015: evaluation period September 2015: presentation & discussion of results in a GSCL conference 2015

32 Aufbau und Annotation von IBK-: Perspektiven design and evaluate annotation schemas categories of analysis for linguistic phenomena; CMC research Linguistics Text Technology standards for the annotation of linguistic data structures; metadata evaluate and adapt tools / tagsets Building and annotating CMC corpora represent corpora tools for automatic linguistic analysis Natural Language Processing Corpus Linguistics methods and technologies for corpus collection and maintenance add and store annotations to corpus data Beißwenger (in prep.)

33 GSCL-Arbeitskreis Social Media / IBK

34 Literatur Bartz, Thomas; Beißwenger, Michael; Storrer, Angelika (2013): Optimierung des Stuttgart-Tübingen- Tagset für die linguistische Annotation von zur internetbasierten Kommunikation: Phänomene, Herausforderungen, Erweiterungsvorschläge. In: Journal for Language Technology and Computational Linguistics 28 (1), Beißwenger, Michael (2013): Das Dortmunder Chat-Korpus. In: Zeitschrift für germanistische Linguistik 41/1, Beißwenger, Michael; Ermakova, Maria; Geyken, Alexander; Lemnitzer, Lothar; Storrer, Angelika (2013): DeRiK: A German Reference Corpus of Computer-Mediated Communication. In: Literary and Linguistic Computing (DOI: /llc/fqt038). Beißwenger, Michael; Ermakova, Maria; Geyken, Alexander; Lemnitzer, Lothar; Storrer, Angelika (2012): A TEI Schema for the Representation of Computer-mediated Communication. In: Journal of the Text Encoding Initiative (jtei), Issue 3, November 2012 (DOI: /jtei.476). Online: Beißwenger, Michael; Lemnitzer, Lothar (2013): Aufbau eines Referenzkorpus zur deutschsprachigen internetbasierten Kommunikation als Zusatzkomponente für die im Projekt Digitales Wörterbuch der deutschen Sprache (DWDS). In: Journal for Language Technology and Computational Linguistics 26 (2) (Themenheft Webkorpora in Computerlinguistik und Sprachforschung, hrsg. v. Alexander Mehler, Roman Schneider & Angelika Storrer), Angelika Storrer (2014): Sprachverfall durch internetbasierte Kommunikation? Linguistische Erklärungsansätze empirische Befunde. In: Sprachverfall? Dynamik Wandel Variation. Jahrbuch des Instituts für Deutsche Sprache Sutter, Tilmann; Mehler, Alexander (Hrsg., 2010): Medienwandel als Wandel von Interaktionsformen. Wiesbaden: Verlag für Sozialwissenschaften.

35 Herzlichen Dank für Ihre Aufmerksamkeit! Michael Beißwenger