Visualisierung sprachlicher Muster. Den Wald UND die Bäume sehen

Transkript

1 Visualisierung sprachlicher Muster Den Wald UND die Bäume sehen Annette Hautli-Janisz 1 Christian Rohrdantz 2 Fachbereich Sprachwissenschaft 1 Fachbereich Informatik 2 Universität Konstanz 6. Arbeitstreffen Internetlexikographie, IDS Mannheim 20./21. November / 28

2 Motivation Rohrdantz et al. (2012) ( 2 / 28

3 Motivation Die Linguistik hat eine lange Tradition der Visualisierung: CS 1: ROOT CProot[std] PERIOD DP[std] Cbar. DPx[std] V[v,fin] DP[std] DP[std] D[std] NP Vx[v,fin] DPx[std] DPx[std] die N[comm] hat D[std] NP D[std] NP Linguistik eine AP[std,+infl] N[comm] der N[comm] APx[std,+infl] Tradition Visualisierung A[+infl] lange 3 / 28

4 Motivation Die Linguistik hat eine lange Tradition der Visualisierung: CS 1: ROOT CProot[std] PERIOD DP[std] Cbar. DPx[std] V[v,fin] DP[std] DP[std] D[std] NP Vx[v,fin] DPx[std] DPx[std] die N[comm] hat D[std] NP D[std] NP Linguistik eine AP[std,+infl] N[comm] der N[comm] APx[std,+infl] Tradition Visualisierung A[+infl] lange Anforderung im Digital Age: Data is the new oil. (Clive Humby, 2006) 4 / 28

5 Motivation Die Linguistik hat eine lange Tradition der Visualisierung: CS 1: ROOT CProot[std] PERIOD DP[std] Cbar. DPx[std] V[v,fin] DP[std] DP[std] D[std] NP Vx[v,fin] DPx[std] DPx[std] die N[comm] hat D[std] NP D[std] NP Linguistik eine AP[std,+infl] N[comm] der N[comm] APx[std,+infl] Tradition Visualisierung A[+infl] lange Anforderung im Digital Age: Data is the new soil. (David McCandless, 2010) 5 / 28

6 Motivation Herausforderungen an die Visualisierung großer (linguistischer) Datenmengen: Brückenschlag zwischen theoretisch motivierter Fragestellung und adäquater maschineller/visueller Implementierung Kompletter Überblick über die Daten bei gleichzeitiger Möglichkeit der detaillierten Untersuchung einzelner Datenpunkte Vorteil: Visualisierung als Schnittstelle zwischen Mensch und Computer löst vorbewusste Wahrnehmung aus. 6 / 28

7 Motivation Vokalharmonie: Standard darstellung Abweichung der Assoziierungsstärke zwischen Vokalen von der erwarteten Assoziierung. 7 / 28

8 Motivation Eine erste Visualisierung Vokale sind alphabetisch geordnet Je gesättigter die Farbe, desto größer die Abweichung 8 / 28

9 Motivation Eine sortierte Visualisierung Können Sie jetzt ein Muster erkennen? Vokale sind nach Ähnlichkeit geordnet (Rohrdantz et al. 2010) Darstellung der Typen der Vokalharmonie 9 / 28

10 Visualisierung und Linguistik in Konstanz Hauptverantwortlich: Miriam Butt und Daniel Keim Forschungsinitiative Computational Analysis of Linguistic Development (CALD) ( ), Exzellenzinitiative Universität Konstanz ehumanities Projekt Wie und wann überzeugen Argumente Analyse und Visualisierung politischer Verhandlungen (VisArgue) ( ), gefördert vom BMBF Visual Analysis of Language Change and Use Patterns ( ), gefördert durch die DFG Forschungsinitiative Visual Analysis of Language Change and Use Patterns (LingVisAnn) ( ), Exzellenzinitiative Universität Konstanz 10 / 28

11 Agenda 1 Visualisierung von Bedeutungswandel 2 Clustervisualisierung 3 Fazit 11 / 28

12 Heute 1 Visualisierung von Bedeutungswandel 2 Clustervisualisierung 3 Fazit 12 / 28

13 Visualisierung von semantischem Wandel Semantischer Wandel Bedeutungsänderung eines Wortes über die Zeit Verschiedene Arten des semantischen Wandels, z.b. Verengung (Oberbegriff wird zum Unterbegriff), z.b. skyline im Englischen Erweiterung (Begriff wird genereller), z.b. Englisch horn Wandel in den letzten 20 Jahren: Begriffe im Bereich des Internet Ziel von Rohrdantz et al. (2011) Verfolgung des semantischen Wandels über die Zeit mit automatischer Annäherung Visuelle Darstellung der Entwicklung 13 / 28

14 Visualisierung von semantischem Wandel Vorgehensweise Untersuchung auf Basis des New York Times Korpus 1.8 Millionen Zeitungsartikel von 1987 bis 2007 Jeder Artikel ist kodiert mit einem Zeitstempel Extrahierung eines Kontextes von 25 Wörtern vor und nach dem Begriff Topic modeling zur Annäherung der Wortbedeutung aufgrund des Kontextes (lda) Jeder Kontext ist ein Dokument Vorgegeben Anzahl an Topics, jeder Kontext wird einem Topic zugeordnet. Visualisierung interpretiert die Information aus der statistischen Analyse 14 / 28

15 Visualisierung von semantischem Wandel Erste Ansicht Aggregierte, diachrone Sicht auf die Daten to browse to surf time, library, student, music, people a sport, wind, water, ski, offer h shop, street, book, store, art b wave, surfer, board, year, sport i book, read, bookstore, find, year c channel, television, show, watch, tv j deer, plant, tree, garden, animal d web, internet, site, computer, company k software, microsoft, internet, netscape, windows web, internet, site, mail, computer e f film, boy, movie, show, ride year, day, time, school, friend l m store, shop, buy, day, customer g beach, wave, surfer, long, coast n 15 / 28

16 Visualisierung von semantischem Wandel Bedeutungswandel des Suffixes -gate im Englischen (Rohrdantz et al. 2012) Schöpfung: Watergate Affäre ( ) Seither: Gebrauch von -gate als Suffix (Iraqgate, Monicagate, Nipplegate, Rubygate) Hypothese: Bedeutungsveränderungen des Suffixes Art der Messung: Vergleich der -gate Termini mit Wörtern wie scandal, affair, crises, controversy Korpora: NYT Korpus und EMM Korpus Extraktion der Kontexte aller Termini, Vergleich der Ähnlichkeit der Kontextvektoren 16 / 28

17 Visualisierung von semantischem Wandel Society, Art, and Culture Watergate Economy lture Foreign Policy Sports Domestic Policy Society, Art, and Culture Watergate Economy Foreign Policy Sports 17 / 28

18 Visualisierung von semantischem Wandel 18 / 28

19 Visualisierung von semantischem Wandel Heylen et al Bedeutungswandel von englischen Adjektiven, z.b. terrific Hypothese: Zwischen 1860 und 2000, Wandel von terrific von negativ zu positiv konnotiertem Adjektiv. Methode: Vergleich der Kontexte von terrific mit Kontexten von anderen positiven/negativen Adjektiven wie terrible, horrible and magnificent, great Visualisierung mit den Google Vis Tools [ Demo ] 19 / 28

20 Heute 1 Visualisierung von Bedeutungswandel 2 Clustervisualisierung 3 Fazit 20 / 28

21 Clustervisualisierung Generelles Problem bei Methoden des maschinellen Lernens: Intransparenz der Ergebnisse (Oft) fehlender Einblick in die zugrundeliegenden Daten keine detaillierte (linguistische) Analyse möglich Ansatz in Lamprecht et al. (2013): Visualisierung von Ergebnissen des automatischen Clusterings Clusterkohärenz und Zusammensetzung mithilfe eines interaktiven Visualisierungssystems 21 / 28

22 Clustervisualisierung Hier: Urdu Verben und ihre syntaktischen Merkmale Jeder Datenpunkt besteht aus einem Vektor an Attributen Ziel: Verbklassen als Grundlage für ein Urdu VerbNet 22 / 28

23 Clustervisualisierung Automatisches Clustering, z.b. k-means clustering Zuordnung jedes einzelnen Datenpunkts zu einem Cluster Fragen: Wie ähnlich sind sich Datenpunkte? Wie kohährent sind die Cluster? [ Demo ] 23 / 28

24 Heute 1 Visualisierung von Bedeutungswandel 2 Clustervisualisierung 3 Fazit 24 / 28

25 Fazit Große digitale Datenmengen bergen großes Potential für die (theoretische) Linguistik Visualisierung unterstützt die Datenanalyse Generierung und Verifizierung von Hypothesen Bedingung: Darstellung der großen Muster sowie detaillierte Ansicht der zugrundeliegenden Daten 25 / 28

26 Fazit Große digitale Datenmengen bergen großes Potential für die (theoretische) Linguistik Visualisierung unterstützt die Datenanalyse Generierung und Verifizierung von Hypothesen Bedingung: Darstellung der großen Muster sowie detaillierte Ansicht der zugrundeliegenden Daten Potentielle Anwendungsbereiche in der Lexikographie Semantische Ähnlichkeit von Begriffen Diachrone Muster 26 / 28

27 Vielen Dank! 27 / 28

28 References K. Heylen, T. Wielfaert and D. Speelman Tracking change in word meaning. A dynamic visualization of a diachronic distributional semantic model. DGfS Workshop on the Visualization of Linguistic Patterns, Potsdam, Germany. A. Lamprecht, A. Hautli, C. Rohrdantz and T. Bgel A Visual Analytics System for Cluster Exploration. In Proceedings of ACL Demo Session, pages , Sofia, Bulgaria. C. Rohrdantz, M. Hund, T. Mayer, B. Wälchli and D. A. Keim. The World s Languages Explorer: Visual Analysis of Language Features in Genealogical and Areal Contexts. Computer Graphic Forum, 31(3): , C. Rohrdantz, A. Niekler, A. Hautli, M. Butt and D. A. Keim Lexical Semantics and Distribution of Suffixes A Visual Analysis. In Proceedings of the EACL 2012 Joint Workshop of LINGVIS and UNCLH, pages 7-15, Avignon, France. C. Rohrdantz, A. Hautli, T. Mayer, M. Butt, D. A. Keim and F. Plank (2011). Towards Tracking Semantic Change By Visual Analytics. In Proceedings of ACL, pages , Portland, USA. 28 / 28