Informationstheorie als quantitative Methode in der Dialektometrie

Größe: px

Ab Seite anzeigen:

Download "Informationstheorie als quantitative Methode in der Dialektometrie"

Walther Gerstle
vor 7 Jahren
Abrufe

1 Informationstheorie als quantitative Methode in der Dialektometrie 1 Informationstheorie als quantitative Methode in der Dialektometrie

2 Informationstheorie als quantitative Methode in der Dialektometrie 2 Überblick Workflow Quantitative Methoden in der Dialektometrie Informationstheorie in der Dialektometrie Das Projekt Buldialects Analyse und Visualisierung Fazit und weitere Arbeiten

3 Informationstheorie als quantitative Methode in der Dialektometrie 3 Gegenstand Dialektdaten mathematisch / statistisch / quantitativ zu analysieren und eventuell vorhandene Strukturen ohne vorangegangene, nicht-sprachliche Annahmen zu extrahieren

4 Informationstheorie als quantitative Methode in der Dialektometrie 4 Dialektometrie -Workflow

5 Informationstheorie als quantitative Methode in der Dialektometrie 5 Quantitative Methoden in der Dialektometrie

6 Informationstheorie als quantitative Methode in der Dialektometrie 6 Quantitative Methoden - RIW RIW - "Relativer Identitätswert" Entwickelt von Hans Goebl bereits Mitte der 1980er Berechnet die Ähnlichkeit zwischen zwei Dialekten auf der Basis gleicher / verschiedener Elemente Nummerisch ergibt sich eine symmetrische Matrix mit Ähnlichkeitswerten (in %): A B C A B C 100

7 Informationstheorie als quantitative Methode in der Dialektometrie 7 Quantitative Methoden - RIW Hauptsächlich angewendet auf romanische Dialekt-Atlanten VDM Visual Dialectometry: Software zu Analyse und Visualisierung von Dialekt-Daten (Edgar Haimerl)

8 Informationstheorie als quantitative Methode in der Dialektometrie 8 Quantitative Methoden Edit Distance In den 1990ern entwickelt (John Nerbonne et. al.) Edit Distance Algorithmen (Levenshtein etc.) berechnen den Abstand zwischen zwei Strings Diese Abstände können dann aufsummiert (aggregiert) werden. Der entstandene Wert gibt die Ähnlichkeit bzw. Distanz zwischen zwei Dialekten wieder Die Werte aller Dialekte zueinander können wiederum als Matrix dargestellt werden A B C A B C 100

9 Informationstheorie als quantitative Methode in der Dialektometrie 9 Quantitative Methoden Edit Distance Angewendet auf verschiedene Sprachen (Holländisch [Heeringa et. al.], LAMSAS [Middle and South Atlantic States of the USA]) Software: L04 - Software for Dialectometrics and Cartography (Peter Kleiweg)

10 Informationstheorie als quantitative Methode in der Dialektometrie 10 Informationstheorie in der Dialektometrie

11 Informationstheorie als quantitative Methode in der Dialektometrie 11 Informationstheorie In den 1940ern war die Qualität der damaligen Telefonleitungen sehr gering Claude Elwood Shannon, 1948: A Mathematical Theory of Communication Was ist das Verhältnis zwischen der übertragenen Information und dem (Daten-) Rauschen?

12 Informationstheorie als quantitative Methode in der Dialektometrie 12 Informationstheorie & Thermodynamik Geringe Entropie Hohe Entropie

13 Informationstheorie als quantitative Methode in der Dialektometrie 13 Informationstheorie in der Dialektometrie Dialekt-Daten setzen sich aus gleichen (Rauschen) und verschiedenen (Information) Teilen zusammen Die Quantifizierung der in Dialekten enthaltenen Information erlaubt einen direkten Vergleich zwischen den Dialekten

14 Informationstheorie als quantitative Methode in der Dialektometrie 14 Informationstheorie - Grundlagen Die Information eines Zeichens z (in diesem Fall: X-Sampa Codes) ist definiert als: I(z) = log 2 p(z) wobei p(z) die Wahrscheinlichkeit des entsprechenden Elements ist Die Einheit der Information ist Bit Die Information eines Datensatzes lässt sich aufaddieren: n I(X) = log 2 p(z i ) i=1

15 Informationstheorie als quantitative Methode in der Dialektometrie 15 Informationstheorie - Entropie Die Entropie gibt die Informationsdichte eines Datensatzes an Wie hoch ist der Grad an Überraschung, wenn das nächste Zeichen in einem Datenstrom X ist? H(X) = m i=1 p i log 2 p i wobei p i die Wahrscheinlichkeit des jeweiligen Zeichens im Alphabet aller vorkommender Zeichen ist (nicht über den gesamten Zeichenvorrat)

16 Informationstheorie als quantitative Methode in der Dialektometrie 16 Informationstheorie Die Unterschiede im Informationsgehalt bzw. des Entropiewertes der einzelnen Dialekte können wiederum als Ähnlichkeitsmatrix dargestellt werden A B C A B C 100 Informationstheoretische Methoden arbeiten grundsätzlich rein quantitativ, d.h. die Reihenfolge und Anordnung der Elemente fliesst nicht in die Berechnungen mit ein

17 Informationstheorie als quantitative Methode in der Dialektometrie 17 Das Projekt Buldialects

18 Informationstheorie als quantitative Methode in der Dialektometrie 18 Das Projekt Buldialects Buldialect - Measuring linguistic unity and diversity in Europe Kooperationsprojekt zwischen der Universität Sofia (Vladimir Zhobov), der Bulgarischen Akademie der Wissenschaften (Kiril Simov), Universität Groningen (John Nerbonne) und der Universität Tübingen (Erhard Hinrichs)

19 Informationstheorie als quantitative Methode in der Dialektometrie 19 Das Projekt Buldialects - Datensatz phonetisch Zusammengestellt von Prof. Dr. Vladimir Zhobov und seinem Team an der Universität Sofia Besteht aus 197 Sites (Städte, Dörfer etc.), verteilt über ganz Bulgarien Für jede Site stehen 119 Wörter phonetisch in X-Sampa transkribiert zur Verfügung

20 Informationstheorie als quantitative Methode in der Dialektometrie 20 Das Projekt Buldialects Arbeit in Tübingen Implementierung mehrerer quantitativer Methoden zur Analyse von Dialekt-Daten: Vektor-Analyse N-Gramm-Analyse Informationstheoretische Ansätze Analyse und Visualisierung mittels VDM

21 Informationstheorie als quantitative Methode in der Dialektometrie 21 Analyse und Visualisierungen

22 Informationstheorie als quantitative Methode in der Dialektometrie 22 Erste Visualisierungen mit GIS Software

23 Informationstheorie als quantitative Methode in der Dialektometrie 23 Analyse & Visualisierung mit VDM - Entropie Synopsenkarte mit Site 1 als Referenzpunkt, 12 Klassen, MinMwMax

24 Informationstheorie als quantitative Methode in der Dialektometrie 24 Analyse & Visualisierung mit VDM - Entropie Isoglossenkarte, 12 Klassen, MinMwMax

25 Informationstheorie als quantitative Methode in der Dialektometrie 25 Analyse & Visualisierung mit VDM - Entropie Strahlenkarte, 12 Klassen, MinMwMax

26 Informationstheorie als quantitative Methode in der Dialektometrie 26 Analyse & Visualisierung mit VDM - Entropie Clustering nach WARD, 12 Cluster

27 Informationstheorie als quantitative Methode in der Dialektometrie 27 Andere Datensätze & Methoden Edit Distance und RIW des ALD-1 RIW Ed. Dis.

28 Informationstheorie als quantitative Methode in der Dialektometrie 28 Fazit und weitere Arbeiten

29 Informationstheorie als quantitative Methode in der Dialektometrie 29 Fazit In der Dialektometrie stehen mehrere ausgereifte und erprobte Methoden zur quantitativen Analyse von Dialektdaten bereit Je nach Datensatz, angewandter Methode, Analyse und Visualisierung können die Ergebnisse (leicht) unterschiedlich ausfallen

30 Informationstheorie als quantitative Methode in der Dialektometrie 30 Zukünftige Arbeiten Korrelationsmatrizen wieder zurück von der visuellen Auswertung zur mathematischen Anwendung der Methoden auf weitere Dialektdatensätze Implementierung eines Konverters um Analyseergebnisse von der VDM- in die R04-Software und umgekehrt konvertieren zu können

Ähnliche Dokumente

Grundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1

Grundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1 Informationsgehalt Kapitel 4.1 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Technische Informatik - Meilensteine Informationstheorie Claude Elwood Shannon (geb. 1916) Quelle Sender