Algorithmen zur Bestimmung von Ähnlichkeit auf Zeichenketten. Ähnlichkeit in der Linguistik

Transkript

1 Algorithmen zur Bestimmung von Ähnlichkeit auf Zeichenketten Ähnlichkeit in der Linguistik

2 Inhalt Einführung Lautsymbolik Vergleich von Lauten Ähnlichkeits- & Distanzmaße Identitätsabgleich subjektive Lautunterscheidungen wenige Arten von Verschiedenheit Unterscheidungen von objektiven Lautmerkmalen Anwendungen HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 2

3 Einführung Linguistik = Sprachwissenschaft Sprache Zeichenkette Sprache kann man in Laute zerlegen für Sprachlaute kann man Zeichen finden z.b. Buchstaben in jeder Sprache anders Lautzuordnung selbst in einer Sprache nicht eindeutig (1 Buchstabe mehrere Laute oder mehrere Buchstaben ein Laut) Bsp. ghoti = [f ] ALSO? HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 3

4 Inhalt Einführung Lautsymbolik Vergleich von Lauten Ähnlichkeits- & Distanzmaße Identitätsabgleich subjektive Lautunterschiede wenige Arten von Verschiedenheit Lautunterscheidungen mit objektiven Merkmalen Anwendungen HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 4

5 Lautsymbolik Ein Laut ein Symbol eineindeutige Zuordnung einheitliches Symbolsystem für alle Sprachen HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 5

6 Lautsymbolik IPA International Phonetic Association Zusammenschluss von Phonetikern (1886 gegr.) Aufgabe: Betreiben wissenschaftlicher Studien über Phonetik und deren praktische Anwendungen International Phonetic Alphabet Alphabet der Lautschriftzeichen Notationsstandard für die akademische Gesellschaft HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 6

7 Lautsymbolik entnommen aus PS Phonology HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 7

8 Lautsymbolik entnommen aus PS Phonology HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 8

9 Lautsymbolik Computerdarstellung SAMPA Unicode Tex... HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 9

10 Lautsymbolik SAMPA Speech Assessment Methods Phonetic Alphabet Darstellung des IPA im 7-bit-ASCII (begrenzter Zeichensatz aus lateinischen Buchstaben zur Textdarstellung) nicht alle IPA-Symbole haben Äquivalent in 7-bit-ASCII sprachspezifisch HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 10

11 Lautsymbolik SAMPA Speech Assessment Methods Phonetic Alphabet Darstellung des IPA im 7-bit-ASCII (begrenzter Zeichensatz aus lateinischen Buchstaben zur Textdarstellung) nicht alle IPA-Symbole haben Äquivalent in 7-bit-ASCII sprachspezifisch Unicode Erweiterter Schriftsatz für Computer Enthält IPA-Symbole HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 11

12 Lautsymbolik SAMPA Speech Assessment Methods Phonetic Alphabet Darstellung des IPA im 7-bit-ASCII (begrenzter Zeichensatz aus lateinischen Buchstaben zur Textdarstellung) nicht alle IPA-Symbole haben Äquivalent in 7-bit-ASCII sprachspezifisch Unicode Erweiterter Schriftsatz für Computer Enthält IPA-Symbole Tex Package T-IPA: Schrift und Kommandos zur Erzeugung von IPA-Zeichen in Tex / Latex HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 12

13 Lautsymbolik Beispiel IPA [ba pi l] SAMPA bai_^spi:l Unicode b a U+026A U+032F U+0283 p i U+02D0 l LaTex ba\textsubarch{\textsci} \textesh pi\textlengthmark l HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 13

14 Inhalt Einführung Lautsymbolik Vergleich von Lauten Ähnlichkeits- & Distanzmaße Identitätsabgleich subjektive Lautunterschiede wenige Arten von Verschiedenheit Lautunterscheidungen mit objektiven Merkmalen Anwendungen HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 14

15 Vergleich von Lauten Ähnlichkeit / Unähnlichkeit beim Sprechen bemerkbar Vokal von Konsonant unterscheidbar in der Aussprache ähnlich (subjektiv): e,i / t,d / p,b / Klang unterscheidet sich nur wenig, im Mundraum ähnlich gebildet unähnlich: a,ü / p,n / Klang unterscheidet sich stark, sehr unterschiedliche Bildung im Mundraum Ziel: objektives Maß für Ähnlichkeit bzw. Unähnlichkeit finden HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 15

16 Vergleich von Lauten Ähnlichkeit similarity umso größer, je näher die Laute beieinander gleiche Laute: Ähnlichkeit = 1; ungleiche Laute: Ähnlichkeit = 0 (bzw. -1) Distanz distance (=Unähnlichkeit) umso kleiner, je näher die Laute beieinander gleiche Laute: Distanz = 0 unähnlichste: Distanz = Einhaltung der mathematischen Metrik-Axiome notwendig positiv definiert Nulleigenschaft Symmetrie Dreiecksungleichung Prinzipiell egal, ob Distanz oder Ähnlichkeit als Maß generell: Umrechnung möglich HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 16

17 Inhalt Einführung Lautsymbolik Vergleich von Lauten Ähnlichkeits- & Distanzmaße Identitätsabgleich subjektive Lautunterschiede wenige Arten von Verschiedenheit Lautunterscheidungen mit objektiven Merkmalen Anwendungen HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 17

18 Ähnlichkeits- & Distanzmaße Identitätsabgleich tsabgleich stimmen die Laute überein: d=0 wenn nicht, dann: d=1 ohne Merkmalsbeachtung HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 18

19 Ähnlichkeits- & Distanzmaße Exkurs: Distanzmaße Manhattan-Abstand (entlang der Achsen) d = x 2 -x 1 + y 2 -y 1 Euklidischer Abstand (schräg) d = (x2-x1)² + (y2- y1)² für phonetische Vergleiche oft Manhattan-Abstand allgemein: Distanz-Metrik HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 19

20 Ähnlichkeits- & Distanzmaße subjektive Lautunterschiede Grundidee: Laute mit subjektiven Ähnlichkeitswerten belegen jeder Laut wird mit jedem anderen vergleichen (z.b. Skala von 1-10) Ermittlung eines subjektiven Ähnlichkeitsmaßes durch z.b. Umfragen (Mittelung der Einzelergebnisse) Ergebnisse: Kreuztabelle Abstände zwischen allen sind dort eingetragen HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 20

21 Ähnlichkeits- & Distanzmaße Ergebnis: Kreuztabelle z.b. a b c d e a b c d 0 7 e 0 Tabelle sehr groß und unübersichtlich n(n-1)/2 Vergleiche bei 50 Phonemen: 1225 Einträge HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 21

22 Ähnlichkeits- & Distanzmaße subjektive Lautunterschiede Vorteile Unterschied nachvollziehbar subjektive Ähnlichkeiten in verschiedenen Sprachen und Dialekten unterschiedlich, kann gut abgebildet werden Relativ gute Daten bei Messung von großen Stichproben Nachteile Ähnlichkeit ist weder objektiv noch erklärbar Ähnlichkeit wegen Sprach-/Dialektabhängigkeit nicht allgemeingültig kann bei schlechter Stichprobe ungenau oder falsch sein HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 22

23 Exkurs: Lautmerkmale Klassifizierung Konsonanten Vokale Halbvokale HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 23

24 Exkurs: Lautmerkmale Exkurs: Lautmerkmale Klassifizierung Konsonanten Vokale Halbvokale Merkmale von Konsonanten Artikulationsort / -organ (siehe Abb.) Artikulationsart Stimmhaftigkeit PS Phonology HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 24

25 Exkurs: Lautmerkmale Artikulationsort / - organ Artikulationsart PS Phonology HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 25

26 Exkurs: Lautmerkmale Exkurs: Lautmerkmale Klassifizierung Konsonanten Vokale Halbvokale Merkmale von Konsonanten Artikulationsort / -organ Artikulationsart Stimmhaftigkeit Merkmale von Vokalen Zungenhöhe/Öffnung Zungenlage Rundung Zungenhöhe Zungenlage PS Phonology HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 26

27 Ähnlichkeits- & Distanzmaße wenige Arten von Verschiedenheit Covington: unterscheidet nur zwischen Konsonant, Vokal + Halbvokal z.b. Distanz von Vokal <> Vokal immer gleich, egal um welche (verschiedenen) Vokale es sich handelt jede wird mit einer Punktzahl versehen (als Negativpunkte im Alignment) Alignment: z.b. that <> das [ æ t] [ d a s ] HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 27

28 Ähnlichkeits- & Distanzmaße Covington Distanz Punkte Bedingungen exakter Treffer zweier Konsonanten oder Halbvokale (w, y) exakter Treffer zweier Vokale * Treffer zweier Vokale, die sich nur in der Länge unterscheiden oder i <> y oder u <> w Treffer zweier ungleicher Vokale Treffer zweier ungleicher Konsonanten Treffer zweier Segmente, die sich nicht erkennbar ähneln Sprung, dem schon im selben Wort ein Sprung vorausging ** Sprung * Konsonantenübereinstimmungen sind zu bevorzugen ** typisch für Affixe Tabelle nach [Cov96] HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 28

29 Ähnlichkeits- & Distanzmaße Covington - Distanz Vorteile: wenige Vergleichsarten Distanzen schnell berechenbar Nachteile: nicht individuell für einzelne Phoneme (offensichtlich: t <> d ähnlicher als t <> f) verletzt math. Metrik-Axiome dadurch nicht in Koordinatensystem darstellbar Nulleigenschaft: Exakter Vokalmatch 0 Dreiecksungleichung: z.b. d(e,y)=100; d(e,i)=30 + d(i,y)=10 ergibt 40 HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 29

30 Ähnlichkeits- & Distanzmaße Lautunterscheidungen mit objektiven Merkmalen Eigenschaften (Features) von Sprachlauten binäre Eigenschaften HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 30

31 Ähnlichkeits- & Distanzmaße Tabelle von Hartmann mit 17 binären Merkmalen binär: Merkmal trifft entweder zu oder nicht entnommen aus [Kon99] HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 31

32 Ähnlichkeits- & Distanzmaße Distanzmaß: Anzahl unterschiedlicher Features (Hamming Abstand) Vergleich: Covington vs. Hartmann (Ø Hamming-Abstand) Covington s Metrik Sätze 1 ident. Kons. o. Halbvok. 2 ident. Vokale 3 nur Vokallänge untersch. 4 nicht-ident. Vokale 5 nicht-ident. Konsonanten 6 keine Ähnlichkeit Cov. s Pkte Ø Hamming Abstand 0,0 0,0 1,0 2,2 4,81 8,29 Ergebnis: gute Übereinstimmung, keine grundverschiedenen Ergebnisse maßstäbl. geänderter A. 0,0 0,0 12,4 27,3 58,1 100 nach [Kon03] HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 32

33 Ähnlichkeits- & Distanzmaße objektive Merkmale - binär Vorteile Viele Vergleichsarten Eigenschaften werden berücksichtigt Nachteile Eigenschaften wie Place (Erzeugungsort im Mundraum) nicht binär keine Gewichtung der Features (subjektiv: z.b. Länge weniger wichtig als Erzeugungsort) HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 33

34 Ähnlichkeits- & Distanzmaße Lautunterscheidungen mit objektiven Merkmalen Eigenschaften (Features) von Sprachlauten binäre Eigenschaften mehrwertige Eigenschaften gewichtet HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 34

35 Ähnlichkeits- & Distanzmaße Idee (Kondrak): Mehrwertige Features Binäre Features: vorhanden = 1; nicht vorhanden = 0 Mehrwertige Features: Werte zwischen 0 und 1 Features wichten ( salience ) Distanzbestimmung: ähnlich wie bei den binären Eigenschaften: (gewichtete) Einzelabstände aufsummieren ergibt Distanz zwischen den Phonen HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 35

36 Ähnlichkeits- & Distanzmaße Merkmale Salience RC RV Merkmale Salience RC RV silbisch Stimmhaftigkeit Lateralizität Zungenhöhe Artikulationsart Länge Artikulationsort Nasalität Aspiration Zungenlage Retroflex Rundung Mehrwertige Merkmale Artikulationsort Artikulationsart Zungenhöhe Zungenlage beides aus [Kon03] bilabial=1; labiodental=0,95; dental=0,9; alveolar=0,85; retroflex =0,8; palato-alveolar=0,75; palatal=0,7; velar=0,6; uvular= 0,5; pharyngal=0,3; glottal=0,1 Plosiv=1,0; Affrikat=0,9; Frikativ=0,8; Approximant=0,6; hoher Vokal=0,4; mittlerer Vokal=0,2; tiefer Vokal=0,0 hoch=1,0; mittel=0,5; tief=0,0 vorn=1,0; zentral=0,5; hinten=0,0 HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 36

37 Ähnlichkeits- & Distanzmaße objektive Merkmale - mehrwertig Vorteile: Sehr genau (durch Tests bestätigt) Nachteile: Gewichtung sprachabhängig Nicht nachvollziehbar, warum Features genau die genannte Wichtigkeit besitzen HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 37

38 Inhalt Einführung Lautsymbolik Vergleich von Lauten Ähnlichkeits- & Distanzmaße Identitätsabgleich subjektive Lautunterschiede wenige Arten von Verschiedenheit Lautunterscheidungen mit objektiven Merkmalen Anwendungen HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 38

39 Anwendungen Linguistik Dialektenklassifikation/Dialektgeographie [NS04] Dialektalitätsmessung [NH97] Identifizieren von Kognaten [Kon01] Rekonstruktion von Sprachen [Kon02] Qualitätsmessungen phonetischer Transkriptionen [AB86] Medizin Feststellung von Sprachfehlern (Art bzw.grad), u.a. zur Diagnose und Behandlung von Krankheiten [Som98] Informatik Spracherkennungs-Software (arbeitet mit akustisch gemessenen Lautabständen) [Hee04] HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 39

40 Literatur [AB86] Almeida, A./Braun, A. (1986): Richtig und Falsch in phonetischer Transkription Vorschläge zum Vergleich von Transkriptionen mit Beispielen aus deutschen Dialekten. In: Zschr. für Dialektologie und Linguistik 53(2), [Cov96] Covington, M. A.: An algorithm to align words for historical comparison. In: Computational Linguistics 22(4), [Hee04] Heeringa, W.: Measuring Dialect Pronunciation Differences using Levenshtein Distance. Rijksuniversiteit Groningen [HLR+01] Herrgen, J./Lameli, A./Rabanus, S./Schmidt, J. E. (2001): Dialektalität als phonetische Distanz. Ein Verfahren zur Messung standarddivergenter Sprechformen. Marburg: Online- Publikation. [Kon99] Kondrak, G. (1999): Alignment of phonetic sequences. Technical Report CSRG-402, University of Toronto HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 40

41 Literatur [Kon00] Kondrak, G. (2000): A new algorithm for the alignment of phonetic sequences. Proceedings of the 1st meeting of the NAACL, , Seattle, April [Kon01] Kondrak, G. (2001): Identifying cognates by phonetic and semantic similarity. Proceedings of the 2nd meeting of the NAACL, , Pittsburgh, June [Kon02] Kondrak, G. (2002): Algorithm for language reconstruction. Ph. D. thesis, University of Toronto. [Kon03] Kondrak, G. (2003): Phonetic alignment and similarity. In: Computers and the Humanities 37(3), August 2003, pp [NH97] Nerbonne, J./Heeringa, W. (1997): Measuring dialect distance phonetically. In: Proceedings of the 3rd Meeting of the ACL Special Interest Group in Computational Phonology (SIGPHON-97). HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 41

42 Literatur [NS04] Nerbonne, J./Siedle, C.: Dialektklassifikation auf der Grundlage aggregierter Ausspracheunterschiede. Accepted to appear in: Zeitschrift für Dialektologie und Linguistik. [Som98] Somers, H. L. (1998): Similarity metrics for aligning children s articulation data. In: Proc. of the 36th annual meeting of the ACL and 17th International conference of Computational Linguistics Online-Einführung Phonologie: PS Phonology (WS04/05, Marcus Callies, Uni Marburg) Slides Peter Ladefoged s A course in phonetics (online) Peter Ladefoged s Vowels and consonants (online) HS Verwandtschaft in Zeichenketten - Franz Andert, Alexandra Schliephake: Ähnlichkeit in der Linguistik 42