Überblick. Linguistische Grundlagen für die maschinelle Sprachverarbeitung. Was ist Linguistik? Linguistik. Generative Linguistik

Transkript

1 Überblick Linguistische Grundlagen für die maschinelle Sprachverarbeitung Anke Lüdeling Institut für deutsche Sprache und Linguistik Was ist Linguistik? linguistische Beschreibungsebenen (Phonetik, Phonologie, Morphologie, Syntax, Semantik, Pragmatik) Probleme für die Sprachverarbeitung (exemplarisch) Ambiguität (Wortarten, Syntax) Unterspezifiziertheit Anbindung an Weltwissen (semantische Lesarten) Produktivität (Wortbildung) Was ist Linguistik? Linguistik beschäftigt sich mit der Beschreibung und Modellierung von Sprachdaten den zugrundeliegenden Regularitäten (Regeln, statistische Muster, Constraintmengen,...) menschlicher Sprachverarbeitung (mentale Prozesse), Spracherwerb, Sprachverwendung Entwicklung und Veränderung von Sprache Sprache als sozialem Phänomen, Kommunikation... Linguistik 19. Jhd.: Sprachvergleich (Sprachstammbäume), Beschreibung von Veränderung (Diachronie), Beginn 20. Jhd.: Strukturalismus, Entwicklung von formalen Beschreibungsmitteln, Synchronie seit Chomsky 1957 generatives Paradigma Grundgedanken Basis vieler formal unterschiedlicher Theorien (Government & Binding, Minimalismus, Head- Driven Phrase Structure Grammar, Lexical Functional Grammar,...) Generative Linguistik SprecherInnen einer Sprache können unendlich viele Ausdrücke (Wörter, Sätze) also auch solche, die sie nie vorher gehört haben produzieren und verstehen... unendlich viele Ausdrücke... Rekursion Syntax der Bezug des Bettes des Hotels des Ermittlungsteams der Ursache des Absturzes des Systems... Morphologie Superstarauswahlveranstaltungsterminabsprachedialog systemabsturzursachenermittlungsteamhotelbettbezug Konjunktion (Aufzählung) Am Sonntag fraß sie sich durch einen Apfel, zwei Bananen, drei Tomaten, vier Gurken, fünf Schokotörtchen, sechs...

2 ... unendlich viele Ausdrücke... Hinzufügen neuer Basiselemente z.b. durch Entlehnung ( , to go) oder Kreativität (Handy, unkaputtbar) semantische Prozesse systematische Polysemie: Huhn, Schwein Analogie: Riesterknochen metaphorische Erweiterungen etc. Generative Linguistik SprecherInnen einer Sprache können unendlich viele Ausdrücke (Wörter, Sätze) also auch solche, die sie nie vorher gehört haben produzieren und verstehen d.h., Untersuchungsgegenstand ist das zugrundeliegende Produktionssystem, das alle und nur die grammatischen Ausdrücke einer Sprache erzeugt Generative Linguistik es gibt Sprachzentren im menschlichen Gehirn, die Produktionssysteme für menschliche Sprachen restringieren Evidenz Universalien Spracherwerb Statistische Ansätze statistische Ansätze (also alle, die in diesem Kurs besprochen werden) beziehen sich im Gegensatz dazu auf die Regularitäten in großen Textsammlungen (Textkorpora) Ziel: Modelle, die real vorkommenden Text möglichst genau abbilden und daraus Hypothesen für ungesehene Ereignisse ableiten Überblick Was ist Linguistik? linguistische Beschreibungsebenen (Phonetik, Phonologie, Morphologie, Syntax, Semantik, Pragmatik) Probleme für die Sprachverarbeitung (exemplarisch) Ambiguität (Wortarten, Syntax) Unterspezifiziertheit Anbindung an Weltwissen (semantische Lesarten) Produktivität (Wortbildung) Linguistische Beschreibungsebenen traditionell werden (mindestens) folgende Beschreibungsebenen unterschieden Phonetik Laut Phonologie Lautsystem Morphologie Struktur von Wörtern Syntax Struktur von Phrasen & Sätzen Semantik Bedeutung Pragmatik Verwendung

3 Phonetik Produktion und Systematik von Sprachlauten Phon artikulatorische Phonetik: Laute werden anhand des Artikulationsortes und der Artikulationsart klassifiziert Phonetik Artikulationsort bilabial [b] [p] [m] alveolar [t] [d] [n] [s] [z] [l] [r]... Artikulationsart stimmhaft (Stimmlippen schwingen) vs. stimmlos [b] [p], [d] [t] nasal (Luft entweicht auch durch die Nase) vs. oral [m] [b]... SAMPA SAMPA (Speech Assessment Methods Phonetic Alphabet) übersetzt die IPA-Zeichen in 7-bit ASCII-Zeichen (internationale Konvention) SAMPA für viele Sprachen erhältlich in Text-to-Speech Systemen verwendet z. B. deutsche Plosive (Auswahl) p Pein pain b Bein bain t Teich taic d Deich daic Konsonanten, Phonologie Lautsystem einer Sprache bedeutungsunterscheidende Laute innerhalb einer Sprache Phoneme Silbenstruktur Prosodie Phonologie bedeutungsunterscheidende Laute werden durch die Bildung von Minimalpaaren gefunden Hase vs. Nase, Schal vs. Schaf [h], [n], [f], [l] sind Phoneme des Deutschen dt. /r/: [r] oder [R] oder [χ] oder... Varianten nicht bedeutungsunterscheidend es wird nur ein Phonem für /r/ angenommen Phoneminventar einer Sprache Silbenmodelle einer Sprache Prosodie/Betonungsmuster für die Silben

4 Probleme für ASR (automatic speech recognition) und TTS (text-to-speech) Segmentierung des kontinuierlichen Sprachsignals Unterschiede zwischen SprecherInnen Ambiguitäten Produktivität/unbekannte Wörter wenig Linguistik viel Statistik Morphologie Aufbau von komplexen Wörtern Haustür Haus tür lachte lach te Unabhängigkeit Un ab häng ig keit Einteilung in bedeutungs-oder funktionstragende (grammatische Funktion, z.b. 1.Pers. Sg. Präsens) Elemente - Morpheme Morphologie Morphem: Stamm: Morphem, das auch alleine stehen kann Haus, Tür, lach, rot... Affix (Präfix, Suffix): Morphem, das nicht alleine stehen kann -bar, -te, -keit, -ung, ver-, ent-, un-... (Vorsicht: Verwendung von 'Präfix' und 'Suffix' in der Linguistik unterscheidet sich von der Verwendung von 'Präfix' und 'Suffix' in der Informatik) Flexion lachte Menschen Derivation Häuschen, lesbar... Morphologie Wortbildung Konversion Schlaf N schlaf V Kurzwortbildung Automobil Auto Komposition Haustür, hellblau Morphologie nicht nur Analyse, auch Strukturbildung Struktur abhängig von Aufbauprinzipien spiegelt die Interpretation (Semantik) des komplexen Wortes Un ab häng ig keit ((Un ((ab häng) ig)) keit) Kleinkunstwerk? Morphologie in der Computerlinguistik Flexionsmorphologie zur Lemmatisierung (Rückführung auf eine Grundform Lemma) zumeist regelbasiert: Zwei-Ebenen-Morphologie (Endliche Automaten) einigermaßen gut gelöst für viele Sprachen Wortbildung Problem Produktivität (Bildung von ungesehenen Wörtern) hohe Strukturambiguität bisher keine richtig gute Lösung für's Deutsche

5 Syntax Zusammensetzung von komplexen Ausdrücken aus Wörtern Struktur abhängig von Aufbauprinzipien, beschreibt die Interpretation eines komplexen Ausdrucks Syntax Phrasen Ersetzbarkeit George Bush lässt sich nicht einschüchtern Der amerikanische Präsident lässt sich nicht einschüchtern Der Präsident der Vereinigten Staaten... Der Präsident, der von weniger als der Hälfte der amerikanischen Wähler gewählt wurde,... *Präsident lässt sich nicht einschüchtern. *amerikanische lässt sich nicht einschüchtern (* steht für 'ungrammatisch') Syntax Phrasen Ersetzbarkeit George Bush lässt sich nicht einschüchtern. Der amerikanische Präsident lässt sich nicht einschüchtern. Der Präsident der Vereinigten Staaten... Der Präsident, der von weniger als der Hälfte der amerikanischen Wähler gewählt wurde,... die blauen Sequenzen bilden Konstituenten desselben Typs, d.h., man kann sie durcheinander ersetzen, ohne dass der Satz ungrammatisch wird Syntax Phrasen solche Konstituenten werden Phrasen genannt Nominalphrase (NP) Verbalphrase (VP) Adjektivphrase (AP)... Syntax Phrasen Beispiel Nominalphrase (Ausschnitt) der Präsident der amerikanische Präsident der frühere amerik. Präsident ein Präsident der USA der Präsident der... wurde ART? (ADJ)* N (NP S)? Syntax Phrasenstrukturbäume Phrasen werden zu Bäumen (oder Graphen) zusammengesetzt Aufgabe der Syntax ist es die Art der Phrasen in einer Sprache zu finden die interne Struktur der Phrasen zu finden die Kombinationsmöglichkeiten für Phrasen zu finden

6 Syntax Regeln/Constraints syntaktische Theorien unterscheiden sich unter anderem in der formalen Kodierung ihrer Strukturbeschreibungen (kontextfreie) Regeln Constraints, Merkmalsstrukturen Kombination von beidem... aus dem TIGER-Korpus (Baumbank, deutsche Zeitungstexte) Syntax Computerlinguistik Ziel: automatisches Parsing (den Ausdrücken soll eine syntaktische Struktur zugewiesen werden) Verfahren: regelbasiert statistisch (auf Baumbank trainiert oder untrainiert) Problem: hohe strukturelle Ambiguität Überblick Was ist Linguistik? linguistische Beschreibungsebenen (Phonetik, Phonologie, Morphologie, Syntax, Semantik, Pragmatik) Probleme für die Sprachverarbeitung (exemplarisch) Ambiguität (Wortarten, Syntax) Unterspezifiziertheit Anbindung an Weltwissen (semantische Lesarten) Produktivität (Wortbildung) Probleme für die maschinelle Sprachverarbeitung alles wäre ganz einfach, wenn es endlich viele Ausdrücke (Wörter/Sätze) gäbe (oder wenigstens endlich viele Basiseinheiten) jeder Ausdruck genau eine Struktur und Interpretation hätte und diese Struktur immer lokal (ohne zusätzliche Informationen) zu bestimmen wäre Probleme für die maschinelle Sprachverarbeitung im richtigen Leben (in einer natürlichen Sprache) gibt es aber Produktivität (und Kreativität) Ambiguität Unterspezifikation und Kontextabhängigkeit

7 Ambiguität kategorielle Ambiguität: ein Ausdruck kann zu mehreren Kategorien gehören Kohl Name oder einfaches Nomen? nach 14 Jahren Kohl war die Arbeitslosigkeit auf X% gestiegen nach 14 Jahren Kohl wollten wir endlich mal wieder etwas anderes essen Ambiguität Taggen beim Taggen ordnet man (im Prinzip beliebige) linguistische Informationen (im Prinzip beliebigen) Texteinheiten zu verkürzt wird Taggen meist für Wortartzuweisung (part-of-speech, pos) verwendet Wortarttaggen tokenbasiert (meist: Token = graphemisches Wort) als Eingabe für weitere computerlinguistische Anwendungen (Parser, sem. Verarbeitung, MT,...) man möchte ambige Wortformen einschränken können schreiben Sie meinen Namen in Bild es ist also, meinen wir, ein Erfolg für alle Berliner Wortarttaggen Ergebnis: jedes Token erhält ein pos-tag was/pws halten/vvfin Sie/PPER von/appr richtig/adjd schönen/adja deutschen/adja Universitätsstädten/NN?/$ Tagset: man muss sich eine Menge von pos- Tags definieren Wortarten Wortarten können schwer definiert werden Anzahl der Wortarten wurde schon in der klassischen griechischen Grammatik diskutiert. Dionysius Thrax (100 v. Chr.): Nomen, Verb, Pronomen, Präposition, Adverb, Konjunktion, Partizip, Artikel Wortarten positionsbasierte Definitionen (Position im Satz/ relativ zu anderen Wörtern), merkmalsbasierte Definitionen (bestimmte Flexionsmerkmale, semantische Merkmale etc.) syntaktische Funktion, morphologische Eigenschaften,... sprachübergreifende Definition?

8 Taggen: Tagset Tagset: Abwägen zwischen Genauigkeit (soll z.b. die grammatische Information kodiert werden?) und Handhabbarkeit Schlafmütze/NN Schlafmütze/NN NOM SG Schlafmütze/NN GEN SG Schlafmütze/NN DAT SG Schlafmütze/NN AKK SG Ambiguität strukturelle Ambiguität: einem Ausdruck können mehrere Strukturen zugewiesen werden Morphologie [klein [Kunst Werk]] ein kleines Kunstwerk, vgl. Kleinplastik, Kleinbetrieb, Kleinwagen [[klein Kunst] Werk] ein Werk der Kleinkunst, vgl. Kleinkunstbühne, Kleinkunstförderung Ambiguität Syntax [[alte Männer] und Frauen] [alte [Männer und Frauen]] ich sah den Mann mit dem Fernrohr ich sehe ihn laufend Ambiguität kategorielle und strukturelle Ambiguität bedingen einander John saw her duck [under the table] NE V Possessivpron. N PP NE V Personalpron. V PP Ambiguität Beispiele Staubecken Arbeitsamt Kläuschen Kaffee Unionsspitze Stiefelchen Ambiguität Auflösung Desambiguierungsstrategien regelbasiert heuristisch statistisch (HMM, Kontextvektoren) Desambiguierungsstrategien beziehen sich alle auf einen lokalen Kontext entweder über Anzahl der Token definiert oder über grammatische Relationen (Vorsicht bei statistischer Auswertung: Ereignisse sind nicht unabhängig)

9 Desambiguierung - Kontextabhängigkeit Problem: viele Ambiguitäten lassen sich lokal nicht auflösen man braucht mehr Wissen! Kontext 1 Satz nach 14 Jahren Kohl Straßenraub Kontext mehrere Sätze I saw her duck under the table manchmal reicht das nicht... Verstehen Sie Englisch? If the balloons popped, the sound wouldn't be able to carry since everything would be too far away from the correct floor. A closed window would also prevent the sound from carrying, since most buildings tend to be well insulated. Since the whole operation depends on a steady flow of electricity, a break in the middle of the wire would also cause problems. Of course, the fellow could shout, but the human voice is not loud enough to carry that far. An additional problem is that a string could break on the instrument. Then there could be no accompaniment to the message. It is clear that the best situation would involve less distance. Then there would be fewer potential problems. With face to face contact, the least number of things could go wrong. (Bransford and Johnson (1973)) If the balloons popped, the sound wouldn't be able to carry since everything would be too far away from the correct floor. A closed window would also prevent the sound from carrying, since most buildings tend to be well insulated. Since the whole operation depends on a steady flow of electricity, a break in the middle of the wire would also cause problems. Of course, the fellow could shout, but the human voice is not loud enough to carry that far. An additional problem is that a string could break on the instrument. Then there could be no accompaniment to the message. It is clear that the best situation would involve less distance. Then there would be fewer potential problems. With face to face contact, the least number of things could go wrong. Produktivität: ein bisschen Lexikostatistik Wie wahrscheinlich ist es, dass man ein neues (ungesehenes) Wort findet, nachdem man eine gegebene Menge Text verarbeitet hat? das lässt sich aus der Verteilung der Wörter in dem gegebenen Text errechnen (Baayen 1992, 2001) Wortverteilung grobe Vorstellung wenn man eine endliche Menge von Wörtern hat, erwartet man, dass jedes dieser Wörter in einem genügend großen Text mehrfach auftritt wenn man eine unendliche Menge von Wörtern hat, erwartet man, dass selbst in einem sehr großen Text viele nur einmal auftreten (und viele natürlich überhaupt nicht) d.h., dass die Zahl der seltenen Wörter Hinweise über die Anzahl der Wörter gibt N = Token, V = Typen:

10 Typ/Token Verteilung erstellen alle Typen im Text zählen (setzt Definition von Typ voraus) zählen, wie oft jeder Typ vorkommt im Stuttgarter-Zeitung Korpus (36 m Token) Lemmatypen im STZ-Korpus Typ Häufigkeit Typ Häufigkeit d 3,571, , 1,848,517 Zytomegalievirus 1. 1,605,763 Zytomir 1 ein 710,719 Zytos 1 und 'and' 708,531 zytotoxische 1 in 'in' 613,876 Zywietz 1 PPER 536,174 Zyzik 1 sein 'to be' 534,056 ZZ-Top-Hit 1 " 408,708 ZZ-Top-Käfer-Nachbau 1 ZZF-Information 1 Erstellen einer Frequenzverteilung zählen, wie häufig jede Häufigkeit vorkommt (Häufigkeit von Häufigkeiten) freq freq of freq freq freq of freq 1 404, , , , , ,159 1,605, ,559 1,848, ,571,573 1 LNRE Verteilung mehr als die Hälfte aller Typen kommen nur einmal vor (hapax legomena) Evidenz dafür, dass noch lange nicht alle möglichen Wörter vorgekommen sind ähnliche Ergebnisse auch für vie größere Texte (Zipf's law, LNRE Verteilung) d.h. man kann (jedenfalls für alle praktischen Zwecke) von einer unendlich großen Anzahl von Wörtern ausgehen LNRE-Verteilung (d.h. übrigens auch, dass statistische Verfahren, die auf Normalverteilung basieren, hier nicht angewendet werden können)

11 Zusammenfassung Linguistik Ziele Beschreibungsebenen Probleme für die maschinelle Sprachverarbeitung: Ambiguität, Kontextabhängigheit & Produktivität Literatur/Referenzen Carstensen, Kai-Uwe et al. (eds) (2001) Computerlinguistik und Sprachtechnologie. Eine Einführung. Spektrum Akademischer Verlag, Heidelberg Fromkin, Victoria & Rodman, Robert ( ) An Introduction to Language. Harcourt Brace College Publishers, Fort Worth etc. Mitkov, Ruslan (ed) (2003) The Oxford Handbook of Computational Linguistics. Oxford University Press, Oxford Radford, Andrew et al. (1999) Linguistics. An Introduction. Cambridge University Press, Cambridge Literatur/Referenzen Phonetik/Phonologie Internationales Phonetisches Alphabet SAMPA Wiese, Richard (2000) The Phonology of German. Oxford University Press, Oxford. Syntax TIGER-Korpus und TIGER-Search Produktivität, Lexikostatistik Baayen, R. Harald (2001) Word Frequency Distributions. Kluwer, Dordrecht