Automatisches Verstehen gesprochener Sprache

Transkript

1 Automatisches Verstehen gesprochener Sprache 5. Sprachverstehen und Morphologie Martin Hacker Bernd Ludwig Günther Görz Professur für Künstliche Intelligenz Department Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg

2 1 Sprachverstehen 2 Lexikalischer Zugriff und wortbezogene Analyse

3 1 Sprachverstehen 2 Lexikalischer Zugriff und wortbezogene Analyse

4 4 / 16 Automatisches Verstehen gesprochener Sprache (SoSe 2012) Sprachverstehen Sprachverstehen Wir kennen nun die vom Spracherkenner vorgeschlagene Transkription der Äußerung. Folgende Fragen bleiben ungeklärt: 1 Was bedeuten die einzelnen erkannten Wörter (lexikalische Semantik)? 2 In welchen Beziehungen stehen die Wörter zueinander (Syntax)? 3 Welche Bedeutung ergibt sich für den ganzen Satz abhängig von den Wortbedeutungen und der Satzstruktur (Semantik)? 4 Welche Konsequenzen hat die Äußerung für das System in der aktuellen Situation (Pragmatik)?

5 Sprachverstehen Einfacher Ansatz zum Sprachverstehen Einzelwort-Kommandos, die so gewählt werden, dass sie nicht mehrdeutig sein können. Jedem Kommando wird eine Systemfunktion zugeordnet. Die Ebenen der Syntax und Semantik werden einfach übersprungen. Es gibt eine direkte Abbildung zwischen Wörtern und Pragmatik. ZDF switch_channel(zdf) stumm mute() vor switch_to_next_channel()... 5 / 16

6 Sprachverstehen Einfacher Ansatz zum Sprachverstehen Reichen einzelne Wörter zur Übermittlung nicht aus, oder kommen Eigennamen oder Zahlenangaben vor, ist eine explizite Zuordnung von Wortketten zu parametrischen Systemfunktionen nicht mehr machbar: set_customer_id( ) Nimm morgen abend um halb acht die Tagesschau auf add_recording_task(... ) Lösung: Verwende reguläre Ausdrücke, um Schlüsselwörter oder Schlüsselphrasen zu identifizieren (keyword spotting/keyphrase spotting). Die Parameter jeder Systemfunktion werden mit Slots beschrieben, deren mögliche Belegungen mittels regulären Ausdrücken beschrieben sind (slot filling). 6 / 16

7 7 / 16 Automatisches Verstehen gesprochener Sprache (SoSe 2012) Sprachverstehen Beispiel Funktion Slots time_table [departure] [destination] ([stopover]) find_route [departure] [destination] [departure-time] ([stopover]) buy_ticket [departure] [destination] [departure-time] ([stopover] [class=2] [bahncard=no]) buy_ticket_to_ ([class=second] [bahncard=no]) suggested_route Definition der Slots: Symbol RegExp departure-time: (DATUM) um ab gegen UHRZEIT stopover: über Zwischenhalt (in) BAHNHOF DATUM: heute {vor}*gestern {über}*morgen am TAG (MONAT) TAG: ersten zweiten... einunddreißigsten MONAT: ersten zweiten... zwölften Januar... UHRZEIT: halb viertel dreiviertel STUNDE STUNDE (MINU- TE) nachmittags... STUNDE: ein zwei...

8 Sprachverstehen Vorgehensweise beim einfachen Sprachverstehen 1 Aktivierung möglicher Funktionen mittels keyword/keyphrase spotting. 2 Deaktivierung nicht anwendbarer Funktionen anhand des Situationskontextes. 3 Belegung der Slots mittels Slot Filling. 4 Nimm diejenige von allen aktiven Funktionen, die die wenigsten freien Slots hat. 5 Wenn Slots frei bleiben, frage nach. 8 / 16

9 Sprachverstehen Grenzen des erweiterten Ansatzes Die Formulierungen innerhalb der Slots können sehr variabel und komplex sein. Die Bedeutung der Wörter hängt auch von den anderen Wörtern ab (z. B. heute morgen vs. morgen abend). Es ist u.u. von Bedeutung, in welcher Reihenfolge die Slots angeordnet sind (z. B. fahr geradeaus und dann links vs. fahr links und dann geradeaus). Die Bedeutung komplexer Formulierungen zu erfassen, ist also schwierig. Wie kann man das notwendige sprachliche Wissen repräsentieren, um Sprachverstehen systematisch durchführen zu können? 9 / 16

10 1 Sprachverstehen 2 Lexikalischer Zugriff und wortbezogene Analyse

11 Lexikalischer Zugriff und wortbezogene Analyse Lexikalischer Zugriff Die Spracherkennung verwendet eine Liste von Wortformen als Lexikon (Vollformenlexikon). Welches Wort liegt der erkannten Wortform zugrunde? In welcher Bedeutung wird dieses Wort verwendet? 11 / 16

12 Lexikalischer Zugriff und wortbezogene Analyse Homographe und Homophone Homographe: unterschiedliche Aussprache, gleiche Schreibweise (z. B. Montage vs. Montage). Homographe bekommen unterschiedliche Akustikmodelle zugeordnet. Damit die Information, welches Wort vorliegt, für nachfolgende Ebenen erhalten bleibt, werden die Wörter üblicherweise mittels Tags unterschieden: Homophone: gleiche Aussprache, unterschiedliche Schreibweise (z. B. Wände vs. wende). Die Unterscheidung erfolgt hier durch das Sprachmodell. 12 / 16

13 Lexikalischer Zugriff und wortbezogene Analyse Homonyme Homonyme bzw. Polyseme: gleiche Aussprache, gleiche Schreibweise (z. B. Bank, weg, Essen). Falls unterschiedlichen Wortarten/Wortklassen zugehörig, findet eine Unterscheidung durch ein klassenbasiertes Sprachmodell statt, die sich auch im Dekodierungsoutput widerspiegeln sollte (z. B. Essen/EN). Aber auch sonst ist es sinnvoll, solche Wörter getrennt zu benennen, falls die sprachliche Verwendung sich unterscheidet (z. B. Für eine Disambiguierung mittels Sprachmodell müssten die Sprachdaten entsprechend annotiert werden. In der Praxis findet eine Disambiguierung daher erst beim Sprachverstehen statt. 13 / 16

14 14 / 16 Automatisches Verstehen gesprochener Sprache (SoSe 2012) Lexikalischer Zugriff und wortbezogene Analyse Morphologie Jedes Lexem kann verschiedene Wortformen bilden. Das Lexem wird mit seinem Lemma (Grundform wie im Lexikon) benannt. Lemma: Wortformen: fahren fahr, fahre, fährst, fahren, fährt, fuhr, gefahren Für die weitere Verarbeitung ist es sinnvoll, die Semantik des Wortes (lexembezogen) von seiner grammatikalischen Ausprägung zu trennen: fahr FAHREN (V) modus = IMPERATIVE person = 2 tense = PRESENT

15 Lexikalischer Zugriff und wortbezogene Analyse Lemmatisierung Man kann das Vollformen-Lexikon explizit durch diese Informationen erweitern. Die Wortformenbildung folgt in vielen Sprachen im wesentl. bestimmten Gesetzmäßigkeiten je nach Flexionsklasse. Es ist einfacher, die Wortformen zu analysieren und automatisch auf das Lemma zurückzuführen. Dafür gibt es Werkzeuge (morphologische Analysetools). Diese benötigen neben Regeln ihrerseits wieder große Lexika zur Zuordnung von Lemmata zu Flexionsklassen und für Ausnahmefälle. Vorteil: Die Werkzeuge sind allgemeinsprachlich und können für viele Anwendungen (ggf. mit geringen Anpassungen für Spezialbegriffe) verwendet werden. Da in der spontanen Sprache Wortformen mitunter falsch gebildet werden (z. B. Kaktusse), ist es sogar besser, wenn die Rückführung weniger restriktiv arbeitet. 15 / 16

16 Lexikalischer Zugriff und wortbezogene Analyse Ambiguität bei der Wortanalyse Sowohl die grammatikalischen Merkmale als auch das (ggf. durch Tags erweiterte) Lemma sind häufig nicht eindeutig bestimmbar. Die Tags des Spracherkenners können bei der Disambiguierung helfen. Sich auf sie zu verlassen führt jedoch zu Nichtverstehen, wenn der Spracherkenner zwar die richtige Wortform, aber die falsche Klasse ausgewählt hat. Daher ist es üblich, alle denkbaren Wortanalysen in den Worthypothesengraphen einzubauen. 16 / 16