Basismethoden Sprachverarbeitung: Part-of-Speech Tagging

Transkript

1 Basismethoden der Sprachver- und -bearbeitung Vorverarbeitung PoS Tagging, Namenserkennung, Shallow Parsing Informationsgewinnung Kategorisierung, Informationsextraktion Analyse gesprochener Sprache Spracherkennung, Sprechererkennung Synthese gesprochener Sprache Vorlesesysteme Sprachgenerierung Multilinguale Aspekte Dialogsysteme Basismethoden Sprachverarbeitung: Part-of-Speech Tagging Die Wörter einer Sprache werden nach ihrer Verwendung in Part-of-Speech (PoS) Kategorien eingeteilt. Hauptkategorien z.b. Nomen, Verb, Adjektiv, Adverb, Präposition Hauptkategorien werden oft weiter unterteilt z.b. Verb als finites Verb, Imperativ, Infinitiv, Partizip es gibt häufig verwendete Tagsets (meist tags) für das Deutsche das Stuttgart-Tübingen-Tag-Set (STTS), für das Englische das Penn Treebank Tag Set Wortformen können in mehrere Kategorien fallen z.b. sieben, achten, meinen, ihr, der, Gründen im Deutschen sind fast 30% der Wörter im Text ambig 1

2 ADJA ADJD ADV APP R APP O PoS Tagging: Stuttgart-Tübingen Tag Set (STTS) ADJA attr. Adj. ADJD präd. A ADV Adverb APPR Präposition. APPRART Präp. + Art. APPO Postpos. APZR Zirkumpos.re. ART Artikel CARD Zahl FM Fremdspr. ITJ Interjektion KOUI Konj. uo. KOUS Konj. uo. KON Konj. no. KOKOM Konj. vergl. NN Nomen NE Name PDS Dem.pron. PDAT Dem.pron. PIS Indef.pron PIAT Indef.pron PIDAT Indef.pron PPER Pers.pron PPOSS Poss.pron PPOSAT Poss.pron. PRELS Rel.pron. PRELAT Rel.pron. PRF Pers.pron. PWS Fragepron. PWAT Fragepron. PWAV Fragepron. PAV Pron.adv. PTKZU zu PTKNEG Negation PTKVZ Verbzusatz PTKANTAntwortpart. PTKA Part. bei Adj. TRUNC Komp. VVFIN Verb finit VVIMP Verb Imp. VVINF Verb Infin. VVIZU Verb Infin. VVPP Part. Perf. VAFIN Aux. finit VAIMP Aux. Imp. VAINF Aux Infin. VAPP Aux. Part. VMFIN Mod. finit VMINF Mod. Imp. VMPP Mod. Part. XY Nichtwort WS2013/14 PoS Tagging: Beispiel: Ambiguität des Tags Ich muss meinen Freunden helfen. PPER VMFIN PPOSS NN VVINF Die sieben Personen meinen ihr zu helfen. ART CARD NN VVFIN PPER PTKZU VVINF Das will ich meinen. PDS VMFIN PPER VVINF 2

3 PoS Tagging: Part-of-Speech Tagging Die Zuordnung der korrekten Kategorie zu jedem Wort einer Äußerung ist oft ein wichtiger Vorverarbeitungsschritt. Unterschiedliche Technologien n-gramme und Hidden Markov Modelle (HMM) gelernte Regeln (z.b. Brill-Tagger) Ergebnis: Personen machen beim Annotieren etwa 1-2% Fehler Baseline (nimm für jede Wortform die häufigste Lesart) ergibt im Deutschen eine Fehlerrate von etwa 20% gute Tagger erzielen eine Fehlerrate von ca. 2-4% PoS Tagging: Statistisches Tagging Die Basis bildet ein (großer) Korpus, der mit korrekten PoS-Tags versehen ist. Es wird die Auftrittswahrscheinlichkeit jeder Kombination Wort - PoS-Tag berechnet. Z.B. sieben als CARD vs. VVFIN vs. VVINF Es wird die Auftrittswahrscheinlichkeit aller möglichen n- gramme (meist Bigramme oder Trigramme) von PoS-Tags berechnet. Mithilfe eines Hidden Markov Models (HMM) kann dann für jeden Satz die wahrscheinlichste Zuordnung von PoS- Tags gefunden werden. 3

4 PoS Tagging: Statistisches Tagging - Beispiel Die sieben Personen meinen ihr zu helfen. ART CARD NN PPOSS PPOSS PTKZU VVFIN PDAT VVFIN VVFIN PPER APPR VVINF VVINF VVINF Aanzahl der theoretisch möglichen Lesarten: 2 * 3 * 1 * 3 * 2 * 2 * 2 = 144 PoS Tagging: Statistisches Tagging - Wahrscheinlichkeiten Wortwahrscheinlichkeiten: Unigramme geben die Wahrscheinlichkeit wieder, dass ein Wort eine bestimmte Kategorie realisiert. P die/art, P die/pdat, P sieben/card, Wahrscheinlichkeiten für Folgen von PoS-Tags Bigramme (manchmal auch Trigramme) P 0,ART, P ART,CARD, P CARD,NN, P NN,PPOS, P PPOS,PPOS,... Berechnung der Wahrscheinlichkeit einer bestimmten Folge von PoS Tags für den Satz: P 0,ART * P die/art *P ART,CARD * P sieben/card *P CARD,NN * Die Folge mit der höchsten Wahrscheinlichkeit wird ausgewählt. 4

5 Basismethoden Sprachverarbeitung: Parsing Parsing nennt man die strukturelle (syntaktische) Analyse von Sätzen. Ergebnis meist als Phrasenstruktur bzw. Dependenzstruktur in Form eines Satzbaums dargestellt: Auf der strukturellen Ebene sind Sätze fast immer mehrdeutig. WS2013/14 Flaches und partielles Parsen: Syntaxstruktur und Ambiguität S VP PP PP NP NP NP NP Pron Verb Art Noun Prep Art Noun Prep Noun I Ich sehe den Mann mit dem Fernrohr im Park 5

6 Flaches und partielles Parsen: Syntaxstruktur und Ambiguität S VP NP PP NP PP NP NP NP NP Pron Verb Art Noun Prep Art Noun Prep Noun I Ich sehe den Mann mit dem Fernrohr im Park Flaches und partielles Parsen: Syntaxstruktur und Ambiguität S VP NP PP PP NP NP NP NP Pron Verb Art Noun Prep Art Noun Prep Noun I Ich sehe den Mann mit dem Fernrohr im Park 6

7 Flaches und partielles Parsen: Syntaxstruktur und Ambiguität S VP PP NP PP NP NP NP NP Pron Verb Art Noun Prep Art Noun Prep Noun I Ich sehe den Mann mit dem Fernrohr im Park Flaches und partielles Parsen: Syntaxstruktur und Ambiguität (2) Beispielsatz: Ich sehe den Mann mit dem Fernrohr im Park. Analysen: [ VP [ V sehe] [ NP den Mann] [ PP mit [ NP dem Fernrohr]] [ PP im [ NP Park]] [ VP [ V sehe] [ NP den Mann] [ PP mit [ NP [ NP dem Fernrohr] [ PP im [ NP Park]]]] [ VP [ V sehe] [ NP [ NP den Mann] [ PP mit [ NP dem Fernrohr]] [ PP im [ NP Park]]] [ VP [ V sehe] [ NP [ NP den Mann] [ PP mit [ NP [ NP dem Fernrohr] [ PP im [ NP Park]]]]]] [ VP [ V sehe] [ NP [ NP [ NP den Mann] [ PP mit [ NP dem Fernrohr]] [ PP im [ NP Park]]] 7

8 Basismethoden Sprachverarbeitung: Flaches und Partielles Parsing Parsing ist die strukturelle (syntaktische) Analyse. Eine vollständige, korrekte Analyse ist oft nicht machbar: keine vollständige Grammatik natürlicher Sprache fehlerhafte Daten Effizienzprobleme Ambiguität! Aus diesen Gründen beschränkt man sich oft auf eine flache und/oder partielle Analyse Dabei werden nur eindeutig interpretierbare Konstituenten analysiert. flache Struktur (keine tiefen Anbindungen) die Analyse kann lückenhaft bleiben Flaches und partielles Parsen: Identifizierte Konstituenten Es werden Konstituenten identifiziert, die eindeutig erkennbar sind. Kernnominalphrasen - Determiner bis Hauptnomen z.b. dieses sehr teure Auto Präpositionalphrasen z.b. mit 3 Sitzbänken, um teures Geld Verbkomplex z.b. kaufen hat müssen Grenzen eindeutig erkennbar Struktur nicht unbedingt korrekt - Anbindung! Restliche Wörter im Satz werden ignoriert! 8

9 Flaches und partielles Parsen: Flache Analyse: Beispielsatz [ NP Ich] Nominalphrase [ V sehe] Verbkomplex [ NP den Mann] Nominalphrase [ PP mit [ NP dem Fernrohr]] Präpositionalphrase [ PP im [ NP Park]] Präpositionalphrase Rest:Rest Prep+Art:[PPPrep Art PP Prep:[ Prep Q0 Art: [NPArt Flaches und partielles Parsen: Verarbeitung: Endliche Automaten Q3 Noun:[ NPNoun] Pron:Pron] Prep:[ Prep PP Q1 Art: Pron:[ NPPron] Rest:Rest Art:Art [NPArt Noun:Noun] Noun:Noun] Q2 Q4 Noun:Noun] Prep+Art:[PPPrep Art Zum flachen Parsen werden oft endliche Automaten (Transducer) eingesetzt: effizient und schnell für das Ableiten nicht ambiger Strukturen ausreichend Noun:[ NPNoun] PP PP Pron:[ NPPron] NP NP NP NP Pron Verb Art Noun Prep Art Noun Prep Noun Ich sehe den Mann mit dem Fernrohr im Park 9

10 Flaches und partielles Parsen: Verarbeitung: Endliche Automaten Ich Pron Q 0 sehe Verb Q 2 [ NP Ich] den Art Q 0 [ NP Ich] sehe Mann Noun Q 1 [ NP Ich] sehe [ NP den mit Prep Q 2 [ NP Ich] sehe [ NP den Mann] dem Art Q 3 [ NP Ich] sehe [ NP den Mann] [ PP mit Fernrohr Noun Q 4 [ PP mit dem im Prep Q 2 [ PP mit dem Fernrohr] Park Noun Q 3 [ PP mit dem Fernrohr] [ PP im. Q 2 dem Fernrohr] [ PP im Park] [ NP Ich] sehe [ NP den Mann] [ PP mit dem Fernrohr] [ PP im Park] Basismethoden Sprachverarbeitung: Namenserkennung Ziel ist die Erkennung von Personennamen Firmennamen/Organisationen Geographischen Namen Datumsangaben Prozentangaben Beträgen Die Erkennung solcher Bezeichnungen ist ein wesentlicher Vorverarbeitungsschritt. Methoden basieren auf: manuell erstellten Regeln automatischen Lernverfahren 10

11 Named Entity Recognition: Definition in MUC-6 Arten von Named Entities (NE): ENAMEX (type= person, organisation, location) TIMEX (type= time, date) NUMEX (type= money, percent) Die Verwendung von Gazetteers ist erlaubt. ENAMEX ist schwieriger, weil mehr vom Kontext abhängig als TIMEX und NUMEX: Ist Granada eine COMPANY oder eine LOCATION? Ist Washington eine PERSON oder eine LOCATION? Ist Arthur Anderson eine PERSON oder eine ORGANISATION? Namenserkennung: Beispiel von MUC-7 <ENAMEX TYPE= LOCATION >Italy</ENAMEX> s business world was rocked by the announcement <TIMEX TYPE= DATE >last Thursday </TIMEX> that Mr. <ENAMEX TYPE= PERSON >Verdi </ENAMEX> would leave his job as vice-president of <ENAMEX TYPE= ORGANISATION >Music Masters of Milan, Inc</ENAMEX> to become operations director of <ENAMEX TYPE= ORGANISATION > Arthur Anderson</ENAMEX>. Beachte: Milan ist Teil des Namens einer Organisation Arthur Anderson ist eine Organisation 11

12 Namenserkennung: Namenslexikon (Gazetteer) Namen werden in Lexikon eingetragen: Georg, Wien, San Salvador, Donau, IBM, Goethe, etc. Probleme: es gibt zu viele Namen ständiger Wechsel erscheinen in unterschiedlichen Formen USA, U.S.A., US bei Mehrfachauftreten Verkürzungen: Die Erste Bank AG, Die Erste Identifizierung ist kontextabhängig: Herr Schüssel; Lebenshilfe, ein Verein für Daher: zusätzliche Methoden nötig. Namenserkennung: Verfügbare Information History (ableitbar aus Korpus) Textfenster um Wort w i, z.b. w i-3, w i+3 Merkmale des Wortes w i vierstelligezahl = Jahreszahl (z.b. 2003) anderezahl = Zahl (z.b ) enthältkomma = Betrag (z.b. 3,14) nurgrossbuchstaben = Organisation (z.b. UNO) GrossbuchstabePunkt = Vorname (z.b. H.) PoS-Tag, komplexe Merkmale Binäre Merkmale, die aus Korpus ableitbar sind Spezielle Namensklassen z.b. Titel, Vorname, Organisationstyp 12

13 Namenserkennung: Regelbasierte Methode Namenslexikon als Basis Verwendung kontextsensitiver Regeln meist reguläre Ausdrücke verwenden spezifische Wortklassen verwenden spezielle Stringeigenschaften der Wörter Beispiele <Titel> <NE> <NN> <Titel> <Vorname> <Person> z.b. Herr Alfons Berg <NN>, <Art> <Organisationstyp> für z.b. Lebenshilfe, ein Verein für Namenserkennung: Statistische Methoden Typische Methode beruht auf Sequence Labeling 3 Labels: B(egin), I(nside), O(utside) Indiziert für die gesuchten Namensklassen. Bei Supervised Learning wird ein Korpus entsprechend annotiert. Gleichzeitig werden die beim regelbasierten Ansatz besprochenen Merkmale extrahiert. Spezielle Wortklassen und Gazetteers können ebenfalls zur Annotation verwendet werden. Auf der Grundlage dieses annotierten Korpus kann dann z.b. ein HMM trainiert werden. 13

14 Namenserkennung: Hybride Ansätze Kombinieren regelbasierte und statistische Methoden; z.b. Kaskadierte Namenserkennung (Mikheev et al. 1998) Kaskadiertes Sytem, das regelbasierte Schritte mit probabilistic partial matching kombiniert Verwende maschinell gelernte Information um den Typ eines Namens festzulegen Verwende die interne Struktur von Namen zur Entscheidungsfindung Triff zuerst Entscheidungen hoher Präzision (sure fire rules) Triff Entscheidungen, die unsicher sind erst nachdem die gesamte Evidenz vorliegt. Annahme: Jeder Name kann pro Diskurs (Artikel) genau einem Typ zugeordnet werden. Basismethoden Sprachverarbeitung: Informationsextraktion (IE) Das gezielte Suchen nach spezifischer Information aus großen Mengen von frei formulierten Texten Eingabe: Die gesuchte Information wird in Form einer Schablone (template) dargestellt. Ausgabe: Zu jedem gefundenen relevanten Text wird eine instantiierte Schablone geliefert. Anwendungsbereich: Texte mit faktischer Information Keine Spezialkenntnisse für Verstehen nötig 14

15 Basismethoden Sprachverarbeitung: Beispiel für Schablone Dr. Herrmann Wirth, bisheriger Leiter der Musikhochschule München, verabschiedete sich heute aus dem Amt. Der 65jährige tritt seinen wohlverdienten Ruhestand an. Als seine Nachfolgerin wurde Sabine Klinger benannt. Ebenfalls neu besetzt wurde die Stelle des Musikdirektors. Anneliese Häfner folgt Christian Meindl nach. Schablone: [PersonOut PersonIn Position Organisation Time] Ergebnis1: [PersonOut Dr.Hermann Wirth PersonIn Sabine Klinger Position Leiter Organisation MHS München Time heute ] Ergebnis2: [PersonOut Christian Meindl PersonIn Anneliese Häfner Position Musikdirektor Organisation MHS München Time ] WS2013/14 Informationsextraktion: Komponenten Tokenizer Normalisiert Text durch Entfernen von überflüssigen Sonderzeichen und Leerzeichen, Expansion von Abkürzungen, Interpretation fixer Formate, etc. Lexikalische Analyse PoS, Flexionsform, Komposita, Hyphenkoordination Namenserkennung Parsing Koreferenzauflösung Extraktion domänenspezifischer Information Unifikation von Schablonen 15

16 Informationsextraktion: Parsing Chunk parsing = kaskadierter Ansatz iterative Anwendung eines flachen und partiellen Parsers im ersten Durchlauf werden einfache, nichtrekursive Phrasen identifiziert (NP, PP, VC). In weiteren Durchgängen werden diese zu komplexeren Einheiten kombiniert z.b. Koordination (und, oder), Anbindung Verwendung domänenspezifischen Wissens unter Umständen auch Identifikation funktionaler Einheiten Subjekt, Objekt, etc. Informationsextraktion: Koreferenzauflösung - Problem Entitäten können im Text in unterschiedlicher Form referenziert werden. Eigennamen Bill Gates, William Gates, Herr Gates, etc. Definite Nominalphrasen der Präsident von Microsoft, der Erfinder von Windows, der reichste Mann der Welt, etc. Pronomina er, sie, es, etc. Zeitliche Referenzen heute, letzte Woche, vor 3 Jahren, etc. 16

17 Informationsextraktion: Koreferenzauflösung - Methode Markiere jeden Referenzausdruck (meist Nominalphrase) mit Typinformation belebt/unbelebt, Organisation, Ort, etc. Syntaktischer Information Numerus (Singular, Plural) Genus (feminin, maskulin, neutrum) Weitere Merkmale Name, Pronomen, definit/indefinit, etc. Weiterer domänspezifische Information Informationsextraktion: Koreferenzauflösung - Methode (2) Bestimme mögliche Antezedenten im Text Der Bereich ergibt sich aus der Art des Ausdrucks Eigennamen: der ganze vorhergehende Text Nominalphrasen: Teil des vorhergehenden Texts (experimentell zu bestimmen) Pronomina: einige vorhergehende Sätze (Paragraph) Überprüfe Konsistenz syntaktische Konsistenz (Numerus, Genus) semantische Konsistenz (Typinformation) aus manuell erstellter Typhierarchie aus vorhandener Ontologie Wähle aus Kandidaten heuristisch aus Nähe, links-rechts, Subjekt-Objekt, etc. 17

18 Informationsextraktion: Extraktion domänenspezifischer Information Molekularer Ansatz basiert auf Regeln (Mustern), die den (syntaktischen und semantischen) Kontext berücksichtigen; beginne mit sehr verlässlichen Mustern, erweitere nach Bedarf; Muster können hierarchisch definiert werden. Atomarer Ansatz basiert auf Interpretation der Typinformation von Nominal- und Verbphrasen ohne Berücksichtigung des Kontexts; jedes Auftreten einer Nomen/Verb-Kombination mit den entsprechenden Eigenschaften bewirkt die Merkmalsinstantiierung in der Schablone. Informationsextraktion: Unifikation von Schablonen Schablonen werden satzweise mit Information gefüllt. Dadurch kann wesentliche Information auf mehrere Schablonen verteilt sein. Um möglichst vollständige Information zu erhalten, müssen Schablonen unifiziert werden. Sorteninformation untersuchen auf Inkonsistenz, Koreferenz, Subsumption Anwenden weiterer Heuristiken implizite Beziehungen Externe Wissensbasen (z.b. WordNet) 18

19 Informationsextraktion: Unifikation von Schablonen (2) Dr. Herrmann Wirth, bisheriger Leiter der Musikhochschule München, verabschiedete sich heute aus dem Amt. Als seine Nachfolgerin wurde Sabine Klinger benannt. Ergebnis: [PersonOut Dr.Hermann Wirth PersonIn Position Leiter Organisation MHS München Time heute ] [PersonOut Dr.Hermann Wirth PersonIn Sabine Klinger Position Organisation Time ] [PersonOut Dr.Hermann Wirth PersonIn Sabine Klinger Position Leiter Organisation MHS München Time heute ] Informationsextraktion: Evaluation Präzision (precision) der Anteil der richtigen an den insgesamt gefundenen Texten Vollständigkeit (recall) der Anteil der gefundenen von den insgesamt vorhandenen Texten F-Maß ( β 1)* P* V F üblicherweise =1 * P V Diese Maße stammen aus dem Information Retrieval. Die Güte der Antwort wird nicht berücksichtigt. 19

20 Basismethoden Sprachverarbeitung: Analyse gesprochener Sprache Spracherkennung das automatische Übertragen gesprochener Sprache in Text. Sprechererkennung Sprecheridentifikation: identifiziert den jeweiligen Sprecher Sprecherverifikation: überprüft, ob die Stimme einem vorgegebenen Sprecher entspricht. Sprachenerkennung (Sprachenidentifikation) die Identifikation der Sprache, in der gesprochen wird. auch für geschriebene Sprache (Texte) relevant! Analyse gesprochener Sprache: Spracherkennung Parameter, die die Komplexität der Aufgabe und die Qualität der Erkennungsleistung beeinflussen kontinuierlich vs. diskontinuierlich bei einfachen Systemen müssen zwischen den Wörtern deutliche Pausen gemacht werden. Einzelsprecher vs. sprecherunabhängig Systeme können an einen Sprecher trainiert werden, um die Qualität zu erhöhen beliebiges (großes) vs. spezielles (kleines) Vokabular ein begrenztes Vokabular erhöht die Qualität der Erkennung Aufnahmequalität limitierte Bandbreite (Telefon), Nebengeräusche 20

21 Spracherkennung: Problematik Phonetische Variabilität Koartikulation, Assimilation, etc. akustische Variabilität Kanal, Nebengeräusche, Entfernung, Position, etc. Sprechervariabilität intern Stimmqualität, Sprechrate, Emotion, etc. Sprechervariabilität extern Geschlecht, Alter, Dialekt, etc. Menschen verarbeiten Sprache kontextabhängig [ɑɪskrˈɪːm] I scream vs. Ice cream Spracherkennung: Problematik (2) [ˈhast] [ˈdu:] [ˈ?aɪnɘn] [moˈmɛnt] [ˈtsaɪt] [ˈhas d ʊ aɪnɘn moˈmɛn ˈtsaɪt] [ˈhas d ʊ aɪn moˈmɛn ˈtsaɪt] [ˈhɔs d ʊ n moˈmɛn ˈtsaɪt] [ˈhɔs d ʊ n moˈmɛn ˈtsaɪt] [ˈhɔs d ʊ m moˈmɛn ˈtsaɪt] Standard spontan 21

22 Spracherkennung: Architektur Die Vorverarbeitung konvertiert das Sprachsignal in eine Folge von Merkmalsvektoren in Intervallen von eta 10ms. Das akustische Modell berechnet die Wahrscheinlichkeit, dass eine Folge von Vektoren einem Wort entspricht. Das Language Model berechnet die Wahrscheinlichkeit einer Folge von Wörtern Der Hypothesengenerator testet alle Möglichkeiten und wählt die mit dem höchsten Score aus WS2013/14 Spracherkennung: Komponenten Diskretisierung Abtastung, Quantisierung Sprachsignalkurzzeitanalyse Fensterfunktion, Merkmalsextraktion Vektorquantisierung Abbildung auf digitale Merkmale (lautliches) Wortmodell (grammatisches) Sprachmodell 22

23 Spracherkennung: Sprachsignalkurzzeitanalyse Signal ist nur über kurze Intervalle (quasi-)stationär (5-30 ms) Fensterfunktion Rechteckfenster, Hammingfenster, etc. Extrahierte Merkmale: Kurzzeitenergie, Spektrum, Cepstrum, Lineare Vorhersage Die Abbildung des kontinuierlichen Signals auf digitale Merkmale Datenreduktion Klassifizierung Abstandsbestimmung Spracherkennung: Vektorquantisierung 23

24 Spracherkennung: Wortmodell Jedes Phonem in einem Wort entspricht einer Menge von Modellzuständen (typischerweise 3 initial, mittig und final). Wenn ein Sprecher ein Wort spricht, bleibt er mit einem oder mehreren Frames in einem Modellzustand und wechselt dann in den nächsten. abhängig von Sprechgeschwindigkeit unterschiedliche Laute haben unterschiedliche Dauer WS2013/14 Spracherkennung: Wortmodell (2) Analyse mithilfe von HMMs in zwei Ebenen: Phonemanalyse: Phoneme werden als Menge von Allophonen aufgefaßt. Für jedes Allophon wird ein eigenes HMM trainiert. Wortanalyse: Einzelne Wörter werden als Netzwerke von Phonemen dargestellt. Jeder gültige Pfad durch das Netzwerk entspricht einer Aussprachevariante. 24

25 Spracherkennung: Wortmodell (3) Auf diese Weise wird die gesamte Äußerung analysiert. Problem: Wortgrenzen nicht markiert Als Ergebnis entstehen verschiedene Interpretationen unterschiedlicher Plausibilität. Sie werden dargestellt als n-best Wortsequenzen Netzwerk mit Übergangswahrscheinlichkeiten Spracherkennung: Sprachmodell Korrekte Worterkennung basiert nicht alleine auf akustisch/phonetischer Analyse, sondern auch auf dem Kontext. Das Wortmodell liefert unterschiedliche Varianten von Wortfolgen. Spracherkenner verwenden ein (statistisches) Sprachmodell, das aus einem großen (hunderte Millionen Wörter) Korpus abgeleitet wird. Die Vorgangsweise basiert (ähnlich dem statistischen PoS- Tagging) auf der Identifikation der plausibelsten Wortfolge durch ein HMM. 25

26 Spracherkennung: Multilinguale Spracherkennung Verwende internationalen Phonemvorrat bilde sprachspezifische Wortmodelle darauf ab. Problem: Phoneme unterschiedlich realisiert! Lösung: Beginne mit sprachspezifischen Realisierungen, z.b. /a japan /, /a korean /, /a span /, etc. Von links nach rechts: einsprachig, tagged (7500 models) tagged (3000 models) ohne Tags Basismethoden Sprachverarbeitung: Sprechererkennung Das System vergleicht den Sprecher mit vorhandenen Sprechproben. Methode: Merkmalsvektoren der Beispiele werden mit aktueller Probe verglichen. Zwei Ansätze: textabhängig: der Sprecher muß eine bestimmte Wortfolge (wie beim Training) äußern. Textunabhängig: der Sprecher kann beliebige Äußerungen machen Zwei Applikationen: Sprecheridentifikation Sprecherverifikation 26

27 Sprechererkennung: Sprecheridentifikation Sprecheridentifikation identifiziert den Sprecher als bestimmtes Mitglied einer vorgegebenen Gruppe: Sprechererkennung: Sprecherverifikation Sprecherverifikation überprüft, ob die angegebene Identifikation des Sprechers korrekt ist. 27

28 Basismethoden Sprachverarbeitung: Sprachenidentifikation Phonembasiert Phonemerkenner erzeugt Folge von Phonemen Berechne Verteilung der Phoneme Vergleiche mit für einzelne Sprachen typischen Verteileilungen Verwendung phonotaktischen Wissens Silbenerkenner erzeugt Folge von Silben Kombiniere HMMs, die phonotaktische Eigenschaften der einzelnen Sprachen codieren zu einem Einzelworterkenner Spracherkenner mit großem Vokabular Analysiere mit Spracherkennern für die verschiedenen Sprachen und vergleiche Ergebniswahrscheinlichkeiten. Basismethoden Sprachverarbeitung: Synthese gesprochener Sprache Reproduktive Systeme zusammenhängende Äußerungen bzw. Teile von Äußerungen werden aufgenommen ursprüngliche Stimme erkennbar Vorteil: hohe Sprachqualität Nachteil: wenig flexibel, hoher Aufwand Vollsynthese Äußerungen werden ohne direkt auf Aufnahmen zurückzugreifen synthetisiert keine spezielle Stimme erkennbar Vorteil: flexibel, geringer Aufwand Nachteil: schlechtere Sprachqualität 28

29 Synthese gesprochener Sprache: Historische Beispiele VODER (Homer Dudley, 1939) OVE (Gunnar Fant, 1953) DECtalk (1973) Artikulatorisches System (Bernd Kröger) Bonus track Synthese gesprochener Sprache: Vollsynthese: Methoden Konkatenative Synthese aufgenommenes Sprachmaterial wird in kleinsten Einheiten abgespeichert die Einheiten werden nach Bedarf rekomponiert Unit Selection Formantsynthese verwendet ein akustisches Modell (Quelle-Filter-Modell) artikulatorische Synthese verwendet ein (mathematisches) Modell des menschlichen Sprechapparats Äußerungen entstehen durch Imitation des Sprechvorgangs 29

30 Synthese gesprochener Sprache: Artikulatorische Synthese Simuliert die (physiologischen Parameter der) Sprachproduktion Komponenten Glottismodell generiert Anregungssignal dynamisches Vokaltraktmodell simulierte Artikulatorbewegungen akustisches Modell der Resonanzen und Bandbreiten Problem: existierende Daten über reale Artikulationsabläufe sind unzureichend Attraktiv für Grundlagenforschung, derzeit ist die für Anwendungen erzielbare Qualität zu schlecht. Artikulatorische Synthese: Vokaltraktmodell WS2013/14 30

31 Artikulatorische Synthese: Parameter Symbol Name Wertebereich VA Velumsöffnung [-100, 100] LP Lippenstülpung [0, 100] LA Lippenöffnung [0, 100] TH Zungenhöhe [-100, 100] TP Zungenposititon [-100, 100] TTH Zungenspitzenhöhe [0, 100] TTP Zungenspitzenposition [-200, 100] GA Glottisöffnung [-400, 600] CT Stimmlippenspannung [0, 200] PR Lungendruck [0, 200] WS2013/14 Artikulatorische Synthese: Gestische Partitur 31

32 Artikulatorische Synthese: Beispiel Beispielsatz: Das ist mein Haus. Synthese gesprochener Sprache: Formantsynthese Akustisches Sprachmodell Basiert auf dem Quelle-Filter-Modell Vorteile: einfache Beeinflussung aller prosodischen Parameter beliebige Stimmen erzeugbar Nachteile: gute Qualität kann nur durch optimale Setzung der Parameter erreicht werden, was extrem aufwändig ist. Beispiel: das von Klatt entwickelte MITtalk 32

33 Synthese gesprochener Sprache: Formantsynthese (2) Synthese gesprochener Sprache: Formantsynthese (3) 33

34 Synthese gesprochener Sprache: Konkatenative Synthese Die Synthese greift auf ein Inventar aufgenommener Sprache eines realen Sprechers zurück. Die Länge der aufgenommenen Einheiten ist je nach Methode unterschiedlich. Die aufgenommenen Stücke werden bei der Synthese rekombiniert. Probleme: Die Stücke müssen zusammenpassen (Energie, f0) Die Stücke müssen an gewünschte Prosodie angepasst werden (f0, Dauer) Die Stimmqualität ist durch den Sprecher festgelegt. Konkatenative Synthese: Einheiten für Inventare Allophone (ca. 50) - ungebräuchlich Diphone (einige hundert) von der Mitte eines Phons bis zur Mitte des nächsten Triphone Halbsilben ( ) Gemischte Inventare z.b. Halbsilben, Diphone und Suffixe Unit Selection dynamische Auswahl zur Laufzeit aus einem großen, entsprechend annotierten Korpus 34

35 Konkatenative Synthese: Unit Selection großer Corpus (mehrere Stunden) von einem Sprecher Annotation: nach Phonen, Silben, Morphemen, Wörtern meist durch forced alignment eines Spracherkenners f0, Dauer und weitere akustische Parameter Synthese: für die benötigte Äußerung wird dynamisch die beste Kette verfügbarer Units generiert. meist mit Hilfe eines Entscheidungsbaums keine Anpassung der Units erforderlich, dadurch relativ natürliche Stimme Synthese gesprochener Sprache: HMM-basierte Synthese Variante der Formantsynthese Parameter werden statistisch durch Hidden Marcov Model berechnet Dadurch wird das extrem aufwändige manuelle Tuning der Parameter automatisiert. Die Parameter werden aus einem Sprachkorpus gelernt. Die grundsätzlichen Vorteile der Formant-Synthese gegenüber konkatenativen Verfahren kommen bei vergleichbarer Sprachqualität zum Tragen: Vollsynthese keine Sprecher nötig Beliebig viele Stimmen Beliebige Varianten einer Stimme (Sprechstile, Emotion, etc.) 35

36 Synthese gesprochener Sprache: Vorlesesysteme (Text-to-speech) Dienen dem Vorlesen elektronisch gespeicherter Texte Komponenten: Vorverarbeitung Tokenization Analyse zur Bestimmung phonologischer Phrasen Abbildung von Schrift auf Lautdarstellung Bestimmung der prosodischen Parameter (f0, Dauer) Sprachsynthese Vorlesesysteme: Abbildung Schrift - Laute Lexikonbasiert für nicht im Lexikon enthaltene Ausdrücke (z.b. Namen) muss es ein automatisches Abbildungsverfahren geben (letter-to-sound-rules). Probleme: fremdsprachige Ausdrücke Akronyme (NATO vs. SPÖ) Segmentierung (Häschen) Akzent ( durchschauen vs. durch schauen) 36

37 Vorlesesysteme: Bestimmung prosodischer Parameter Festlegung von Sprachgrundfrequenz Dauer einzelner Laute oder Silben Intensität Zwei Methoden: Lernen aus Korpus Neuronale Netze Maschinlernverfahren regelbasiert auf der Basis von Beschreibungsmodellen Basismethoden Sprachverarbeitung: Sprachgenerierung Der Prozess der Generierung von Text (oder gesprochenen Äußerungen), um bestimmte Sachverhalte, Informationen, etc. auszudrücken Methoden Canned Text Schablonen volle Generierung 37

38 Sprachgenerierung: Methoden Canned Text verwendet vorgefertigte Phrasen und Texte. Pro: einfach und robust, jeder Stil möglich Con: unflexibel, nur für einfache Anwendungen Generierung mit Schablonen verwendet vorgefertigte Bausteine, die aber Stellen beinhalten, an denen spezifisches Material eingefügt werden kann. Pro: ebenfalls einfach und robust, dabei flexibler Con: ebenfalls nur für restringierte Anwendungen Volle Generierung produzierte weitgehend beliebigen Text, der durch eine entsprechende Eingabestruktur spezifiziert wird. Pro: flexibel, auch für komplexe Anwendungen Con: aufwändig Volle Generierung: Komponenten Textplanung Festlegen der Inhalte, der zu beschreibenden Objekte, Ereignisse, etc. Sequentialisierung der Beschreibung Satzgenerierung Gliederung der Gesamtinformation in Teile, die jeweils als ein Satz realisiert werden sollen. Wortwahl,Pronominalisierung Festlegung stilistischer Parameter (z.b. aktiv-passiv) Oberflächenrealisierung bzw. Taktische Generierung die Generierung des Satzes nach den vorgegebenen grammatischen und stilistischen Kriterien. 38

39 Volle Generierung: Realisierung Phrasenbasierte Generierung Textpläne (etwa auf Basis der Rhetorical Structure Theory) Satzpläne (meist in Form einer Grammatik aus Phrasenstrukturregeln) werden rekursiv angewendet. Merkmalsbasierte Generierung produziert Text aufgrund der sequentiellen Festlegung der Werte von Merkmalen. Merkmale hängen teilweise voneinander ab Jeder mögliche Satz ist durch eine Menge von Merkmalen bestimmt. Nicht durch den Input bestimmte Merkmale werden per default festgelegt. Sprachgenerierung: Probleme Wortwahl die Wahl der geeigneten Bezeichner, z.b. Peters Auto, Peters Sportwagen, sein Automobil, der rote Fiat, der PKW von Herrn Müller, etc. Satzplanung Pronominalisierung, Topic (Konstituentenreihenfolge), Weglassen redundanter Information, Relativsatz- Hauptsatz, etc. Diskursstruktur satzübergreifende Planung unter Berücksichtigung von Köhäsion und Kohärenz, Diskurrelationen, kommunikativen Zielen, etc. Domänenmodellierung Generierung benötigt derzeit speziell entwickelte, sprachspezifische Domänenmodelle 39

40 Basismethoden Sprachverarbeitung: Multilingualität Lokalisierung und Internationalisierung Sprachenidentifikation ( ) Multilinguale Spracherkennung ( ) Maschinelle Übersetzung Multilinguale Generierung Multilinguales Authoring Multilingualität: Lokalisierung & Internationalisierung Lokalisierung ist die Anpassung eines Systems an die sprachlichen und kulturellen Gegebenheiten einer Benutzergruppe. Dies umfaßt sprachliche und ikonische Information, aber auch spezielle Formate für Datum, Währung, Zahlen, etc. Internationalisierung besteht darin, ein System in einer Art und Weise zu gestalten, daß Lokalisierung effizient unterstützt wird dies umfaßt Trennung textueller Information vom Rest, Berücksichtigen unterschiedlicher Platzanforderungen, Vermeiden nicht lokalisierbarer Elemente (Schrift als Bild), etc. 40

41 Multilingualität: Internationalisierung von HTML 4 Definition des Character-Set Content-type text/html; charset=iso Definition der Sprache Top-level: Content-language: de im Text als Attribut: lang= de Definition der Scheibrichtung als Attribut (Text und/oder Dokument): dir=ltr oder dir=rtl Language Negotiation wenn der Server (z.b. Apache) das unterstützt, kann eine Sprache präferiert werden, falls ein Dokument mehrsprachig vorhanden ist. Viele Details unter: Lokalisierung & Internationalisierung Sprachencodes 2-Buchstaben Code (ISO-639-1) z.b. de (deutsch), en (englisch), es (spanisch) 3-Buchstaben Code (ISO-639-2) z.b. bre (bretonisch), eus (baskisch), mas (Masai) RFC-3066 (Sprachencodes für das Internet) ISO ISO ISO plus ISO-3166, z.b. fr-ca (kanadisches Französisch) ISO mit Zusatz registriert bei IANA z.b. enspouse (englischer Dialekt namens spouse ) IANA-registrierter Sprachcode, z.b. i-klingon (beginnt immer mit i-) 41

42 Lokalisierung & Internationalisierung Probleme mit Webseiten Text, der nicht als solcher erkennbar ist z.b. in Bildern, bzw. als Bild gespeichert gesprochene Sprache in Audio und Video fremdsprachiger Text, der schlecht codiert ist z.b. das griechische Wort χψδωο mit <font face= WP Greek Century > xydwo </font> visuelle Ordnung bei Arabisch, Hebräisch, etc. Multilingualität: Maschinelle Übersetzung Die automatische Übersetzung von Texten von einer Quellsprache in eine Zielsprache. Die ersten System wurden in den späten 50er-Jahren entwickelt. Probleme mit der Qualität: für eingeschränkte technische Domänen vertretbare Qualität für die Übersetzung allgemeiner Texte nur bedingt geeignet Klassisches Beispiel: The spirit is willing but the flesh is weak. The vodka is agreeable but the meat is rotten. 42

43 Maschinelle Übersetzung: Übersetzung von Wörtern Wortfelder im Englischen und Französischen und ihre komplexe Überlappung Maschinelle Übersetzung: Ansätze und Methoden Interlinguaansatz Interlingua erlaubt sprachunabhängige Darstellung der Bedeutung eines Textes Abbildung auf Interlingua und Generierung daraus Transferbasierte Übersetzung Analyse des Texts aus Quellsprache sprachpaarspezifischer Transfer Generierung des Texts in Zielsprache Beispielbasierte Übersetzung Statistische Übersetzung basiert auf der Verwendung großer zweisprachiger Korpora 43

44 Maschinelle Übersetzung: Interlinguaansatz Interlinguaansatz Quellsprache Zielsprache Morphologie Syntax Semantik Pragmatik Interlingua WS2013/14 Maschinelle Übersetzung: Transferansatz Transferansatz Quellsprache Zielsprache Morphologie Syntax Semantik Pragmatik Interlingua WS2013/14 44

45 Maschinelle Übersetzung: Beispielbasierte Maschinübersetzung Quellsatz: Yesterday, 200 delegates met with President Clinton. Yesterday, 200 delegates met behind closed doors to discuss the new text code. Gennifer Flowers is said to have had an affair with President Clinton for many years. Gestern trafen sich 200 Abgeordnete hinter verschlossenen Türen, um über die neuen Steuergesetze zu verhandeln. Gennifer Flowers hat angeblich jahrelang eine Affäre mit Präsident Clinton gehabt. Zielsatz: Gestern trafen sich 200 Abgeordnete mit Präsident Clinton. Multilingualität: Multilinguale Generierung Das parallele Generieren von Texten in mehreren Sprachen. Anwendungen: als Alternative zu (maschineller) Übersetzung Vorteile: Konsistenzsicherung Texte leicht adaptierbar automatisches Alignment der Texte in den verschiedenen Sprachen Probleme: Domänenmodellierung darf nicht sprachspezifisch sein. Nur für relativ einfache Texte machbar (z.b. Manual) 45

46 Multilingualität: Multilinguales Authoring Im Gegensatz zur multilingualen Generierung gibt es einen menschlichenautor, der die Gestaltung der Texte kontrolliert. Der menschliche Autor muss nicht alle Sprachen beherrschen. Vorteile gegenüber multilingualer Generierung: bessere stilistische Qualität keine vollständige Domänenmodellierung erforderlich auch für komplexere Texte möglich Nachteile: aufwendiger in Erstellung und Wartung Basismethoden Sprachverarbeitung: Dialogsysteme Ermöglichen Interaktion mit einfachen Computersystemen in gesprochener Sprache Anwendungen: Information, Auskunft Buchung, Bestellung Routing Call-center Probleme: Qualität der Spracherkennung Dialogmodellierung Behandlung von Dialogfehlern (Reparaturdialoge, etc.) 46

47 Dialogsysteme: Komponenten Spracherkennung: überträgt die gesprochene Benutzeräußerung in Text. Sprachverarbeitung: extrahiert aus dem erkannten Text seine situationsspezifische Bedeutung. Dialogsteuerung: steuert den Ablauf der Konversation, speichert History und Kontext, greift auf die Datenbank zu und generiert den Inhalt von Systemäußerungen. Datenbank: speichert die gesamte dem System zur Verfügung stehende Domäneninformation. Sprachgenerierung: formuliert Systemäußerungen sprachlich. Sprachsynthese: produziert das Audio-Sprachsignal. Dialogsysteme: Architektur WS2013/14 47

48 Dialogsysteme: Dialogablauf Greeting Info request Info request Info request Confirmation End WS2013/14 Dialogsysteme: Eingabeaufforderungen Die Antwort des Benutzers richtet sich nach der Formulierung der Aufforderung! Formuliere Aufforderungen so, dass der Benutzer die Information liefert, die erwartet wird. Sorgfältiges Design der Aufforderungen ist wesentlich, um die Initiative im Dialog beim System zu behalten. Häufige Aufforderungen sollten kurz sein. Ausführlichere Aufforderungen nur für Hilfe, Fehler und Hinweise einsetzen. 48

49 Dialogsysteme: Grammatik der Benutzeräußerungen Üblich ist eine Realisierung der Grammatiken als Menge endlicher Automaten Zustandsübergänge werden durch das Auftauchen von Schlüsselwörtern signalisiert. Jede Grammatik ist ein trade-off zwischen großer Vielfalt an akzeptierten Äußerungen, weil sich Menschen in sehr unterschiedlicher Form äußern; geringer Vielfalt um die Qualität der Spracherkennung nicht zu kompromittieren. Essentiell ist die gute Koordination zwischen Aufforderungen und Grammatiken Dialogsysteme: Dialogmanagement - Beispiel Dialog1 C: Would you like movie showtime or theater playlist info? U: Movie showtime. C: What movie do you want showtime information about? U: Saving Private Ryan. C: At what theatre do you want to see Saving Private Ryan. U: The Paramount Theatre. C: Saving Private Ryan is not playing at the Paramount Theatre. Dialog2 C: How may I help you? U: When is Saving Private Ryan playing? C: For what theatre? U: The Paramount Theatre. C: Saving Private Ryan is not playing at the Paramount Theatre, but it is playing at the Madison theatre at 3:00, 5:30, 8:00 and 10:30. WS2013/14 49

50 Dialogsysteme: Vergleich der Dialoge Dialog1: Initiative beim System implizite Bestätigung informiert Benutzer über Scheitern einer Anfrage unnatürlich ineffizient Dialog2: gemischte Initiative keine Bestätigung schlägt beim Scheitern einer Anfrage Alternative vor natürlicher effizienter WS2013/14 Dialogsysteme: VoiceXML Eine Sprache zur Entwicklung von sprachgesteuerten Benutzerschnittstellen basiert auf dem XML Standard ermöglicht die einfache Entwicklung von Anwendungen in den Bereichen: Telephonie Gerätesteuerung Netzanwendungen Infos unter: 50

51 VoiceXML: Sprachumfang Sprachausgabe (synthetisierte Sprache) Ausgabe von Audio Spracherkennung DTMF (Tastendruck) Sprachaufnahme Dialogsteuerung Auswahlmenü Formular Telefon-, bzw. Systemsteuerung VoiceXML: Beispiel (Code) menu.vxml 1 <?xml version="1.0"?> 2 <vxml version="1.0"> 3 4 <menu> 5 <prompt> Choose from <enumerate/></prompt> 6 7 <choice next="sports.vxml"> sports </choice> 8 <choice next="weather.vxml"> weather </choice> 9 <choice next="news.vxml"> news </choice> <help> 12 If you would like sports scores, say sports. 13 For local weather reports, say weather, or 14 for the latest news, say news. 15 </help> <noinput>you must say something.</noinput> <nomatch>please speak clearly and try again.</nomatch> </menu> </vxml> 51

52 VoiceXML: Beispiel (Dialog) Computer: Choose from sports, weather, news. Human: (user says nothing) Computer: You must say something. Choose from sports, weather, news. Human: Tbilisi Computer: Please speak clearly and try again. Choose from sports, weather, news. Human: Help Computer: If you would like sports scores, say sports. For local weather reports, say weather, or for the latest news, say news. Human: Sports Computer: (proceeds to sports.vxml) 52