Teil II. Automatische Spracherkennung. SPEZIELLE MUSTERANALYSESYSTEME Schrift- und Spracherkennung mit Hidden-Markov-Modellen

Transkript

1 SPEZIELLE MUSTERANALYSESYSTEME Schrift- und Spracherkennung mit Hidden-Markov-Modellen Vorlesung im Wintersemester 2015 Teil II Automatische Spracherkennung Prof. E.G. Schukat-Talamazzini Stand: 24. Juli 2015 Durchschnittliche Übertragungsraten Tastenfeld trainiert W/min untrainiert W/min Tastenzahl & Tastenbelegung 100% Erkennung (Tippfehler!) Handschrift 25 W/min m/o Übung automat. Erkennung von Blockschrift gelöst automat. Erkennung von Kursivschrift ungelöst Lautsprache W/min m/o Übung Diktiermaschine 40 W/min automatische Erkennung??

2 Vorteile gesprochener MM-Kommunikation hohe Datenrate zusätzlicher Kommunikationskanal Hände & Augen sind frei für andere Aktivitäten Nutzung existierender Übertragungskanäle (Telefon) Bewegungsfreiheit keine mitzuführenden Armaturen geringer Raumbedarf des Endgeräts (Mikrofon) funktioniert auch im Dunkeln unterstützt effizient kollektives Problemlösen natürliche Kommunikationsform wenig Übung erforderlich mnemonisch keine Kürzel Anwendungsgebiete maschineller Spracherkennung Haushalt Beleuchtung, Unterhaltungselektronik, Anrufbeantworter Büro Aktenhaltung, Informationsabfrage, Gerätebedienung, akustische Schreibmaschine Industrie Qualitätskontrolle, Inventur, Versand Zahlungsverkehr telefonischer Bankauftragsdienst, Börsenhandel, Kreditkartenwesen Personentransport Fahrzeugbedienung, Fahrplanauskunft, Reservierung Informationsdienste Wetterbericht, Veranstaltungskalender, Gelbe Seiten Ausbildung Fremdsprachenerwerb, rechnergestütztes Lernen Medizin Diagnosesysteme, Mikroskopie, Patientenrufanlage Militär Waffensystemkontrolle, Flugzeugbedienung, nachrichtendienstliche Observation Behindertenhilfe Sprechtraining für Gehörlose, Fahrzeugbedienung, Filmuntertitelung Sprachkommunikation maschinelle Telefonvermittlungen, automatische Dolmetschgeräte Datenerfassung Gerätesteuerung Informationsgewinnung Auskunftsdialogsysteme System: Hier ist die automatische InterCity-Auskunft. Was kann ich für Sie tun? Nutzer: Ich will morgen abend nach Frankfurt. System: Sie können ab Bonn fahren um [... ] Nutzer: Gibt es auch noch einen früheren Zug? System: Bis wann möchten Sie spätestens in Frankfurt ankommen? Nutzer: Bis einundzwanzig Uhr. System: Sie können ab Bonn fahren um [... ] Nutzer: Vielen Dank. Auf Wiedersehen.

3 AD/DA Wandlung Sprachkompression SPRACHERKENNUNG "Ich will morgen abend nach Frankfurt" SPRACHVOLLSYNTHESE "Sie können ab Bonn fahren um..." Spracherkennung Sprachanalyse Analoges Signal Zeitlicher Amplitudenverlauf Physikalischer Schalldruck Parametrische Darstellung Kurzzeitanalyse Akustische bedeutsame Größen Vollsynthese Sprachverstehen DSP Digitales Signal Rechnerinterne Darstellung abgetastet & quantisiert Symbolphonetische Darstellung ein "Strom" von Lauten, Silben, Intonationsformen Sprachsynthese concept to speech Sprecherverifikation Sprecheridentifikation SPRACHVERSTEHEN ANTWORTGENERIERUNG Textuelle Darstellung Linguistische Strukturinformation Verbindungsauskunft Abfahrt Ankunft Datum Uhrzeit Ort Datum Uhrzeit Ort Freitag, 16. Juli :00 20:00 Uhr Bonn Freitag, 16. Juli :30 22:30 Uhr Frankfurt a.m. eine Folge von Wörtern Orthografische Notation Natürlichsprachliche Verarbeitung System (re)aktion Steuerimpuls, DB Anfrage Dialogantwort, Übersetzung Dialog/Übersetzung/Kommando Systeme Phrasenstrukturbäume PL Formeln, Semant. Netze? ASV = ASE + NSV I Darbietungsform isolierte Einzelwörter kontinuierliche Sätze oder Passagen Kommunikationsmodus Kommandos Menü Dialog (wechsel-/gegensprechend) Übersetzung (MeMaMe) Wortschatz Umfang Schwierigkeitsgrad Adaptivität

4 Wieviele Wortformen braucht der Mensch? II Alarmstopschalter Menü Steuerung (J/N) Zahlen/Ziffern Gerätebedienung Auskunftsdialog Alltagssprache Diktiermaschine Deutsch ohne Fremdwörter n ca Sprachumfang Kommando-Set stark formalisierte Kunstsprache schriftsprachlich spontansprachlich Überdeckungsgrad Verzweigungsfaktor, Perplexität Diskursbereich klein überschaubar mittel umfangreich utopisch Versandbestellung, home banking Bahnauskunft, Flugreservierung Terminabsprache, telephone rosé Patentverzeichnis, ärztliche Diagnose Telefonseelsorge III Sprecherabhängigkeit ein Sprecher feste Sprechergruppe Sprechertypus (Geschlecht, Dialekt) beliebige Sprecher adaptiv Sprecherverhalten Diszipliniertheit Kooperativität Vertrautheitsgrad Streß, Disposition Sprachsignalqualität Bandbreite Störgeräusche Raumakustik

5 Guten Morgen, Herr Hauptkomissar Thanner. Gibt es irgendetwas Neues im Fall Verbmobil? Morgen, Thanner. Irgendwas Neues im Fall Verbmobil? morgen thanner irgendwas neues im fall verbmobil morgenthannerirgendwasneuesimfallverbmobil moangtannairgnwasneuesimfalwerpmobiehl der Text in Schönschrift spontan gesprochene Sprache Großschreibung? Satzzeichen? kontinuierliche Sprache Aussprachevarianten artikulatorische Verschleifung Störungen und Verzerrungen Fremdstimmen Cocktailparty Vier Problemfelder KONTINUITÄT Wahrnehmung Folge von Wörtern Folge von Silben Folge von Lauten Sprachsignal keinerlei akustische Grenzmarkierungen KOMPLEXITÄT Datenmengen z.b Abtastwerte/Sekunde Inventare Phoneme, > Silben, k Wörter Kombinatorik exponentielles Wachstum: Anzahl möglicher Sätze Restriktionen Grammatik versus Suchraum VARIABILITÄT Sprecher Anatomie, Dialekt, Idiolekt Sprechweise Tempo, Lautstärke, Kooperation, Anspannung Kontext Lautumgebung, Betonung Aufnahmekanal Mikrofon, Position, Fundamentalformel Nachhall, Wandlung der ASE Umgebung Stimmen, Verkehr, Maschinen AMBIGUITÄT LINGUISTISCHE QUELLE AKUSTISCHER KANAL Homophonie Rad und Rat Text w Wort Merkmal X Statistische Wortgrenzen Stau-becken und Staub-ecken erzeugung artikulation berechnung Dekodierung Satzbau... das Tonband, daß Nixon vernichtete... Der gute Mann denkt an sich [,] selbst zuletzt Bedeutung Bienenhonig und Imkerhonig SPRACHERKENNUNG P(w) P(X w) argmax w P(X, w) BAYES sche Entscheidungsregel: Suche diejenige Wortfolge w mit maximaler a posteriori Wahrscheinlichkeit P(w X ) def = P(w) P(X w) P(X ) w

6 Systemarchitektur eines Spracherkenners Stand der Technik Signalverarbeitung physikalische Akustik Physiologie Phonologie Informationstheorie HMM Wortmodelle Algorithmen der KI es gibt kommerzielle Systeme für die Erkennung isoliert gesprochener Wörter 10 bis wenige 100 Wörter mit kurzer Anpassungsphase oder sprecherunabhängig in ruhiger Umgebung oder robust gegen Fremdschall statistische Dekodierung grammatisches Sprachmodell Sprachsignalkurzzeitanalyse Vektorquantisierung Mustererkennung Linguistik syntaxgesteuerte Suche Statistik es gibt kommerzielle Diktiermaschinen Wörter sprecherabhängig isolierte Wörter es gibt Laborsysteme, die kontinuierlich gesprochene Sprache verstehen und eine sinnvolle Reaktion geben 1000 oder mehr Wörter mit restriktivem Sprachmodell (Perplexität < 100) bei sehr guter Sprachqualität es gelten einschneidende Beschränkungen hinsichtlich Wortschatz Syntax Dialekt Problemkreis