Spracherkennung. Gliederung:

Transkript

1

2 Spracherkennung Gliederung: - Einführung - Geschichte - Spracherkennung - Einteilungen - Aufbau und Funktion - Hidden Markov Modelle (HMM) - HMM bei der Spracherkennung - Probleme - Einsatzgebiete und Beispiele - Praktische Vorführung Folie 2

3 Einführung Was ist Spracherkennung? - Teilgebiet der Informatik, Computerlinguistik, Mathematik und anderer Wissenschaften - Untersuchung und Entwicklung von Verfahren um Automaten und Computern gesprochene Sprache zugänglich zu machen - Vorteile der Sprache: - natürliche Kommunikationsform - effizientes Eingabemedium (Tastatur Wörter pro Minute, Sprache Wörter pro Minute) - zusätzlicher Informationskanal - kein Kontakt zwischen Maschine und Mensch nötig - Nutzung des Telefonnetzes zur Eingabe Folie 3

4 Geschichte Erkennung von isolierte Ziffern er Erkennung einzelner Wörter unter Laborbedingungen DARPA SUR Forschungsprojekt Speech Understanding Research des amerikanischen VerteidigungsMinisteriums HARPY-System - kontinuierliche Sprache - unterschiedliche Sprecher (3männl. + 2 weibl.) - ruhige Umgebung - nahezu Echtzeitverarbeitung GUS (Genial Understanding System) Beratung und Reservierung von Flugreisen Folie 4

5 Geschichte Diktiermaschine Dragon Dictate verschiedene Wortformen - kurze Sprechpausen zwischen Worten erste Spracherkennungssoftware für Massenmarkt, welche auf Heimcomputern lief - IBM Personal Dictation System Verbmobil maschinelle Übersetzung von Spontansprache zwischen Deutsch, Japanisch und Englisch mit Förderung durch das Bundesministerium für Bildung, Wissenschaft, Forschung und Technologie Folie 5

6 Spracherkennung - Einteilungen Wortfluss: - Einzelworterkennung - Wortgruppenerkennung - kontinuierliche Sprache Sprecherabhängigkeit: - sprecherabhänigige Systeme (Anpassung an Sprecher mittels Training) - sprecheradaptive Systeme (Anpassung erfolgt während der Benutzung) - sprecherunabhängige Systeme (keine Anpassung nötig) Wortschatz: - kleiner Wortschatz - großer Wortschatz Folie 6

7 Spracherkennung - Einteilungen Wortschatzumfang verschiedener Anwendungen Folie 7

8 Spracherkennung - Einteilungen Anwendung Wortschluss Sprecherabhängigkeit Wortschatz Kommandowort Einzelwort-erkenner erkennung sprecherunabhängig sehr geringer Wortschatz Dialogsysteme Wortgruppenerkennung sprecherunabhängig geringer Wortschatz Diktiersysteme kontinuierliche Sprache sprecherabhängig, sprecheradaptiv großer Wortschatz Folie 8

9 Aufbau eines Spracherkennungssystems Folie 9

10 Digitalisierung: - Umwandlung des analogen Sprachsignals in ein digitales Signal Filterung: - Rauschen und andere Störgeräusche entfernen Transformation: - Umwandlung des Signals mittels Fourier-Transformation in Frequenzspektrum Folie 10

11 Beispiel: Phonem - Gruppe aller Laute einer gesprochenen Sprache, welche keinen Bedeutungsunterschied aufweisen. Folie 11

12 Beispiel: Folie 12

13 Beispiel: Folie 13

14 Merkmalsvektor: - Merkmale des Signals, wie Frequenzspektrum und Cepstrum, bestimmen - alle 10ms ca Merkmale aus 20-40ms Segment - Segmente überlagern sich Cepstrum - Spezielle Transformation des Frequenzspektrums Erlaubt Rückschlüsse, ob bei der Erzeugung des Signals Stimmbänder oder Vokaltrakt beteiligt waren Folie 14

15 Beispiel: Folie 15

16 Vergleichsmuster: - jedes mögliche Wort/Kommando besitzt eigenes Modell - Anpassung des Eingangssignal bis es dem Modellen entspricht und Vergleich möglich ist - Wortschatz sehr begrenzt und Worte sollten keine große Ähnlichkeit haben Folie 16

17 Beispiel: Folie 17

18 Akustisches Modell: - Bestimmung aller möglichen Kombination von passenden Phonemen zum Eingangssignals mittels Hidden Markov Modellen Folie 18

19 Spracherkennung Hidden Markov Modell (HMM) - Verborgene Markov-Kette mit n Zuständen und Übergängen zwischen Zuständen - Zustände geben beobachtbare Ausgaben mit bekannter Wahrscheinlichkeit für Ausgabe - durch Ausgabe Rückschlüsse auf aktiven Zustand möglich Folie 19

20 Spracherkennung HMM bei der Spracherkennung - Eingangssignal wird in Segmente zerlegt und Merkmale bestimmt - Segmente werden nun als Beobachtung für das HMM aufgefasst - Prototypen der Phoneme werden zerlegt und Merkmale bestimmt - Vergleich mit Segmenten des Eingangssignals, um passende Kombinationen zu finden - Ergebnis ist Reihe von HMM's, welche diese Beobachtung liefern und damit mögliche Kombination von Phonemen Folie 20

21 Beispiel: Folie 21

22 Beispiel: Folie 22

23 Wörterbuch: - Vergleich der passenden Kombinationen mit den Wörtern des Wortschatzes - Einschränkung der Auswahl Folie 23

24 Beispiel: Folie 24

25 Beispiel: Folie 25

26 Beispiel: Folie 26

27 Grammatik: - jedem Wort wird Funktion zugeordnet - Satzbau ist in Grammatik festgelegt - nur Anwendung in Spezialsystemen und bei begrenztem Wortschatz Folie 27

28 Beispiel: Folie 28

29 N-Gramme: - Bi-, Tri-, Quadgrammstatistiken speichern alle möglichen Wortkombinationen mit deren Wahrscheinlichkeit - Kombination mit höchster Wahrscheinlichkeit wird gewählt Folie 29

30 Beispiel: Folie 30

31 Beispiel: Folie 31

32 Spracherkennung - Probleme Kontinuität: - werden nur einzelne Wörter, Wortgruppen oder Sätze gesprochen - Erkennung von Grenzen zwischen Wörtern, Silben und Lauten identifizieren Lösung: - HMM und Zerlegung in kleine Segmente unabhängig von Lauten Komplexität: - kombinatorische Möglichkeiten bei der Wort- und Satzbildung - Anzahl der Vergleiche und Modellierungen zur Worterkennung - Speicherbedarf für Prototypen und Statistiken Lösung: - Wörterbuch und Statistiken (N-Gramme) - Leistungsfähigkeit heutiger PC Systeme Folie 32

33 Spracherkennung - Probleme Variabilität: - geeignete Prototypen für Wörter und Phoneme finden, welche unterschiedlichste Eingabevarianten abdecken und gegen andere Worte und Phoneme ausreichend abgegrenzt sind Ursachen: - Akustische Störquellen (Stimmen anderer Personen, Fertigungsumgebung) - Aufnahmeeigenschaften (Typ und Position des Mikrofons, räumliche Reflexionen) - Sprechweise (Tempo, Emotionen) - Sprechermerkmale (Dialekt, Geschlecht, Alter, Gesundheitszustand) - kontextuelle Aussprachevariationen (umgebungsabhängige Aussprache von Lauten) Folie 33

34 Spracherkennung - Probleme Variabilität: - geeignete Prototypen für Wörter und Phoneme finden, welche unterschiedlichste Eingabevarianten abdecken und gegen andere Worte und Phoneme ausreichend abgegrenzt sind Lösung: - Anpassung an Sprecher - Wahl der Merkmalsvektoren und Prototypen Folie 34

35 Spracherkennung - Probleme Ambiguität: - Verarbeitung von Mehrdeutigkeiten (Homophone Rad - Rat, Wortgrenzen Staubecken - Staub Ecken ) Lösung: - Statistiken - Korrektur durch Benutzer Ambiguität Mehrdeutigkeit von Worten und Sätzen Homophon Wörter mit gleicher oder ähnlicher Aussprache, aber anderer Bedeutung Folie 35

36 Spracherkennung Einsatzgebiete und Beispiele Dialogsysteme: - Reservierung per Telefon (Bahn, Hotel) - Auskunftsdienste (Fahrplanauskunft, Wettervorhersage) Diktiersysteme: - Diktieren von Texten (Medizin) - rechnergestütztes Lernen (Fremdsprachentraining) Kommandoworterkenner/Gerätesteuerung: - Bedienung von Mobiltelefonen während der Autofahrt - Steuerung von Geräten/Maschinen über Kommandoworte - Suche nach bestimmten Worten in Telefongesprächen Folie 36

37 Spracherkennung Einsatzgebiete und Beispiele Sprecheridentifikation: - Wer ist der Sprecher? Sprecherverifikation: - Ist es wirklich die Person? Sprachenidentifizierung: - Um welche Sprache handelt es sich? Folie 37

38 Quellen sprach_1.pdf (von Dr. Steinmüller) - Ernst Günter Schukat-Talamazzini: Automatische Spracherkennung Grundlagen, statistische Modelle und effiziente Algorithmen, Vieweg Verlag, 1995 Folie 38