Carsten Breuer

Transkript

1 Universität Ulm Fakultät für Informatik Abteilung Neuroinformatik Seminar 2004 Sehen und Hören Modelle neuronaler Netze der Sensorintegration zur verbesserten Vokalerkennung Carsten Breuer

2 Zusammenfassung Im Gegensatz zu Menschen haben Computer immer noch sehr groÿe Probleme damit, eine erfolgreiche Spracherkennung auch bei schlechter Tonqualität zu gewährleisten. Menschen können dies zum Teil dadurch kompensieren, daÿ sie alternative Quellen dazu heranziehen, das Gesagte zu erkennen. Das im Folgenden vorgestellte Experiment [5] hatte das Ziel, mit Hilfe von Bildern des Mundes eines Sprechers auch bei lauteren Störgeräuschen eine hohe Erkennungsrate von Vokalen zu gewährleisten. Inhaltsverzeichnis 1 Einleitung 1 2 Grundwissen Sprache Neuronale Netze Experiment Eingabedaten Versuch 1: Zuordnung Versuch 2: Verbesserung der akustischen Erkennung Sprache ist dynamisch Diskussion 8 1 Einleitung Wenn sich Menschen unterhalten, verständigen sie sich nicht nur mittels der Sprache selbst. Unzählige bewuÿte und unbewuÿte Gesten unterstreichen das Gesagte. Allerdings gibt es auch viele Bewegungen, die die Sprache selbst verdeutlichen. Insbesondere die Bewegungen des Mundes, also der Lippen, des Unterkiefers und der Zunge sind für die Entstehung der Laute wichtig [2], [1]. Daher können sie auch als Alternative oder zumindest Erweiterung der Stimme zur Informationsübertragung genutzt werden. Das Lippenlesen ist eine Fähigkeit, die sich das zunutze macht. Auch wenn wir normal zuhören, wird unser Gehirn automatisch diese und andere zusätzliche Informationen nutzen, um das Hören weniger störanfällig für Nebengeräusche zu machen. Dies geschieht für uns unbemerkt, die Auswirkung des Fehlens dieser Eigenschaft kann aber simuliert werden, indem man die Augen schlieÿt. Man sollte jedoch nicht vergessen, daÿ das Gehirn auch das Wissen um unsere Sprache mit einieÿen lassen kann. Im Folgenden wird ein Experiment beschrieben, das das Ziel hatte diese Verbindung verschiedener Quellen zur Vokalerkennung zu nutzen. Dazu 1

3 wurden neuronale Netze verwendet, sowohl um die visuellen Bilder direkt Vokalen zuzuordnen, als auch um die akustischen Signale zu verbessern. Im Ergebnis sollte eine deutlich bessere Erkennungsrate bei schlechter Tonqualität dabei herauskommen. 2 Grundwissen 2.1 Sprache Wenn wir sprechen, dann sind viele komplizierte Manöver im Hals- und Rachenraum dafür verantwortlich, daÿ die Luft so in Schwingungen versetzt wird, daÿ verschiedene Laute entstehen, mit denen wir uns verständigen können. Wichtig für die elektronische Spracherkennung ist, daÿ man die Spektren [4] dieser Laute berechnen kann. Das Spektrum weist oft Charakteristiken auf, anhand derer man diese Laute erkennen kann. Manche Laute unterscheiden sich hier deutlicher voneinander als andere. Interessant ist dabei, daÿ sich im Spektrum relativ ähnliche Laute visuell oft deutlicher unterscheiden. Umgekehrt sind die visuell recht ähnlichen Laute im Spektrum besser unterscheidbar. 2.2 Neuronale Netze Durch Zuhilfename neuronale Netze kann man versuchen, komplexe Probleme wie Mustererkennung oder eben Spracherkennung zu lösen. Dabei nutzen sie nicht einen speziellen Algorithmus, der durch komplizierte Formeln ein Ergebnis berechnet. Vielmehr orientieren sich neuronale Netze an dem menschlichen Gehirn, das über eine Vielzahl an Neuronen, viele einfache Zellen, die untereinander verbunden sind, verfügt. Ähnliche Einheiten, die einfachsten sind die sogenannten Perzeptronen [3], werden in den neuronalen Netzen verwendet. Sie verfügen über mehrere Eingangsleitungen, über die sie Werte erhalten. Entweder sind diese Werte Eingangswerte des zu lösenden Problems, oder sie stammen von anderen Einheiten. Diese Eingangswerte werden unterschiedlich gewichtet und abhängig davon wird ein Ergebnis ausgegeben. Dieses ist bei Perzeptronen binär, also entweder 0 oder 1. Werden diese oder andere einfachen Bausteine hintereinandergeschaltet, lassen sich damit sehr komplexe Probleme lösen. Um ein neuronales Netz an ein gegebenes Problem anzupassen, müssen die Gewichtungen in den Einheiten angepaÿt werden. Dies kann manuell geschehen oder durch einen speziellen Lernalgorithmus. Dabei werden dem neuronalen Netz Trainingsdaten an die Eingänge gegeben und das Endergebnis wird überprüft. Ist es falsch, werden die Gewichtungen in den Einheiten angepaÿt, um ein korrektes Ergebnis zu erhalten. Dies muÿ mit vielen Trainingsdaten geschehen. Natürlich kann es passieren, daÿ durch spätere Trainingsdaten die Gewichtungen so geändert werden, daÿ frühere Ergebnis- 2

4 se nicht mehr richtig bestimmt werden. Deswegen werden die Trainingsdaten normalerweise öfter durchgegangen. Es muÿ aber beachtet werden, daÿ die Gefahr des Überlernens besteht. Das bedeutet, daÿ das neuronale Netz zwar bei den Trainingsdaten die korrekten Ergebnisse liefert, bei den richtigen Daten aber Fehler ausgibt. In dem Fall ist so ein neuronales Netz auf die Trainingsdaten zu stark spezialisiert. Man kann dies verhindern, indem man mit dem Training abbricht, sobald bei Testdaten, von deren Ergebnissen nicht gelernt wird, die Ergebnisse schlechter werden. Typischerweise tritt dies aber erst nach sehr vielen wiederholten Trainingsdurchgängen auf. Bei dem Experiment wurde die sogenannte Feedforward-Netzwerk-Architektur verwendet. Hierbei werden die Einheiten in verschiedenen Schichten angeordnet. Und nur zwischen diesen Schichten dürfen Verbindungen bestehen, und die dürfen ausschlieÿlich in eine Richtung verlaufen. Die Einheiten, die nicht über Verbindungen nach auÿen verfügen, werden als versteckte Einheiten bezeichnet. Die verwendeten Einheiten sind in diesem Fall keine Perzeptrone, sie können also mehr als nur 0 bzw. 1 ausgeben. 3 Experiment 3.1 Eingabedaten Für das Experiment wurden die Vokale /i/, /I/, /e/, /E/, /æ/, /A/, /2/, /o/ und /u/ verwendet. Um zu gewährleisten, daÿ die Videobilder für die Vokalerkennung geeignet waren, sie also die Mundstellung des Vokals und nicht schon den vorhergehenden oder folgenden Laut darstellen, wurden Worte mit betonten Vokalen oder sogenannte CVCs verwendet. CVCs sind kurze Silben, die aus einem Konsonanten gefolgt von einem Vokal und einem weiteren Konsonanten bestehen. Auÿerdem wurden alle Worte bzw. Silben isoliert gesprochen. Durch diese Maÿnahmen war gewährleistet, daÿ die Mundstellung für die Vokale über mehrere Videobilder relativ konstant blieb. Dies ist bei ieÿend gesprochener Sprache keineswegs der Fall, da dann die Vokale oft nur sehr kurz erklingen. Diese Bilder wurden manuell überprüft und dann pro Wort bzw. Silbe eines ausgewählt. Insgesamt standen 108 gleichmäÿig über die 9 Vokale verteilte Bilder zur Verfügung. Anschlieÿend wurden Ausschnitte um den Mund des Sprechers zentriert und grobere Durchschnittswerte berechnet. Dadurch entstanden 20 x 25 Pixel groÿe Graustufenbilder, wie in Abbildung 1 zu sehen. 3.2 Versuch 1: Zuordnung Im 1. Versuch wurden neuronale Netze darauf trainiert, anhand der Bilder die Vokale zu identizieren, also eine Art Lippenlesen zu betreiben. Die Netze verfügten über 500 Eingänge (einen pro Pixel) und 9 Ausgänge (einen pro Vokal), wobei der Vokal mit dem höchsten Ausgabewert als Ergebnis 3

5 Abbildung 1: Beispielbilder für die Versuche gewertet wurde. Von den 108 zur Verfügung stehenden Bildern wurde die Hälfte zum Training benutzt, wobei spätestens nach 500 Perioden abgebrochen wurde, um ein Überlernen zu vermeinden. Für die Hälfte der Netzwerke wurden die Trainingsdaten in umgekehrter Reihenfolge herangezogen. Zum Vergleich der Testergebnisse wurde auch ein Nearest-Neighbour-Klassizierer herangezogen, der eine Klassikation anhand des Bildes mit den wenigsten Unterschieden vornimmt. Weiterhin wurden auch zwei trainierte Versuchspersonen dem Test unterzogen. Die folgenden Testergebnisse beziehen sich auf neuronale Netze mit 5 versteckten Einheiten. Die durchschnittliche Erfolgsrate dieser Netze betrug 76 %. Der im Vergleich getestete Nearest-Neighbour-Klassizierer brachte es auf eine Erfolgsrate von 79 %. Die Versuchspersonen waren nach 5 Trainingssitzungen in der Lage 70 % richtige Antworten zu geben, nach weiterem Training sogar bis zu 80 %. Für einen genaueren Vergleich zwischen den Ergebnissen der Netzwerke und der Versuchspersonen kann Abbildung 2 herangezogen werden. Eine aufkommende Frage bei diesen Ergebnissen war, ob die Bilder nicht genug Informationen für eine noch bessere Erfolgsquote boten oder ob eine klare Kategorisierung ganz einfach nicht besser möglich ist. Um das zu testen, wurden neuronale Netze unter denselben Bedingungen trainiert, diesmal allerdings mit den akustischen Spektren statt mit den Bildern. Die Er- 4

6 Abbildung 2: Ergebnisse des 1. Versuchs (Prozentzahlen unter 4,3 % wurden ausgelassen) folgsquote war mit 82 % sehr ähnlich, was darauf hindeutet, daÿ zwischen den Trainings- und den Testdaten eine gewisse Zweideutigkeit besteht, die eine bessere Zuordnung verhindert. Dies kann man sich daraus erklären, daÿ in der Sprache je nach Kontext einzelne Vokale leicht unterschiedlich klingen können. Noch stärkere Unterschiede entstehen dann, wenn die beobachteten Silben nicht einzeln gesprochen, sondern aus der kontinuierlichen Sprache entnommen werden. Dies wurde in einem weiteren Test mit 108 neuen Daten belegt. Hier konnten die neuronalen Netze nur 40 % der Vokale richtig zuordnen. 3.3 Versuch 2: Verbesserung der akustischen Erkennung Wie in Kapitel 2.1 zu lesen sind die akustischen Sprachsignale gut als Spektrum unterschiedlicher Frequenzen darstellbar. Diese kann man auch abschätzen. Hilfreich ist dabei die sogenannte short-term spectral amplitude envelope (STSAE). Die STSAE ist eine Art Hülle, die man über das Spektrum legt, und sie kann zur Bestimmung eines Vokal genutzt werden. Wie wir auch schon gesehen haben, kann man vom Bild alleine nicht auf einen bestimmten Vokal schlieÿen, es ist aber durchaus möglich die STSAE relativ gut abzuschätzen. Das wurde im folgenden Versuch gezeigt, um die akustische Erkennung bei erhöhtem Rauschpegel zu stärken. Dazu wurde sowohl vom Bild, wie auch vom akustischen Signal, das für ein Bild eine Länge von 33 ms besitzt, die geschätzte STSAE mittels eines neuronalen Netzes berechnet. Für die Berechnung anhand des Bildes sah das Netz aus wie in Abbildung 3 gezeigt. Es handelt sich also wieder um ein Feed- 5

7 Abbildung 3: Feedforward-Netz zum Abschätzen der STSAE forward-netzwerk mit 5 versteckten Einheiten. Die Ausgabe ist ein Vektor, der Werte für 32 Frequenzen enthält. Ein gewissen Problem stellt allerdings das Training dar. Da man nicht eine direkte Klassikation vornimmt, ist es schwer abzuschätzen, wann es beendet werden muÿ, um zu verhindern, daÿ überlernt wird. Deshalb wurden die Trainingsdaten noch einmal in zwei Teile aufgeteilt, wobei der erste zum normalen Training eingesetzt wurde, der zweite zum Bewerten der Trainingsergebnisse. Der gesamte Versuch ist in Abbildung 4 zu sehen. Kernstück war der Vokalerkenner, der aus der STSAE durch ein Feedforward-Netzwerk die Vokale herausnden sollte. Dieses Netz wurde so lange trainiert, bis es eine Erkennungsrate von 100 % erreicht hatte. In einem ersten Versuchsdurchlauf bekam es die STSAE ausschlieÿlich direkt von akustischen Daten, die mehr und mehr von Störgeräuschen überlagert wurden. Das Ergebnis ist anhand der gepunkteten Linie in Abbildung 5 zu verfolgen. Im zweiten Durchlauf wurde zusätzlich die geschätzte STSAE des visuellen Signals dazugerechnet. Dem Vokalerkenner wurde eine STSAE als Ausgangswert geliefert, die dem Durchschnitt der akustischen und der visuellen STSAE entsprach. Wie an der gestrichelten Linie in Abbildung 5 zu sehen, ist die Erkennungsleistung bei starkem Rauschen deutlich besser als zuvor. Jedoch wird das Ergebnis bei guter Tonqualität beeinträchtigt, da die Bilder dann eine zu starke Gewichtung besitzen. Es sollte also das 6

8 Abbildung 4: Schematische Darstellung von Versuch 2 Ziel sein, die visuelle Abschätzung nur entspechend des Rauschabstandes zu berücksichtigen. Dies wurde im dritten Durchlauf (durchgezogene Linie) umgesetzt. Hier wurde die kombinierte STSAE ensprechend der folgenden Formel berechnet: STSAE kombiniert = α STSAE visuell + (1 α) STSAE akustisch Wichtig ist, daÿ das α keine Konstante ist, sondern bei jedem Rauschabstand neu herausgefunden werden muÿte. Dies muÿte durch Probieren erfolgen,um das Optimum zu nden. Dafür waren die Ergebnisse aber auch deutlich besser. In einem weiteren Versuch, wurden die verschiedenen geschätzten STSAEs von einem σ-π-netz zusammen mit dem Wert des Rauschabstandes zu einem neuen geschätztem STSAE kombiniert. Diese STSAE war der originalen STSAE ohne Rauschen ähnlicher, als die in den vorherigen Versuchen berechneten. Allerdings war die anschlieÿende Kategorisierung durch den Vokalerkenner schlechter. Dies Ergebnis läÿt vermuten, daÿ in dem Vokalerkenner etwas komplizierteres passiert als eine Art bloÿes Abschätzen des geringsten Unterschiedes. Ein weiterer Versuch bestand darin, die Bilder mit einer (leicht verlustbehafteten) Kompression an ein angepaÿtes neuronales Netz zu geben, um dann daraus die STSAE zu schätzen. Die Ergebnisse waren schlechter als im dritten Versuchsdurchlauf, woraus man schlieÿt, daÿ bei der Kompression relevante Informationen verloren gegangen sind. 7

9 Abbildung 5: Ergebnisse von Versuch Sprache ist dynamisch Es darf aber bei den ganzen Versuchen nicht vergessen werden, daÿ sie alle zustande kamen, weil die Vokale in den Silben sorgfältig bestimmt und herausgesucht wurden. Die Bilder wurden einzeln ausgewählt und nur die für gut befundenen verwendet. Unsere Sprache allerdings ist sehr dynamisch. Solche klaren Bilder gibt es im gewöhnlichen Gebrauch kaum, da sich die Vokale und auch die Konsonanten je nach ihrer Umgebung verändern. Dies war ja auch schon in Versuch 1 zu sehen. Es ist allerdings falsch, dies ausschlieÿlich als Problem zu sehen - es besteht durchaus die Möglichkeit die daraus entstehenden Abhängigkeiten zu nutzen. Entweder, indem man ganze Laut- und Tonfolgen zur Auswertung eines einzelnen Vokals heranzieht, oder die Ergebnisse eines vorherigen Durchlaufes durch ein neuronales Netz als zusätzliche Eingaben hinzufügt. Wenn man das in den Gri bekommt, wird der Weg frei für vollständige und zuverlässige Spracherkennungssysteme oder auch Text-Synthesizer. 4 Diskussion Dieses Experiment hat gezeigt, daÿ es durch Verwendung visueller Signale zu einer deutlich verbesserten Erkennung von Vokalen kommen kann. Man kann dabei mit zwei prinzipiellen Möglichkeiten arbeiten. Entweder man verwendet die visuellen Signale direkt, um daraus die Vokale zu bestimmen, oder man nutzt es zur Verbesserung des akustischen Signals. Dies wird wichtiger, je stärker das akustische Signal gestört wird. Das Experiment konnte auch schon einen Ansatz dafür zeigen, wie dabei vorzugehen ist, um verschiedene Signale vor der Erkennung zu kombinieren. Auch wenn hierbei lediglich zwei Signale verwendet wurden, kann das aber auch bei anderen Quellen genutzt werden. Sicherlich muÿ noch einiges geleistet werden, um das System automatisch 8

10 den Bereich um den Mund herum erkennen zu lassen. Dafür darf man aber auch nicht vergessen, daÿ es noch weitere mögliche Quellen gibt, aus denen sich Hilfen für die Spracherkennung ergeben können. Beispielsweise könnte man die Bewegung des Kehlkopfes verfolgen. Auch die Erkennung der menschlichen Gesten, sowohl die Gesichtsgestik, wie auch die des gesamten Körpers, kann die Semantik des Gesagten verdeutlichen. Auch die Betonung kann hierbei genutzt werden. Sieht man sich heutige kommerzielle Spracherkennungssysteme an, dann erkennt man, daÿ sie eine relativ gute Leistung bieten, wenn man bedenkt, daÿ sie ausschlieÿlich akustische Signale verwenden. Immerhin sind sie nach einigem Training in der Lage ieÿende Sprache zu erkennen. Natürlich spielt dabei auch eine Rolle, daÿ nur bekannte Wörter ordentlich erkannt werden. Aber auch das ist letztlich nichts weiter als das Einbeziehen einer weiteren Quelle. Problematisch ist allerdings, daÿ die Umgebungsgeräusche einen sehr negativen Einuÿ auf die Ergebnisse haben. Diese werden allerdings mehr durch die Mikrofone zu kompensieren versucht. Gerade hier könnte man aber mit den Ergebnissen dieses Experiments starke Erfolge verzeichnen. Es gibt aber noch weitere Bereiche, in denen Sprach- und auch Gestenerkennung genutzt werden können. Man denke nur an die Unterhaltungsindustrie, welche mit Robotern, die Befehle erlernen und Personen erkennen können, immer wieder für Aufsehen sorgt. Man sieht also, daÿ dieser Bereich noch viele Überraschungen bieten kann. Literatur [1] W. Hess. Grundlagen der Phonetik. Rheinische Friedrich-Wilhelms- Universität Bonn. ( Download: ) [2] P. Lieberman. On the origins of language. Macmillan, New York, 1975 [3] U. Schöning. Boolsche Funktionen, Logik, Grammatiken und Automaten. Vorlesungsskript, Universität Ulm, 2000 [4] H. G. Tillmann, F. Schiel. Akustische Phonetik. Ludwig-Maximilians- Universität München. ( Download: ) [5] B. P. Yuhas, M. H. Goldstein jr., T. J. Sejnowski, R. E. Jenkins. Neural Network Models of Sensory Integration for Improved Vowel Recognition. Proceedings of the IEEE, Vol. 78, ,