Merkmalsextraktion mit Hilfe des LPC-Modells

Transkript

1 Merkmalsextraktion mit Hilfe des LPC-Modells Stephanie Wist Fakultät für Informatik Universität Ulm Abstract Im folgenden werde ich mit möglichst wenigen mathematischen Hilfsmittlen den Aufbau und die Funktionsweise des LPC-Modells erläutern. Dazu zuerst ein kurzer Überblick über das LPC-Verfahren, seine Vorgehensweise und seine Anwendungsgebiete. Danach wird auf die einzelnen Merkmale eingegangen, die mit dem LPC- Modell bestimmt werden können, und wie diese Erkennung im einzelnen funktioniert. 1 Was ist LPC? LPC steht für Linear Predictive Coding, zu deutsch: Lineare Prädiktion. Es ist ein Verfahren um analoge Signale - speziell menschliche Sprache - zu analysieren und auf Parameter abzubilden, indem ein spezieller Wert mit Hilfe einer linearen Funktion aus zeitlich vorhergehenden Werten vorhergesagt wird. Dabei wird ausgenutzt, dass das menschliche Sprachsignal über verhältnismässig lange Zeiträume (bis zu 22ms) fast unveränderlich ist, und auch der Vokaltrakt, der die Sprache moduliert, sich nur langsam und stetig ändern kann. Die Anzahl der verwendeten Parameter schwankt zwischen den verschiedenen LPC-Verfahren. Es hat sich jedoch gezeigt, dass die Wahl von vielen Filterkoeffizienten die Sprachqualität nicht wesentlich verbessert, da die wesentlichen Merkmale bereits in den ersten 12 Parametern vertreten sind. Dabei gilt die Faustformel, dass zwei Paramter für die Nachbildung der Stimmritze und jeweils zwei Parameter für einen Formanten benötigt werden. Die die menschliche Sprache nur bis zu fünf Formanten besitzt, reichen demzufolge 12 Parameter für eine gute Näherung aus (vgl Fig. 7). Ein LPC-Verfahren, dass zur Analyse p Parameter verwendet, wird oft als LPC-Verfahren p-ter Ordnung bezeichnet. bezeichnet. Das älteste LPC-Verfahren zur Spracherkennung LPC-10 wurde erstmals 1984 vorgeschlagen und verwendet 10 Parameter für stimmhafte Laute und 4 für stimmlose und besitzt somit die Ordnung November 2004

2 2 Das LPC-Modell Fig. 1. Quelle-Filter-Modell für das LPC-Verfahren Das LPC-Verfahren basiert auf einem einfachen Quelle-Filter-Modell. Das Modell ist der menschlichen Sprachbildung nachempfunden. Die menschliche Sprache wird erzeugt, indem der Luftstrom aus den Lungen durch die Stimmritze und an den Stimmbändern vorbei gepresst wird und diese bei stimmhaften Lauten zum Schwingen gebracht werden. Danach findet eine zusätzliche Artikulierung durch die Form der Mund- und Nasenhöhle statt. Für das Quelle- Filter-Modell wird die menschliche Lunge als Quelle betrachtet, die entweder ein periodisches Signal u(n) für stimmhafte Laute oder weisses Rauschen für stimmlose Laute erzeugt, und die Stimmbänder, Rachen und Mundhöhle als eine Röhre mit variablem Durchmesser gesehen. Die Erzeugung spezieller Laute geschieht nun beim Quelle-Filter-Modell dadurch, dass das digitale Filter durch die entsprechenden variablen Parameter der Form dieser virtuellen Röhre so angepasst wird, dass es das Signal möglichst orginalgetreu moduliert. Da auch die Lautstärke, dh. das Volumen an Luft, dass aus der Lunge gepresst wird, eine wichtige Rolle bei der menschlichen Sprache spielt, wird im Quelle-Filter-Modell das periodische oder aperiodische Signal u(n) zusätzlich mit einem Verstärkungsfaktor G multipliziert. 3 Schritte zur Durchführung einer LPC-Analyse In diesem Abschnitt sollen nochmals kurz alle Schritte aufgeführt werden, die für eine LPC-Analyse notwendig sind. Zuerst wird das einkommende Signal abgetastet und geglättet. Danach wird das Signal in Segmente mit jeweils N Abtastwerten zerlegt. Dabei gilt, dass das nächste Segment M Abtastwerte nach dem Anfang des jeweiligen Segments beginnt. Ist M kleiner als N, so findet eine Überlappung statt, so dass einige Abtastwerte bei zwei oder mehr Segmenten die Filterkoeffizienten beeinflussen. Ist M grösser als N, so gibt es 2

3 Fig. 2. Schritte zur Analyse und Synthese von Sprachsignalen Abtastwerte, die in der Analyse ignoriert werden. Allgemein hängt die Wahl von M und N von der Genauigkeit und Menge der Daten ab, die gewünscht sind. Die einzelnen Segmente werden mit einer Fensterfunktion w mutlipliziert, so dass bei der Berechnung der Filterparameter alle Werte ausserhalb des Bereiches als 0 angesehen werden. Für die Fensterfunktion wird meist eine Hammingfunktion verwendet, da sich herausgestellt hat, das bei Multiplikation mit einem reinen Rechteckssignal der Fehler bei der Vorhersage speziell am Anfang und am Ende eines Segmentes sehr gross war. Das liegt daran, das die ersten Werte am Anfang eines Segments mit Hilfe von Werten vorhergesagt werden sollen, die ausserhalb dieses Segements liegen und deshalb 0 sind. Genauso verhält es sich am Ende des Segments. Hier sollen Werte ausserhalb des Segmentes vorhergesagt werden, die durch die Multiplikation mit der Fensterfunktion 0 sind. Die Hammingfunktion dämpft die Werte am Anfang und am Ende des Segments und verhindert so einen übermässig grossen Fehler bei der Prädiktion. Anschliessend wird für jedes Segment zuerst die Autokorrelation berechnet, und anschliessend die Merkmale und Filterkoeffizienten extrahiert. An dieser Stelle sind die Filterkoeffizienten und die Sprachmerkmale aus dem Signal extrahiert. Die beiden letzten Schritte in Fig. 2 dienen hauptsächlich der Stabilisierung der Cepstral-Koeffizienten und sollen hier nicht weiter betrachtet werden. Fig. 3. Beispiel für überlappende Segmente. Es gilt: M = 1/3N 3

4 4 Erkennen von Sprachmerkmalen 4.1 Welche Merkmale können mit dem LPC-Modell erkannt werden? Während der Analyse wird von den einzelnen Segmenten Parameter bestimmt, die für eine spätere Rekonstruktion nötig sind. Dies beinhaltet speziell: die Lautstärke des aktuellen Segments. Dies entspricht dem Verstärkungsfaktor G. die darin enthaltene Energie. die Klassifizierung in stimmhafte und stimmlose Laute. Dies entspricht den beiden Formen von u(n). die Periodendauer bei stimmhaften Signalen. und speziell die Filterkoeffizienten, durch die das Sprachsignal beschrieben werden kann. 4.2 Bestimmung von stimmhaften und stimmlosen Lauten Die Unterscheidung zwischen stimmhaften und stimmlosen Lauten ist für die Spracherkennung und vor allem für die Synthese von Sprachsignalen wichtig, da ihnen unterschiedliche Signalformen zugrunde liegen. Fig. 4. Stimmhaftes e im Wort Test Fig. 5. Stimmloses s im Wort Test Das wichtigste Unterscheidungsmerkmal zwischen stimmhaften und stimmlosen Lauten ist die Wellenform, die Energie und der Frequenzbereich des Segments. Stimmhafte Laute bestehen aus einem periodischen Signal mit hoher Energie und einen Frequenzbereich um Hz. Stimmlose Laute hingegen haben meistens eine sehr zufällige und chaotische Wellenform und werden deshalb beim LPC-Modell auch mit weissem Rauschen nachgebildet. 4

5 Desweiteren ist die Energie in stimmlosen Lauten sehr viel niedriger als bei den stimmhaften und auch der Frequenzbereich liegt mit etwa Hz deutlich höher. Diese Unterschiede werden von dem LPC-Modell direkt zur Klassifikation eines Lautes in stimmhaft oder stimmlos benutzt. Zunächst wird versucht, den Laut über seine Energie einzuordnen. Dazu wird eine voreingestellte Schranke benötigt, nach der die Unterscheidung vorgenommen wird. Jedoch lassen sich nicht alle Signale direkt nach ihrer Energie einsortieren. Auch wird diese Methode bei lauter Sprache bzw. lauten Hintergrundgeräuschen durch ihre hohe Energie sehr viele Signale falsch klassifizieren. Deshalb wird in einem zweiten Schritt ausgenutzt, dass stimmhafte Laute eine hohe Energie aber niedrige Frequenzen, und stimmlose Laute jedoch hohe Frequenzen besitzen. Dies bedeutet aber auch, dass das Signal bei stimmlosen Lauten sehr viel häufiger die x-achse schneidet als bei stimmhaften Lauten. Deshalb wird zusätzlich die Anzahl der Nulldurchgänge ermittelt und mit Durchschnittswerten von typisch stimmhaften und stimmlosen Segmenten verglichen. Desweiteren werden bei der Klassifikation Segmente nicht einzeln betrachtet, sonder möglichst immer in ihrem Umfeld. Damit soll verhindert werden, dass in einer Gruppe stimmhafter Segmente ein stimmloses Segment ist (oder umgekehrt). 4.3 Berechnung der Filterkoeffizienten Wie weiter oben erwähnt wurde, versucht das LPC-Verfahren, das aktuelle Sprachsignal aus den vorangehenden Signalen zu berechnen. Dazu werden die Filterkoeffizienten möglichst passend aus abgetasteten Signalwerten bestimmt. Dabei werden die Koeffizienten derart gewählt, dass die Fehlerquadratsumme über die letzten so berechneten N Abtastwerte minimal wird. Wie man auch in Fig. 6 sieht, ist die Vorhersage für einen stimmhaften Laut genauer möglich, als für einen stimmlosen. Dies liegt am Signal-Charakter des stimmlosen Lautes, da es einen sehr chaotischen und zufälligen Verlauf hat, und sich demzufolge nur bedingt durch zeitlich davorliegende Abtastwerte voraussagen lässt. Auch spielt die Anzahl der Signalwerte eine Rolle, die zur Vorhersage herangezogen werden (vgl. Fig. 7). Im folgenden werde ich von p abgetasteten Signalwerten ausgehen. Für das aktuell abgetastete Signal gilt: p s(n) = a k s(n k) + Gu(n) (1) k=1 Betrachtet man nun das aktuelle Signal als Linearkombination aus den vorherigen Werten, so erhält man als Näherungswert s(n): p s(n) = a k s(n k) (2) k=1 5

6 Den auftretenten Fehler zu jedem Zeitpunkt kann man nun wie folgt berechnen: p e n = s(n) s(n) = s(n) a k s(n k) (3) k=1 Im Idealfall entspräche der Fehler Gu(n). Dies wird jedoch in der Praxis kaum erreicht, da das Signal in einem Segment nicht gleichförmig ist, sondern leichten Schwankungen unterworfen ist. Im folgenden soll die Fehlerquadratsumme über N Abtastwerte minimiert werden. Dazu wird das aktuelle Sprachsegment mit einer Fensterfunktion w multipliziert, mit: s(n + m)w(m) 0 m N 1 s(n + m) = 0 sonst (4) Das heisst: N 1 N 1 E = e 2 p n = (s(n) a k s(n k)) 2 (5) k=1 Da E eine Linearkombination von quadratischen Funktionen ist, und E für sehr grosse positive oder negative Werte von a k grösser wird, ist dieser Extrempunkt das einzige Minimum von E. E wird minimal für: E a i = 0 = ( ) N 1 p 2(s(n) a k s(n k))s(n i) k=1 für i = 1..p (6) N 1 N 1 p = 2 s(n)s(n i) + 2 a k s(n k)s(n i) (7) k=1 Durch Umformung erhält man: N 1 s(n)s(n i) = p k=1 N 1 a k s(n k)s(n i) (8) Aus diesen p Gleichungen lassen sich nun die p Koeffizienten bzw Filterparameter berechnen. Dafür gibt es verschiedene Verfahren. Die beiden meistbenutzen sind zum einen die Berechnung über die Autokorrelation des Signals, zum anderen über die Kovarianz. Die Methode über die Autokorrelation ist einfacher zu berechnen und hat auch noch einige weitere Vorteile, auf die ich 6

7 im Laufe dieses Abschnittes eingehen möchte. Die ersten Schritte sind jedoch gleich. Zuerst wird die Kovarianzmatrix über ihre Elemente φ i,k definiert als: φ i,k = N 1 s(n i)s(n k) (9) und: φ i,0 = p φ i,k a k (10) k=1 In Matrixform ergibt dies für die p Gleichungen: φ 1,0 φ 1,1 φ 1,2 φ 1,3 φ 1,p a 1 φ 2,0 φ 2,1 φ 2,2 φ 2,3 φ 2,p a 2 φ 3,0 = φ 3,1 φ 3,2 φ 3,3 φ 3,p a 3 φ p,0 φ p,1 φ p,2 φ p,3 φ p,p a p (11) oder: Φ 0 = Φa (12) Die Filterkoeffizienten kann man an dieser Stelle mit Hilfe der Kovarianzmethode bestimmen, indem man die inverse Matrix von Φ berechnet. Diese existiert aufgrund der Symmetrie von Φ, da φ i,k = φ k,i. Es gilt dann: a = Φ 1 Φ 0 (13) An dieser Stelle kann man die Kovarianzmatrix auch in eine Autokorrelationsmatrix umformen. Durch die Multiplikation mit w(m) kann man φ i,j umschreiben zu: φ i,j = N 1 (i j) s(n)s(n + (i j)) (14) da für Werte ausserhalb des Fensters s(n) = 0 gesetzt wurde. Nun hängt φ i,j nicht mehr direkt von i und j sondern nur noch von der Differenz i j ab. 7

8 Damit lässt sich φ i,j schreiben als: φ i,j = r i j (15) und damit gilt: r i,j = r k = N 1 k s(n)s(n + k) (16) Nun erhält man für Φ eine Toeplitz-Matrix: r 1 r 1 r 1 r 1 r 1 a 1 r 1 r 2 r 2 r 2 r 2 a 2 r 3 = r 3 r 3 r 3 r 3 a 3 r p r p r p r p r p a p (17) Toeplitz-Matrizen haben den Vorteil, dass sie sich sehr schnell berechnen lassen. Im Folgenden ist der Durbin Algorithmus angegeben, der diese Matrix schnell und effizient löst und dabei die einzelnen Kovarianz-Parameter berechnet, die stabiler sind als die eigentlichen Filterkoeffizienten und deshalb teilweise auch zur Analyse und Synthese des Sprachsignals herangezogen werden. Durbin-Algorithmus (iterativ, mit i = 1, 2,.., p) : E (0) = r 0 i 1 k i = r i j=1 α i 1 j r i j (18) /E (i 1) (19) α (i) i = k i (20) α (i) j = α i 1 j k i α (i 1) i j (21) E (i) = (1 k 2 i )E(i 1) (22) Dabei gilt: a m = Filterkoeffizienten = α (p) m (23) 8

9 k m = PARCOR Koeffizienten (24) g m = log area Koeffizienten = log ( ) 1 km 1 + k m (25) 4.4 Bestimmung der Grundfrequenz bei stimmhaften Segmenten Die Grundfrequenz im Sprachsignal entsteht durch die periodische Vibration der Stimmbänder. Diese sind bei einem stimmlosen Laut nicht beteiligt, was sich auch an ihrem aperiodischen Charakter sehen lässt. Aus diesem Grund wird und kann man die Grundfrequenz nur bei stimmhaften Signalen bestimmen. Jedoch ist diese Berechnung äusserst aufwendig. Zum einen lässt sich die Grundfrequenz direkt über die Autokorrelationskoeffizienten r k bestimmen. Denn r k besitzt ein Maximum, wenn k der Grundfrequenz entspricht. Jedoch ist diese Methode sehr fehleranfällig. Das Maximum wird meist durch einen Vergleich des Signals mit einem Schwellenwert ermittelt. Das muss aber nicht zwangsweise die Grundfrequenz sein. Auch durch sonstige Resonanzen im Vokaltrakt oder Interferenzen kann dieser Schwellenwert überschritten werden. LPC-10 verwendet einen anderen Ansatz. Es benutzt die average magnitude difference function - kurz AMDF - mit: AMDF (p) = 1 N k 0 +n i=k 0 y i y i p mit Grundperiode p (26) Da die Grundperiode bei der menschlichen Sprache zwischen 2.5ms und 19.5ms liegen muss, kann man verschiedene Werte für p einsetzen und so das Minimum etwa durch Ausprobieren ermitteln. Für Signale, die mit 8kHz abgetastet werden wie z.b. bei LPC-10, bedeutet dies: 20 p 120. Die Grundfrequenz selbst ist reziprok zur Grundperiode. Eine weiter Möglichkeit ist die Berechnung über das Cepstrum. Dabei wird ausgenutzt, dass die Grundfrequenz zwischen 50 und 400 Hz liegt, also im tiefen Frequenzspektrum. Diese werden beim Cepstrum hervorgehoben und deutlich weiter rechts auf der Frequenzachse abgebildet, als die höheren Frequenzen. Die Grundperiode macht sich nun als deutliche Spitze im Bereich zwischen 2.5ms und 19.5 bemerkbar, und kann somit leicht ermittelt werden. Bei stimmlosen Signalen fehlt diese charakteristische Spitze. 9

10 4.5 Berechnung der Verstärkung G Zur Berechnung des Verstärkungsfaktor G muss folgende Gleichung gelöst werden: G 2 = 1 1 p a k r k (27) r 0 k=1 Wurde die Bestimmung der Filterkoeffizienten über die Autokorrelation des Signals und den Durbin-Algorithmus vorgenommen, so lässt sich G aus deren Zwischenergebnissen berechnen als: G = E (0) /E (p) (28) 4.6 Berechnung der Energie im Segment Die Energie im Segment lässt sich sehr einfach über die Autokorrelation berechnen. Es gilt: E = r 0 = N 1 s 2 (n) (29) Wurden die Filterkoeffizienten bereits über die Autokorrelationsmethode berechnet, so fällt die Energie bei der Berechnung automatisch als Nebenprodukt ab. 4.7 Berechnung des Cepstrum Das Cepstrum lässt sich direkt aus den Filterkoeffizienten berechnen. Und zwar als: c k = a k = 1 k k 1 i=1 ic i a k i mit1 k p (30) Das Cepstrum ist eine weitere Möglichkeit zur Darstellung und Analyse von Sprachsignalen. Die Parameter entsprechen der Rücktransformierten des logarithmisch dargestellten Betragsspektrums und sind im allgemeinen stabiler als die Filterkoeffizienten selbst. 10

11 4.8 Probleme des LPC-Modells Das LPC-Modell ist ein stark vereinfachtes Modell für die menschliche Spracherzeugung. Es ist sehr gut geeignet, um stimmhafte Laute nachzubilden und zu erkennen, und auch stimmlose Laute können noch mit guter Näherung reproduziert werden. Jedoch liegen in der Vereinfachung des Modells auch Probleme. Diese beziehen sich hauptsächlich auf folgende Punkte: Durch Approximation des Stimmbereichs als einfache Röhre wird ignoriert, dass neben der Mundhöhle auch der Nasenraum an der Sprachbildung beteiligt ist. Da dieser in die Analyse und Synthese nicht miteinfliesst, kann man mit dem LPC-Modell nasale Laute nur sehr schlecht erkennen bzw. unterscheiden. Im LPC-Modell wird nur zwischen stimmhaften und stimmlosen Lauten unterschieden. Allerdings gibt es auch in der deutschen Sprache Laute, die sowohl stimmhafte als auch stimmlose Merkmale aufweisen. Diese Laute werden vom LPC-Modell aber entweder als stimmhaft oder als stimmlos klassifiziert, so dass sie bei der Synthese nicht korrekt reproduziert werden können, da sie eigentlich eine Mischform darstellen. Die Merkmalserkennung kann speziell bei lauten Hintergrundgeräuschen schnell fehlerhaft werden, da LPC diese nicht als solches erkennen kann und sie deshalb in die Analyse des eigentliches Sprachsignals mit einfliessen. Das LPC-Verfahren eignet sich nur für das Komprimieren und Erkennen von menschlicher Sprache. Bei anderen analogen Signalen ist im Normalfall die Fehlerrate zu gross, da diese im Gegensatz zur menschlichen Sprache meist nicht partiell konstant sind und nicht durch ein dem Quelle-Filter-Modell entsprechenden Verfahren erzeugt werden können. 5 Fazit Das LPC-Modell analysiert das Sprachsignal, indem es versucht, den Weg der menschlichen Spracherzeugung nachzubilden. Dazu werden Filterkoeffizienten berechnet, die es erlauben, den menschlichen Vokaltrakt möglichst gut zu simulieren. Ebenso wird bestimmt, ob ein Signal stimmhaft oder stimmlos ist, wieviel Energie es enthält und was seine Grundfrequenz ist. Durch diese Fülle von Parametern eignet sich meiner Meinung nach das LPC-Verfahren sehr gut zur Spracherkennung, da es die speziefischen Merkmale aus dem Sprachsignal extrahiert. Diese Parameter lassen sich nun im Folgenden mit den unterschiedlichsten Methoden auswerten und verarbeiten. Die Sprachübertragung bei der die Parameter übertragen werden und an der anderen Seite wieder synthetisiert werden ist nur eine Anwendungsmöglichkeit. Genauso kann man die Parameter analysieren und auf das Sprachsignal reagieren. Man denke hier 11

12 zum Beispiel an Spracherkennungssoftware, die es erlaubt, vom Nutzer per Sprache ferngesteuert zu werden. References [1] L.R. Rabiner und R.W. Schafer Digital Processing of Speech Signals (Prentice Hall, Englewood Cliffs, New Jersey, 1978) [2] Jeremy Bradbury Linear Predictive Coding (December 2000) [3] Bernd Eppinger und Eberhard Herter Sprachverarbeitung (Carl Hanser Verlag, München, Wien) [4] ajr/speechanalysis 12

13 Fig. 6. Änderung des Vorhersagefehlers bezüglich der Anzahl der Parameter 13

14 Fig. 7. Spektrum für einen stimmhaften Laut für verschiedene Vorhersage-Ordnungen p 14