VAD - Voice Activity Detection -

Größe: px

Ab Seite anzeigen:

Download "VAD - Voice Activity Detection -"

Lieselotte Weiss
vor 8 Jahren
Abrufe

1 VAD - - erstellt: Robert Schaar s63012 erstellt: Robert Schaar s63012 Mensch-Maschine-Robotik

2 1. Einleitung 2. Aufbau des Algorithmus 2.1. allgemeiner Aufbau 2.2. Fourier-Transformation 2.3. Short-Time Energy 2.4. Most Dominant Frequency Component 2.5. Spectral Flatness Measure 3. Implementierung im Workshop 4. Quellen

3 1. Einleitung Verfahren, zur Erkennung von Sprache in Audiodaten unabhängig von der menschlichen Stimme/Sprache weibliche/männliche Stimme Erkennung von Sprachpausen auch bei Audio-Signalen (Musikdaten) wichtige Anforderungen an VAD: Einfachheit/Robustheit Zuverlässigkeit/Genauheit Anpassung/Echtzeit-Verhalten

Sprachpausen auch bei Audio-Signalen (Musikdaten) wichtige Anforderungen an

4 1. Einleitung VAD ist in ITU-Empfehlung G.722 beschrieben International Telecommunication Union unnötige Datenübertragung von inhaltsleeren Datenpaketen Rechenleistung einsparen Übertragungskapazität verringern Energiemanagement von Endgeräten(Smartphones) optimieren Roboter kann mit VAD Sprache von Personen erkennen z.b. Kunde im Baumarkt weitere Anwendungsfälle: IP-Telefonie (VoIP / Skype) Spracherkennungssoftware

Datenpaketen Rechenleistung einsparen Übertragungskapazität verringern Energiemanagement von

5 2. Aufbau/Implementierung des Algorithmus Vorstellung Algorithmus EUSIPCO (European Signal Processing Conference 2009) einfach implementierbar Effizient in Laufzeit Echtzeit-Verarbeitung Entwicklung University of Technology, Teheran, Iran M. H. Moattar / M. M. Homayounpour 3 wichtige Features zur Erkennung von Sprache: Short-Time Energy Most Dominant Frequency Component Spectral Flatness Measure

Entwicklung University of Technology, Teheran, Iran M.

6 2.1. allgemeiner Aufbau Größe jedes Frames = 10ms Framing der Sprachdaten aus WAVE-Sounddatei RIFF-Header/DATA Ermittlung der Anzahl der Frames z.b. bei 7,8 sec ca. 670 KByte

7 2.1. allgemeiner Aufbau ersten 30 Frames zur Initialisierung/Lernen Rauschen erlernen keine Sprache enthalten Erkennung von Sprache durch 3 Features für jedes Frame Vergleich mit den Referenzwerte(Tresholds) Markierung der Frames als Sprache/Rauschen

enthalten Erkennung von Sprache durch 3 Features für jedes

8 2.2. Fourier-Transformation Mathematiker: Jean Baptiste Joseph Fourier geb Methode der Fourier-Analysis Jahr 1822 Fourier-Reihen vier verschiedene Arten von Fourier-Transformation DFT ( Distrekte Fourier-Transformation) Eingangsdaten: Signale aus Zeit-Domäne Zerlegung in Teilwellen» unter anderem Sinus oder Kosinus oder Kombination Umwandlung in eine Frequenz-Domäne sehr nützlich in der Signalverarbeitung» Bestimmung vorkommender Frequenzen in abgetasteten Signal» Bestimmung der einzelnen Amplituden zu diesen Frequenzen

Fourier-Transformation) Eingangsdaten: Signale aus Zeit-Domäne Zerlegung in Teilwellen» unter anderem Sinus oder Kosinus oder

9 2.2. Fourier-Transformation inverser DFT Rekonstruktion des Signales FFT ( Fast Fourier-Transformation) James Cooley / John W. Tukey Jahr 1965 basiert auf DFT schnellere Berechnung / weniger Rechenaufwand Berechnung von Zwischenergebnisse inverser FFT Rekonstruktion des Signales Gleicher Berechnung wie DFT

Tukey Jahr 1965 basiert auf DFT schnellere Berechnung / weniger

10 2.3. Short-Time Energy ermittelt den Energieerhalt des aktuellen Frames Quadrierung der Wave-Daten und Aufsummierung E( i) = N x= 0 Wi( x ) 2 Effizienz dieser Funktion Erkennung bei alleiniger Benutzung zu gering

11 2.4. Most Dominant Frequency Component aufbauend auf der Fourier- Transformation Finden des dominantesten Frequenzanteils F( i) = arg max k S( k) Funktion zur Erkennung ob Sprachaktivität in Frame herrscht bzgl. mit Frame-Energy noch zu ungenau

Frequenzanteils F( i) = arg max k S( k) Funktion zur

12 2.5. Spectral Flatness Measure aufbauend auf Fourier-Transformation Maß, wie sehr Energie des Signals über verschiedenen Frequenzen verteilt ist SFM ( i) N N 1 n= 0 = N 1 n= 0 xi( n) N xi( n) wird unter anderem in db gegemessen erstellt: Robert Schaar s63012

verschiedenen Frequenzen verteilt ist SFM ( i) N N 1 n= 0 = N 1

13 Tresholds werden bei ersten 30 Frames ermittelt Optimierung weiterhin während Laufzeit Vergleich von den drei ermittelten Features jedes Frames mit ermittelten Tresholds Markierung des Frames als: Sprache wenn mind. 2 Features Schwellenwert überschreitet Rauschen wenn 2 Features Schwellenwert unterschreitet

mit ermittelten Tresholds Markierung des Frames als: Sprache wenn mind.

14 3. Implementierung im Workshop Implementierung in Skriptsprache PHP für VAD-Prototyp Klasse Wave, FFT, SimpleVAD gewohnte Entwicklungsumgebung Fast lauffähige Anwendung Derzeitiges Problem: Spectral Flatness Measure nicht 100% geeignet für VAD-Algorithmus Performance-Leistung bei Fourier-Transformation Berechnung t > 5min Sprachbasierte Rundungsfehler bei geometrischen Mittel Spätere Konvertierung in MATLAB Vorgefertigte Funktion von MATLAB: Fourier-Transformation Einlesen der WAVE-Datei schnellere Ermittlung des E und SFM erstellt: Robert Schaar s63012 Mensch-Maschine-Robotik

Fourier-Transformation Berechnung t > 5min Sprachbasierte Rundungsfehler bei geometrischen Mittel Spätere Konvertierung in MATLAB Vorgefertigte

15 4. Quellen %20Voice%20Activity%20Detection%20Algorithms%20Using%20Long- Term%20Speech%20Information.pdf

16 Vielen Dank für Eure Aufmerksamkeit

Ähnliche Dokumente

Bildverarbeitung Herbstsemester 2012. Fourier-Transformation

Bildverarbeitung Herbstsemester 2012 Fourier-Transformation 1 Inhalt Fourierreihe Fouriertransformation (FT) Diskrete Fouriertransformation (DFT) DFT in 2D Fourierspektrum interpretieren 2 Lernziele Sie