Geräuschunterdrückung und Klassifizierung der akustischen Umgebung. Beamformer Auditorische Szenenanalyse

Transkript

1 Geräuschunterdrückung und Klassifizierung der akustischen Umgebung Beamformer Auditorische Szenenanalyse

2 Das digitale Hörgerät Technologische Möglichkeiten werden laufend erweitert. Wie können die Hörbehinderten davon profitieren? Psychoakustische Modelle als Grundlage komplexer Signalverarbeitung für Hörgeräte Fortschritte in der Störgeräuschreduktion mit Ein- und Mehrmikrofonsystemen Binaurale Algorithmen zur verbesserten Lokalisation und Geräuschunterdrückung Wahrnehmung und Klassifizierung auditorischer Objekte (automatische Programm-Selektion)

3 Störschallunterdrückung Abschwächung konstanter Hintergrundgeräusche Aktivierung von Richtungsmikrofonen im Störschall

4 Schallvereinfachung Verständlichkeitsschwelle Intaktes Gehör: niedriger SNR Cochleäre Schwerhörigkeit: erhöhter SNR

5 Schallvereinfachung Verständlichkeitsschwelle (db SNR) Killion Hörverlust db (3FA) Schwacher Hörverlust Mittlerer Hörverlust Starker Hörverlust

6 Kopfschattenmodell (Kugel) Relative Amplitude an Kugel r=9.3 cm, 0..5 khz

7 Beispiel einer Reflexionsberechnung

8 Kopfschatten: Messung und Modell Interaural sound pressure level difference (db) Azimuth (degrees)

9 Gemessene Transferfunktionen Modellierte Transferfunktionen

10 Schallvereinfachung Ziele Hervorhebung von Sprachschallen Absenkung von Nebengeräuschen Strategien Erhöhung des SNR Reduktion des Störschalls Mittel Unterdrückung quasi-stationärer Geräusche Richtmikrofon-Technologie FM-Technologie Schall-Enthallung Automatische Aktivierung der Störschallunterdrückungsfunktionen

11 Schallvereinfachung Unterdrückung quasi-stationärer Geräusche Verändert die Verständlichkeitsschwelle kaum, reduziert aber die Höranstrengung. Beispiel: Sprache in gleichmässigem Geräuschhintergrund Original Mit Geräuschunterdrückung

12 Schallvereinfachung Richtmikrofon-Technologie Unterdrückung des Störschalls, der von der Seite und von hinten kommt. Verbessert den SNR deutlich.

13 Beamformer-Prinzip-Schema Signal Delay Noise d x Filter stop Adaptation falls 2 <d > > const <x 2 >

14 Adaptiver Beamformer und Raum-Uebertragungsfunktionen G (z) nr g nr,k n(k) G (z) nl G (z) sr d'(k) d(k) (k) z - x(k) W(z) 0 g nl,k k s(k) k G (z) sl 1 a k A(z) k n(k) B(z) d'(k) z - d(k) (k) b k C(z) x(k) W(z) k s(k) D(z)

15 Direktivitäts-Muster db 0 ohne Nutzsignal- Detektion mit Nutzsignal- Detektion

16 SNR Verbesserung [db] 10 SNR Verbesserung [db] 16 direkt beschalltes Ohr 8 direkt beschalltes Ohr Kontralaterales Ohr 2 0 Kontralaterales Ohr Nachhallzeit [s] Filterlänge [taps]

17 Normalhörende Versuchspersonen (n=9) 100 % richtige Antworten (CL-korrigiert) monaural rechts monaural links binaural Beamformer SNR (db) Konsonanten Vokale

18 Hörbehinderte Versuchspersonen (n=6) Cafeteria Noise Speech Spectrum Noise 100 % richtige Antworten (CL-korrigiert) monaural re monaural li Beamformer 100 % richtige Antworten (CL-korrigiert) monaural re monaural li Beamformer SNR (db) Konsonanten Vokale SNR (db) Konsonanten Vokale

19 Normalhörende Versuchspersonen (n=9) Einfluss von Richtmikrofonen Hörbehinderte Versuchspersonen (n=6) 100 % richtige Antworten (CL-korrigiert) binaural Beamformer BF + Richtmikrofone 100 % richtige Antworten (CL-korrigiert) Beamformer BF + Richtmikrofone SNR (db) Konsonanten Vokale 0 SNR (db) Konsonanten Vokale

20

21

22

23

24 Automatische Multi-Programm- Strategien - Nutzen im Alltag Angenehme Sprachwahrnehmung in unterschielichen Situationen erfordert unterschiedliche Signalverarbeitung Sprache in Ruhe: omni-direktional, grosser Frequenzbereich Sprache in Störlärm Richtungsmikrofon, reduzierter Tieftonbereich

25 AutoSelect-Funktion Akustische Umgebung? Passendes Hörprogramm? Analyse der akustischen Umgebung Auf optimales Hörprogramm schalten AutoSelect

26 Amplitudenstatistik Merkmale: - Breite & Symmetrie der Verteilung Klassifizierung: - Sprachsignale eindeutig Signal Einhüllende Amplituden-Statistik (verschiedene Perzentile) Breite und Symmetrie der Verteilung Breite Symmetrie

27 Amplitudenstatistik Beschreibung der Amplitudenverteilung der Einhüllenden durch Breite und Symmetrie. Die Breite der Verteilung ist ein Mass für die zeitlichen Schwankungen des Signals. 150 Clean Speech: Envelope Histogram and Percentiles 350 Street Noise: Envelope Histogram and Percentiles % 70 % 50 % 30 % 10 % Counts 75 Counts Breite Breite Envelope Level [db] Envelope Level [db]

28 Modulationsfrequenzanalyse Merkmale: - Modulationstiefe für tiefe, mittlere und hohe Modulationsfrequenzen Klassifizierung: - trennt reine Sprache von Sprache+Störlärm und Geräusche ohne Sprache Signal Einhüllende Modulations-Filterbank (3 Kanäle) Modulationstiefe m1 m2 m3

29 Modulationsfrequenzanalyse Beschreibung der Modulationstiefe der Einhüllenden bei niedrigen, mittleren und hohen Modulationsfrequenzen. Die Stärke der Amplitudenmodulation ist ein Mass für die zeitlichen Signalschwankungen. Clean Speech: Envelope in First Modulation Channel (light)and Modulation Depth m1 (dark) 0.1 Street Noise: Envelope in First Modulation Channel (light) and Modulation Depth m1 (dark) m Amplitude Amplitude m Time [sec] Time [sec]

30 AutoSelect: Vier Signalmerkmale Am plit ude Mittlerer Pegel Schwankungen des Pegels Time (msecs) Zeit Spektraler Schwerpunkt M a gni tu d e (d B) Schwankungen des Schwerpunkts Frequency (Hz) Frequenz

31 Zeitliche & spektrale Fluktuationen und Form Merkmale: - mittlerer Pegel, Pegelschwankungen, spektraler Schwerpunkt, Schwankungen des spektralen Schwerpunkts Klassifizierung: - reine Sprache eindeutig Signal FFT Spektrum TotPow MLFS CGAV CGFS

32 Zeitliche & spektrale Fluktuationen und Form Beschreibung der Verteilung der Amplituden durch die Pegelschwankungen MLFS. MLFS ist umgekehrt proportional zur Varianz der zeitlichen Amplituden und ist damit ein Mass für die zeitlichen Schwankungen des Signals Clean Speech: Mean Level (dark), Variance (light), and MLFS (solid dark) mittlerer Pegel Street Noise: Mean Level (dark), Variance (light), and MLFS (solid dark) mittlerer Pegel Amplitude Amplitude Varianz MLFS Varianz MLFS Time [sec] Time [sec]

33 Mittlerer Pegel AutoSelect-Funktion Extraktion von Signalmerkmalen Schwankungen des Pegels Spektraler Schwerpunkt Schwankungen des spektralen Schwerpunkts Klassifizierung des Signals Ruhe / Sprache Störgeräusch Wahl des optimalen Hörprogramms AudioZoom Noise Canceler Verstärkung

34 Grenzen der AutoSelect-Funktion Robuste Erkennung von Sprachsignalen Musiksignale werden oft als Störgeräusch interpretiert. Aktuelle Forschung Extraktion weiterer Merkmale Intelligenter Mustererkenner Mehr Klassen unterscheidbar: -Musik - Sprache im Störgeräusch - Verschiedene Störgeräusche - Alarmsignale -...

35 Klassifizierung von Geräuschen Alle Methoden trennen auf robuste Weise Sprachsignale / Nicht- Sprachsignale Eine differenzierte Unterscheidung verschiedener akustischer Umgebungen ist nicht möglich Eine Kombination bringt keine verbesserte Klassifizierungsleistung Breite des Amplitudenhistogramms, Modulationstiefe und Pegelschwankungen sind alles Masse für zeitliche Schwankungen der Signalamplitude, also äquivalente Merkmale

36 Wie klassifiziert das auditorische System Klänge, Geräusche? Die untersuchten Klassifizierer haben klare Limiten, welche unsere Ansprüche nach intelligenten Hörgeräten noch nicht erfüllen können. Wir können natürlich noch beliebig viele physikalische Signaleigenschaften sammeln und in den Entscheidungsprozess integrieren, doch welche Merkmale sind für die Wahrnehmung fundamental? - Neue Wege sind zu beschreiten, lassen wir uns inspirieren... Auditorische Szenenanalyse, Wahrnehmung von akustischen Objekten

37 Figur-Hintergrund Problem... woher weiss das auditorische System welche Komponenten zu welchem Ereignis, zu welcher Schallquelle gehören? (Auditorische) Bilder basieren auf zwei Komponenten: Fusion, auditorische Integration oder Gruppierung Trennung

38 Wahrnehmung auditorischer Objekte... einzelne Instrumente werden heraus gehört, wir können also einzelne Schallquellen trennen und akustische Objekte wahrnehmen Mechanismen?

39 Gestalt - Prinzipien (a) Kontinuität verbundene Regionen eines Bildes werden als Einheit gruppiert (b) Nähe in der Nähe liegende Elemente werden gruppiert (c) Ähnlichkeit Gruppierung ähnlicher Elemente (d) gleiches Schicksal Elemente welche sich räumlich und zeitlich kohärent verändern (e) Abgeschlossenheit bilden Elemente eine geschlossene Kontour, werden sie gruppiert. (f) glatter Übergang glatte Übergänge statt abrupte Veränderungen, die kreuzenden Linien werden hier gesehen und nicht zwei sich berührende Linien, Körper (g) Symmetrie symmetrisch eingefasste Gebiete erscheinen als gruppiertes Bild

40 Stufen der Wahrnehmung auditorischer Objekte Gruppierungsverfahren: primitives Gruppieren Gruppieren nach Schema Gestalt-Prinzipien Bildung von Ereignissen Bildung von Quellen

41 Gruppierung: Ereignis-Bildung Partialtöne eines Klangs zeitlich gruppieren Wichtigste Prinzipien: Gemeinsames Schicksal Common Onset, AM, FM Kontinuität Kurze Unterbrüche werden ignoriert Geschlossenheit Perzeptive Addition von nicht vorhandenen Teilen

42 Merkmal: Spektrale Trennung Am plit ude t Zeitsignal Time (msecs) Filterbank Ma 60 gni tud e 50 (d B) 40 f 7 6 Fre 5 q. (K Hz) 4 f-t Frequency (Hz) Time (msecs)

43 Features: Spektrales Profil Amplitude Pegeländerung Frequenz Spektrales Profil pegelunabhängig für viele Klänge relative Amplituden- Differenzen werden betrachtet.

44 Features: Spektrales Profil Amplitude Musik Störgeräusch Unterschiedliche Klänge haben meist unterschiedliche spektrale Profile Grosse Varianz innerhalb Klassen möglich Sprache Frequenz Spektrales Profil bestimmt Klangfarbe Timbre?

45 Features: Harmonizität Harmonizität gibt an, inwiefern einzelne Partialtöne im Signal in eine harmonische Serie fallen Viele natürliche Klangquellen produzieren harmonische Partialtöne [db] [Hz lin.] Harmonische einzelner Quellen formen ein einzelnes auditorisches Objekt: Pitch Hervorragendes Beispiel für simultane Gruppierung

46 Wahrnehmung auditorischer Objekte... Primitive Gruppierung findet auf verschiedenen hierarchischen Stufen statt und formiert Ereignisse, Quellen: Die Bildung von Ereignissen basiert hauptsächlich auf der Gruppierung spektraler Klangbestandteile in jedem Zeitpunkt. - gleiches Schicksal Onset / Offset, Amplitudenmodulation, Frequenzmodulation - Abgeschlossenheit hilft Klanglücken zu überbrücken - glatter Übergang Klangbestandteile ändern das Spektrum nur langsam, harmonische Abfolge

47 Wahrnehmung auditorischer Objekte Die Bildung von Quellen basiert auf der Gruppierung von zeitlich kohärenten Ereignissen. - Ähnlichkeit Töne mit gleichem Timbre kommen von einer Quelle, Instrument - Nähe aufeinanderfolgende Noten ähnlicher Frequenz (Pitch) zählen zu einer Quelle - Abgeschlossenheit stille zeitliche Lücken in Signalen sind dem auditorischen System nicht vertraut - glatter Übergang keine abrupten Übergänge im Klangcharakter

48 Features für Geräuschklassifizierung Spektrale Trennung FFT Amplituden-Modulation Kates, Ludvigsen, Ostendorf Harmonizität/Pitch Korl: Tonalität, Pitch-Varianz Spektrales Profil Korl: Spektrale Welligkeit Zeitliche Trennung, On/Offset Büchler: Onsets Frequenz-Modulation? Räumliche Trennung?

49 Geräuschklassifizierung Aktuelle Implementation MLFS CGAV CGFS Wav File Breite Schiefe HMM Klassifizierer Score / Demo Tonalität Pitchvarianz Common Onsets

50 Geräuschklassifizierung: Demo für 4 Klassen Speech Reverberated Speech Cafeteria Noise Speech in Cafeteria Noise Traffic Noise Classic Music Pan Flute Singing

51 Schlussfolgerungen, Ausblick Die Rechenleistung von Hörcomputern wird in den nächsten 3 Jahren 2...3mal gesteigert, ohne dass die Chipgrösse oder der Stromverbrauch zunimmt. Heutige Systeme zur Klassifizierung von akustischen Ereignissen können zwar Sprache von anderen Signalen trennen, sind aber noch verbesserungsbedürftig.

52 Schlussfolgerungen, Ausblick Das denkende, intelligente Hörgerät ist noch ein Traum. Möglicherweise helfen uns Modelle weiter, welche auf die Erkennung von auditorischen Objekten abstützen. Hier gibt es allerdings noch viele Unbekannte Stoff für weitere Forschung

53 Unter Mitarbeit von: Silvia Allegro Herbert Bächler Michael Boretzki Michael Büchler Mattia Ferrazzini Herbert Jakits SaschaKorl Volker Kühnel WaiKong Lai Stefan Launer Olegs Timms Simone Volpert