Räumliches Hören. Zuordnung der räumlichen Position Identifikation auch außerhalb des Sichtbereichs

Transkript

1 räumliches hören 1 Räumliches Hören Einzelnes Hörereignis: Multiple Schallquellen: Zuordnung der räumlichen Position Identifikation auch außerhalb des Sichtbereichs Auditorische Szene (und deren Analyse) Coctailparty effect (Konzentration auf eine Schallquelle) In Räumen: Multiple Echos (Nachhall) Komplexe perzeptive Effekte: Wahrnehmung der Schallquelle (Klang, Distanz) Wahrnehmung des Raums Interaktion RaumSchallquelle Nov 13, 2014

2 räumliches hören 2 Inhalte Grundlagen des räumlichen Hörens Eine Schallquelle Kein Raum (im Freifeld) Lokalisation über Kopfhörer Modelle der Schallquellenlokalisation Lokalisation über Lautsprecher Hall, Räumlichkeit

3 räumliches hören 3 Schallempfänger Schall über zwei Empfänger zugänglich: Ausgerichtet in der Horizontalebene Individuelle Asymmetrien in der Geometrie der Empfänger Richtungsabhängige Filterung des Schalls Williams (2002)

4 räumliches hören 4 Raumebenen Horizontalebene Interaurale Horizontalebene Medianebene Sagittalebenen Parallelverschiebungen der Medianebene Frontalebene Psychoakustisch nicht relevant

5 räumliches hören 5 Schallquelle im Freifeld Schallquellenposition: Azimut: Elevation: r Elevation Entfernung: r QuelleOhrBeziehung: Ipsilateral: Schallquelle zugewandt Kontralateral: Schallquelle abgewandt Azimut

6 räumliches hören 6 Lokalisation Unterschied zwischen: Schallquellenort Hörereignisort Lokalisationsfehler Systematischer Fehler Mean, Accuracy, Bias Lokalisationsunschärfe Statistischer Fehler Variance, Precision, Blur r Fehle e f r ä h c s n U

7 räumliches hören 7 Lokalisation in der Horizontalebene Interaurale Pegeldifferenzen Interaurale Zeitdifferencen Interaural time differences (ITDs) Links: AL Interaural level differences (ILDs) ITD 0 Rechts: AR ILD: AL AR ITD

8 räumliches hören 8 Interaurale Pegeldifferenzen (ILDs) Akustischer Schatten beim kontralateralen Ohr Frequenzabhängig: Wellenlänge größer als der Kopf: Wellenlänge im Bereich des Kopfdurchmessers: kein Einfluss Beugung um den Kopf Wellenlänge kleiner als der Kopf: Abschattung Daniel (1998)

9 räumliches hören 9 Interaurale Pegeldifferenzen (ILDs) ILD (Kugelmodell) Breitbandige ILD (gemessen am Dummy) ILD (db) Fr Azim u (deg) th angle eq ue nc y( Hz ) Blauert (1974) Azimuth (deg)

10 räumliches hören 10 Interaurale Pegeldifferenzen (ILDs) Vereinfachung: ca. ab 1kHz wirksam Williams (2002)

11 räumliches hören 11 Interaurale Pegeldifferenzen (ILDs) Perzeptive Schwelle (just noticable diff., JND): Im Bereich von 1 db (Hall, 1964) Hängt vom Schallpegel ab (Herschkowitz & Durlach, 1969) Herschkowitz & Durlach (1969) ILD JND (db) Schallpegel (db über Hörschwelle)

12 räumliches hören 12 Interaurale Pegeldifferenzen (ILDs) Perzeptive Schwelle (just noticable diff., JND): Im Bereich von 1 db (Hall, 1964) Hängt vom Schallpegel ab (Herschkowitz & Durlach, 1969) Geringe Abhängigkeit von der Frequenz oder interauraler Frequenzverschiebung (Francart and Wouters, 2007) Francart and Wouters (2007) ILD JND (db) Frequenzverschiebung

13 räumliches hören 13 Interaurale Pegeldifferenzen (ILDs) Perzeptive Schwelle (just noticable diff., JND): Im Bereich von 1 db (Hall, 1964) Hängt vom Schallpegel ab (Herschkowitz & Durlach, 1969) Geringe Abhängigkeit von der Frequenz oder interauraler Frequenzverschiebung (Francart and Wouters, 2007) Francart and Wouters (2007) ILD JND (db) Gute Hinweise für primäre Abhängigkeit von der lateralen Schallquellenposition (Bernstein, 2004) Frequenzverschiebung

14 räumliches hören 14 Interaurale Laufzeitdifferenzen (ITDs) Einfaches Modell: r ITD= T = sin c (Woodworth & Schlosberg, 1962) Begault (2001)

15 räumliches hören 15 Interaurale Laufzeitdifferenzen (ITDs) Einfaches Modell: r ITD= T = sin c (Woodworth & Schlosberg, 1962) Bessere Berücksichtigung der Anthropometrie: r re : r e =0.51 x x Algazi et al. (2001)

16 räumliches hören 16 Interaurale Laufzeitdifferenzen (ITDs) Physikalischer Bereich: +/ 800 µs

17 räumliches hören 17 Interaurale Laufzeitdifferenzen (ITDs) Perzeptive Schwelle: Im Bereich von 10 µs Zwislocki & Feldman, 1956 ITD (µs) Frequenz (Hz)

18 räumliches hören 18 Physiologie der ITDWahrnehmung Dietz (2010)

19 räumliches hören 19 Physiologie der ITDWahrnehmung Delayline model (Jeffress, 1948): Dietz (2010)

20 räumliches hören 20 Physiologie der ITDWahrnehmung Delayline model (Jeffress, 1948): Dietz (2010)

21 räumliches hören 21 Physiologie der ITDWahrnehmung Delayline model (Jeffress, 1948): Äquivalent zu KurzzeitKreuzkorrelation Dietz (2010)

22 räumliches hören 25 Interaurale Laufzeitdifferenzen (ITDs) Perzeptive Schwelle: Im Bereich von 10 µs Für Sinustöne: starke Abhängigkeit von der Frequenz Phasenambiguität in der laufenden ITD Refraktärzeit der Neuronen Henning (1974) Percent Correct (%) ITD (µs)

23 räumliches hören 26 Phase Locking Neuronen feuern bei überschwelligen Signalen Phase Locking: Kodierung der Signalphase PostStimulusTime Histogramm (Frequenz: 375 Hz) Periodisches Histogramm: (Periode: 5.33ms) Greenberg (1997)

24 räumliches hören 27 Neuronale Aktivität Refrakträrzeit der Neuronen: ca. 1ms Periodisches Histogramm: Max. Entladerate: Einzelnes Neuron: max. 1 khz Ensemble: bis 3 khz % der Anzahl der Entladungen Zeit in us Greenberg (1997)

25 räumliches hören 28 Interaurale Laufzeitdifferenzen (ITDs) Perzeptive Schwelle in komplexen Klängen: SinustonITD ITD in der Feinstruktur Modulation ITD in der Einhüllenden: Henning (1974) Schwelle: ca. 50 µs ITD ENV 0 ITD FS 0 Percent Correct (%) ITD (µs)

26 räumliches hören 29 Interaurale Laufzeitdifferenzen (ITDs) Lateralisation mit ITDs: ITD in tiefen Frequenzen (Sinuston): starker Effekt ITD in den hohen Frequenzen (Einhüllenden): schwach Wahrgenommene Auslenkung Bernstein (2001) ITD (µs)

27 räumliches hören 30 Merkmale für die Lokalisation in der Horizontalebene ILD (breitbandig)? ITD (breitbandig)? EinhüllendenITD (hohe Frequenzen)? Spektrale Merkmale (cues)? Interaurale spektrale Differenzen? Monaurale Merkmale? DuplexTheorie (Rayleigh 1907 & andere) Tiefe Frequenzen: ITDs Hohe Frequenzen: ILDs Gilt die DuplexTheorie immer noch?

28 räumliches hören 31 DuplexTheorie Revisited Macpherson & Middlebrooks (2002) ILDGewichtung: ITDGewichtung: 0.82 (breitband); 0.88 (tiefpass); 0.24 (hochpass) Gewichtung der EinhüllendenITD (breitband): kompliziert, hängt von Onset und Modulation ab Gewichtung der interauralen spektrallen Differenzen: 0.52 (breitband); 0.24 (tiefpass); 0.82 (hochpass) Gleich wie breitbandild Gewichtung des monauralen (ipsilat.) Spektrums: 0.03 (breitband); 0.03 (hochpass)

29 räumliches hören 32 Merkmale für die Lokalisation in der Horizontalebene ILD in hohem Frequenzbereich ITD in tiefem Frequenzbereich OnsetITD und ITD in laufender Modulation Spektrale Information nicht relevant (weder monaural noch binaural) Gültig nur in der vorderen Hälfte der Horizontal(Rayleigh 1876) ebene!

30 räumliches hören 33 Cone of Confusion ITDbasierende Ambiguität zw. Vorne und Hinten Modell Messdaten Whigthman & Kistler (1997) Kann mit spektralen Merkmalen aufgelöst werden

31 räumliches hören 34 Cone of Confusion Abb. links: Abb. rechts: Flaches, konstantes Spektrum Spektrum zufällig variiert Ergebnis: Mehr VorneHintenVerwechslungen Größerer Fehler in der Elevation Keine Effekte in der Horizontalebene Target Angle (Deg) Whigthman & Kistler (1997)

32 räumliches hören 35 Perzeptives Koordinatensystem Geodäsisches Koordinatensystem: Azimut & Elevation Horizontalpolares Koordinatensystem: Lateraler Winkel: binaurale Unterschiede Polarer Winkel: spektrale Merkmale Spektrale Merkmale Elevation Azimut Binaurale Unterschiede

33 räumliches hören 36 Monaurale Lokalisation Abb. links: Abb. rechts: Spektrum: flach, konstant Spektrum: zufällig variiert Ergebnis: Monaurale Merkmale für: VorneHintenDiskrimination Lokalisation in der Elevation All dies auch ohne binauraler Merkmale möglich Target Angle (Deg) Whigthman & Kistler (1997)

34 räumliches hören 37 Spektrale Merkmale Außenohrübertragungsfunktionen Headrelated transfer functions (HRTFs) Beschreiben die Filterung durch Kopf, Torso und Pinna Abhängig von der Position der Schallquelle Größte räumliche Abhängigkeit in hohen Frequenzen Im Zeitbereich: Headrelated impulse responses (HRIRs) Williams (2002)

35 räumliches hören 38 Bandbegrenzte Signale Abb. links: Abb. rechts: Lokalisation mit breitbandingen Signalen Signal ohne Energie ab 5 khz Ergebnis: Breitbandige Signale notwendig Vorsicht: Akutstudie Target Angle (Deg) Whigthman & Kistler (1997)

36 räumliches hören 39 Alltägliche Klänge sind breitbandig Folgetonhorn Babygeschrei Eiswürfel ins Glas Whigthman & Kistler (1997) Reißen eines Stoffes Hubschrauber Warnglocke am Bahnübergang

37 räumliches hören 40 Messung der HRTFs Messung beim offenen Gehörgang: Wightman & Kistler (1996) Wightman & Kistler (1996)

38 räumliches hören 41 Messung der HRTFs Messung beim geschlossenen Gehörgang Probe microphone: MØLLER et al (1995) Miniaturmikrophon:

39 räumliches hören 42 Messung der HRTFs Anlage am ISF, Wien:

40 räumliches hören 43 Messung der HRTFs P 2, Der richtungsabhängige Teil: Di, = P 1 P 1 : Schalldruck im Zentrum, ohne Versuchsperson P 2 : Schalldruck am Eingang des geschlossenen Gehörgangs Der richtungsunabhängige Teil: P 3 : Schalldruck am Eingang des Gehörgangs P 4 : Schalldruck am Trommelfell P3 Z ear canal = Anpassung: P 2 Z ear canal Z radiation Gehörgang: P4 P3 MØLLER et al (1995)

41 räumliches hören 44 Messung der HRTFs Nach der Systemidentifikation: S(f): Übertragungsfunktion des Gesamtsystems E(f): Übertragungsfunktion des Equipments H(f): HRTFs S f = E f H f H f = S f E f E f = E min f E max f H f E max f = S f E min f ' H f = H f e arg H f E max f h'l,, [n], h'r,, [n]

42 räumliches hören 45 HRIRs In der Horizontalebene: ETC t =10 log h2 t

43 räumliches hören 46 HRTFs Polar angle (deg) In der Medianebene Polar angle (deg) Frequency (khz) Frequency (khz)

44 räumliches hören 47 Directional Transfer Functions (DTFs) Richtungsunabhängiger Teil: Common Transfer Function (CTF) Amplitudengang: logarithmischer Mittelwert über alle Positionen N 20 C f = log H i f N i=1 Phasengang: Minimumphasiges System Enthält den Diffusanteil der HRTFs Bei Messung mit offenem Gehörgang enthält dessen Resonanz Richtungsabhängiger Teil: Directional Transfer Functions (DTFs) Di f =20 log H i f C f

45 räumliches hören 48 DTFs H f =C f D f Polar angle (deg) Modell der HRTF: Polar angle (deg) Frequency (khz) Frequency (khz)

46 räumliches hören 49 Variabilität der Messung Wiederholung des Messaufbaus Intersubjektive Auswertung Whigthman & Kistler (1996) Whigthman & Kistler (1996)

47 räumliches hören 50 Freifeldsimulation FreifeldDarbietung: Simulation der FreifeldDarbietung: HRTF R HRTF L Virtuelle binaurale Akustik Auditorische Displays Diskrimierbarkeit: virtuell vs. real?

48 räumliches hören 51 Virtuelle Akustik Abb. links: Lokalisation im Freifeld Abb. rechts: Lokalisation mit HRTFs Target Angle (Deg) Whigthman & Kistler (1997)

49 räumliches hören 56 Merkmale für Schallquellenlokalisation Lateralisation: Verschiebung des Hörereignisses innerhalb der interauralen Achse InKopfLokalisation Merkmale: breitbandige ITDs und ILDs Einfach ermittelbar aus der Anthropometrie Lokalisation: Zuordnung einer räumlichen Position einer Schallquelle AußerKopfLokalisation: Externalisation Merkmale: monaurale spektrale Amplituden

50 räumliches hören 57 Lokalisationsleistung In der Horizontalebene: Darbietung im Freifeld Weiße Rauschimpulse Signaldauer: 100ms 600 bis 900 Versuchspersonen Blauert (1974)

51 räumliches hören 58 Lokalisationsleistung 3DRaum: Vergleich Freifeld vs. Virtuell Middlebrooks (1999)

52 räumliches hören 59 Externalisation mit HRTFs Freifeld vs. virtuelle Stimuli: Mit idealen HRTFs keine Diskrimination möglich Veränderung der HRTFs schlechtere Externalisation (bis zu Lateralisation!) 125Hz 250Hz Hartmann (1996) f in khz Hartmann (1996)

53 räumliches hören 60 Individualität der HRTFs HRTFs sind höchst individuell: Messung: 27 Personen Azimuth: 0, Elevation: 0 Sortiert nach dem ersten Notch HRTFs hängen stark von der Anthropometrie ab Algazi et al (2001) Algazi et al (2001)

54 räumliches hören 61 Individualität der HRTFs Lokalisation mit fremden Ohren? Weniger Externalisation Mehr VorneHintenVerwechslungen Effekt hängt von der HRTFKompatibilität ab: Unterschiede in d. Anthropometrie Unterschiede in den HRTFs Unterschiede in Lokalisation Middlebrooks (1999)

55 räumliches hören 70 Binaurale Kohärenz Veränderung des Hörereignisses mit dem Kohärenzgrad der binauralen Signale Anwendung: Simulation der Räumlichkeit k... Kohärenzgrad Prozentangaben: Anteil der Hörereignisse Signal: Breitbandrauschen Blauert (1974)

56 räumliches hören 71 Binaurale Hörmodelle Jefress (1948) Colburn and Durlach (1978): Stern and Trahiotis (1997) Stern and Trahiotis (1997)

57 räumliches hören 72 Bin. Hörmodelle Breebaart et al. (2001): Periphäre Verarbeitungsstufe Bandpass 14kHz 3Ordnung GammatoneFilterbank Gauss'sches Rauschen bei 60 upa Halbwellengleichrichtung mit LP 5ter 770Hz 5 Adaptationskreise Breebaart et al. (2001)

58 räumliches hören 73 Binaurale Hörmodelle Breebart et al.(2001): Binaurale Verarbeitung Zentrale Verarbeitung Breebaart et al. (2001)

59 räumliches hören 74 Modellierung der HRTFs Blauert (1974): Brown & Duda: Approximation des Kopfschatten, der ITD, Echo des Torso und der Reflexionen der Pinna Kistler and Wightman (1997): Kugelmodell Zerlegung mit der Hauptkomponentenmethode (PCA) Statische Filter, die je nach Position versch. gewichtet werden Middlebrooks (1999): Individuelle Anpassung der HRTFs durch TimeStretching

60 räumliches hören 75 Kugelmodell Kugelmodell: Schalldruck einer Kugelwelle (ungestört): p 0 t =ℜ { p 0 e j 2 f t } Nach der Beugung: p t =ℜ { p e j 2 f t } Beugungsverhältnis: p p = e j p0 p 0 p Lösung: Berechnung der Koeffizienten p und 0

61 räumliches hören 76 Kugelmodell Randwertproblem: für große Abstände: ungestörte Welle für Kugeloberfläche: Normalkomponente der Schnellevektoren verschwindet HuygensFresnel'sche Prinzip: Zerlegung des Wellenfeldes in Kugelwellen 2 p = p 0 2 r 2m 1 Dm cos m= [ m=0 2m 1 L m cos e Dm ] j m m 2 2 r 2 r m N m 1/ 2 m 1 N m 3/2 4r 2 r 2 r 2m 1 Dm sin m= m 1 I m 2 m I m 4r [ ]

62 räumliches hören 77 Kugelmodell Schalldruck am linken Ohr Blauert (1974) IID Blauert (1974)

63 räumliches hören 78 Numerische Berechnung der HRTFs Visuelle GeometrieErfassung Numerische Berechnung: Randelemente (BEM) (Katz, 2001; Kahana & Nelson, 2007) FastMultipole gekoppelte BEM (Kreuzer, Majdak, & Chen; 2009) FMMBEM in SH (Gumerov & Duraiswami, 2010)

64 räumliches hören 79 Numerische Berechnung der HRTFs Numerische Berechnung: FastMultipole gekoppelte Randelemente (FMMcoupled BEM) Mesh mit über Knoten

65 räumliches hören 83 Einfache Approximation der HRTFs Approximation des Kugelmodells: ILD: Filter 1ter Ordnung: s p = 2 0 mit 0 = azimut 0 c r 2 0 sz= und = cos ITD: Allpaß 1ter Ordnung mit Gruppenlaufzeit: { a cos 0 2 h = c a c Zölzer (2002)

66 räumliches hören 84 Modellierung des Torso Einfaches Echo: [ t = Azimut... Elevation ] 2 = Zusätzliche Abschwächung bei lateralen Positionen Zölzer (2002)

67 räumliches hören 85 Modellierung der Pinna Multiple Reflexionen, empirisch erfaßt: p = An cos /2 sin [ D n 90 ] B n... Azimut... Elevation = Dn ist individuell anzupassen pn : Verstärkung der Reflexionen Zölzer (2002)

68 räumliches hören 86 Struktur: TorsoKopfPinna Zölzer (2002)

69 räumliches hören 87 Zusammenfassung Schallquellenlokalisation (Freifeld, eine Quelle): Laterale Positionen: Relevante Merkmale: Binaural, breitbandig Spektrale Information vernachlässigbar Einfacher Zusammenhang mit der Anthropometrie Vertikale Positionen (auch Vorne/Hinten): Relevante Merkmale: Monaurale spektrale Amplituden Individualisierte HRTFs essentiell: Komplexer Zusammenhang mit Anthropometrie Generische HRTFs: Problem noch nicht gelöst Rekalibrierung über Training möglich Modellierung komplex

70 räumliches hören 88 Weiterführende Literatur Jeffress L. A., (1948) A place theory of sound localization. J. Comp. Physiol. Psychol. 41, Greenberg S. (1997) Auditory function in Encyclopedia of Acoustics,M. Crocker, editor. New York: John Wiley, pp Blauert J. (1974) Räumliches Hören, S. Hirzel Verlag Stuttgart Begault D. R. & Wenzel E. M. (2001) Direct Comparison of the Impact of Head Tracking, Reverberation and Individualized HeadRelated Transfer Functions on the Spatial Perception of Virtual Speech Source. J. Audio Eng. Soc. 49 (10), Williams J. M. (2004) Psychology 213 Sensation and Perception, Drexel University Bernstein L. R. (2001) Auditory Processing of Interaural Timing Information: New Insights. J. of Neurosci. Res. 66:

71 räumliches hören 89 Weiterführende Literatur Perrett S. & Noble W. (1997) The effect of head rotations on vertical plane sound localization. J. Acoust. Soc. Am. 102 (4), Møller H., Sørensen M. F., Hammershøi D. & Jensen C. B. (1995) Headrelated transfer functions of human subjects. J. Audio Eng. Soc. 43 (5), Wightman F. L. & Kistler D. J. Headphone simulation of freefield listening. I. Stimulus synthesis. J. Acoust. Soc. Am. 85 (2) Hartman W. M. & Wittenberg A. (1996) On the externalization of sound images. J. Acoust. Soc. Am. 99 (6) Algazi V. R., Duda R. O., Thompson D. M. & Avendano C. (2001) The CIPIC HRTF Database. IEEE Workshop on Applications of Signal Processing to Audio and Acoustics 2001, New Paltz, New York Hofman H. P. M., Van Riswick J. G. A. & Van Opstal A. J. (1998)

72 räumliches hören 90 Weiterführende Literatur Wightman F. L. & Kistler D. L. (1997) Factors Affecting the Relative Salience of Sound Localization Cues in Binaural And Spatial Hearing in Real and Virtual Environments edited by R. H. Gilkey and T. R. Anderson, Lawrence Erlbaum Associates. Stern, R. M. and Trahiotis, C. (1997) Models of Binaural Perception in Binaural And Spatial Hearing in Real and Virtual Environments edited by R. H. Gilkey and T. R. Anderson, Lawrence Erlbaum Associates. Breebart J. (2001) Binaural processing model based on contralateral inhibition. I. Model structure. J. Acoust. Soc. Am. 110 (2) Zölzer U. (2002) DAFX Digital Audio Effects. John Wiley and Sons Ltd., Chichester