7. Sitzung. Kategoriale Wahrnehmung, McGurk-Effekt

Transkript

1 K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effekt

2 Hörfläche 2

3 Der stillste Raum der Welt Orfield Laboratories, USA 3

4 Wahrnehmung von Lautstärke Lautstärke wird in db (DeziBel) gemessen, was ein perzeptives Korrelat von Druck (akustische Schallintensität) ist: Pascal, oder Pa Dezibel ist eine relative Messeinheit: der jeweilige Luftdruck (in Pa) wird immer durch einen Referenzdruck (in Pa) geteilt. Wenn man vom menschlichen Gehör spricht, werden oft 20 μpa (der minimale wahrnembare Schalldruck) als Referenzdruck gemessen: dbspl (Sound Pressure Level) 20 * log (X μpa / 20 μpa) = dbspl So sind auch negative Werte möglich, wie z.b. im stillsten Raum der Welt: -9 db Laustärkeunterschiede werden vom auditorischen System logarithmisch wahrgenommen 4

5 Tonhöhenwahrnehmung Perzeptives Korrelat der akustischen Frequenz (Schwingungen pro Sekunde, Hertz, Hz) ist die Tonhöhe (engl. Pitch) Die Perzeption von Tonhöhe ist logarithmisch: der Unterschied zwischen 100 Hz und 200 Hz ist perzeptuell anders als der zwischen 1000 Hz und 1100 Hz (obwohl der absolute Unterschied in beiden Fällen 100 Hz ist) Lautere Segmente werden mit einem höheren Pitch assoziiert Das auditorische System ist gegenüber Frequenzunterschieden im tiefen Frequenzbereich empfindlicher als im hohen, siehe Abbildung zur Hörfläche Tonhöhenwahrnehmung funktioniert schlecht, wenn die Dauer eines Signals unter 25 ms ist pitch loss 5

6 Auditorische Frequenzskala in Mel Werte bis 1000 Hz annähernd linear, danach nichtlinear 6

7 Dauerwahrnehmung Dauer (lang/kurz) ist das perzeptive Korrelat der physikalischen Eigenschaft Zeit (Länge z.b. in ms) Schnelle spektrale Änderungen unterhalb 30 ms werden nicht analysiert ms von einem CV Signal sind genug, damit Sprecher C als Plosive identifizieren 7

8 /da/ vs /ta/ Unterscheidung als Funktion der voice onset time (VOT) Länge 8

9 /da/ vs /ba/ Unterscheidung als Funktion der voice onset time (VOT) Länge 9

10 Kategoriale Wahrnehmung /ba/ vs. /da/ vs /ga/ 10

11 Kategoriale Wahrnehmung 11

12 /ba/ /da/ /ɡa/ Ideale Verläufe der Formanttransitionen für /ba/, /da/ und /ɡa/ sind markiert. 12

13 Kategoriale Wahrnehmung Es werden (fast) kontinuierliche Stimuli synthetisiert Loci der Formanttransitionen für Artikulationsort: /ba/, /da/, /ga/ Stimmhaft (= kurze voice onset time (VOT) vs. Stimmlos (= lange voice onset time), engl. /pa/ [pʰa] vs. /ba/ [pa] Hörer ordnen jeden Stimulus einer der verfügbaren Kategorien zu. Der Kategorienwechsel bei Plosiven verläuft nichtlinear, ist abrupt. Vokale, aber, werden meistens linear wahrgenommen. Die Voraussetzung von kategorialer Wahrnehmung ist, dass Identifizierung gleich gut wie Diskrimination funktioniert Kategoriengrenzen sind sprachspezifisch 13

14 Exkurs - Perzeption von Ton im Serbokroatischen Pavle Ivić & Ilse Lehiste, synthetisierte zweisilbige Wörter radi mit jeweils unterschiedlichen f0-verläufe Zwei leksikalische Möglichkeiten: /râːdiː/ (fallender Akzent)- er macht und /rǎːdiː/ (steigender Akzent) mach! Der erste Vokal war immer 260 ms lang, der zweite immer 120 ms 25 Versuchspersonen mussten bei jedem Stimulus entscheiden, ob es ein fallender Akzent ist oder nicht 14

15 Exkurs - Perzeption von Ton im Serbokroatischen 4 f0-muster nach V1: steil fallend, fallend, flach, steigend V1a jeweils mit V2Aa oder V2Ba kombiniert; V1b, V1c und V1d jeweils mit V2Abcd oder V2Bcd kombiniert 15

16 Exkurs - Perzeption von Ton im Serbokroatischen Anzahl fallend wahrgenommen Erste Silbe fallend Hz Zweite Silbe flach Zweite Silbe fallend 16

17 Exkurs - Perzeption von Ton im Serbokroatischen Anzahl fallend wahrgenommen Erste Silbe fallend Hz Zweite Silbe flach Zweite Silbe fallend 17

18 Multimodale Wahrnehmung McGurk effect

19 Multimodale Wahrnehmung McGurk Effekt perzeptuelle Fusion multimodaler Stimuli Visueller Stimulus: [??? ] Akustischer Stimulus: [??? ] Perzeption: [??? ] 19

20 Multimodale Wahrnehmung McGurk Effekt perzeptuelle Fusion multimodaler Stimuli Visueller Stimulus: [??? ] Akustischer Stimulus: [??? ] Perzeption: [ da ] 20

21 Multimodale Wahrnehmung McGurk Effekt perzeptuelle Fusion multimodaler Stimuli Visueller Stimulus: [ ga ] Akustischer Stimulus: [??? ] Perzeption: [ da ] 21

22 Multimodale Wahrnehmung McGurk Effekt perzeptuelle Fusion multimodaler Stimuli Visueller Stimulus: [ ga ] Akustischer Stimulus: [ ba ] Perzeption: [ da ] 22

23 Welche Erklärungsmöglichkeiten sehen Sie für den McGurk- Effekt? Visueller Stimulus: [ ga ] Akustischer Stimulus: [ ba ] Perzeption: [ da ] D.h. es wird etwas wahrgenommen, was weder akustisch noch visuell präsentiert wurde. Akustische Erklärung: Betrachten wir die Formanttransitionen so kann man sehen, dass die Transitionen für [ba] und [ga] am stärksten voneinander abweichen. Da visuell der im Prinzip gut sichtbare cue bilabial nicht zu sehen ist, der visuelle Stimulus aber zu weiten Abstand zum akustischen cue velar hat, bleibt alveolar als Kompromiss. 23

24 /ba/ /da/ /ɡa/ Ideale Verläufe der Formanttransitionen für /ba/, /da/ und /ɡa/ sind markiert. 24