PWP 1 Signalentdeckungstheorie

Transkript

1 PWP 1 Signalentdeckungstheorie Signal Detection Theory WiSe 2006

2 Motivation Terminologie Beispiel Goldstein Einfaches Modell in der Psychologie Mensch als Detektor/Entscheidungsträger Empfindlichkeit/Entdeckbarkeit des Reizes Antworttendenz Psychophysisches Modell Beschreibung nicht beobachtbarer Prozesse Verhaltensvorhersage

3 Motivation Terminologie Beispiel Goldstein Einfaches Modell Anwendungsbeispiele Psychophysik: 1000 Hz-Ton aus weißem Rauschen Diagnostik: bestimmter Befund vorhanden? Seismologie: Steht Erdbeben bevor? Zeugenaussagen: Person vor Ort?

4 Motivation Terminologie Beispiel Goldstein Einfaches Modell Bsp. Detektion von Tönen im Rauschen 2 VPn sollen reagieren, wenn Töne anwesend sind Je 100 Durchgänge Rauschen, 100 Durchgänge Signale VP1 detektiert 90, VP2 60 Signale Hört VP1 besser? VP1 sagt in 40 Fällen, in denen kein Ton da war (Rauschdurchgänge, Catch-Trials) Ja es war ein Ton da VP2 irrt sich nur bei 10 Rauschdurchgängen Wer ist jetzt besser?

5 Motivation Terminologie Beispiel Goldstein Einfaches Modell Terminologie Rauschdurchgänge (noise trials): Nur Zufallsrauschen Versuchsdurchgänge (trials) ohne Signal Signaldurchgänge (signal trials) Versuchsdurchgänge mit Signal und Rauschen Antwort ja auf Signaldurchgang = Treffer (hit) trial type Antwort Nein Ja Rauschen korrekte Ablehnung falscher Alarm Signal Auslassung (miss) Treffer (hit)

6 Motivation Terminologie Beispiel Goldstein Einfaches Modell Zusammenfassung der VPn im Bsp. von Goldstein Je 100 Trials nur Rauschen 100 Trials mit Signal VP 1 tendiert zum Ja -Sagen VP 1 VP 2 Nein Ja Nein N S Ja N S 40 60

7 Motivation Terminologie Beispiel Goldstein Einfaches Modell Änderung der Antworttendenz Gleicher Versuch mit VP2 aber Geld für richtige Antworten (und Abzug für falsche) liberalere Antworten Belohnung von korrekter Zurückweisung konservative Antworten (wenig Ja ) Neutrale Antworten, wenn alles gleich belohnt. Payoff-Matrix VP2-Antwort Gewinn Nein Ja Nein Ja N +20e -20e S -200e +200e e N +200e -20e 99 1 S -20e +20e e N +20e -20e S -20e +20e e

8 Motivation Terminologie Beispiel Goldstein Einfaches Modell Falscher Alarm vs. Treffer 1 VP2 neut VP1 lib VP1 neut P H VP2 kons VP1 kons P F

9 Motivation Terminologie Beispiel Goldstein Einfaches Modell 2. Beispiel: 1000 Hz-Ton Je 100 Trials nur Rauschen 100 Trials mit Signal 1. Durchgang: Treffer wichtig (Belohnung für hit) 2. Durchgang: kein falscher Alarm (Belohnung für correct rejection) 1. Durchgang 2. Durchgang Nein Ja Nein Ja N N S S 45 55

10 Motivation Terminologie Beispiel Goldstein Einfaches Modell Relative Häufigkeiten Überführung in rel. Häufigkeiten Anz. Treffer Trefferrate (hit rate): h = Anz. Signaldurchgänge falscher Alarm Rate (false-alarm rate): f = Anz. false alarm Anz. Rauschdurchgänge Nein Ja N S Nein Ja und N S h f 1. Durchg Durchg Redundante Werte: Auslassungsrate, Fehlerrate (miss rate)= 1 h Rate der korr. Zurückweisungen (corr. rej. rate)= 1 f

11 Motivation Terminologie Beispiel Goldstein Einfaches Modell Modell der Entscheidung Noise Signal x Verteilung der Zufallsvariablen X bei Rauschdurchgängen (Xn ) und Signaldurchgängen (Xs )

12 Motivation Terminologie Beispiel Goldstein Einfaches Modell Setzen des Kriteriums Nein λ Ja Noise Signal Zufallsvar. x > λ Entscheidung Ja false-alarm rate: P F = P(Ja noise) = P(X > λ noise) = P(X n > λ) = R λ hit rate: P F = P(Ja signal) = P(X > λ signal) = P(X s > λ) = R λ f n(x)dx = 1 F n(λ) f s (x)dx = 1 F s (λ)

13 Motivation Terminologie Beispiel Goldstein Einfaches Modell Variation von λ λl λ λ k Noise Signal Veränderung von λ wirkt auf h und f gemeinsam λk : (konservativ) Vermeidung von false alarm, aber wenig Treffer λ l : Viele Treffer, aber auch viele false alarm Geringere Überlappung der Dichtefunktionen f n und f s höhere Trennschärfe

14 Motivation Terminologie Beispiel Goldstein Einfaches Modell Modell der statistischen Entscheidung Modell zur Bestimmung interpretierbarer Variablen 3 Voraussetzungen Gesamte Information in einer Zahl repräsentiert Diese Zahl ist Zufallsvariable Überschreiten einer festen Schwelle Entscheidung ja Analogie zur NHST (Nullhypothesensignifikanztest)

15 Das Gaußsche Modell Allgemeines Modell Univariates Modell Berechnung Kriterium und d Bias und Likelihood Idealer Beobachter X n N (µ n, σ n ) und X s N (µ s, σ s ) Skalierung: µ n = 0, σ n = 1 X n N (0, 1) und X s N (µ s, σ s ) Rechtfertigung für Normalverteilungsannahme Gut untersuchte Eigenschaften Zentraler Grenzwertsatz Empirische Befunde Bei speziellen Fragestellungen andere Verteilung

16 Die Normalverteilung Einführung Allgemeines Modell Univariates Modell Berechnung Kriterium und d Bias und Likelihood Idealer Beobachter Dichte an der Stelle x :φ(x) = 1 σ e 1 x µ 2 ( σ ) 2 2π Akkumulierte Dichte: Φ(x) = x φ(t) dt mit µ Erwartungswert und σ Standardabweichung der Verteilung

17 Das univariate Gaußsche Modell Allgemeines Modell Univariates Modell Berechnung Kriterium und d Bias und Likelihood Idealer Beobachter Problem Ein Experiment 2 Meßwerte (f, h) aber 3 unbekannte Variablen (λ, µ s, σ s ) Setze σ s = σ n = 1, µ s wird zu d X n N (0, 1) und X s N (d, 1) Vorsicht: Echte Einschränkung, sollte überprüft werden.

18 Allgemeines Modell Univariates Modell Berechnung Kriterium und d Bias und Likelihood Idealer Beobachter Beispiel zur Berechnung von d und λ Nein Ja 2. Beispiel oben, 1. Durchg. N f = 0.46 S h = P F = 0.46 = 1 F n (λ) = 1 Φ(λ) Φ(λ) = = 0.54 λ = Z(1 0.46) = Z(0.54) = X s N (d, 1) λ d = Z(1 0.82) = Z(0.18) = Kombination: d = λ (λ d ) = = 1.02

19 Schätzer für d und λ Allgemeines Modell Univariates Modell Berechnung Kriterium und d Bias und Likelihood Idealer Beobachter 1. Z(1 f ) = ˆλ symm. ˆλ = Z(f ) 2. Z(1 h) = ˆλ ˆd Z(h) = ˆd ˆλ 3. ˆd = Z(h) Z(f )! Vorsicht! Vorzeichen überprüfen!

20 Fortsetzung 2. Beispiel Allgemeines Modell Univariates Modell Berechnung Kriterium und d Bias und Likelihood Idealer Beobachter Beispiel oben, rel. H. 1. Durchgang: ˆd = 1.02; ˆλ = 0.10 h f 1. Durchg Durchg Durchgang: ˆd = 1.00; ˆλ = 0.88 ˆλ = Z(f ) = Z(0.19) = 0.88 ˆd = Z(h) Z(f ) = Z(0.55) Z(0.19) = 0.12 ( 0.88) = 1.00 ˆd ˆλ 1. Durchg Durchg

21 Erhöhung der Entdeckbarkeit Allgemeines Modell Univariates Modell Berechnung Kriterium und d Bias und Likelihood Idealer Beobachter Weniger Überlappung der Verteilungen durch Erhöhung von d Verringerung der Varianz σ 2

22 Allgemeines Modell Univariates Modell Berechnung Kriterium und d Bias und Likelihood Idealer Beobachter Messung des Bias (Tendenz/Neigung) Ja-Sage-Tendenz von Kriterium λ und d abhängig. zentriertes Kriterium: λ center = λ 1 2 d = 1 2 [Z(f ) + Z(h)] Wahrscheinlichkeitsverhältnis (likelihood ratio): β = fs(λ) f = φ(λ d ) n(λ) φ(λ)

23 Verlauf β Einführung Allgemeines Modell Univariates Modell Berechnung Kriterium und d Bias und Likelihood Idealer Beobachter Asymmetrisch von am Schnittpunkt [ ] von f s und f n log(β) = log fs(λ) f n(λ) = log(f s (λ)) log(f n (λ))

24 Der ideale Beobachter Allgemeines Modell Univariates Modell Berechnung Kriterium und d Bias und Likelihood Idealer Beobachter Maximierung der Wahrscheinlichkeit richtiger Antwort s Wahrscheinlichkeit für Signaltrial 1 s = Wahrscheinlichk. für Noisetrial P C = P(signal) P(Ja signal) + P(noise) P(Nein noise) = s[1 F s (λ)] + (1 s)f n (λ) Pc λ * Kriterium λ

25 Allgemeines Modell Univariates Modell Berechnung Kriterium und d Bias und Likelihood Idealer Beobachter Optimales Kriterium Optimales Krit. λ für β = fs(λ ) f n(λ ) = 1 s s s = 1 2 f s(λ ) = f n (λ ) Schnittpunkt der Kurven. : Wettchance (odds) Mehr Signaltrials: s > s s < 1 f s (λ ) < f n (λ ) Das Kriterium verschiebt sich nach links (wird liberaler)

26 Pay-off Matrix Einführung Allgemeines Modell Univariates Modell Berechnung Kriterium und d Bias und Likelihood Idealer Beobachter Kosten und Nutzen der Verschiedenen Möglichkeiten ungleich Optimierung des Erwartungswertes des Gesamtwerts E(V ) = P(Signal + Ja)V (hit) + P(Signal + Nein)V (miss) +P(Noise + Ja)V (false alarm) +P(Noise + Nein)V (cor. rej.) V (miss) und V (f. a.) meist negativ

27 Graphische Darstellung Isosensitivitätskurven Univar. Gaußsches Modell Graph zu 2. Bespiel 2. Bsp.: h f ˆd ˆλ 1. Durchg Durchg λ 1 λ 2 d'

28 Graphische Darstellung Isosensitivitätskurven Univar. Gaußsches Modell Umsetzung in -Graph Trefferrate gegen Falschen Alarm auftragen Punkte auf einer Linie, weil d gleich groß 1 S1 P H S P F

29 Graphische Darstellung Isosensitivitätskurven Univar. Gaußsches Modell Eine Isosensitivitätskurve!! " # $ % & ' ( ) +, -. / : ; < = A B C D E C F G H I J K L I G K G M N G I H I O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c

30 Graphische Darstellung Isosensitivitätskurven Univar. Gaußsches Modell Isosensitivitätslinien bei versch. d! " # $ % & ' ( ) ( * +, -. / : ; < ; = ; : A B C D E F G F H I J K L M F N O P Q

31 Graphische Darstellung Isosensitivitätskurven Univar. Gaußsches Modell Isokriteriumslinien (λ fest) P H P F

32 Graphische Darstellung Isosensitivitätskurven Univar. Gaußsches Modell im univ. Gaußschen Modell Es gilt P F = λ f n(x)dx und P H = λ f s(x)dx im univariaten Fall also P F = 1 Φ(λ) = Φ( λ) und P H = 1 Φ(λ d ) = Φ(d λ) Durch einsetzen gewinnt man die Kurve: P H = Φ(d + Φ 1 (P F )) Nur durch Tabellen oder Computerprogramme errechenbar

33 Weiterführende Themen Literatur Weitere Themen -Gerade mit Gaußschen Koordinaten Ungleiche Varianzen σ 2 n und σ 2 s Verschiedene Alternativen zu d Anwendung auf Vertrauensskalen forced-choice Paradigma Diskrimination, bzw. Identifikation Likelihoods und Bayesscher Beobachter

34 Weiterführende Themen Literatur Literatur Goldstein, E. B. (1997) Wahrnehmungspsychologie. Spektrum Akademischer Verlag, Heidelberg, erste Auflage. Macmillan, N. A. (2002) Signal detection theory. In: Pashler, H. (Hrsg.), Stevens Handbook of Experimental Psychology, Band 1, Kapitel 2, Seiten Wiley, New York, dritte Auflage. Wickens, T. D. (2002) Elementary Signal Detection Theory. Oxford University Press, New York, New York.