Winter 2017 David Kurbel. Evaluation & Forschungsstrategien. B.Sc.-Seminar. Sitzung II: t-tests

Transkript

1

2 Evaluation & Forschungsstrategien B.Sc.-Seminar Sitzung : t-tests

3 Seminarinhalte Sitzung : Stichproben-t-Test (gerichtet) 1-Stichproben-t-Test (ungerichtet) t-test für abhängige Stichproben t-test für unabhängige Stichproben Grundsätzliches 2 / 32

4 1-Stichproben-t-Test (gerichtet) 3 / Kinder nehmen an einem Konzentrationstest teil. Durchschnittlich schaffen die Kinder die erste Seite in 12.1 Sekunden. Die im Manual angegebene Höchstleistung beträgt hierfür 11.8 Sekunden. Experiment: Konzentrationstest Stichprobe: 72 Kinder Mittelwert der Stichprobe: 12.1 Sekunden einzelne Messwerte nicht mehr relevant Datenwerte schwanken Erwartungswert: 11.8 Sekunden erreicht / unerreicht? H0 : 12.1 Sekunden (SP) sind genauso schnell oder schneller als 11.8 Sekunden. (µ) H1 : 12.1 Sekunden sind langsamer als 11.8 Sekunden.

5 1-Stichproben-t-Test (gerichtet) oraussetzungen für 1-Stichproben-t-Test unabhängige Ziehungen intervallskalierte ariable Mittelwert x: ҧ 12.1 repräsentiert Stichprobe andere Stichprobe: anderer Mittelwert Erwartungswert µ: 11.8 Mittelwert der Population wenn Stichprobe aus Population: µ = xҧ Unterschiedlichkeit zwischen beiden? Messfehler! 4 / 32

6 1-Stichproben-t-Test (gerichtet) Problematik: xҧ und µ in erteilungsfunktion einsetzen Differenzbildung: Δ = x ҧ µ Δ = = 0.3 Annahme unter der H0 Differenz sollte 0 betragen Zufallsstichprobe hätte ein x ҧ = 11.8 Differenzbildung: Δ = = 0 Differenz von 0.3 also zufällig oder systematischer Effekt? wenn Effekt: Kinder stammen aus anderer Population als die im Manual angegebene 5 / 32

7 1-Stichproben-t-Test (gerichtet) Überblick 1 Stichprobe aus 1 Population je Ziehung 1 Messwert (Rohwerte der Kinder) n = 72 Ziehungen x ҧ = 12.1 µ = 11.8 wenn identisch: gleiche Population wenn Effekt: andere Population geeigneter ergleichsmaßstab Wahrscheinlichkeitsverteilung Entscheidung, ob klein / groß / normal 6 / 32

8 1-Stichproben-t-Test (gerichtet) 7 / 32 Der Zentrale Grenzwertsatz erteilung von Mittelwerten aus Stichproben des Umfangs n, die einer beliebigen Grundgesamtheit entnommen wurden, entspricht der Normalverteilung vorausgesetzt, n ist ausreichend groß (n 30 als gute Approximation) Beispiel Produkt A 1 p(preis: 1 ) = 1/6 Produkt B 2 p(preis: 2 ) = 1/6 Produkt C 3 p(preis: 3 ) = 1/6 Produkt D 4 p(preis: 4 ) = 1/6 Produkt E 5 p(preis: 5 ) = 1/6 Produkt F 6 p(preis: 6 ) = 1/6 jedes Produkt gleichhäufig gekauft (P = 1/6) Zufallsvariable Preis : gleichverteilt

9 1-Stichproben-t-Test (gerichtet) 8 / 32 erteilung der Kaufsummen bei 2 gekauften Produkten? 6 6 = 36 verschiedene Stichproben möglich billigste Stichprobe: 2 (2 mal Produkt A) teuerste Stichprobe: 12 (2 mal Produkt F) Kaufsumme Stichprobe 2 Euro AA (1) 1/36 3 Euro AB, BA (2) 2/36 4 Euro AC, BB, CA (3) 3/36 5 Euro AD, BC, CB, DA (4) 4/36 6 Euro AE, BD, CC, DB, EA (5) 5/36 7 Euro AF, BE, CD, DC, EB, FA (6) 6/36 8 Euro BF, CE, DD, EC, FB (5) 5/36 9 Euro CF, DE, ED, FC (4) 4/36 10 Euro DF, EE, FD (3) 3/36 11 Euro EF, FE (2) 2/36 12 Euro FF (1) 1/36 p

10 1-Stichproben-t-Test (gerichtet) erteilung der Kaufsummen bei 2 gekauften Produkten? 6 6 = 36 verschiedene Stichproben möglich billigste Stichprobe: 2 (2 mal Produkt A) teuerste Stichprobe: 12 (2 mal Produkt F) Stichprobensummen einzelne Kaufpreise erteilung Kaufpreise gleichverteilt Stichprobensummen symmetrisch / eingipflig je größer n, desto stärkere Annäherung an Normalverteilung 9 / 32

11 1-Stichproben-t-Test (gerichtet) 10 / 32 Mittelwert als Summe von Zufallsvariablen trotz Faktor 1 n geeignet für den CLT häufige Durchführung des Experiments mit gleichem n erteilung der Mittelwerte folgt Normalverteilung µ als Mitte der erteilung (gegeben: µ = 11.8) σ als Breite der erteilung // Streuung der Mittelwerte um den Erwartungswert (unbekannt) muss geschätzt werden Überlegung: Streuung der Rohwerte als Ausgangspunkt

12 1-Stichproben-t-Test (gerichtet) 10 / 32 Mittelwert als Summe von Zufallsvariablen trotz Faktor 1 n geeignet für den CLT häufige Durchführung des Experiments mit gleichem n erteilung der Mittelwerte folgt Normalverteilung µ als Mitte der erteilung (gegeben: µ = 11.8) σ als Breite der erteilung // Streuung der Mittelwerte um den Erwartungswert (unbekannt) muss geschätzt werden Überlegung: Streuung der Rohwerte als Ausgangspunkt N µ σ

13 1-Stichproben-t-Test (gerichtet) 10 / 32 Mittelwert als Summe von Zufallsvariablen trotz Faktor 1 n geeignet für den CLT häufige Durchführung des Experiments mit gleichem n erteilung der Mittelwerte folgt Normalverteilung µ als Mitte der erteilung (gegeben: µ = 11.8) σ als Breite der erteilung // Streuung der Mittelwerte um den Erwartungswert (unbekannt) muss geschätzt werden Überlegung: Streuung der Rohwerte als Ausgangspunkt N µ = σ

14 1-Stichproben-t-Test (gerichtet) Zusammenhang zwischen Stichproben- und Populationsmittelwerten Berechnung der Stichprobenstandardabweichung s s = 1 σ n i=1 n (x i x)² ҧ Schätzung der Populationsstandardabweichung σ via Korrekturfaktor σ = n n 1 s on SD der Population zur SD der Populationsmittelwerte 11 / 32 SE = 1 n σ theoretische Streuung aller möglichen Mittelwerte

15 1-Stichproben-t-Test (gerichtet) Zusammenhang zwischen Stichproben- und Populationsmittelwerten Berechnung der Stichprobenstandardabweichung s s = 1 σ n i=1 n (x i x)² ҧ Schätzung der Populationsstandardabweichung σ via Korrekturfaktor σ = n n 1 s on SD der Population zur SD der Populationsmittelwerte 12 / 32 SE = 1 n σ für Beispiel: 0.117

16 1-Stichproben-t-Test (gerichtet) 10 / 32 Mittelwert als Summe von Zufallsvariablen trotz Faktor 1 n geeignet für den CLT häufige Durchführung des Experiments mit gleichem n erteilung der Mittelwerte folgt Normalverteilung µ als Mitte der erteilung (gegeben: µ = 11.8) σ als Breite der erteilung // Streuung der Mittelwerte um den Erwartungswert (unbekannt) muss geschätzt werden Überlegung: Streuung der Rohwerte als Ausgangspunkt N µ = 11.8 σ = x ҧ =

17 1-Stichproben-t-Test (gerichtet) Problem: trotz CLT Normalverteilung erst bei vielen Summanden gegeben Wahrscheinlichkeitsverteilung für Δ = x ҧ µ komplexe Formel Deshalb: erwendung einer Prüfgröße Transformation der Differenz: t = x ҧ µ SE Student s t 13 / 32 t verhält sich genau wie die ursprüngliche Differenz Δ Prüfgröße t folgt einer t-erteilung mit df = n 1 Freiheitsgraden

18 1-Stichproben-t-Test (gerichtet) t-erteilung 14 / 32 t = Wert der Prüfgröße df = Freiheitsgrade lediglich 1 Parameter notwendig: Freiheitsgrade bei t-test für 1 Stichprobe immer: n 1 (Beispiel: 71) Normalverteilung / t-erteilung werden einander sehr ähnlich N in der Mitte höher / an den Rändern flacher

19 1-Stichproben-t-Test (gerichtet) jede beliebige Prüfgröße ist unter der t-erteilung wahrscheinlicher als unter der Normalverteilung bei t-erteilung immer später: zu groß // zu klein bei t-tests Normalverteilung als ergleichsmaßstab? Nein! N T 15 /

20 1-Stichproben-t-Test (gerichtet) 16 / 32 t-test für 1 Stichprobe Wahrscheinlichkeiten der Prüfgrößenwerte t sind t-verteilt mit df = n 1 Freiheitsgraden H0 : x ҧ = µ H1 : xҧ µ Signifikanzniveau: α =.05 oder α =.01 Beispiel: t = 0.3 / = 2.56 Dichtefunktion liefert kaum interpretierbare Dichte für t-wert erteilungsfunktion F(2.56, 71): liefert Wahrscheinlichkeit für Wert von höchstens t = 2.56 p (t 2.56 H0) 1 F(2.56, 71) = = 0.006** sig.!

21 1-Stichproben-t-Test (gerichtet) 16 / 32 t-test für 1 Stichprobe Wahrscheinlichkeiten der Prüfgrößenwerte t sind t-verteilt mit df = n 1 Freiheitsgraden H0 : x ҧ = µ H1 : xҧ µ Signifikanzniveau: α =.05 oder α =.01 Beispiel: t = 0.3 / = Dichtefunktion liefert kaum interpretierbare Dichte für t-wert erteilungsfunktion F(2.56, 71): liefert Wahrscheinlichkeit für Wert von höchstens t = 2.56 p (t 2.56 H0) 1 F(2.56, 71) = = 0.006** sig.! T t = 2.56

22 1-Stichproben-t-Test (gerichtet) 12.1 zu langsam, um mit der H0 vereinbar zu sein nicht nur Bezug zur Stichprobe andere Population oraussetzungen für die Annahmen des t-tests Stichprobengröße n > 30 ansonsten: Stichprobendaten normalverteilt (Prüfung durch q-q-plot, Shapiro-Wilks-Test) 17 / 32

23 1-Stichproben-t-Test (ungerichtet) 72 Kinder nehmen an einem revidierten Konzentrationstest teil. m Mittel schaffen die Kinder die erste Seite in 12.1 Sekunden. Die im Manual angegebene Höchstleistung des Originaltests beträgt 11.8 Sekunden. H0 :bleibt bei x ҧ = µ H1 : anders schnelle Bearbeitung des Tests xҧ normal? Zu groß? Zu klein? identische Berechnungen zum gerichteten Fall: t = 2.56 Differenz von 0.3 auch in anderer Richtung möglich (- 0.3) t = 2.56 // t = / 32

24 1-Stichproben-t-Test (ungerichtet) 72 Kinder nehmen an einem revidierten Konzentrationstest teil. m Mittel schaffen die Kinder die erste Seite in 12.1 Sekunden. Die im Manual angegebene Höchstleistung des Originaltests beträgt 11.8 Sekunden. H0 :bleibt bei x ҧ = µ H1 : anders schnelle Bearbeitung des Tests xҧ normal? Zu groß? Zu klein? identische Berechnungen zum gerichteten Fall: t = 2.56 Differenz von 0.3 auch in anderer Richtung möglich (- 0.3) t = 2.56 // t = / 32

25 1-Stichproben-t-Test (ungerichtet) erteilungsfunktion zeigt Dichte für genau 1 t-wert Berechnung der Fläche zwischen t und t 1 die Fläche in der Mitte = beide Flächen an den Seiten Flächen: Wahrscheinlichkeit der Prüfgröße t = + / 2.56 oder extremerer Wert 2 F( 2.56, 71) = = repräsentiert beide Flächen Signifikanzniveau wird nicht mehr unterschritten H0 kann nicht mehr verworfen werden bei ungerichtet: 0.5%-Grenze auf beiden Seiten 19 / 32

26 1-Stichproben-t-Test (ungerichtet) erteilungsfunktion zeigt Dichte für genau 1 t-wert Berechnung der Fläche zwischen t und t 1 die Fläche in der Mitte = beide Flächen an den Seiten Flächen: Wahrscheinlichkeit der Prüfgröße t = + / 2.56 oder extremerer Wert 2 F( 2.56, 71) = = repräsentiert beide Flächen Signifikanzniveau wird nicht mehr unterschritten H0 kann nicht mehr verworfen werden bei ungerichtet: 0.5%-Grenze auf beiden Seiten 19 / 32

27 t-test für abhängige Stichproben 20 / 32 Den 72 Kindern wird nach der Testdurchführung ein Sedativ verabreicht. Der Konzentrationstest wird erneut durchgeführt. m Mittel schaffen die Kinder die erste Seite nun in 12.7 Sekunden. Der Psychologe fragt sich, ob sie langsamer waren als im ersten Durchgang (12.1 Sekunden). identisches Experiment, dieses mal sediert identische Stichprobe 2 Mittelwerte: x1 ҧ = 12.7 und x2 ҧ = 12.1 abhängige Messzeitpunkte (in beiden Stichproben dieselben Personen) 2 Messungen pro Person (t1 und t2) H0 : 12.7 Sekunden sind genauso schnell oder schneller als 12.1 Sekunden. H1 : 12.7 Sekunden sind langsamer als 12.1 Sekunden

28 t-test für abhängige Stichproben wenn Probanden zu beiden Zeitpunkten aus identischer Population: Differenz von 0.6 zufällig wenn systematischer Unterschied zwischen t1 und t2: andere Population als vorher 2 Stichproben aus 2 Populationen Wirkung des Sedativs pro Stichprobe jetzt jeweils 1 Erwartungswert µ x1 und µ x2 H0 : beide Stichproben aus derselben Population µ x1 = µ x2 = µ 21 / 32 µ bleibt unbekannt Überprüfung via Differenzbildung Δ x ҧ = x2 ҧ x1 ҧ = 0.6 Sekunden

29 t-test für abhängige Stichproben aus Hypothesen über Unterschiedlichkeit von x1 ҧ und x2 ҧ werden Hypothesen über Mittelwertsdifferenz H0 : 12.7 Sekunden sind genauso schnell oder schneller als 12.1 Sekunden H1 : Die Differenz von 0.6 Sekunden ist größer als 0. paarweise Zuordnung der Messwerte Differenzbildung für jede einzelne Person eine Differenz-Datenreihe statt 2 Messreihen Mittelwert der Differenzen ഥΔ: 0.6 Summe von Zufallsvariablen erwendung des CLT t = ഥ Δ µ SE µ und SE unbekannt µ = 0, da aus derselben Population (H0) 22 / 32

30 t-test für abhängige Stichproben 23 / 32 Berechnung der Stichprobenstandardabweichung s s = 1 σ n i=1 n (Δ i തΔ)² Schätzung der Populationsstandardabweichung σ via Korrekturfaktor σ = n n 1 s von SD der Population zur SD der Populationsmittelwerte SE = 1 n σ identisch mit dem 1-Stichproben-t-Test

31 t-test für abhängige Stichproben Durchführung t = p (t H0) = 1 F(5.285, 71) = = 0.000** p =.00** hochsignifikant 24 / 32 Differenz von 0.6 Sekunden ist extrem groß systematischer Unterschied Wirkung des Sedativs 2 unterschiedliche Populationen oraussetzungen Stichprobengröße n > 30 Oder: Stichprobendaten normalverteilt

32 t-test für unabhängige Stichproben 25 / 32 Die Stichprobe bestand aus 42 Mädchen und 30 Jungen. Die Mädchen führten den Test im Mittel in Sekunden durch, die Jungen benötigten durchschnittlich 11.9 Sekunden. Der Psychologe fragt sich, ob die Mädchen langsamer gewesen sind als die Jungen. Stichprobe 1: 42 Mädchen // Stichprobe 2: 30 Jungen x1 ҧ = und x2 ҧ = 11.9 (Differenz തΔ = 0.36) Unterschied groß / klein / normal? Stichproben hier: unabhängig voneinander! verschiedene Personen, pro Person nur 1 Messung H0 : 11.9 Sekunden sind genauso langsam oder langsamer als Sekunden. H1 : Sekunden sind schneller als Sekunden.

33 t-test für unabhängige Stichproben pro Stichprobe jetzt jeweils 1 Erwartungswert µ x1 ҧ und µ x2 ҧ H0 : beide Stichproben aus derselben Population µ x1 = µ x2 = µ trotz unterschiedlich großer Stichproben Differenzbildung möglich Differenz von 0.36 Zufall oder systematischer Effekt? Keine Differenzbildung zwischen Stichprobendaten möglich µ = 0 26 / 32

34 t-test für unabhängige Stichproben Berechnung des Standardfehlers 2 Stichproben aus 1 Population oder 2 Stichproben aus 2 Populationen wenn aus 1 Population: Stichprobenaufteilung unter H0 nicht gerechtfertigt dee: Streuung von einzelnen Datenwerten der Population für Schätzung der Streuung der Mittelwertedifferenz verwenden erwendung der Stichproben-Standardabweichungen s x1 und s x2 Mittelung der beiden Werte Pooling Berücksichtigung der unterschiedlichen Stichprobengrößen 27 / 32

35 t-test für unabhängige Stichproben Standardabweichung: s pooled = n 1s 1 ²+n 2 s 2 ² n 1 +n 2 Populationsstandardabweichung σ = n 1 +n 2 n 1 +n 2 2 s pooled Standardfehler SE = 1 n n 2 σ Einsetzen in die Formel für die Prüfgröße t Achtung: Anzahl der Freiheitsgrade: n 1 + n 2-2 = = 70 dfs 28 / 32

36 t-test für unabhängige Stichproben Durchführung t = p (t H0) = F(-1.541, 70) = linke Fläche p = nicht signifikant 29 / 32 H0 wird beibehalten, Mittelwerteunterschied zufällig (1 Population) oraussetzungen Stichprobengröße n 1 + n 2 > 50 oder: Stichprobendaten normalverteilt gleiche Streuungen der Populationen

37 Grundsätzliches 30 / 32 Exkurs Abhängiger oder unabhängiger Test? je mehr Freiheitsgrade, desto schneller wird Test signifikant unabhängiger t-test wirkt teststärker, da 2x so viele Freiheitsgrade entscheidend: Größe des Standardfehlers SE wird kleiner, wenn Messwerte (zwischen t1 und t2) positiv korrelieren t = ഥ Δ µ SE je kleiner SE, desto größer der Bruch t-test für unabhängige nur dann teststärker, wenn negativer / kein Zusammenhang der Messwerte besteht 5 dfs Kritik am abhängigen: 30 dfs Drop-Outs Carry-Over-Effekte

38 Grundsätzliches Wenn nicht signifikant mehr Leute nehmen t = ഥ Δ µ SE SE = 1 n σ erwendung der Effektstärke Cohen s d d = Mittelwert µ σ d.2 : kleiner Effekt d.5 : mittlerer Effekt d.5 : großer Effekt Größe des Unterschieds zum Erwartungswert relativ zur Schwankungsbreite der Daten, nicht mehr zur Schwankungsbreite des Mittelwerts 31 / 32

39 Grundsätzliches erwendung von mehreren t-tests Alpha-Fehler-Kumulierung Unterteilung in mehr Gruppen Pro Test: α-niveau von 0.05 bzw bei genügend Testungen: zufällig signifikante t-tests Methode der Wahl: Bonferroni-Korrektur α neu = α Anzahl der Tests 32 / 32

40 Bis übernächste Woche!