Einflussfaktoren auf die Macht der Hypothesenprüfung

Transkript

1 Einflussfaktoren auf die Macht der Hypothesenprüfung Einflussfaktoren auf die Macht Die Jagd nach den Sternen In der Wissenschaft gilt der Blick oft nur den Sternen * p <.05 ** p <.01 *** p <.001 1

2 Einflussfaktoren auf die Macht Verbesserung Therapie A B N Mean 5 17, ,1256 Verbesserung Therapie A B N Mean 16 15, ,8409 df Sig. (2-tailed) df Sig. (2-tailed) Verbesserung 8,082 Verbesserung 32,000 Weshalb ist der relativ große Mittelwertsunterschied nicht signifikant, der dazu kleine Unterschied jedoch schon? Einflussfaktoren auf die Macht Verbesserung Therapie A B N Mean 6 14, ,8484 Verbesserung Therapie A B N Mean 16 14, ,8484 Verbesserung df Mean 12,265 Verbesserung df Sig. (2-tailed) 32,000 Weshalb ist derselbe Mittelwertsunterschied einmal signifikant und einmal nicht? 2

3 Einflussfaktoren auf die Macht Definition Die Power (Macht), ist die Wahrscheinlichkeit, mit der die Alternativhypothese (H 1 ) angenommen wird, sofern sie auch wirklich gilt. Die Macht ist demnach die Wahrscheinlichkeit, einen vorhandenen Unterschied auch tatsächlich zu entdecken. Einflussfaktoren auf die Macht Einflussfaktoren Größe des tatsächlichen Unterschieds (Effektgröße) Varianz der Messwerte Qualität des Tests Stichprobengröße α-niveau 3

4 Einflussfaktoren auf die Macht Bildliches Signifikanz: Suche nach einem Riss in der Mauer Effektgröße: Breites des Risses Qualität des Tests: Wie gut Test sieht Varianz der Messwerte: Wie frei ist Blick auf Mauer Stichprobengröße: Lupenstärke α-niveau: Sicherheit des Urteils Einflussfaktoren auf die Macht Effektstärke Unterschied, der zwischen zwei Populationen bestehen muss, um von einem bedeutsamen Unterschied sprechen zu können 4

5 Einflussfaktoren auf die Macht - Konsequenzen bei nicht signifikantem Ergebnis Muss sich fragen, ob Stichprobe groß genug war, um interessierenden Effekt zu finden bei signifikantem Ergebnis Muss sich fragen, ob der gefundene Effekt auch von praktischer Bedeutung (Relevanz) ist Einflussfaktoren auf die Macht - Konsequenzen Stichprobengröße wird VOR der Untersuchung üblicherweise so gewählt, dass die Wahrscheinlichkeit den interessierenden Effekt zu finden, 80% beträgt 5

6 Vergleich zweier Stichproben Vergleich zweier Stichproben Zwei Arten von Stichproben unabhängige Stichproben Die zu vergleichende Mittelwerte wurden anhand unterschiedlicher Stichproben erhoben abhängige Stichproben Die zu vergleichende Mittelwerte wurden anhand der selben Stichprobe erhoben 6

7 Vergleich zweier Stichproben t-test unabhängig Voraussetzungen zwei unabhängige Stichproben metrische (zumindest intervallskalierte) Daten zumindest annähernd normalverteilte Daten pro Gruppe Gleichheit (Homogenität) der Stichprobenvarianzen Vergleich zweier Stichproben t-test unabhängig Durchführung Überlegen, ob Intervallskalierung der Daten angenommen werden kann Aufteilung der Stichprobe Überprüfung der Normalverteilung entweder mittels PP / QQ-Plot oder Histogramm oder KS-Test Überprüfung der Homgenität der Varianzen mittels Levene Test (wird von SPSS automatisch beim t-test dabei) 7

8 Vergleich zweier Stichproben t-test unabhängig 21 psychogene und 24 pathogene PatientInnen bearbeiten Rechentest Forschungshypothese Psychogene und pathogene PatientInnen machen unterschiedlich viele Fehler Vergleich zweier Stichproben t-test unabhängig Gruppenstatistiken Punkte im Rechentest Erkrankung psychogen N Mittelwert Standardabw eichung Standardfehler des Mittelwertes 21 31, , ,49803 patogen 24 25, , ,26146 Test bei unabhängigen Stichproben Levene-Test der Varianzgleichheit T-Test für die Mittelwertgleichheit Punkte im Rechentest Varianzen sind gleich Varianzen sind nicht gleich F Signifikanz T df Sig. (2-seitig),004,950 1,955 43,057 1,950 41,801,058 8

9 Vergleich zweier Stichproben t-test abhängig Voraussetzungen zwei abhängige Stichproben metrische (zumindest intervallskalierte) Daten zumindest annähernd normalverteilte Differenzen Vergleich zweier Stichproben t-test abhängig Durchführung Überlegen, ob Intervallskalierung der Daten angenommen werden kann Berechnung der Differenzen Überprüfung der Normalverteilung entweder mittels PP / QQ-Plot oder Histogramm oder KS-Test 9

10 Vergleich zweier Stichproben t-test abhängig Anzahl entdeckter maligner Lymphknoten mit und ohne Kontrastmittel Forschungshypothese Bei der Verwendung eines Kontrastmittels werden mehr maligne Lymphknoten entdeckt Vergleich zweier Stichproben t-test abhängig Statistik bei gepaarten Stichproben Paaren 1 mit Kontrasttmittel ohne Kontrastmittel Standardabw Standardfehler Mittelwert N eichung des Mittelwertes 3, ,02479, , ,11812,15657 Test bei gepaarten Stichproben Gepaarte Differenzen Paaren 1 mit Kontrasttmittel - ohne Kontrastmittel Mittelwert Standardabw eichung T df Sig. (2-seitig) 1,0000 1, ,905 50,000 10

11 WICHTIG Bei EINSEITIGEN Fragestellungen darf ein im SPSS zweiseitig ausgegebener p-wert durch 2 dividiert werden! Vergleich zweier Stichproben Ersatzverfahren für t-test unabhängig Falls eine der Voraussetzungen des t-tests unabhängig NICHT erfüllt ist, kommt ein U-Test zur Anwendung Bei lediglich rangskalierten oder nicht normalverteilten Daten, sollten Mediane zur Beschreibung der Daten verwendet werden 11

12 Vergleich zweier Stichproben U-Test Ersatzverfahren für t-test unabhängig Bemerkung Verwendung des U-Tests bei ist auch bei lediglich rangskalierten Daten mit wenigen unterschiedlichen Ausprägungen üblich, aber nicht unumstritten, da auch U- Test streng genommen stetige Variablen voraussetzt. Vergleich zweier Stichproben - U-Test U -Test Idee Gesamtdaten werden gerangreiht von den gerangreihten Werten wird Gruppenzugehörigkeit notiert Die zu prüfende Kenngröße ist Durchmischung der Gruppen 12

13 Vergleich zweier Stichproben - U-Test U -Test 1 (keine Durchmischung) A A A A B B B B B U 1 = 0 (kein B steht vor einem A) U 2 = 4x5= 20 (jedes der 4 A steht vor jedem der 5 B) U 1 + U 2 =20 Vergleich zweier Stichproben - U-Test U -Test 2 (hohe Durchmischung) A B B A B A B A B U 1 = 9 ( B 1,B s vor 3 A, B 3 vor 2 A, B 4 vor 1 A und B 5 vor 0 A ) U 2 = 11 (A 1 vor 5 B, A 2 vor 3 B, A 3 vor 2 B, A 4 vor 1 B, ) U 1 + U 2 =20 13

14 Vergleich zweier Stichproben - U-Test Geben Männer und Frauen unterschiedlich viel Trinkgeld? Forschungshypothese Männer geben weniger Trinkgeld. Vergleich zweier Stichproben - U-Test 14

15 Vergleich zweier Stichproben - U-Test Ranks Durchschnitlich gegebenes Trinkgeld Geschlecht Frau Mann Total Sum of N Mean Rank Ranks Test Statistics b Durchsch nitlich gegebenes Trinkgeld Mann-Whitney U Wilcoxon W Z Asymp. Sig. (2-tailed).987 Exact Sig..987 a [2*(1-tailed Sig.)] a. Not corrected for ties. b. Grouping Variable: Geschlecht Vergleich zweier Stichproben Ersatzverfahren für t-test abhängig Bei nicht normalverteilten Differenzen kommt ein Wilcoxon Test zur Anwendung Bei lediglich rangskalierten Daten sollte ein Binomialtest oder ein Friedman Test zur Anwendung kommen 15

16 Vergleich zweier Stichproben Wilcoxon Test Wilcoxon -Test Idee Differenzen werden gebildet und dem Betrag nach gerangreiht N wird um Anzahl der 0 Differenzen reduziert (!!) Kenngröße ist Durchmischung der positiven und negativen Differenzen Vergleich zweier Stichproben Wilcoxon Test Effekt von schockierenden Bildern auf Rauchverhalten Forschungshypothese Zigarettenkonsum wird nach Anti-Rauchfilm geringer. 16

17 Vergleich zweier Stichproben Wilcoxon Test Vergleich zweier Stichproben Wilcoxon Test Zigarettenkonsum nachher - Zigarettenkonsum vorher Ranks Negative Ranks Positive Ranks Ties Total a. Zigarettenkonsum nachher < Zigarettenkonsum vorher b. Zigarettenkonsum nachher > Zigarettenkonsum vorher c. Zigarettenkonsum nachher = Zigarettenkonsum vorher Sum of N Mean Rank Ranks 21 a b c 35 Z Test Statistics b Asymp. Sig. (2-tailed) a. Based on positive ranks. b. Wilcoxon Signed Ranks Test Zigarettenko nsum nachher - Zigarettenko nsum vorher a

18 Vergleich zweier Stichproben Binomialtest Idee Differenzen werden gebildet N wird um Anzahl der 0 Differenzen reduziert (!!) Kenngröße ist Anzahl positiver/negativer Differenzen Vergleich zweier Stichproben Binomial-Test Effekt von schockierenden Bildern auf Rauchverhalten Forschungshypothese Zigarettenkonsum wird nach Anti-Rauchfilm geringer. 18

19 Vergleich zweier Stichproben Wilcoxon Test Zigarettenkonsum nachher - Zigarettenkonsum vorher Frequencies Negative Differences a Positive Differences b Ties c Total N a. Zigarettenkonsum nachher < Zigarettenkonsum vorher b. Zigarettenkonsum nachher > Zigarettenkonsum vorher c. Zigarettenkonsum nachher = Zigarettenkonsum vorher Test Statistics a Z Asymp. Sig. (2-tailed) a. Sign Test Zigarettenko nsum nachher - Zigarettenko nsum vorher Vergleich mehrerer Stichproben 19

20 Vergleich mehrerer Stichproben Varianzanalysen (VA) Vergleich von mehr als 2 Mittelwerten Löst Problem der α-überhöhung Verwendet immer zweiseitige Hypothesen als Regression mit nominalen Variablen interpretierbar Grundidee Unter der Nullhypothese (H 0 ) stammen alle Daten aus der selben Normalverteilung NV(µ,σ) bzw. H 0 : µ 1 =µ 2 = =µ k und σ 1 = σ 2 =... = σ k In diesem Fall gilt das sogenannte Starke Gesetz der großen Zahlen 2 σ 2 ( x) σ ( x ) = Unter H 0 wird demnach von der Gleichheit der beiden Varianzen ausgegangen. Kann von Homogenität der Stichprobenvarianzen ausgegangen werden, kann Verletzung des Starken Gesetzes nur darauf zurückgeführt werden, dass nicht alle µ gleich sind. N 20

21 Für Benennung wichtig Zahl der Variablen, die Gruppen definieren (UVs, Faktoren) einfach mehrfach einfaktoriell mehrfaktoriell Zahl der interessierenden Größen univariat multivariat n Einfache univariate VA für unabhängige Stichproben Modellgleichung x i, j = µ + α j + ε i, j Populationsparameter Effekt der j-ten Gruppe Messfehler (Residuum) 21

22 n Einfache univariate VA für unabhängige Stichproben Voraussetzungen mehr als zwei unabhängige Stichproben metrische (zumindest intervallskalierte) Daten zumindest 10 (ideal ab 30 Personen) pro Gruppe zumindest annähernd normalverteilte Daten pro Gruppe Gleichheit (Homogenität) der Stichprobenvarianzen Einfache univariate VA für unabhängige Stichproben Durchführung Überlegen, ob Intervallskalierung der Daten angenommen werden kann Aufteilung der Stichprobe Überprüfung der Normalverteilung entweder mittels PP / QQ-Plot oder Histogramm oder KS-Test Überprüfung der Homogenität der Varianzen mittels Levene Test (muss im SPSS bei Berechung der VA ausgewählt werden) 22

23 Datensatz Arbeitszufriedenheit Fragestellung Ist Arbeitszufriedenheit in Österreich, Deutschland und der Schweiz unterschiedlich? H 0 : keine Unterschiede zwischen den Ländern H 1 : es gibt Unterschiede zwischen den Ländern Descriptive Statistics Dependent Variable: Arbeitszufriedenheit Mean Std. Deviation N Österreich Land Deutschland Schweiz Total

24 Levene's Test of Equality of Error Variances a Dependent Variable: Arbeitszufriedenheit F df1 df2 Sig Tests the null hypothesis that the error variance of the dependent variable is equal across groups. a. Design: Intercept+Land Dependent Variable: Arbeitszufriedenheit Source Corrected Model Intercept Land Error Total Corrected Total Tests of Between-Subjects Effects a a. R Squared =.043 (Adjusted R Squared =.040) Type III Sum of Squares df Mean Square F Sig. Partial Eta Squared 24

25 Einfache univariate VA für unabhängige Stichproben A-Priori Test im Anschluss an eine signifikante Varianzanalyse anwendbar, wenn bereits im Vorfeld Vergleich bestimmter Gruppen theoretisch begründet wurde dient der Überprüfung spezifischer Fragestellungen Contrast Coefficients Contrast 1 Land Österreich Deutschland Schweiz Contrast Tests Assume equal varianc Contrast Arbeitszufriedenhei Does not assume equa Contrast i 1 1 Value of Contrast Std. Error t df Sig. (2-tailed)

26 Einfache univariate VA für unabhängige Stichproben Post Hoc Tests im Anschluss an eine signifikante Varianzanalyse wesentlich um festzustellen, welche Gruppen sich unterscheiden exploratives (nicht theoriegeleitetes) Vorgehen SPSS bietet Vielzahl von post Hoc Tests z.b. Scheffé Tukey Multiple Comparisons Dependent Variable: Arbeitszufriedenheit Tukey HSD (I) Land Österreich Deutschland Schweiz (J) Land (J) Land (J) Land Deutschland Schweiz Österreich Schweiz Österreich Deutschland Based on observed means. *. The mean difference is significant at the.05 level. Mean Difference 95% Confidence Interval (I-J) Std. Error Sig. Lower Bound Upper Bound * * * *

27 n Einfache univariate VA für abhängige Stichproben Modellgleichung Populationsparameter x i, j = µ + α j + β i + ε i, j Messfehler (Residuum) Effekt der j-ten Gruppe Effekt der i-ten Person Einfache univariate VA für abhängige Stichproben Voraussetzungen mehr als zwei abhängige Stichproben metrische (zumindest intervallskalierte) Daten zumindest 15 (ideal ab 30 Personen) Gleichheit (Homogenität) der Varianzen der Differenzen (Sphärizität) 27

28 Einfache univariate VA für abhängige Stichproben Durchführung Überlegen, ob Intervallskalierung der Daten angenommen werden kann Überprüfung der Sphärizität (wird im SPSS bei Berechung der VA automatisch berechnet) kann hier zwei Hypothesen überprüfen Fortsetzung Datensatz Arbeitszufriedenheit Fragestellung Gibt es Unterschiede bei der Zufriedenheit mit der Arbeit, den KollegInnen und/oder den Aufstiegschancen? H 0 : keine Unterschiede bei Zufriedenheit mit einzelnen Bereichen H 1 : es gibt Unterschiede bei Zufriedenheit mit einzelnen Bereichen 28

29 Descriptive Statistics Arbeitszufriedenheit Zufriedenheit mit KollegInnen Zufriedenheit mit Aufstiegschancen Mean Std. Deviation N Multivariate Tests b Effect faktor a. Exact statistic Pillai's Trace Wilks' Lambda Hotelling's Trace Roy's Largest Root b. Design: Intercept Within Subjects Design: faktor Partial Eta Value F Hypothesis df Error df Sig. Squared a a a a

30 Measure: MEASURE_1 Within Subjects Effect faktor Mauchly's Test of Sphericity b Mauchly's W Approx. Chi-Square df Sig. Greenhous e-geisser Epsilon a Huynh-Feldt Lower-bound Tests the null hypothesis that the error covariance matrix of the orthonormalized transformed dependent variables is proportional to a. May be used to adjust the degrees of freedom for the averaged tests of significance. Corrected tests are displayed in the Tests of Within-Subjects Effects table. b. Design: Intercept Within Subjects Design: faktor Tests of Within-Subjects Effects Measure: MEASURE_1 faktor Source Error(faktor) Sphericity Assumed Greenhouse-Geisser Huynh-Feldt Lower-bound Sphericity Assumed Greenhouse-Geisser Huynh-Feldt Lower-bound Type III Sum of Squares df Mean Square F Sig Partial Eta Squared 30

31 Zweifache univariate VA für unabhängige Stichproben zwei unabhängige Variablen (Faktoren) zwei Arten - Kreuzklassifikation o vollständig o (unvollständig) - (hierarchische Klassifikation) Zweifache univariate VA für unabhängige Stichproben Modellgleichung x i, j, k = µ + α j + β k + γ j, k + ε i, j, k Populationsparameter Effekt der j-ten Gruppe von Faktor 1 Effekt der k-ten Gruppe von Faktor 2 Messfehler (Residuum) Wechselwirkung 31

32 Zweifache univariate VA für unabhängige Stichproben Voraussetzungen zwei unabhängige Variablen metrische (zumindest intervallskalierte) Daten zumindest 5 (ideal ab 30 Personen) pro Gruppe zumindest annähernd normalverteilte Daten pro Gruppe Gleichheit (Homogenität) der Stichprobenvarianzen Zweifache univariate VA für unabhängige Stichproben Durchführung Überlegen, ob Intervallskalierung der Daten angenommen werden kann Aufteilung der Stichprobe Überprüfung der Normalverteilung entweder mittels PP / QQ-Plot oder Histogramm oder KS-Test Überprüfung der Homogenität der Varianzen mittels Levene Test (muss im SPSS bei Berechung der VA ausgewählt werden) 32

33 Fortsetzung Datensatz Arbeitszufriedenheit. Fragestellung Gibt es Unterschiede bei der Zufriedenheit mit der Arbeit, je nach Geschlecht und/oder Position? -H 0 : es gibt keine Unterschiede bei Arbeitszufriedenheit zwischen Frauen und Männern -H 0 : es gibt keine Unterschiede bei Arbeitszufriedenheit zwischen Personen in leitender und nicht leitender Position -H 0 : es gibt keine Wechselwirkungen zwischen Geschlecht und Position bezüglich Arbeitszufriedenheit Descriptive Statistics Dependent Variable: Arbeitszufriedenheit leitende Position Geschlecht Position nicht leitende Position Geschlecht Total Geschlecht männlich weiblich Total männlich weiblich Total männlich weiblich Total Mean Std. Deviation N

34 Levene's Test of Equality of Error Variances Dependent Variable: Arbeitszufriedenheit F df1 df2 Sig Tests the null hypothesis that the error variance of the dependent variable is equal across groups. a. Design: Intercept+Position+Geschlecht+Position * Geschlecht a Dependent Variable: Arbeitszufriedenheit Source Corrected Model Intercept Position Geschlecht Position * Geschlecht Error Total Corrected Total Tests of Between-Subjects Effects a a. R Squared =.102 (Adjusted R Squared =.099) Type III Sum of Squares df Mean Square F Sig Partial Eta Squared 34

35 Zweifache univariate VA für unabhängige Stichproben Interpretation der Ergebnisse bei signifikanten Wechselwirkungen sind Haupteffekte nicht ohne weiteres interpretierbar zur Erleichterung der Interpretation können Liniendiagramme erstellt werden 35

36 Liniendiagramme Liniendiagramme 36

37 Liniendiagramme Liniendiagramme 37

38 Liniendiagramme 38