Methodenlehre. Vorlesung 11. Prof. Dr. Björn Rasch, Cognitive Biopsychology and Methods University of Fribourg

Methodenlehre Vorlesung 11 Prof. Dr., Cognitive Biopsychology and Methods University of Fribourg 1 03.12.13

Methodenlehre I Woche Datum Thema 1 FQ Einführung, Verteilung der Termine 1 25.9.13 Psychologie als Wissenschaft 2 2.10.13 Hypothesen und Variablen 3 9.10.13 Operationalisieren und Messen 4 16.10.13 Objektivität, Reliabilität, Validität 5 23.10.13 Das Experiment 6 30.10.13 Störvariablen und ihre Kontrolle 7 6.11.13 Forschungsethik 8 13.11.13 Durchführung und Berichten eines Experiments 9 20.11.13 Stichprobe und Population 10 27.11.13 Statistische Bedeutsamkeit (Signifikanz) 11 4.12.13 Inhaltliche Bedeutsamkeit 12 11.12.13 Teststärke und Stichprobenumfangsplanung 13 18.12.13 Wiederholung und Fragen 2 03.12.13

Take Home Messages Forschungsfrage Gibt es einen Unterschied zwischen zwei Bedingungen / Gruppen? Oder ist der beobachtete Unterschied zufällig? Annahme der Nullhypothese Die Populationsmittelwert der zwei Bedingungen unterscheiden sich nicht Die Differenz der Populationsmittelwerte ist Null Die Differenzen der beobachteten Stichrobenmittelwerte verteilen sich um Null Zufällige Variation auf Grund der begrenzten Stichprobengrösse Je grösser die Stichproben, des kleiner die Variation um Null Definiert durch den Standardfehler der Mittelwertsdifferenz 3

Statistische Signifikanz Signifikanz: Bedeutsamkeit Statistische Signifikanz Statistische Bedeutsamkeit Bsp.: Zwei Gruppen unterscheiden sich signifikant Der Unterschied zwischen den Mittelwerten zweier Gruppen ist statistisch bedeutsam Der Unterschied zwischen zwei Gruppen ist kein Zufall Wichtigstes Konzept der Quantitativen Methoden!!!!! 4 03.12.13

Statistische Signifikanz Statistische Signifikanz Basiert auf der Wahrscheinlichkeit, dass ein Gruppenunterschied / Zusammenhang zwischen Variablen zufällig ist Beispiel: Wie wahrscheinlich ist es, dass ein Unterschied zwischen den Mittelwerten zweier Gruppen zufällig ist? Wie wahrscheinlich ist es, dass sich die zwei Gruppen nicht unterscheiden? Wahrscheinlichkeit wird mit P oder p angegeben kursiv Signifikanzschwelle Muss festgelegt werden Häufigste Schwelle: P < 0.05 Die Wahrscheinlichkeit, dass der Unterschied zwischen zwei Gruppen zufällig ist, beträgt weniger als 5%. 5 03.12.13

Der Nullhypothesentest 1.) Experiment bringt empirischen Gruppenunterschied Bsp.: Empirische Mittelwertsdifferenz von 3.5 2.) Annahme der Nullhypothese Die Gruppen unterscheiden sich nicht (auf Populationsebene). Die empirische Mittelwertsdifferenz ist zufällig entstanden. 3.) Bestimmung der Wahrscheinlichkeit des empirischen Gruppenunterschieds unter Annahme der Nullhypothese Wie wahrscheinlich ist das Auftreten von 3.5, wenn die Nullhypothese stimmt? 4.) Vergleich der bestimmten Wahrscheinlichkeit mit dem vorher festgelegten Signifikanzniveau Ist die bestimmte Wahrscheinlichkeit kleiner als das Signifikanzniveau, dann lehne ich die Nullhypothese ab Der empirische Gruppenunterschied ist sehr unwahrscheinlich unter der Nullhypothese Also ist der empirische Gruppenunterschied (wahrscheinlich) nicht zufällig Interpretation: Die getesteten Gruppen unterscheiden sich signifikant. 6

Stichprobe und Population Population 1 Populationsmittelwert µ 1 (Problemlösen mit Pause) Population 2 Populationsmittelwert µ 2 (Problemlösen ohne Pause) Stichprobe ziehen Stichprobe ziehen Stichprobe 1 Stichprobenmittelwert (x quer 1 ) (Problemlösen mit Pause) Stichprobe 2 Stichprobenmittelwert (x quer 2 ) (Problemlösen ohne Pause) 7 03.12.13

Stichprobe und Population Forschungsfrage Unterscheidet sich Problemlösen mit Pause vs. ohne Pause? Nullhypothese Population 1 Populationsmittelwert µ 1 (Problemlösen mit Pause) = Population 2 Populationsmittelwert µ 2 (Problemlösen ohne Pause) Nullhypothese Die Populationsmittelwerte der beiden Bedingungen unterscheiden sich nicht H 0 : μ 1 =μ 2 Die Differenz der Populationsmittelwert ist gleich Null H 0 : μ 1 - μ 2 =0 8 03.12.13

Stichprobe und Population Stichprobenebene Wenn die Nullhypothese zutrifft, dann unterscheiden sich die Mittelwerte der beiden Stichproben nur zufällig Mittelwerte schätzen den Populationsmittelwert Es gibt aber zufällige Abweichungen aufgrund des Ziehens einer begrenzten Stichprobe Standardfehler des Mittelwerts Je grösser die Stichprobe, desto kleiner der Standardfehler des Mittelwerts Wenn die Nullhypothese zutrifft, dann sollte die Differenz der Mittelwerte der Stichprobe nahe 0 sein Beim mehrmaligen Ziehen von zwei Stichproben und Berechnung der jeweiligen Mittelwertsdifferenzen: Häufigkeitsverteilung um Null Stichprobenkennwerteverteilung der Mittelwertsdifferenzen 9 03.12.13

Stichprobe und Population Population 1 Verteilung des Merkmals Population 2 Verteilung des Merkmals = 1 Ziehen zweier Stichproben Berechnung der Mittelwertsdifferenzen Häufigkeitsverteilung der Stichprobenmittelwerte 2 10 0 03.12.13

Stichprobe und Population 11 03.12.13

Stichprobe und Population Standardfehler der Mittelwertsdifferenzen Gibt die Breite der Stichprobenkennwerteverteilung der Mittelwertsdifferenzen an Vertrauensintervall der Mittelwertsdifferenz Formel: Grösse ist abhängig von: Der Streuung des Merkmals in den Populationen 1 und 2 Der Grösse der Stichproben 1 und 2 Je grösser die Stichproben, desto kleiner ist der Standardfehler Je kleiner die Stichproben, desto grösser ist der Standardfehler 12 03.12.13

Signifikanztest Der t-test Test für die Wahrscheinlichkeit einer beobachteten Mittelwertsdifferenz Unter der Annahme der Nullhypothese Berechnung über die empirische Mittelwertsdifferenz geteilt durch den Standardfehler der Mittelwertsdifferenz Verteilungsform zusätzlich abhängig von den Freiheitsgraden Freiheitsgrade sind abhängig von der Grösse der Stichproben Je grösser die Anzahl der Freiheitsgrade, desto ähnlicher ist die t-verteilung der Standardvormalverteilung 13

Beispiel Ergebnis des Klammerntests Rote vs. Grüne Klammern t-test für unabhängige Stichproben (n = 50 pro Gruppe) 14

Beispiel Häufigkeitsverteilung (n = 50 pro Gruppe) Empirische Mittelwertsdifferenz: 6.22 Standardfehler der Differenz: 1.8 Statistischer Kennwert t = 3.455 Wahrscheinlichkeit unter der Nullhypothese: p = 0.001 15

Beispiel Ergebnisvergleich N = 100 P = 0.001 N = 50 P = 0.033 N = 20 P = 0.25 signifikant signifikant n.s. 20

Stichprobe und Population Population 1 Verteilung des Merkmals Population 2 Verteilung des Merkmals = 1 Ziehen zweier Stichproben Berechnung der Mittelwertsdifferenzen Häufigkeitsverteilung der Stichprobenmittelwerte n 1 = 10 n 2 = 10 2 21 0 03.12.13

Stichprobe und Population Signifikanztest Frage: Wie wahrscheinlich ist das Auftreten der beobachteten Differenz der Stichprobenmittelwerte unter der Annahme der Nullhypothese? Beispiel: Beobachtete Differenz: 42 38.5 = 3.5 Fläche unter der Kurve gibt die Wahrscheinlichkeit an 3.5 24 03.12.13

Stichprobe und Population Signifikanztest Frage: Wie wahrscheinlich ist das Auftreten der beobachteten Differenz der Stichprobenmittelwerte unter der Annahme der Nullhypothese? Fläche unter der Kurve gibt die Wahrscheinlichkeit an 3.5 25 03.12.13

Signifikanztest Die Wahrscheinlichkeit einer empirischen Mittelwertsdifferenz unter der Nullhypothese Ist abhängig von der Grösse der Streuung in Population 1 und 2 Ist abhängig von der Grösse der Stichprobe 1 und 2 Standardfehler der Mittelwertsdifferenz Stichprobengrösse Je grösser die Stichprobe, desto kleiner die Wahrscheinlichkeit einer beobachteten Mittelwertsdifferenz unter der Nullhypothese Mittelwertsdifferenzen sollten alle Nahe bei Null sein Wenn die Nullhypothese zutrifft Je kleiner die Stichprobe, desto grösser die Wahrscheinlichkeit einer beobachteten Mittelwertsdifferenz unter der Nullhypothese Mittelwertsdifferenzen können zufällig auch weiter weg von Null auftreten 28 03.12.13

Statistische Signifikanz Die statistische Signifikanz ist stark abhängig von der Grösse der Stichprobe Annahme: Konstanter Unterschied zwischen den Gruppen Je grösser die Stichprobe, desto eher wird ein Ergebnis signifikant Je kleiner die Stichprobe, desto eher wird ein Ergebnis nicht signifikant Grund: Stichprobengrösse verändert den Standardfehler der Mittelwertsdifferenz Erkenntnis: Jeder noch so kleine Unterschied kann signifikant gemacht werden Man muss nur genügend Versuchspersonen erheben Statistische Signifikanz nur in Zusammenhang mit Vp-Zahl interpretierbar Frage: Wann ist ein Unterschied inhaltlich bedeutsam? 29

Inhaltliche Bedeutsamkeit Problem: Statistische Signifikanzen stark von der Stichprobengrösse abhängig Ergebnisse zwischen Studien mit unterschiedlichen Stichprobengrössen nicht vergleichbar Lösung Effektstärken Effektstärken geben die Grösse eines Effekts unabhängig von der Stichprobengrösse an Erlaubt den Vergleich zwischen Studien Erlaubt die Einschätzung der inhaltlichen Bedeutsamkeit eines Effekts. Handlungsanweisung Bei einem statistisch signifikanten Ergebnis immer auch die Effektstärke mit angeben 30

Effektstärken Effektstärke als Distanzmass Distanz zwischen Populationsmittelwerten Effektstärkenmass d Interpretation 31 d = 1: Populationen unterschieden sich um eine Streuungseinheit Konventionenen d = 0.2: kleiner Effekt d = 0.5: mittlerer Effekt d = 0.8: grosser Effekt Konventionen gelten nur für nicht messwiederholte Mittelwertsvergleiche

Effektstärke Berechnung von d aus Daten Mittlerer Effekt P = 0.001 32

Effektstärke Berechnung von d aus Daten Mittlerer Effekt P = 0.033 33

Effektstärke Berechnung von d aus Daten Mittlerer Effekt P = 0.25 n.s. 34

Effektstärke Effektstärke aus Mass der Varianzaufklärung Wie viel Prozent der gesamten Unterschiede zwischen allen Versuchspersonen wird durch die experimentelle Manipulation (UV) aufgeklärt? Anteil der aufgeklärten Varianz an der Gesamtvarianz Synonyme für aufgeklärte Varianz: Primärvarianz, Effektvarianz, systematische Varianz 35

Effektstärke Effektstärke aus Mass der Varianzaufklärung Primärvarianz/ Gesamtvarianz Gesamtvarianz besteht aus Primär + Sekundärvarianz Synonym: Gesamtvarianz besteht aus systematischer Varianz und Fehlervarianz Effektmass auf Populationsebene Ω 2 (Omega quadrat) Wird in der Literatur wenig verwendet Effektmass auf Stichprobenebene η 2 (eta quadrat) QS: Quadratsummen (Mass für Varianz auf Stichprobenebene) Bei mehreren Faktoren Partielles η 2 36

Effekstärken Konventionen Ω 2 = 0.01: kleiner Effekt 1% aufgeklärte Varianz Ω 2 = 0.06: mittlerer Effekt 6% aufgeklärte Varianz Ω 2 = 0.14: grosser Effekt 14% aufgeklärte Varianz η 2 fällt häufig etwas grösser aus Konventionen gelten nur für nicht-messwiederholte Mittelwertsvergleiche Basieren auf Cohen (1988) Berechnung über Kennwert des t-tests (t-wert) Kann bei Varianzanalyse von SPSS ausgegeben werden 37

Beispiel Effektstärkeberechnung aus den Daten Es wurden ca. 11% der Gesamtvarianz in der Problemlösefähigkeit durch den Faktor Pausen erklärt. Dies ist ein mittlerer Effekt. 38

Take Home Messages Statistische Signifikanz Wie wahrscheinlich ist eine beobachtete (empirische) Mittelwertsdifferenz unter der Annahme der Nullhypothese? Entscheidungsregel: Ist diese Wahrscheinlichkeit kleiner als die (vordefinierte) Signifikanzschwelle, dann lehnen wir die Nullhypothese ab Signifikanzschwelle ist (meist) P < 0.05 (5% Fehlerwahrscheinlichkeit) Statistische Signifikanz ist abhängig von der Stichprobengrösse Je grösser die Stichprobe, desto eher wird ein Ergebnis signifikant Effektstärke 39 Jeder noch so kleiner Unterscheid kann signifikant gemacht werden Angabe der Grösse des Effekts unabhängig von der Stichprobengrösse Distanzmass d, Mass für die Varianzaufklärung η2 Bei signifikantem Ergebnis Effektstärke mit angeben Erlaubt den Vergleich von Ergebnissen mit unterschiedlichen Stichprobengrössen Erlaubt eine Abschätzung der Inhaltlichen Bedeutsamkeit des Ergebnisses Z.B. anhand der Konventionen von Cohen (1988)

Vielen Dank für Ihre Aufmerksamkeit 40 03.12.13