12.1 Wie funktioniert ein Signifikanztest?

Transkript

1 Sedlmeier & Renkewitz Kapitel 12 Signifikanztests 12.1 Wie funktioniert ein Signifikanztest? Zentrales Ergebnis eine Signifikanztests: Wie wahrscheinlich war es unter der Bedingung dass H0 gilt, diesen Wert (Daten) aus der Stichprobe zu ziehen? = p-wert oder p ist eine bedingte Wahrscheinlichkeit Beispiel p-wert: H0: Der Anteil depressiver Frauen über 70 Jahre wird mit 30% vermutet. Daten: Aus der Stichprobe wird ein Anteil von 45% ermittelt. Frage: Kann das Ergebnis noch Zufall (Stichprobenfehler) sein? Die Berechnung des p-werts erfolgt mit Hilfe der Stichprobenverteilung. Ein wichtiger Unterschied zwischen der Konstruktion eines Konfidenzintervalls beim Schätzen und dem Signifikanztesten: Konfidenzintervalle für Schätzungen erfolgen auf Basis empirischer Stichprobenstatistiken! Signifikanztesten konstruiert um theoretische oder erwartete Werte die Stichprobenverteilung! Also: Die Berechnung des p-werts erfolgt mit Hilfe der Stichprobenverteilung. Und zurück zur Frage: Kann das Ergebnis noch Zufall (Stichprobenfehler) sein? Damit die Frage beantwortet werden kann benötigen wir zur Berechnung des p-werts erst einmal ein Kriterium: bezeichnet einen Flächenanteil am Rand (oder an den Rändern) der Stichprobenverteilung. Wenn beispielsweise 5% beträgt, dann würden unter der Gültigkeit der H0 alle Ergebnisse mit einer kleineren Eintrittswahrscheinlichkeit als 5% eine systematische Abweichung der H0 sein und kein Zufall mehr! Annahme: über 82 Jahre hinweg ist der Anteil der Geburten von Jungen höher als der von Mädchen. Die Wahrscheinlichkeit laut Nullhypothese p=0,5 Binomialverteilung wenn p=0,5 wahr ist, sollten der Anteil Jungen im Normalfall in 40 Jahren höher sein (also halb/halb). Zahlenstrahl bis 82 Jahre Wir wahrscheinlich wäre es also, nach einer Überprüfung der Geburtenraten festzustellen, dass der Anteil der Geburtenraten in 82 Jahren immer höher war? Das rote Kreuz markiert diesen Fall. Es ist nahezu unmöglich (nahezu unmöglich unter der Annahme, dass H0 gilt und die Geburtenrate p=0,5 ist!!) H0 muss verworfen werden! Warum wird hier eine Binomialverteilung verwendet? Weil sich die Hypothese auf Anteile bezieht, wird mit einer Stichprobenverteilung für Anteile gerechnet = Binomialverteilung.

2 12.2 Vorgehensweise nach R.A. Fisher Der Test ist signifikant, wenn der Wert für die gefundene Stichprobenstatistik ein Kriterium (durch alpha festgelegt) überschreitet, oder äquivalent, wenn der p-wert kleiner oder gleich alpha ist dann wir die H0 abgelehnt. Wenn der Test allerdings nicht signifikant ist, ist nach Fisher keine weitere Schlussfolgerung möglich (es wird also nicht gesagt dann stimmt wohl die H0!) So unterscheidet sich Fisher`s Ansatz von den Folgenden! < H0 wird abgelehnt das kann kein Zufall sein! Vorzeichentest Das Vorzeichen gibt an, wie sich ein Wertepaar zueinander verhält. Beispiel: Wenn in einem Jahr der Anteil Jungen höher als der Mädchen; dann + Wenn in einem Jahr der Anteil Mädchen höher als der Jungen; dann Wenn in einem Jahr beide Anteile gleich große; dann = (wird später nicht mehr berücksichtigt) Nun wird getestet, ob sich die Anteile von + signifikant von den Anteilen - unterscheiden t-test für Mittelwert Zur Erinnerung: Die Prüfvariable t wird wie folgt konstruiert: mit einer geschätzten (!!!) Standardfehler von Beispiel: müh0 (erwarteter theoretischer Wert) = 100 IQ-Punkte Stichprobe = 101,2 IQ-Punkte und geschätzte Populationsstreuung 15,2 und n= 250. Wir ermitteln einen t-wert von 1,1249 und vergleichen diesen nun mit alpha = 5%(das Kriterium; der kritische Wert) = 1,65 Da der empirische t- Wert 1,1249 kleiner ist als der kritische Wert alpha 1,65 wird das Ergebnis nicht signifkant Je größer der t-wert, desto kleiner der p-wert! Daher Achtung falls: werden! Nicht signifikant wenn: muss H0 verworfen Der p-wert bezieht sich immer auf die Nullhypothese! Probleme mit der Vorgehensweise nach Fisher 1) Wie soll man ein signifikantes Ergebnis interpretieren? 2) Wie groß ist die Chance einen ganz kleinen Effekt zu finden, wenn er wirklich vorhanden ist? 3) Es können keine Aussagen gemacht werden, wenn ein Test nicht signifikant ist. (siehe Tabelle oben in rot) Weiter geht es darum, mit den Verbesserungsvorschlägen von Neyman & Pearson!

3 12.3 Neymans & Pearsons Verbesserungsvorschläge Die Lösung des 1. Problems Wie interpretiere ich ein signifikantes Ergebnis? erfolgte durch die Verhaltensinterpretation: Wenn der Test signifikant ist, verhalte dich so oder handle so, wie wenn die H1 wahr wäre, und wenn er nicht signifikant ist, so wie wenn die H0 wahr wäre. Zu den Probleme von Fischer 2) und 3): 2) Wie groß ist die Chance einen ganz kleinen Effekt zu finden, wenn er wirklich vorhanden ist? 3) Es können keine Aussagen gemacht werden, wenn ein Test nicht signifikant ist. Lösung für beide Probleme: die Alternativhypothese! Warum braucht man die Alternativhypothese und wie wird sie bestimmt? Warum brauchen wir überhaupt die Alternativhypothese? Für die Berechnung des p-werts sicherlich nicht, denn es gilt ja: Der p-wert bezieht sich immer auf die Nullhypothese! Wenn ein Effekt sehr, sehr klein ist, würde man ihn bei wiederholten Stichproben evtl. nie entdecken, obwohl er vorhanden ist. Wenn den Verdacht eines sehr kleinen Effekts schon von Anfang haben, könnten wir eine Annahme über die Alternativhypothese treffen: Was müssen wir unternehmen, um die Chance, den Effekt zu finden, zu vergrößern? Wir müssen bestimmen wie hoch die Wahrscheinlichkeit ist, den in H1 festgelegten Effekt mithilfe des Tests aufzudecken! Diese Wahrscheinlichkeit wird Teststärke oder auch Power genannt. (Wie man die Teststärke bestimmt folgt später). Das 2. Problem einen vorhandenen kleinen Effekt finden würde sich nun mit Bestimmung der Teststärke gar nicht erst ergeben (man würde z.b. die Studie (noch) nicht durchführen). Das 3. Problem ein nicht signifikantes-ergebnis interpretieren kann mit einem Blick auf die Teststärke gelöst werden. Nur wenn auch sehr kleine Effekte die Chance hatten entdeckt zu werden, dann ist ein nicht-signifikantes Ergebnis eine brauchbare Evidenz. Wenn hingegen schon bei winzigen Effekten die Teststärke sehr hoch ist, ist zu beachten, dass ggf. irrelevante Effekte (Störgrößen) bei großen Stichproben dafür sorgen und damit wäre das Ergebnis nicht mehr informativ. Man sollte sich genau überlegen, wie hoch ein praktisch bedeutsamer Effekt sein sollte und dann nachsehen, wie hoch der gefundene Effekt war.

4 Wie findet man die Alternativhypothese nun? 1. Wie groß soll ein bedeutsamer Effekt sein Effektgröße d (z.b. Testergebnisse eines normierten Tests bislang mit Standardabweichung von 12; eine Veränderung des Tests soll die Punktzahl um 5 Punkte erhöhen: d = 5/12 = 0,42 2. Analyse bisheriger relevanter Ergebnisse und deren Effektgrößen zur Schätzung des Populationseffekts und auf dieser Basis die Alternativhypothese festlegen. 3. Verwenden von Konventionen für Effektgrößen Allgemein lässt sich sagen: Welchen Effekt man für Alternativhypothesen wählt, hängt von der Intention der Forsch ab. Wenn man z.b. als Nullhypothese die Forschungshypothese ist, man also ein nicht-signifikantes Ergebnis haben möchte, sollte man versuchen auch sehr kleine Effekte nicht zu übersehen! Wenn man aber einen Effekt finden möchte, der auch praktisch bedeutsam ist, dann wird man als Alternativhypothese einen relativ großen Effekt in der Population annehmen (damit ein signifikantes Ergebnis in dem Fall auch wirklich richtig bedeutsam ist) Fehler erst und zweiter Art (alpha und beta) Bei der Entscheidung für H0 oder H1 können Fehler begangen werden: H0 wird verworfen, obwohl sie richtig ist = Fehler 1. Art/ alpha Fehler H1 wird verworfen, obwohl sie richtig ist = Fehler 2. Art/ beta Fehler Die Bestimmung des Kriteriums (kritischer Wert) sollte daher beim Signifikanztest das Resultat einer Abwägung zwischen der relativen Wichtigkeit von alpha und beta-fehler. Die Teststärke oder Power ist das Komplement von beta, also 1-beta Die Verhaltensinterpretation des Signifikanztestergebnisses Trennung des Signifikanztests in einen mathematischen (p-wert) und einen verhaltensrelevanten/ subjektiven Teil. Ausgangsbasis für den Test ist ein Entscheidungsproblem und das Ergebnis des Tests, soll die Grundlagen für die Entscheidung liefern. Da die subjektive Entscheidung über die größen von alpha und beta-fehler von Koste-Nutzen-Erwägungen abhängen und nicht auf Konventionen beruhen.

5 12.4 Welche Faktoren beeinflussen das Ergebnis eines Signifikanztests? Wiederholung: Das Hauptergebnis eines Signifkanztests ist der p-wert, die Wahrscheinlichkeit, dass das gefundene Ergebnis (oder ein noch extremeres) auftritt, wenn die H0 gilt. Aber wie kann man die Wahrscheinlichkeit dafür, dass ein Test signifikant wird, wenn die H1 zutrifft beeinflussen? Das ist die Frage nach der Teststärke, Power! Folgende drei Faktoren haben Einfluss auf die Teststärke (da sie alle drei auf die Form der Stichprobenverteilung oder den Abstand zwischen den Erwartungswerten für H0 oder H1 einwirken, haben sie auch Einfluss auf die Teststärke): Populations-Effektgröße Je größer der Populationseffekt, desto höher die Teststärke! (Teststärke: 1-beta) Unter b) lautet die H1, dass der Effekt bei 0,9 liegt also 40%über dem Erwartungswert, den die H0 mit 0,5 postuliert. Bei einem so großen Effekt ist beta sehr klein und die Power logischerweise sehr hoch! Stichprobengröße Gesetz der großen Zahl: der Standardfehler wird mit zunehmenden n kleiner! Je größer die Stichprobe, desto größer die Teststärke! Abwägung der Fehler erster und zweiter Art 1. Vor dem Test Kosten-Nutzen-Analyse durchführen und für die Größen von alpha und beta entscheiden. Welcher Fehler wäre bei unserem Test schwerwiegender hinsichtlich der Folgen und Unterlassen von Folgen? 2. Keiner der beiden Fehler sollte größer als 50% sein

6 Es gibt noch zwei weitere Faktoren Minimierung des experimentellen Fehlers = durch erhöhte Sorgfalt und Präzision (Störgrößen und ungenaue Messungen vermeiden denn diese wirken sich auf den Standardfehler aus Homogenität der Populationen In homogenen Gruppen ist eine geringere Varianz zu erwarten. Je homogener die Gruppe, desto höher die Teststärke! Größere Homogenität, kann allerdings auch eine geringere externe Validiltät bedeuten Poweranalyse Die aufgeführten Einflussfaktoren, Stichprobengröße, Populations-Effekt und Abwägung von alpha und beta sollten vor der Durchführung einer Untersuchung mittels einer Teststärkeanalyse/ Poweranalyse bewusst werden. Die mathematische Berechnung erfolgt aufgrund der Komplexität mit diversen Programmen und sei hier noch nicht näher erklärt. Folgende Arten einer Poweranalyse gibt es: Die Suche nach der Stichprobengröße: A priori-analyse Drei Fragen müssen beantwortet werden: 1. Was ist meine Alternativhypothese (mind. Effekt) 2. Wir groß möchte ich den Fehler 1. Art setzen? 3. Wie groß soll meine Teststärke sein? Die Suche nach einem Kompromiss zwischen alpha und beta Angenommen Stichprobenumfang ist niedrig und kann nicht erhöht werden, dann kann nur noch an alpha und beta gedreht werden! Was könnte also ein sinnvolles Verhältnis, zwischen alpha und beta sein? (Vom Inhalt der Hypothese abhängig) Die Suche nach weiteren Interpretationsmöglichkeiten post hoc-analyse = Teststärkenanalyse NACH der Durchführung des Tests. Ein Ergebnis ist nur dann sinnvoll interpretierbar, wenn selbst geringe Effekte eine hohe Chance hatten, aufgedeckt zu werden.

7 12.6 Vorgehensweise nach Neyman und Pearson Die Bestandteile eines Tests sind nun hinreichend behandelt worden, jetzt wird die Vorgehensweise besprochen (das ist eigentlich auch schon hinreichend bekannt): 1. Formuliere eine Nullhypothese und konstruiere die Stichprobenverteilung, falls Stichprobengröße vorgegeben ist 2. Formuliere eine Alternativhypothese und konstruiere die Stichprobenverteilung, falls die Stichprobengröße vorgegeben ist 3. Entscheide dich für die Größen von alpha und konstruiere aufgrund der daraus ermittelten Stichprobengröße die entsprechenden Stichprobenverteilungen (falls nicht schon geschehen sie 1. und 2.) 4. Prüfe ob der p-wert größer oder kleiner als alpha ist. (zur Auffrischung: p-wert ist die W`keit des Stichprobenergebnisses unter der Annahme, dass Nullhypothese zutrifft) 5. Wenn der p-wert nicht größer als alpha ist, dann ist das Ergebnis signifikant, ansonsten nicht signifikant 6. Wenn das Ergebnis signifikant ist, verhalte sich so, wie wenn die H1 wahr wäre, wenn er nicht signifikant ist, als wenn die H0 zuträfe. 7. Der beste Weg wäre, die Daten erst nach Schritt 3 zu erhaben, da man dann genau weiß, welche Stichprobengröße man braucht. Falls dies nicht möglich ist, sollte man in Schritt 3 im Rahmen einer Poweranalyse nach einem geeigneten Kompromiss zwischen alpha und beta suchen. Es folgen zwei ausführliche und mehrseitige Beispiele im Skript, die hier nicht aufgeführt sind! Akzeptanz des Ansatzes in Psychologie und Sozialwissenschaften Die reine Vorgehensweise Pearson oder Fisher wird hier kaum angewendet, da selten zeitkritische Entscheidungen anstehen. Gerade in der Grundlagenforschung ist man eher an Wissenzuwachs interessiert, daher hat es ein Verfahren, welches auf Entscheidungen ausgelegt ist, es eher schwer sich zu etablieren.

8 12.7 Das konventionelle Verfahren: Der Hybrid Aus folgt nun ein Verfahren, für welches kein Urheber bekannt ist, für die Psychologie aber am geeignetsten scheint Bestandteile (Achtung! Durch das Vermischen der verschiedenen statistischen Ansätze wird der p-wert oft falsch interpretiert!) Bestimmungsmerkmale für den Hybrid : Fast nie Interpretation von Signifikanzergebnissen Fehler 1. Art liegt nahezu immer bei 1% oder 5% (ohne Kosten-Nutzen-Analyse) Beinahe überall gibt es eine Alternativhypothese Nicht-signifikante Ergebnisse werden meist nicht interpretiert, obwohl oft eine Teststärke mit angegeben ist. Sternchenstrategie sehr beliebt. * signifikant für p<5%, ** sehr signifikant für p<1% *** hoch signifikant für p<0,1% Diese Vorgehensweise suggeriert eine Aussage über den p-wert, allerdings nur eingeschränkt, etwa wenn man die Ergebnisse identischer Experimente miteinander vergleichen würde Es verbreitet sich die Meinung, dass man auch der Alternativhypothese eine genügend hohe Chance einräumen sollte, dass also die Power genügend hoch sein sollte! Vorgehensweise und Ergebnisinterpretation Vorgehen beinahe analog zu 12.6 allerdings würde man von Beginn an gleich ein alpha von 5% oder 1% festlegen und eine genügend hohe Teststärke sicherstellen bzw. nachhinein feststellen wie hoch die Teststärke ist. Eine hohe Teststärke ist die Voraussetzung dafür, dass die Zufallsinterpretation eines Signifikanztestergebnisses in beide Richtungen anwendbar sind. p-wert < alpha = signifkant -> H0 verwerfen -äquivalent- p-wert < ß = nicht signifikant Wenn die H0 wahr ist, dann kann das kein Zufall mehr sein! Die Poweranalyse garantiert, dass das Testergebnis symmetrisch interpretiert werden kann (sowohl als Evidenz für die H0 als auch für die H1), auf wenn nur berechnet wird.

9 12.8 Signifikanztests: Was man noch wissen sollte bezieht sich aus beide Ansätze (konventionelle und Neymann & Pearson) Spezifikation von Null- und Alternativhypothese Einseitige vs. Zweiseitige Tests Richtung sollte aus der Aufgabenstellung hervorgehen. Soll nur irgendein Effekt gefunden werden, wird man meist zweiseitig testen und alpha auf beide Ränder aufteilen. Es ist also bei zweiseitigen Tests schwieriger ein signifikantes Ergebnis zu erhalten Wie man p-werte nicht interpretieren sollte Aber vorher nochmal: der p-wert gibt an, wie wahrscheinlich es war, ein Ergebnis zu ermitteln, unter der Voraussetzung, dass die Nullhypothese gilt. das ist richtig! Die beliebtesten Fehlinterpretationen: p-werte sind Indikatoren für die Größe eines Effekt (falsch) Erlauben eine Abschätzung der W`keit, dass die Nullhypothese-/Alternativhypothese zutrifft (falsch) Sind Irrtumswahrscheinlichkeiten: wenn man sich aufgrund des p-werts dafür entscheidet, die Nullhypothese zu verwerfen, kennt man die Wahrscheinlichkeit, dass man dabei einen Fehler macht (falsch) Erlauben eine Abschätzung der W`keit, dass ein Ergebnis replizierbar ist (falsch) Sehen wir uns die Interpretationen genauer an Warum ist p kein Indikator für die Effektgröße? Ein p-wert alleine sagt nichts über die Größe eines Effekts aus! Der Effekt der Studie ist nur einer von mehreren Faktoren, die den p-wert beeinflussen, deshalb kann man von einer Veränderung des p-werts nicht auf eine Veränderung der Effektgröße schließen. Warum kann man mit p die Wahrscheinlichkeiten der Hypothese nicht abschätzen? Die Wahrscheinlichkeitsaussage von p bezieht sich auf ein gefundenes Ergebnis (wie wahrscheinlich war es, dieses Ergebnis zu finden, wenn H0 gilt) und nicht auf die Nullhypothese! Warum ist p nicht die Irrtumswahrscheinlichkeit? Die Irrtumswahrscheinlichkeit bezieht sich auf den Fehler 1. Art und wird vor dem Test festgelegt. Der p- Wert hingegen steht ja erst nach Datenerhebung fest und wird aufgrund von empirischen Ergebnissen berechnet. Der p-wert ist ein Produkt der Daten, wohingegen die Irrtumswahrscheinlichkeit eine Eigenschaft des Tests ist. Warum ist p kein Indikator für Replizierbarkeit? Unterschiedliche Ziehungen führen zu unterschiedlichen p-werten und können somit nicht Indikator für Replizierbarkeit sein. Die Replizierbarkeit eines Ergebnisses hängt von der Teststärke (Power) ab, und die wiederum von n, der Effektgröße und alpha. Wenn diese Größen fixiert sind und wiederholt Stichproben gezogen werden, dann bleibt die Teststärke konstant, aber es ist zu erwarten, dass sich die einzelnen Ergebnisse unterscheiden werden. Wie sollte man p-werte interpretieren? Ein p-wert ist die bedingte W`keit für ein Ergebnis (und alle noch extremeren Ergebnisse), unter der Bedingung, dass die H0 zutrifft.

10 Signifikanztest und Konfidenzintervall Signifikanztests und Konfidenzintervalle hängen eng miteinander zusammen. Zur Erinnerung: Ein X%-Konfidenzintervall ist das Intervall, das die mittleren X% der Stichprobenverteilung einschließt, die um eine aus der Stichprobe berechnete Stichprobenstatistik herum erstellt wird. Ein X% - Konfidenzintervall, das den Wert für die Nullhypothese nicht überlappt, ist äquivalent zu einem signifkanten Testergebnis mit einem zweiseitigen alpha von 100-X%. Bei einem einseitigen alpha zeigt schon ein (100%-2alpha)-Konfidenzintervall, das den Wert für die H0 nicht überlappt, dass das entsprechende Testergebnis signifikant ist. Warum? Man vergegenwärtige sich, wie die Streuung (Standardfehler) der Stichprobenverteilung berechnet wird. Er wird für beide Fälle aus der Stichprobenvarianz geschätzt und diese Schätzung ist für beide Fälle identisch. Ein Mittelwert eines KI noch weiter von der H0 entfernt liegt also außerhalb des durch alpha/2 gekennzeichneten Kriteriums -, dann wäre das immer äquivalent mit einem signifikanten Ergebnis p<alpha Ein KI das den Wert der H0 überdeckt, ist gleichbedeutend mit einem nicht-signifikanten Ergebnis p>alpha Konfidenzintervalle können also im Prinzip auch zum Signifikanztesten verwendet werden Signifikanztest und Konfidenzintervall Aussagen auf basis inferenzstatistischer Verfahren nur interpretierbar, wenn die Studie sauber durchgeführt wurde. Gut überlegen für welche Population mein Ergebnis aussagekräftig ist! Empfehlung der APA Task Force Immer Teststärke berechnen, exakte p-werte berichten (keine Sternchen), immer (Stichproben- )Effektgrößen berechnen und im Zweifelsfällen Konfidenzintervallen gegenüber Signifikanztests den Vorzug geben.