Pflichtlektüre: Kapitel 12 - Signifikanztest Wie funktioniert ein Signifikanztest? Vorgehensweise nach R. A. Fisher.

Transkript

1 Pflichtlektüre: Kapitel 12 - Signifikanztest Überblick Signifikanztest Populationsparameter Ein Verfahren zur Überprüfung von Hypothesen, Grundlage bilden auch hier Stichprobenverteilungen, das Ergebnis ist eine Wahrscheinlichkeitsaussage über ein Stichprobenergebnis im Lichte der zuvor aufgestellten Hypothesen Hypothetisch, sog. statistische Hypothesen Wie funktioniert ein Signifikanztest? Nullhypothese Notation: H 0 Daten p-wert Hypothese über einen Populationsparameter, eine zu testende Annahme der Grundgesamtheit, meistens wählt man eine Annahme, die man widerlegen möchte Der Wert, der in der Untersuchung gefunden wurde. Gibt die bedingte Wahrscheinlichkeit dafür an, dass das Ergebnis einer Studie gefunden werden konnte, wenn H 0 zutrifft. p(daten H 0) β Irrtumswahrscheinlichkeit, der Fehler 1.Art, wenn Werte in diesem Bereich fallen, dann ist die Hypothese widerlegt. Irrtumswahrscheinlichkeit, Fehler der zweiten Art, wenn Werte in diesem Bereich fallen, dann H 0 belegt Vorgehensweise nach R. A. Fisher H0 keine Schlussfolgerung möglich H0 ablehnen Vorzeichentest +/- Sign test Beispiel Binomialtest, Vergleich zweier (verbundener) Messreihen, berücksichtigt nur das Vorzeichen Untersuchung wenn man herausfinden will, dass der empirisch ermittelte Anteil von einem theoretisch zu erwartenden Wert 50% abweicht Kann Verteilungshypothesen in Ein- und Zweistichprobenproblemen testen Sachverhalt: Unterscheiden sich Lebenspartner hinsichtlich ihrer Ausbildung A >B (+), A<B (-), A=B (=) A= männlicher Partner B= weiblicher Partner Hypothese H 0 : Anteil der positiven Vorzeichen beträgt 50%. (p=0,5)

2 wird rechts bei 5,5% festgelegt Testergebnis ist nicht signifikant t-test für Mittelwerte Probleme Testen, ob sich ein Stichprobenmittelwert x signifikant von einem erwarteten Wert µ unterscheidet Man kann nur die Nullhypothese verwerfen, wenn das Kriterium überschritten wurde und das Ergebnis signifikant ist. Wenn der Test nicht signifikant ist, kann man keinerlei Aussagen machen Neymans & Pearsons Verbesserungsvorschläge Alternativhypothese H 0 H 1 Notation: H 1 handle, wie wenn die H0 wahr wäre β Fehler Zweiter Art Fehler Erster Art β handle, wie wenn die H1 wahr wäre Wenn der Test signifikant ist, dann H 1 Wenn der Test nicht signifikant ist, dann H 0 Warum braucht man eine Alternativhypothese? Bestimmen, wie groß die Wahrscheinlichkeit ist, den in der H 1 festgelegten Effekt mithilfe des Tests aufzudecken Wahrscheinlichkeit nennt man Teststärke (Power) Problem 1: Den vorhandenen Effekt mit einer hohen Wahrscheinlichkeit nicht entdecken entfällt, weil man durch das bestimmen der Teststärke in diesem Fall (noch) keine Studie durchführen würde Problem 2: Wann kann man ein nicht-signifikantes Ergebnis inhaltlich interpretieren? kleine Effekte und die Teststärke ist sehr hoch, trotzdem ist das Ergebnis nicht-signifikant d.h. H 0 ist wahr Teststärke ist sehr niedrig, dann ist ein nicht-signifikantes Ergebnis von vornherein sehr wahrscheinlich Problem 3: Hohe Wahrscheinlichkeit für signifikante, aber irrelevante Effekte bei großen Stichproben Mithilfe der Teststärkenanalyse ermitteln Wenn schon bei winzigen Effekten, die Teststärke sehr hoch ist, dann ist das Ergebnis nicht mehr sondelrich informativ Wie findet man die passende H1? a) Wie groß der Effekt in der Population sein muss,um praktisch bedeutsam zu sein b) Alternativhypothese spezifizieren, indem man ähnliche Studien heranzieht und seine gutzu schätzen c) Konventionen für Effektgrößen benutzen, meist beeinflusst durch die Intention des Forschers

3 -Fehler erster Art Man entscheidet sich gegen H 0, trotz das sie wahr ist β-fehler zweiter Art Man entscheidet sich gegen H 1, dabei trifft die Hypothese zu, und für H 0 Power/Teststärke Komplement von β, also 1-β Die Gesamtwahrscheinlichkeit (auch Fläche) jeder der beiden Stichprobenverteilungen beträgt 1(100%) d.h. wenn β 20% beträgt, dann beträgt 1- β(teststärke) 80% Welche Faktoren beeinflussen das Ergebnis eines Signifikanztests? Populationseffektgröße Je größer der Effekt, desto höher ist die Teststärke. Stichprobengröße Abwägung der Fehler Wiederholung: Je größer eine Stichprobe ist,desto mehr nähert sie sich einer Normalverteilung an und der Standardfehler wird kleiner. Je größer die Stichprobe, desto größer ist die Teststärke. Vor dem eigentlichen Test, sollte eine Kosten-Nutzen-Analyse gemacht werden Im Grunde: beide Arten von Fehlern so klein wie möglich halten Wenn kleine Populationen untersucht werden/ auskostengründen nur kleine Stichproben gezogen werden können, dann muss man sich entscheiden, welcher Fehler größer sein soll! Minimierung des experimentellen Fehlers Zusammenfassung: latente Variablen (Intelligenz, Aggression), Störvariablen, Fehler/ Ungenauigkeiten bei der Auswahl der Stichprobe geschehen Wenn diese Fehler groß sind, dann ist auch die Streuung der Werte in der Stichprobe generell größer! Nur durch erhöhte Sorgfalt und Präzision vermeidbar! Homogenität der Population Homogene Gruppen, sind besser als heterogene Gruppen Varianz ist geringer Diese bildet eine gute Grundlage für einen Standardfehler Und diese bestimmt die Form der Stichprobenverteilung Je homogener, desto höherer die Teststärke. Und desto niedriger der Standardfehler. Nachteil: Jedoch wird nur eine Teilpopulation berücksichtigt! Poweranalyse Einflussgrößen Teststärke kann bestimmt werden durch Arten: Population Stichprobengröße Abwägung von und β Bewusst sein, und vor jedem Test eine Poweranalyse durchführen Gpower Standardnormalverteilung (Vorraussetzung genügend große Stichprobe) a-priori-analyse (vor der Durchführung,um notwendige Stichprobengröße zu ermitteln)

4 Kompromiss-Analyse (wenn Stichprobengröße bekannt ist) Post-hoc-Analyse (nach dem Testverfahren) a-priori-analyse 1. Was ist die H 1 2. Wie groß möchte man -Fehler setzen 3. Wie groß soll die Teststärke mindestens sein Vor jedem Signifikanztest!! Kompromiss-Analyse Post-hoc Analyse Begrenzte Stichprobengröße Dann versucht man etwas an den beiden Fehlern zu ändern, insbesondere Welches Verhältnis sollen und β eingehen?(kompromiss finden) Nach der Durchführung des Tests Relevant wenn, - Forschungshypothese mit der Nullhypothese korrespondiert (kein Unterschied, keinen Zusammenhang) - Testergebnis ist nicht-signifikant Vorgehensweise nach Neyman und Pearson Formuliere H 0 (und konstruiere die entsprechenende Stichprobenverteilung, falls die Stichprobengröße vorgegeben ist) Formuliere H 1( und konstruiere die entsprechenende Stichprobenverteilung, falls die Stichprobengröße vorgegeben ist) Entscheide dich für die Größe von und β Wichtigkeit abwägen, konstruiere aufgrund daraus ermittelten Stichprobengröße die entsprechenende Stichprobenverteilung) Prüfe, ob der p-wert, die Wahrscheinlichkeit derstichprobenergebnisses unter der Annahme, dass H 0 zutrifft (>/</= ) p-wert nicht größer, dann ist der Test signifikant Wenn Ergebnis: Signifikant H 1 ist wahr Nicht signifikant H 0 ist wahr Das konventionelle Verfahren: Der Hybrid Hybrid Aus den Ansätzen von Fisher, Neyman & Pearson und Thomas Bayes Keine Verhaltensinterpretation von Signifikanztestergebnissen Fehler erster Art ist ohne Kosten-Nutzen-Analyse bereits auf 5% oder 1% festgelegt Vorgehensweise Fast identisch wie die nach Neyman & Pearson - -Fehler: 5% oder 1% - Hohe Teststärke, ist die Vorraussetzung dafür, dass die Zufallsinterpretation eines Signifikanztestergebnisses in beide Richtung anwendbar ist: p(daten H 0) >, dann verwift man H 0 p(daten H 1) benutzt man nicht, weil symmetrisch interpretierbar sind

5 12.8. Signifikanztests: Was man noch wissen sollte Einseitige vs. zweiseitige Tests Nicht signifikant signifikant signifikant nicht signifikant signifikant Spezifizieren der H1 Wie man p-werte NICHT interpretieren sollte! Durch Gütefunktionen, auch Operationscharakteristika ergänzt - Sind Indikatoren für die Größe eines Effekts - Erlauben eine Abschätzung der Wahrscheinlichkeit, dass die Null- /Alternativhypothese zutrifft - Sind Irrtumswahrscheinlichkeiten - Erlauben eine Abschätzung der Wahrscheinlichkeit, dass ein Ergebnis replizierbar ist Signifikanztest und Konfidenzintervalle Eng verwandt miteinander Konfidenzintervalle werden um die empirischen Stichprobenstatistiken konstruiert Signifiganztest testen Hypothesen, für die Stichprobenverteilung sind hypothetische Populationsparameter Ausgangswert Bei beidem sind Stichprobenverteilungen Grundlagen!!!! p = Grenzfall für ein signifikantes Ergebnis, Konfidenzintervall und Wert für H 0 sind identisch p > Konfidenzintervall und Wert für H 0 überlappen sich, gleichbedeutend mit einem nicht-signifikanten Ergebnis p < Konfidenzintervall und Wert für H 0 überlappen sich nicht, gleichbedeutend mit einem nicht-signifikanten Ergebnis