methodenlehre ll Grenzen des Signifikanztests methodenlehre ll Grenzen des Signifikanztests

Transkript

1 Möglichkeiten und Grenzen des Signifikanztests Thomas Schäfer SS 29 1 Grenzen des Signifikanztests Sie haben zur Untersuchung Ihrer Fragestellung eine Experimental und eine Kontrollgruppe mit jeweils 2 Teilnehmern verglichen. Zur statistischen Auswertung benutzen sie einen t Test für unabhängige Mittelwertsunterschiede und finden: t(18) = 2,7, p =.1 (gerundet). Bitte überlegen Sie, welche der folgenden Aussagen richtig und welche falsch sind. Thomas Schäfer SS

2 Grenzen des Signifikanztests a) Sie haben bewiesen, dass die Nullhypothese (kein Unterschied zwischen den Populationsmitteln) nicht stimmt b) Sie haben die Wahrscheinlichkeit dafür gefunden, dass die Nullhypothese wahr ist. c) Sie haben bewiesen, dass Ihre Alternativhypothese (es gibt einen Unterschied zwischen den Populationsmitteln) stimmt. d) Sie können die Wahrscheinlichkeit dafür ableiten, dass die Alternativhypothese richtig ist. e) Sie kennen die Wahrscheinlichkeit dafür, dass Sie eine falsche Entscheidung treffen, wenn Sie sich entscheiden, die Nullhypothese zu verwerfen. f) Sie haben einen reliablen experimentellen Befund in dem Sinne, dass Sie, wenn das Experiment sehr oft repliziert würde, in ungefähr 99% der Fälle ein signifikantes Resultat erhalten würden. Thomas Schäfer SS 29 3 Die Rolle der Statistik im Forschungsprozess Wundern, Raten, Fragen Theorie Forschungshypothese Operationalisierung Durchführung der Studie und Messung Daten Auswertung Interpretation Implikation für die Theorie Deskriptive Statistik Stichprobendaten darstellen und beschreiben durch: Kennwerte Grafiken und Tabellen Explorative Statistik Muster in Daten erkennen und beschreiben Inferenzstatistik Stichprobendaten auf die Population verallgemeinern Beantworten der Fragen Thomas Schäfer SS

3 Die Rolle der Statistik im Forschungsprozess Was sagen die Daten zu meiner Theorie / Fragestellung? Wie überzeuge ich die Fachkollegen von meiner Interpretation? Ein überzeugendes Argument sollte die MAGIC-Kriterien erfüllen (nach R. P. Abelson,199: Statistics as principled argument ) Magnitude (Größe von Effekten) Effektgrößen Articulation (Detailgenauigkeit) z.b. Kontrastanalysen Generality (Breite der Schlussfolgerungen) z.b. Metaanalysen Interestingness (Potential für Meinungsänderung) inhaltliche Wichtigkeit Credibility (Methodik, theoretische Kohärenz) Sauberkeit der Durchführung Thomas Schäfer SS 29 Die Rolle der Statistik im Forschungsprozess wird durch Standardisierung anhand der Streuungen zur Effektgröße Effekt drei mögliche inferenzstatistische Aussagen: 1. Schätzung des Standardfehlers des Effektes anhand dessen Stichprobenverteilung s e Verteilung möglicher Effekte in der Population s A s B 2. Angabe eines Konfidenzintervalls für den Effekt anhand dessen Stichprobenverteilung Verteilung möglicher Effekte in der Population zwei unabhängige Stichproben: N gesamt wird aufgeteilt in n A und n B 3. Berechnung der Prüfgröße t und Prüfen auf Signifikanz mit Hilfe der t Verteilung (p < α?) α Verteilung der Prüfgröße t, falls die H zutrifft p Thomas Schäfer SS

4 Hauptaussage einer Studie: der Effekt A B C Rating für Klass ik Rating für Klassi ik Rating für Klassi ik Männer Geschlecht Frauen Männer Geschlecht Frauen Männer Geschlecht Frauen Balkendiagramme mit SD Balkendiagramme mit s e Fehlerplots Die Effekte werden durch Standardisierung anhand der Streuungen zur Effektgröße Thomas Schäfer SS 29 7 Rückblick: wie entstehen Stichprobenverteilungen? Häufigkeitsverteilungen Anzahl Persone en Anzahl Person nen Studie 1 Rock 1 2 Rap 3 4 Klassik Rating Musikstil für Klassik Studie 2 Anzahl Stichproben Stichprobenverteilung 1 Rock 2 Rap 3 Klassik 4 Rating Musikstil für Klassik Rock 1 2 Rap 3 4 Klassik Rating Musikstil für Klassik usw. Thomas Schäfer SS

5 Inferenzstatistische Aussagen I: Der Standardfehler Stichprobenverteilung 3 Anzahl Stichproben ,6 s e 1,8 Rock 2,4 Rap 3 3,6 Klassik 4,2 Rating Musikstil für Klassik Thomas Schäfer SS 29 9 Inferenzstatistische Aussagen II: Konfidenzintervalle z.b. für einen empirischen Mittelwertsunterschied von 1 Punkten in einem Test 9% Konfidenzintervall 9% Konfidenzintervall empirischer Wert der Wert wird nicht überdeckt empirischer Wert der Wert wird überdeckt Thomas Schäfer SS 29 1

6 Inferenzstatistische Aussagen III: Signifikanztests Früher Fisher (193) Später Fisher (196) Neyman und Pearson Das Signifikanzniveau muss vor der Durchführung des Tests bestimmt werden (im Sinne einer Konvention, z..b. α = %). Das Signifikanzniveau ist also eine Eigenschaft des Tests. Das exakte Signifikanzniveau muss nach Durchführung des Tests berechnet werden (p Wert). Nun ist das Signifikanzniveau eine Eigenschaft der Daten. Eine (willkürlich festgelegte) Konvention ist nicht mehr notwendig. α und β müssen vor der Durchführung des Tests festgelegt werden. α und β sind die relativen Häufigkeiten eines Fehlers der ersten oder zweiten Art und deshalb Eigenschaften destests Tests. FürdasFestlegen Festlegen von α und β ist keine Konvention nötig, sondern eine Kosten Nutzen Überlegung zu den möglichen Fehlern. Thomas Schäfer SS Der Signifikanztest nach Fisher H Erwartungswert ist immer, das ist der wahrscheinlichste Wert Wert x, den man noch mit einer bestimmten Wahrscheinlichkeit p ziehen kann H Irrtumswahrscheinlichkeit Alpha (= Signifikanzniveau) liegt bei %, das Alpha Niveau schneidet daher % der Fläche der Verteilung ab empirischer Wert mit p = 6% ist nicht signifikant empirischer Wert mit p = 3% ist signifikant Thomas Schäfer SS

7 Der Signifikanztest nach Neyman & Pearson 1. Formuliere eine Nullhypothese und konstruiere die entsprechende Stichprobenverteilung. 2. Formuliere eine Alternativhypothese und konstruiere die entsprechende Stichprobenverteilung. 3. Wäge die Wichtigkeit von α und β ab. 4. Prüfe, ob der p Wert, die Wahrscheinlichkeit des Stichprobenergebnisses unter der Annahme, dass die Nullhypothese zutrifft, größer oder kleiner als α ist.. Wenn der p Wert nicht größer als α ist, dann ist das Ergebnis des Tests signifikant, ansonsten ist es nicht signifikant. 6. Wenn das Ergebnis signifikant ist, verhalte Dich so, wie wenn die Alternativhypothese wahr wäre, wenn es nicht signifikant ist, so, wie wenn die Nullhypothese zuträfe. Thomas Schäfer SS Der Signifikanztest nach Neyman & Pearson Effekt H H1 Effekt Beta Fehler Alpha Fehler H H1 Beta Fehler Alpha Fehler Alpha Niveau = % Thomas Schäfer SS

8 Der Signifikanztest nach Neyman & Pearson Thomas Schäfer SS 29 1 Welche Faktoren beeinflussen das Ergebnis eines Signifikanztests? Effekt in der Population je größer, desto eher signifikant Abwägung von α und β α: je größer, desto eher signifikant β: je kleiner, desto eher signifikant (α und β sind komplementär) Stichprobengröße je größer, desto eher signifikant Thomas Schäfer SS

9 Welche Faktoren beeinflussen das Ergebnis eines Signifikanztests? größere Stichproben größerer Populationseffekt H Effekt H1 Beta Fehler Alpha Fehler Alpha Niveau = % Thomas Schäfer SS Effekt in der Population Ergebnis eines Signifikanztests mit H = %, H 1 = 8% und n = 1 (Binomialtest). Eingetragen sind α und β Fehler Fhl und das Kit Kriterium i (der senkrechte Strich). Bei einer Trefferrate von 7 aus 1 ergibt sich ein p = 17,2%. Das Testergebnis ist nicht signifikant, da p > α. Stichprobenverteilungen für H = %, H 1 = 9% und n = 1 (Binomialtest). Bei einem α von,% (Summe der hellen schraffierten Balken) beträgt β 6,9% (Summe der dunklen schraffierten Balken) und die Power (1 β) 93,1%. 18 Thomas Schäfer SS

10 Abwägung von α und β Stichprobenverteilungen für H = 3%, H 1 = 4% undn n = 2 (Binomialtest). Bei einem α von 39,1% (Summe der hellen schraffierten Balken) beträgt β 24,9% (Summe der dunklen schraffierten Balken) und die Power (1 β) 7,1%. Bei einem empirischen Ergebnis von 4% resultiert ein p Wert von 22,7%. Das Ergebnis ist signifikant, da p α. Thomas Schäfer SS Stichprobengröße Ergebnis eines Signifikanztests mit H = %, H 1 = 8% und n = 1 (Binomialtest). Bei α =,% und einem Ergebnis von 7% (7 aus 1) ergibt sich ein p = 17,2%. Das Testergebnis ist nicht signifikant, da p > α. Ergebnis eines Signifikanztests mit H = %, H 1 = 8% und n = 4 (Binomialtest). Bei α = 4% und einem Ergebnis von 7% (28 von 4) resultiert p =,8%. Der Test ist signifikant, da p α. 2 Thomas Schäfer SS

11 Wozu braucht man die Alternativhypothese? Konkretisierung der Forschungsfrage wie groß muss der Effekt mindestens sein, damit er inhaltlich interessant ist? welchen Populationseffekt legen die Ergebnisse aus vorhergehenden Studien nahe? Vor dem Test ist Power zu groß oder zu gering? wie groß sollte die Stichprobe sein? Nachdem Test: Interpretation des Ergebnisses was war die Wahrscheinlichkeit, den angenommenen Effekt zu entdecken? (besonders wichtig, wenn Nullhypothese mit Forschungshypothese korrespondiert!) Thomas Schäfer SS Einseitiges vs. zweiseitiges Testen einseitiger Test mit Alpha = % zweiseitiger Test mit Alpha = % H H % 2,% 2,% nur relevant bei Fragestellungen, die in beide Richtungen gehen können (z.b. Mittelwertsunterschiede) nicht bei Häufigkeiten, Varianzen u.ä. Thomas Schäfer SS

12 Beliebte Missinterpretationen von p Werten sind Indikatoren für die Größe eines Effekts. erlauben eine Abschätzung der Wahrscheinlichkeit, dass die Nullhypothese/Alternativhypothese h l h h zutrifft. sind Irrtumswahrscheinlichkeiten, das heißt, wenn man sich auf Grund des p Werts dafür entscheidet, die Nullhypothese zu verwerfen, kennt man die Wahrscheinlichkeit, dass man dabei einen Fehler macht. erlauben eine Abschätzung der Wahrscheinlichkeit, dass ein Ergebnis replizierbar ist. erlauben es, zu entscheiden, ob ein Ergebnis zufällig zustande kam. Thomas Schäfer SS Beliebte Missinterpretationen von p Werten Warum ist p kein Indikator für Effektgröße? p Werte verändern sich bei konstantem Effekt (z. B. r, d) wenn die Stichprobengröße sich ändert Warum kann man mit p die Wahrscheinlichkeit der Hypothese nicht abschätzen? p(ergebnis H ), nicht p(h Ergebnis) oder p(h 1 Ergebnis) keine Aussagen über die Wahrscheinlichkeit von Hypothesen möglich! Warum ist p nicht ih die Irrtumswahrscheinlichkeit? h hk i Irrtumswahrscheinlichkeit wird vor dem Test festgelegt (α) p wird hingegen erst nach dem Test berechnet; er ist ein Produkt der Daten, α ist eine Eigenschaft des Tests Thomas Schäfer SS

13 Beliebte Missinterpretationen von p Werten Warum ist p kein Indikator für Replizierbarkeit? Replizierbarkeit hängt von Teststärke (Power) ab, und die wiederum von n, der Effektgröße und α (nicht von p) Warum ist p nur bedingt ein Indikator für die Zufälligkeit des Ergebnisses? Zufällig: es ist kein Populationseffekt vorhanden, aber durch Zufallseinflüsse beim Ziehen der Stichprobe erhält man den in dieser Stichprobe gefundenen Effekt Nicht mehr zufällig: ein Ergebnis, das unter der Gültigkeit der Nullhypothese unwahrscheinlicher ist als das durch α festgelegte Kriterium, also p < α Problem: H oft völlig unplausibel Thomas Schäfer SS 29 2 Möglichkeiten und Grenzen des Signifikanztests Gut geeignet: wenn man wenig über ein Gebiet weiß und schnell (und kostengünstig) zu einer JA/NEIN Entscheidung Entscheidung (Handlungsentscheidung) kommen möchte (z. B. zeitkritischer Einsatz oder Nichteinsatz eines neuen Medikaments oder einer neuen Therapieform, Entscheidung über betriebliche Intervention, etc.) Powerberechnung sehr wichtig, p Werte berichten (anstatt ***) Nicht so notwendig: für Aussagen über die Größe oder Bedeutsamkeit von Effekten für Bewertung umfangreicher Forschungstraditionen Evtl. problematisch: Beim Start neuer Forschungsvorhaben (Power Problematik) Thomas Schäfer SS

14 Pragmatische Bedeutsamkeit Ergebnisse von Signifikanztests sind hilfreich bei der Berechnung von Effektgrößen Faustregel: Effektgröße = Signifikanztestergebnis Größe der Studie d = 2 t t 2 und r = df t 2 + df und r = F, F + df within für F(1, x) Thomas Schäfer SS Exkurs: Wahrscheinlichkeiten von Hypothesen Eine Reporterin für ein monatlich erscheinendes Frauenmagazin möchte einen Artikel über Brustkrebs schreiben. Ein Teil ihrer Recherche besteht darin, zu klären, wie sicher die Mammographie als Diagnosemittel für diese Krankheit ist. Sie fragt sich, was es wirklich bedeutet, wenn eine Frau bei einer routinemäßigen Mammographie ein positives Testergebnis hat. Die Reporterin hat folgende Daten zur Verfügung: Die Wahrscheinlichkeit, dass eine Frau, die sich einer Mammographie unterzieht, Brustkrebs hat, liegt bei 1%. Wenn eine Frau, die Brustkrebs hat, sich einer Mammographie unterzieht, ist die Wahrscheinlichkeit für ein positives Ergebnis 8%. Wenn eine Frau, die keinen Brustkrebs hat, sich einer Mammographie unterzieht, liegt die Wahrscheinlichkeit für ein positives Ergebnis bei 1%. Gesucht: Wahrscheinlichkeit der Hypothese Brustkrebs bei positivem Testergebnis Thomas Schäfer SS

15 Exkurs: Wahrscheinlichkeiten von Hypothesen Gegeben: Wahrscheinlichkeit von Brustkrebs: 1% Wahrscheinlichkeit für positives Testergebnis wenn Brustkrebs: 8% Wahrscheinlichkeit für positives Testergebnis wenn kein Brustkrebs: 1% Gefragt: 8 Wahrscheinlichkeit von Brustkrebs, wenn Testergebnis positiv: 7,% Thomas Schäfer SS Exkurs: Wahrscheinlichkeiten von Hypothesen Wahrscheinlichkeitsrevision: eine besondere Form von bedingten Wahrscheinlichkeiten (einfachste Form der Bayes Statistik) p ( H D) = p( H ) p( D H ) p( H ) p( D H ) + p( H ) p( D H ) Gegeben: P(H): Wahrscheinlichkeit von Brustkrebs: 1% P(D H): Wahrscheinlichkeit für positives Testergebnis wenn Brustkrebs: 8% (p(d H): Wahrscheinlichkeit für positives Testergebnis wenn kein Brustkrebs: 1% Gefragt: P(H D): Wahrscheinlichkeit von Brustkrebs, wenn Testergebnis positiv Problem: die Basisrate muss bekannt sein Thomas Schäfer SS

16 Fazit: Signifikanztests in der wissenschaftlichen Argumentation 1. Signifikanztestergebnis vs. Idealfall Signifikanztest: fragt nach der Passung von (im Normalfall unbekannten) Populationsparametern zu theoretisch erwarteten (geschätzten, vorhergesagten) Werten Idealfall: wir kennen die wahren Populationsparameter aber: auch die Kenntnis des Idealfalls sagt noch nichts über die Bedeutsamkeit von Effekten aus es kommt allein auf inhaltliche Erwägungen an Signifikanz Bedeutsamkeit 2. Bezug zur Falsifikationsstrategie Signifikanztest ist keine natürliche Konsequenz des Falsifikationskriteriums Thomas Schäfer SS Fazit: Signifikanztests in der wissenschaftlichen Argumentation 3. Harte vs. weiche Evidenz harte Fächer mit eindeutigen Daten: Natürwissenschaften weiche Fächer: Sozialwissenschaften der Signifikanztest ist gerade kein Indikator für die Härte von Evidenzen: je härten ein Fach, desto eher werden Abbildungen benutzt und desto weniger Signifikanztests Thomas Schäfer SS