Güteanalyse. Nochmal zur Erinnerung: Hypothesentest. Binominalverteilung für n=20 und p=0,5. Münzwurf-Beispiel genauer

Transkript

1 Universität Karlsruhe (TH) Forschungsuniversität gegründet 1825 Güteanalyse Prof. Walter F. Tichy Fakultät für Informatik 1 Fakultät für Informatik 2 Nochmal zur Erinnerung: Hypothesentest Am Beispiel Münzwurf. Wir wollen prüfen, ob eine Münze fair ist, durch eine endliche Anzahl von Würfen, sagen wir 20. Die Nullhypothese ist, dass die Münze fair ist, d.h. die Wahrscheinlichkeit für Kopf oder Zahl ist jeweils 0,5. Die Wahrscheinlichkeitsverteilung unter lässt sich angeben: Binomialverteilung. (Das ist die sog. Stichprobenfunktion, oder Statistik.) Binominalverteilung für n=20 und p=0,5 x <- 1:20 y <- dbinom(x, size=length(x), prob=0.5) plot(x,y,type="b") Anzahl der Würfe Erfolgswahrscheinlichkeit pro Wurf Münzwurf-Beispiel genauer Die Alternativhypothese ist, dass die Wahrscheinlichkeit für Kopf >0,5 ist, oder die Wahrscheinlichkeit für Zahl >0,5 ist. Ferner legen wir vor dem Versuch ein Signifikanzniveau fest, z.b. =0,05. Das bedeutet: Wenn bei unserem Versuch ein Ergebnis herauskommt, dessen Wahrscheinlichkeit kleiner gleich ist, dann sind wir bereit, die Nullhypothese zugunsten der Alternativhypothese zu verwerfen, weil dann das, was man beobachtet hat, unwahrscheinlich ist (<= ). Trotzdem könnte es sein, dass die Münze fair ist. Die Irrtumswahrscheinlichkeit, oder die Wahrscheinlichkeit für einen Fehler erster Art ist. Das bedeutet: wenn wir das Experiment mit 20 Würfen einer fairen Münze sehr oft durchführen würden, käme in 5% der Experimente ein Ergebnis heraus, dass so unwahrscheinlich ist, dass wir die Nullhypothese fälschlicherweise ablehnen würden. Fakultät für Informatik 3 Fakultät für Informatik 4

2 Münzwurf-Beispiel Münzwurf-Beispiel Nun führen wir 20 Würfe aus und stellen fest, dass 15 Mal Kopf erscheint. Wir rechnen aus, wie wahrscheinlich es ist, dass bei 20 Würfen 15 mal oder häufiger Kopf erscheint; ferner die Wahrscheinlichkeit, dass 15 mal oder häufiger Zahl erschienen wäre. Wir addieren diese beiden Wahrscheinlichkeiten, weil wir aufgrund der Alternativhypothese beide Fälle berücksichtigen müssen (zweiseitiger Test). Das Ergebnis ist der sog. p-wert. Fakultät für Informatik 5 Der p-wert ist nicht nur die Wahrscheinlichkeit eines einzelnen Ergebnisses (15 Mal Kopf), sondern die Summe der Wahrscheinlichkeiten aller Ergebnisse, die mindestens so extrem sind (also Mal Kopf), da die zusätzlichen Ergebnisse noch ungünstiger für die Nullhypothese sind. Das Gleiche für Mal Zahl, oder äquivalent 1-5 Mal Kopf. Wenn wir von vorne herein wissen, dass eine Münze nur in einer Richtung unfair sein könnte (z.b. q>0,5), dann genügt der einseitige Test. Fakultät für Informatik 6 Hypothesen-Test zu Münzwurf binom.test(15,20,0.5) Zweiseitiger Test, mit 95 % Konfidenzintervall (Voreinstellung). Argumente: Anzahl Kopf, Anzahl der Würfe, angenommene Wahrscheinlichkeit für Kopf Exact binomial test data: 15 and 20 number of successes = 15, number of trials = 20, p-value = alternative hypothesis: true probability of success is not equal to percent confidence interval: sample estimates: probability of success 0.75 Übung Angenommen, es erscheint nur 14 Mal Kopf. Nehmen wir dann die Alternativhypothese an? (berechne den p-wert mit R oder Taschenrechner). Was passiert, wenn wir 100 Mal werfen, und es kommt 60 Mal Kopf? 61 Mal? 55 Mal? Man bezeichnet als Fehler erster Art, wenn man die Nullhypothese verwirft, obwohl sie richtig ist. Der p-wert wird auch als Irrtumswahrscheinlichkeit bezeichnet. Warum? P-Wert=0,041 <, also verwerfen wir die Nullhypothese. Fakultät für Informatik 7 Fakultät für Informatik 8

3 Ein- und zweiseitige Tests Verwerfungsbereich μ 1 > Der Bereich, in dem die Hypothese abgelehnt wird, heisst Verwerfungsbereich Der Bereich, in dem die Hypothese nicht abgelehnt wird, heißt Annahmebereich Je nach Art der Hypothese werden zwei Arten von Tests unterschieden: Annahmebereich Verwerfungsbereich Einseitige Tests: μ 1 > oder μ 1 < zweiseitige Tests: μ 1 Der kritische Wert c trennt Annahme- und Verwerfungsbereich. Für c gilt: P( X > c) μ = μ = 0 c Fakultät für Informatik 9 Fakultät für Informatik 10 Verwerfungsbereich μ 1 < Verwerfungsbereich μ 1 Verwerfungsbereich Annahmebereich Verwerfungsbereich Verwerfungsbereich Annahmebereich c P( X c) 0 < μ = μ = c 1 c 2 P( X < c ) = μ + P( X > c ) 0 2 μ= 0 1 μ μ = Fakultät für Informatik 11 Fakultät für Informatik 12

4 Fehlerarten beim Testen Fehler 1. Art Die Hypothese wird verworfen, obwohl sie richtig ist. Fehlerarten Dichte bei Dichte bei Fehler 2. Art Die Hypothese wird angenommen, obwohl sie falsch ist. nicht verwerfen. verwerfen. Fakultät für Informatik 13 Wenn H0 falsch, gilt die Verteilung von H1! 14 Andreas Höfer Walter F. Tichy Testergebnis und Wirklichkeit Wahrscheinlichkeit für Fehler 1. Art Testergebnis annehmen ablehnen Unbekannte Wirklichkeit richtig Richtige Entscheidung p=1- Fehler 1.Art p= falsch Fehler 2.Art p= Richtige Entscheidung p=1- ist das Signifikanzniveau des Tests μ 1 > : μ 1 < : μ 1 : P P ( X > c) u= u 0 ( X < c) u= u 0 = = P( X < c ) = μ + P( X > c ) 0 2 μ = μ0 1 μ = Fakultät für Informatik 15 Fakultät für Informatik 16

5 μ 1 > : μ 1 < : μ 1 : Wahrscheinlichkeit für Fehler 2. Art P( X c) P( X c) μ = μ 1 = μ = μ 1 = P( X c ) = μ + P( X c ) 1 2 μ = μ1 1 μ = Güte (engl. Power) eines Test Güte := 1- interpretiert als die Wahrscheinlichkeit, die Alternative anzunehmen, wenn sie stimmt. Wenn die Güte gering ist, dann ist die Wahrscheinlichkeit, die Alternative anzunehmen, gering. Man spricht dann von einer verpassten Chance. Fakultät für Informatik 17 Fakultät für Informatik 18 Zusammenhang von und Güte Zusammenhang von - μ 1 und Güte Vergrößerung von Verschiebt den krit. Wert c nach links. Erhöht Güte. Aber: ist die Wahrscheinlichkeit für den Fehler 1.Art! Großer Abstand zw. and μ 1 Bedeutet großen Unterschied in den Mittelwerten (Effektgröße) Reduziert die Überlappungen der Verteilungen. Erhöht Güte. Umgekehrt bedeutet geringer Abstand geringe Güte. 19 Andreas Höfer Walter F. Tichy 20 Andreas Höfer Walter F. Tichy

6 Zusammenhang Stichprobengröße und Güte Bei größerer Stichprobe ändert sich die Verteilung der Statistik: die Varianz wird kleiner Daher engerer Annahmebereich und größere Güte bei gleicher Alternative Bei großen Stichprobenumfängen ist das Risiko einer verpassten Chance geringer. 21 Andreas Höfer Walter F. Tichy Fazit Güteberechnung Güte 1- hängt von der Wahl von, Stichprobengröße n und Effektgröße ab. je kleiner, desto kleiner die Güte, und desto größer die Wahrscheinlichkeit des Fehlers 2.Art ( verpasste Chance ). größere Güte bei größerem Stichprobenumfang n und größerem Effekt. Fakultät für Informatik 22 Universität Karlsruhe (TH) Forschungsuniversität gegründet 1825 Güte und Stichprobengröße Effektgröße engl. effect size Effektgröße ES beschreibt den Grad, zu dem ein Phänomen existiert ES mißt den Abstand der Mittelwerte von zwei Populationen X und Y und führt eine Normierung relativ zur Streuung σ ein Fakultät für Informatik 23 ES = μ X μ Y σ Fakultät für Informatik 24

7 Effektgröße Cohens Konvention: klein: ES = 0.2 Unterschied in Körpergröße zw. 15 und 16 jährigen Mädchen. mittel: ES = 0.5 Unterschied in Körpergröße zw. 14 und 18 jährigen Mädchen. groß: ES = 0.8 Unterschied in Körpergröße zw. 13 und 18 jährigen Mädchen.. Güte vs. Effektgröße Je kleiner der Effekt ES ist, desto geringer ist die Güte Die Alternative μ 1 liegt dann nahe bei der Hypothese Bei kleinem ES wird großes n gebraucht, um eine bestimmte Güte zu erreichen ( fest) 25 Andreas Höfer Walter F. Tichy Fakultät für Informatik 26 Warum Güteanalyse? Beim Entwurf eines Experimentes müssen folgende Fragen beantwortet werden: 1. Welches Signifikanzniveau wähle ich? 2. Welche Güte soll mein Test haben? 3. Wie groß ist der Unterschied, den ich erkennen möchte? 4. Wieviele Teilnehmer brauche ich? Güteanalyse Die Güteanalyse ist ein geschlossenes System der folgenden vier Parameter: Signifikanz Güte 1- Stichprobengröße n Effektgröße ES (engl. effect size) Jeder der vier Parameter kann durch die anderen drei berechnet werden Fakultät für Informatik 27 Fakultät für Informatik 28

8 Arten der Güteanalyse (1) n in Abhängigkeit von (,, ES) Durchgeführt vor dem Experiment Mit wie vielen Stichproben erreiche ich eine vorgegebene Güte? Dazu muss man aber ES schätzen. Das macht man mit einem Vortest (gleicher Aufbau wie das endgültige Experiment, aber kleineres n), oder aus vergleichbaren Experimenten. Dieses Vorgehen sollte die Grundlage aller Experimente bilden, die einen Hypothesentest nach sich ziehen! Arten der Güteanalyse (2) Güte in Abhängigkeit von (, ES, n) Welche Güte hat der Test bei gegebenem Aufbau? Wird vor der Studie berechnet, um rechtzeitig Korrekturen am Experimentaufbau vornehmen zu können. Oder nach der Studie, um nachträglich die Güte zu bestimmen. Fakultät für Informatik 29 Fakultät für Informatik 30 Arten der Güteanalyse (3) ES in Abhängigkeit von (,, n) Welche Effekte kann ich mit gegebenem Aufbau finden? Wird weniger häufig angewendet als die beiden anderen Fälle Kann als Maß für den Vergleich der Tests von mehreren Studien dienen Arten der Güteanalyse (4) in Abhängigkeit von (, ES, n) Welches Signifikanzniveau hat mein Test bei gegebener Güte? Ungewöhnliche Fragestellung, da kleines angestrebt und vorgegeben wird Fakultät für Informatik 31 Fakultät für Informatik 32

9 Universität Karlsruhe (TH) Forschungsuniversität gegründet 1825 Statistische Planung und Auswertung von Experimenten Vorgehen bei der Planung Ermittle Effektgröße ES anhand anderer Studien Vortest Lege Signifikanzniveau und zu erreichende Güte fest Standardwerte: = 0,05; Güte = 0,8 (=0,2) Berechne erforderliche Stichprobengröße Fakultät für Informatik 33 Fakultät für Informatik 34 Vortest sollte dieselbe Aufgaben beinhalten wie das Experiment. sollte mit Vertretern der Gruppe durchgeführt werden, die das Experiment durchläuft, aber mit weniger Teilnehmern. Umgebung und Aufbau von Vortest und Experiment sollten übereinstimmen. Effektgröße klein mittel groß Stichprobengröße bei = 0,05; Güte = 0,8, einseitiger t-test ES 0,20 0,50 0,80 t-test, eine Stichprobe t-test, zwei Stichproben Übung: mit R den zweiseitigen Fall ausrechnen! Benutze power.t.test Fakultät für Informatik 35 Fakultät für Informatik 36

10 Vorgehen bei der Auswertung Hypothese abgelehnt: keine Betrachtung der Güte Hypothese nicht abgelehnt: mögliche Ursachen untersuchen Effekt nicht vorhanden oder zu klein, um mit diesem Aufbau erkennbar zu sein Güte war zu gering Bei geringer Güte sollte konservativ ein zu kleiner Effekt angenommen werden Beobachtete Effektgröße Signifikante Tests haben tendenziell eine hinreichend große beobachtete Güte Nicht-signifikante Tests haben meist auch eine kleine beobachtete Güte Fakultät für Informatik 37 Fakultät für Informatik 38 Over/Under-Powered Overpowered Studie sammelt mehr Datenpunkte als nötig Auch sehr kleine Effekte, die nicht interessieren, haben Einfluss auf den Test Underpowered Studie sammelt zu wenig Datenpunkte Effekt lässt sich nur mit kleiner Wahrscheinlichkeit zeigen Güte für t-test in R > power.t.test(power = 0.8, delta = 0.5, sd = 1, + sig.level = 0.05) Two-sample t test power calculation n = delta = 0.5 sd = 1 sig.level = 0.05 power = 0.8 alternative = two.sided NOTE: n is number in *each* group power = Güte, delta = Unterschied der Mittelwerte, sd = Standardabweichung, sig.level = Signifkanz Fakultät für Informatik Andreas Höfer Walter F. Tichy

11 Güte für den Wilcoxon-Test (1) ist nicht-parametrischer Test, bei dem es keine Verteilung für die Alternative gibt Es gibt asymptotische Abschätzungen, die eine untere Schranke für die Güte relativ zum t-test angeben Asymptotische Relative Effizienz (ARE) des Wilcoxon-Tests ist nie schlechter als 0,864 relativ zum t-test Güte für den Wilcoxon-Test (2) Berechne zunächst die Güte mit Hilfe des t-tests Der Wilcoxon-Test hat im schlechtesten Fall eine um 14% geringere Güte Zur Bestimmung der Stichprobengröße: addiere auf den Wert des t-tests noch einmal 14% und runde auf Fakultät für Informatik 41 Fakultät für Informatik 42 Zusammenfassung Güteanalyse ist Bestandteil der Experimentplanung Erlaubt Bestimmung des benötigten Stichprobenumfangs Ende Fakultät für Informatik 43 Fakultät für Informatik 44