das Kleingedruckte...

Transkript

1 Gepaarte t-tests

2 das Kleingedruckte... Datenverteilung ~ Normalverteilung QQ-plot statistischer Test (Shapiro-Wilk, Kolmogorov-Smirnov) wenn nicht : nicht-parametrische Tests gleiche Varianz (2-Proben Tests, ungepaart) wenn ja : Student's t-test wenn nein : Welsch t-test unabhängige Proben (2-Proben Tests, ungepaart) Voraussetzungen nie 100% erfüllt : wie robust ist der t-test?

3 Normalität überprüfen um zu testen, ob wir den t-test anwenden können, müssen wir zuerst testen, ob die Testdaten normalverteilt sind allgemeiner Vergleich von Verteilungen Prinzip QQplot : graphische Überprüfung Normalitätstest: Shapiro-Wilks Test, Kolmogorov-Smirnov Test,... Überprüfung der Normalität > n <- 10 > x <- rnorm(n) ## Normalverteilung > shapiro.test(x) Shapiro-Wilk normality test data: x W = 0.977, p-value = H0 : Daten sind normalverteilt in diesem Fall wird H0 nicht verworfen Daten normalverteilt > n <- 10 > x <- rt(n,df=2) ## t-verteilung > shapiro.test(x) Shapiro-Wilk normality test data: x W = , p-value = H0 : Daten sind normalverteilt in diesem Fall wird H0 verworfen Daten nicht normalverteilt

4 Normalität überprüfen Kolmogorov-Smirnov Test nicht parametrischer Test, wird benutzt um 1-2 Datensätze zu Vergleichen two-samples : 2 Datensätze miteinander one-sample : 1 Datensatz vs. theoretische Verteilung Schätzer: D = Wert der größten Abweichung zwischen den kumul. Verteilungen H0 : beide Datensätze stammen aus der gleichen Verteilung kritische Werte für ein bestimmtes Signifikanzniveau α und Anzahl n von Werten sind tabelliert (hier ein Link). > ks.test(x=x,y="pnorm") One-sample Kolmogorov-Smirnov test data: X D = , p-value = alternative hypothesis: two-sided

5 Beispiel : one-sample KS Sind die Cholesterinwerte normal verteilt? (H0 : ja!) q Parameter einer entsprechenden Normalverteilung : q0 Mittelwert : m = Standardabweichung : s = q0 = Quantile der beobachteten Werte q1 = Quantile der Normalverteilung N(m,s) Grösste Differenz q0/q1 : Entsprechender p-wert für 20 Datenpunkte: p = 0.85 H0 kann NICHT verworfen werden! also können wir annehmen, dass die Werte normalverteilt sind! x q q D

6 Normalität überprüfen Kolmogorov-Smirnov Test nicht parametrischer Test, wird benutzt um 1-2 Datensätze zu Vergleichen one-sample : 1 Datensatz vs. theoretische Verteilung > ks.test(x=x,y="pnorm") One-sample Kolmogorov-Smirnov test data: X D = , p-value = alternative hypothesis: two-sided two-samples : 2 Datensätze miteinander > ks.test(x=x,y=y) Two-sample Kolmogorov-Smirnov test data: X and Y D = 0.2, p-value = alternative hypothesis: two-sided

7 Wie kann sich ein Test täuschen? Was stimmt Was der Test sagt H0 gilt H0 wird verworfen H0 wird nicht verworfen H0 gilt nicht Falsch Positiv oder Typ I Fehler Wahre Positive Test Positive Wahre Negative Falsch Negativ oder Typ II Fehler Test Negative Negative Positive Falsch Positiv Rate = Falsch Positive / Negative

8 einen Test testen wie robust ist ein statistischer Test? ein robuster Test sollte: richtige H0 Hypothesen nur in α Prozent der Fälle wiederlegen (Typ I Fehler Rate oder Falsch Positiv Rate = α) falsche H0 Hypothesen oft verwerfen (niedrige Typ II Fehler oder Falsch negative Rate) Robustheit gegenüber Abweichungen von den Voraussetzungen Normalität identische Varianz

9 Beispiel : H0 gilt ich ziehe 2 Datenreihen von jeweils 50 Zahlen aus der gleichen Normalverteilung H0 : die Erwartungswerte der 2 Verteilungen sind gleich (stimmt!) ich führe einen t-test durch (2 Proben, ungepaart) und bestimme den p-wert ich führe dieses Experiment 1000 durch, und untersuche die Verteilung der p-werte. unter H0 ist die Verteilung der p-werte eine Gleichverteilung (Definition des p-wertes!) in 5% der Fälle habe ich einen p-wert kleiner als 0.05 in 50% der Fälle habe ich einen p-wert kleiner als 0.5

10 Typ I Fehler Roter Bereich: bei α = 0.05 hätten wir die H0 Hypothese zu Unrecht verworfen Falsch Positive! Wie oft wäre das passiert? in 5% der Fälle (da Gleichverteilung) Falsch-Positiv Rate wird von α angegeben Test bei denen H0 gilt : Gleichverteilung

11 Beispiel : H0 gilt nicht ich ziehe 2 Datenreihen von jeweils N=50 Zahlen aus 2 Normalverteilungen mit unterschiedlichen Erwartungswerten H0 : die Erwartungswerte der 2 Verteilungen sind gleich (stimmt nicht, der Test sollte H0 verwerfen!) ich führe einen t-test durch (2 Proben, ungepaart) und bestimme den p-wert ich führe dieses Experiment 1000 durch, und untersuche die Verteilung der p-werte.

12 Verteilung der P-Werte Viele kleine P-Werte H0 wird in diesen Fällen verworfen Einige grosse P-Werte H0 wird in diesen Fällen NICHT verworfen

13 Typ II Fehler entstehen, wenn eine falsche H0 hypothese nicht wiederlegt wird Falsch Negative Wahrscheinlichkeit eines Typ II Fehlers : β-wert die Wahrscheinlichkeit, einen Typ II Fehler nicht zu begehen nennt man die Power eines Tests diese Fläche β entspricht den falsch Negativen: H0 wird nicht verworfen

14 Typ II Fehler 2 Datensätze der Größe N Normalverteilung, mu=0 Normalverteilung, mu=0.2 hier gilt H0 also nicht t-test p-werte für verschiedene N Fazit : mit steigender Probengröße hat der Test immer mehr Power

15 Power eines Tests Power 1-β hängt ab von Signifikanz level α Probengröße N Effektgröße : wie stark weicht der tatsächliche Effekt von H0 ab? Power Hohes Signifikanzlevel Niedriges Signifikanzlevel Grosse Probengrösse Kleine Probengrösse Grosse Effektgrösse Kleine Effektgrösse

16 Beispiel : Pinguine Ich untersuche Populationen von Pinguinen in der Antarktis 2 Arten Humboldtpinguine : μh=15kg, σh Königspinguine: μk=16kg, σk Ich fange Gruppen von N Pinguinen, berechne das Durschnittsgewicht m, und bestimme, ob es HP sind oder nicht H0: es sind Humboldtpinguine

17 Verteilungen der Mittelwerte Verteilung der Mittelwerte μ = μh σ = σh/ N H0 : es handelt sich um Humboldtpinguine : Verwerfungsbereich von H0 : nicht Verwerfungsbereich von H0 Verteilung der Mittelwerte μ = μk σ = σk/ N

18 Typ II Fehler Bei festgelegtem α kann man N berechnen, sodass β einen bestimmen Wert nicht überschreitet. Beispiel: der Test soll bei einem Gewichtsunterschied von 1 kg eine Power von 60% haben und eine Signifikanz von 5% N ~ 30 : Verwerfungsbereich von H0 : nicht Verwerfungsbereich von H0

19 Nicht parametrische Tests setzen keine Bedingung auf die Verteilung der Werte werden angewendet, wenn Normalitätsbedingungen der t-tests nicht erfüllt sind. anstatt der Werte werden die Ränge dieser Werte benutzt Wilcoxon Rang Tests Ungepaarter Test : Wilcoxon rank sum test / Mann-Whitney U-test Gepaarter Test : Wilcoxon signed rank test

20 Wilcoxon Rank Sum Test / Mann-Whitney U Test Zwei ungepaarte Proben Werte der 2 Proben werden zusammengelegt, und nach steigenden Werten geordnet R1 ist die Summe der n1 Ränge der ersten Probe* Teststatistik : R1 = 59 > wilcox.test(x1,x2) Wilcoxon rank sum test data: x1 and x2 W = 23, p-value = alternative hypothesis: true location shift is not equal to 0 Probe 1 ist per Definition die mit dem kleinsten R * W = 23

21 Wilcoxon signed rank Test zwei gepaarte Proben Di : Differenzen der Paare Ri : Ränge der Di Teststatistik : Sind die positiven Differenzen größer/kleiner als die negativen? H0: die positiven/negativen Differenzen haben gleiche Rangverteilung

22 Wilcoxon signed rank Test Beispiel : Behandlung der Anorexie > X Prior Post Diff AbsDiff ranks SignedRanks > W.p <- sum(x[x$diff>0,'ranks']) > W.m <- sum(x[x$diff<0,'ranks']) > W.p [1] 142 > W.m [1] 11 > wilcox.test(x$prior,x$post,paired=true) Wilcoxon signed rank test data: X$Prior and X$Post V = 11, p-value = alternative hypothesis: true location shift Hier: beidseitiger Test! is not equal to 0

23 Wilcoxon robuster als t-test? ungepaarter t-test Wilcoxon rank sum test H0 gilt in allen Fällen immer stärkere Abweichung von der Normalitätsvoraussetzung p-werte Verteilung weicht bei t-test von der Gleichverteilung ab... aber nicht bei dem Wilcoxon rank-sum test.