Gepaarte t-tests
das Kleingedruckte... Datenverteilung ~ Normalverteilung QQ-plot statistischer Test (Shapiro-Wilk, Kolmogorov-Smirnov) wenn nicht : nicht-parametrische Tests gleiche Varianz (2-Proben Tests, ungepaart) wenn ja : Student's t-test wenn nein : Welsch t-test unabhängige Proben (2-Proben Tests, ungepaart) Voraussetzungen nie 100% erfüllt : wie robust ist der t-test?
Normalität überprüfen um zu testen, ob wir den t-test anwenden können, müssen wir zuerst testen, ob die Testdaten normalverteilt sind allgemeiner Vergleich von Verteilungen Prinzip QQplot : graphische Überprüfung Normalitätstest: Shapiro-Wilks Test, Kolmogorov-Smirnov Test,... Überprüfung der Normalität > n <- 10 > x <- rnorm(n) ## Normalverteilung > shapiro.test(x) Shapiro-Wilk normality test data: x W = 0.977, p-value = 0.9471 H0 : Daten sind normalverteilt in diesem Fall wird H0 nicht verworfen Daten normalverteilt > n <- 10 > x <- rt(n,df=2) ## t-verteilung > shapiro.test(x) Shapiro-Wilk normality test data: x W = 0.6966, p-value = 0.0008003 H0 : Daten sind normalverteilt in diesem Fall wird H0 verworfen Daten nicht normalverteilt
Normalität überprüfen Kolmogorov-Smirnov Test nicht parametrischer Test, wird benutzt um 1-2 Datensätze zu Vergleichen two-samples : 2 Datensätze miteinander one-sample : 1 Datensatz vs. theoretische Verteilung Schätzer: D = Wert der größten Abweichung zwischen den kumul. Verteilungen H0 : beide Datensätze stammen aus der gleichen Verteilung kritische Werte für ein bestimmtes Signifikanzniveau α und Anzahl n von Werten sind tabelliert (hier ein Link). > ks.test(x=x,y="pnorm") One-sample Kolmogorov-Smirnov test data: X D = 0.1978, p-value = 0.03441 alternative hypothesis: two-sided
Beispiel : one-sample KS Sind die Cholesterinwerte normal verteilt? (H0 : ja!) q1 78 165 177 183 191 194 195 196 203 213 215 227 228 230 238 242 248 249 255 263 Parameter einer entsprechenden Normalverteilung : q0 Mittelwert : m = 209.5 Standardabweichung : s = 41.67 q0 = Quantile der beobachteten Werte q1 = Quantile der Normalverteilung N(m,s) Grösste Differenz q0/q1 : 0.129 Entsprechender p-wert für 20 Datenpunkte: p = 0.85 H0 kann NICHT verworfen werden! also können wir annehmen, dass die Werte normalverteilt sind! 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 x 78 165 177 183 191 194 195 196 203 213 215 227 228 230 238 242 248 249 255 263 q0 0.00 0.05 0.10 0.15 0.20 0.25 0.30 0.35 0.40 0.45 0.50 0.55 0.60 0.65 0.70 0.75 0.80 0.85 0.90 0.95 q1 0.001 0.143 0.218 0.262 0.329 0.355 0.364 0.373 0.438 0.533 0.552 0.663 0.671 0.689 0.753 0.782 0.822 0.828 0.863 0.900 D 0.001 0.093 0.118 0.112 0.129 0.105 0.064 0.023 0.038 0.083 0.052 0.113 0.071 0.039 0.053 0.032 0.022 0.022 0.037 0.050
Normalität überprüfen Kolmogorov-Smirnov Test nicht parametrischer Test, wird benutzt um 1-2 Datensätze zu Vergleichen one-sample : 1 Datensatz vs. theoretische Verteilung > ks.test(x=x,y="pnorm") One-sample Kolmogorov-Smirnov test data: X D = 0.1978, p-value = 0.03441 alternative hypothesis: two-sided two-samples : 2 Datensätze miteinander > ks.test(x=x,y=y) Two-sample Kolmogorov-Smirnov test data: X and Y D = 0.2, p-value = 0.2719 alternative hypothesis: two-sided
Wie kann sich ein Test täuschen? Was stimmt Was der Test sagt H0 gilt H0 wird verworfen H0 wird nicht verworfen H0 gilt nicht Falsch Positiv oder Typ I Fehler Wahre Positive Test Positive Wahre Negative Falsch Negativ oder Typ II Fehler Test Negative Negative Positive Falsch Positiv Rate = Falsch Positive / Negative
einen Test testen wie robust ist ein statistischer Test? ein robuster Test sollte: richtige H0 Hypothesen nur in α Prozent der Fälle wiederlegen (Typ I Fehler Rate oder Falsch Positiv Rate = α) falsche H0 Hypothesen oft verwerfen (niedrige Typ II Fehler oder Falsch negative Rate) Robustheit gegenüber Abweichungen von den Voraussetzungen Normalität identische Varianz
Beispiel : H0 gilt ich ziehe 2 Datenreihen von jeweils 50 Zahlen aus der gleichen Normalverteilung H0 : die Erwartungswerte der 2 Verteilungen sind gleich (stimmt!) ich führe einen t-test durch (2 Proben, ungepaart) und bestimme den p-wert ich führe dieses Experiment 1000 durch, und untersuche die Verteilung der p-werte. unter H0 ist die Verteilung der p-werte eine Gleichverteilung (Definition des p-wertes!) in 5% der Fälle habe ich einen p-wert kleiner als 0.05 in 50% der Fälle habe ich einen p-wert kleiner als 0.5
Typ I Fehler Roter Bereich: bei α = 0.05 hätten wir die H0 Hypothese zu Unrecht verworfen Falsch Positive! Wie oft wäre das passiert? in 5% der Fälle (da Gleichverteilung) Falsch-Positiv Rate wird von α angegeben. 10.000 Test bei denen H0 gilt : Gleichverteilung
Beispiel : H0 gilt nicht ich ziehe 2 Datenreihen von jeweils N=50 Zahlen aus 2 Normalverteilungen mit unterschiedlichen Erwartungswerten H0 : die Erwartungswerte der 2 Verteilungen sind gleich (stimmt nicht, der Test sollte H0 verwerfen!) ich führe einen t-test durch (2 Proben, ungepaart) und bestimme den p-wert ich führe dieses Experiment 1000 durch, und untersuche die Verteilung der p-werte.
Verteilung der P-Werte Viele kleine P-Werte H0 wird in diesen Fällen verworfen Einige grosse P-Werte H0 wird in diesen Fällen NICHT verworfen
Typ II Fehler entstehen, wenn eine falsche H0 hypothese nicht wiederlegt wird Falsch Negative Wahrscheinlichkeit eines Typ II Fehlers : β-wert die Wahrscheinlichkeit, einen Typ II Fehler nicht zu begehen nennt man die Power eines Tests diese Fläche β entspricht den falsch Negativen: H0 wird nicht verworfen
Typ II Fehler 2 Datensätze der Größe N Normalverteilung, mu=0 Normalverteilung, mu=0.2 hier gilt H0 also nicht t-test p-werte für verschiedene N Fazit : mit steigender Probengröße hat der Test immer mehr Power
Power eines Tests Power 1-β hängt ab von Signifikanz level α Probengröße N Effektgröße : wie stark weicht der tatsächliche Effekt von H0 ab? Power Hohes Signifikanzlevel Niedriges Signifikanzlevel Grosse Probengrösse Kleine Probengrösse Grosse Effektgrösse Kleine Effektgrösse
Beispiel : Pinguine Ich untersuche Populationen von Pinguinen in der Antarktis 2 Arten Humboldtpinguine : μh=15kg, σh Königspinguine: μk=16kg, σk Ich fange Gruppen von N Pinguinen, berechne das Durschnittsgewicht m, und bestimme, ob es HP sind oder nicht H0: es sind Humboldtpinguine
Verteilungen der Mittelwerte Verteilung der Mittelwerte μ = μh σ = σh/ N H0 : es handelt sich um Humboldtpinguine : Verwerfungsbereich von H0 : nicht Verwerfungsbereich von H0 Verteilung der Mittelwerte μ = μk σ = σk/ N
Typ II Fehler Bei festgelegtem α kann man N berechnen, sodass β einen bestimmen Wert nicht überschreitet. Beispiel: der Test soll bei einem Gewichtsunterschied von 1 kg eine Power von 60% haben und eine Signifikanz von 5% N ~ 30 : Verwerfungsbereich von H0 : nicht Verwerfungsbereich von H0
Nicht parametrische Tests setzen keine Bedingung auf die Verteilung der Werte werden angewendet, wenn Normalitätsbedingungen der t-tests nicht erfüllt sind. anstatt der Werte werden die Ränge dieser Werte benutzt Wilcoxon Rang Tests Ungepaarter Test : Wilcoxon rank sum test / Mann-Whitney U-test Gepaarter Test : Wilcoxon signed rank test
Wilcoxon Rank Sum Test / Mann-Whitney U Test Zwei ungepaarte Proben Werte der 2 Proben werden zusammengelegt, und nach steigenden Werten geordnet R1 ist die Summe der n1 Ränge der ersten Probe* Teststatistik : R1 = 59 > wilcox.test(x1,x2) Wilcoxon rank sum test data: x1 and x2 W = 23, p-value = 0.3823 alternative hypothesis: true location shift is not equal to 0 Probe 1 ist per Definition die mit dem kleinsten R * W = 23
Wilcoxon signed rank Test zwei gepaarte Proben Di : Differenzen der Paare Ri : Ränge der Di Teststatistik : Sind die positiven Differenzen größer/kleiner als die negativen? H0: die positiven/negativen Differenzen haben gleiche Rangverteilung
Wilcoxon signed rank Test Beispiel : Behandlung der Anorexie > X Prior Post Diff AbsDiff ranks SignedRanks 1 76.9 76.8-0.1 0.1 1-1 2 79.6 76.7-2.9 2.9 2-2 3 81.6 77.8-3.8 3.8 3-3 4 89.9 93.8 3.9 3.9 4 4 5 80.5 75.2-5.3 5.3 5-5 6 86.0 91.5 5.5 5.5 6 6 7 86.0 91.7 5.7 5.7 7 7 8 94.2 101.6 7.4 7.4 8 8 9 83.5 92.5 9.0 9.0 9 9 10 82.5 91.9 9.4 9.4 10 10 11 87.3 98.0 10.7 10.7 11 11 12 83.3 94.3 11.0 11.0 12 12 13 83.8 95.2 11.4 11.4 13 13 14 77.6 90.7 13.1 13.1 14 14 15 82.1 95.5 13.4 13.4 15 15 16 86.7 100.3 13.6 13.6 16 16 17 73.4 94.9 21.5 21.5 17 17 > W.p <- sum(x[x$diff>0,'ranks']) > W.m <- sum(x[x$diff<0,'ranks']) > W.p [1] 142 > W.m [1] 11 > wilcox.test(x$prior,x$post,paired=true) Wilcoxon signed rank test data: X$Prior and X$Post V = 11, p-value = 0.0008392 alternative hypothesis: true location shift Hier: beidseitiger Test! is not equal to 0
Wilcoxon robuster als t-test? ungepaarter t-test Wilcoxon rank sum test H0 gilt in allen Fällen immer stärkere Abweichung von der Normalitätsvoraussetzung p-werte Verteilung weicht bei t-test von der Gleichverteilung ab... aber nicht bei dem Wilcoxon rank-sum test.