Proportions Tests. Proportions Test können in zwei Fällen benutzt werden. Vergleich von beobachteten vs. erwarteten Proportionen

Transkript

1 Proportions-Tests

2 Proportions Tests Proportions Test können in zwei Fällen benutzt werden Vergleich von beobachteten vs. erwarteten Proportionen Test der Unabhängigkeit von 2 Faktoren kann auch zum Vergleich von 2 Populationen benutzt werden (Goodness-of-ftt Test : Fishers Exact Test : exakter Test für alle Probengrößen, wird meistens für kleine Anzahlen benutzt Pearson χ 2 Test : gilt für große Anzahlen (>5 in jeder Kategoriet für große beobachtete Anzahlen sind beide Tests gleich

3 Fishers Exact Test Testet ob 2 Eigenschaften unabhängig voneinander sind. 2 x 2 Kontingenztafel iphone kein iphone Damen Herren Verhältniss iphone,kein Iphone ist 4/1 = 4 bei Damen 2/3 bei Herren Quotenverhältnis : 4/1 / 2/3 = 6 ( odds-ratio ) Wieviele Permutationen von 10 Elementen ergeben solche oder grössere,kleinere Verhältnisse und erhalten die Randsummen?

4 Fishers Exact Test iphone kein iphone Damen Herren iphone kein iphone Damen Herren iphone kein iphone Damen Herren

5 Fishers Exact Test iphone kein iphone Damen Herren iphone kein iphone Damen Herren Der Fischer Test untersucht alle möglichen Permutationen der Daten und bestimmt wie oft die beobachtete Kontingenztabelle auftritt exakter Test

6 Fishers Exact Test Beobachtet iphone kein iphone Beobachtet iphone kein iphone Damen Damen 31.82% 68.18% % Herren Herren 20.00% 80.00% % % 72.46% % H0 iphone kein iphone Damen 27.54% 72.46% % Herren 27.54% 72.46% % 27.54% 72.46% % H 0 : Quotenverhältnis (odds-ratio=ort ist 1 :

7 Fisher's Exact Test in R Jahrgang 2013/2014 Beobachtet iphone kein iphone Damen Herren H 0 : das Verhältnis iphone,kein iphone ist unabhängig vom Geschlecht > fisher.test(table(smartphone)) Fisher's Exact Test for Count Data data: table(smartphone) p-value = alternative hypothesis: true odds ratio is not equal to 1 95 percent confidence interval: sample estimates: odds ratio kann nicht verworfen werden...

8 Fisher's Exact Test Unterscheiden sich 2 Medikamente hinsichtlich der Nebenefekte? Nebenwirkung Nebenwirkung Leicht Mittel Stark Leicht Mittel Stark Drug A Drug A 51.02% 22.45% 26.53% % Drug B Drug B 26.47% 41.18% 32.35% % % 30.12% 28.92% % H0 Nebenwirkung Leicht Mittel Stark > table(sideeffect) SideEffect Drug Leicht Mittel Schwer A B > fisher.test(table(sideeffect)) Fisher's Exact Test for Count Data data: table(sideeffect) p-value = alternative hypothesis: two.sided Drug A 40.96% 30.12% 28.92% % Drug B 40.96% 30.12% 28.92% % 40.96% 30.12% 28.92% % Für Kontingenztabellen größer als 2x2 wird kein OR gerechnet

9 Chi-Quadrat Tests der chi-quadrat Test vergleicht beobachtete (Ot mit erwarteter (Et Anzahl von Ereignissen (keine Proportionen!!t unter H 0 folgt die Verteilung der chi2 Verteilung mit m-1 Freiheitsgraden für m unabhängige Beobachtungen. Anwendungsbereich : O i 2 80% der Beobachtungen sollten O i 5

10 Chi-Quadrat Tests : Unabhängigkeitstest Beobachtet iphone kein iphone Beobachtet iphone kein iphone Damen Damen 31.82% 68.18% % Herren Herren 20.00% 80.00% % % 72.46% % H0 iphone kein iphone H0 iphone kein iphone Damen Damen 27.54% 72.46% % Herren Herren 27.54% 72.46% % % 72.46% % Achtung : Anzahl der Freiheitsgrade ist (Reihen -1) x (Spalten -1)

11 Tabelle der kritischen Werte chi2-test Chi2 Verteilung mit 5 (blaut Und 10 (rott Freiheitsgraden

12 Chi-Quadrat Test Unterscheiden sich 2 Medikamente hinsichtlich der Nebenefekte? Nebenwirkung Nebenwirkung Leicht Mittel Stark Leicht Mittel Stark Drug A Drug A 51.02% 22.45% 26.53% % Drug B Drug B 26.47% 41.18% 32.35% % % 30.12% 28.92% % > table(sideeffect) SideEffect Drug Leicht Mittel Schwer A B > chisq.test(table(sideeffect)) Pearson's Chi-squared test data: table(sideeffect) X-squared = , df = 2, p-value = Nebenwirkung H0 Leicht Mittel Stark Drug A 40.96% 30.12% 28.92% % Drug B 40.96% 30.12% 28.92% % 40.96% 30.12% 28.92% % > fisher.test(table(sideeffect)) Fisher's Exact Test for Count Data data: table(sideeffect) p-value = alternative hypothesis: two.sided df = (3-1) x (2-1) = 2

13 Chi2 Test Gudrun hat beim Karneval in Köln nur 3 Strüßjer bekommen, ihre Freundinnen zwischen 7 und 9 Muss sie sich Sorgen machen? Gudrun Elfriede Kunegunde Janine Ushi Ursel bekommen Erwartet

14 Goodness of ft Weicht eine Verteilung signifkant von einer theoretischen Verteilung (hier : Gleichverteilung? 10 unabhängige Beobachtungen df = 10-1=9 > chisq.test(bin.t) Chi-squared test for given probabilities data: bin.t X-squared = , df = 9, p- value = 3.491e-14 > chisq.test(bin.w) Chi-squared test for given probabilities data: bin.w X-squared = 13.85, df = 9, p- value = signifkante Abweichung keine signifkante Abweichung

15 Multiples Testen

16 Johnny Russisches Roulette: wenn 1 von 12 Kugelkammern eine Kugel enthält... was ist die Wahrscheinlichkeit, dass Johnny dieses Spiel zum letzten Mal spielt? was ist die Wahrscheinlichkeit, daß in einer 10-köpfgen ruppe jemand dieses Spiel zum letzten Mal spielt?

17 Genexpressions Daten Gene p-value = Welche Gene sind diferenziel exprimiert zwischen den beiden Bedingungen? dif. Expression wird mit einem t-test bestimmt (alpha = 0.05t H 0 : kein Unterschied zwischen den Mittelwerten Disease, Healthy 445 signifkant dif. exprimierte Gene alpha = 0.05 p-value = Healthy Disease

18 Ein blindes Huhn findet auuhh aul ein Koironi alles rein zufällige Daten H0 gilt in ALLEN Fällen alle Positive sind Falsch-Positive! X <- matrix(rnorm(n=100000,sd=3),nrow=10000)

19 Multiple Testen der p-wert gibt an, mit welcher Wahrscheinlichkeit man unter H0 ein vergleichbares oder extremeres Ergebnis bekommen hätte. α ist das Risiko, zu unrecht H 0 zu verwerfen (falsch Positiv oder Typ I Fehlert umgekehrt ist 1-α die Wahrscheinlichkeit, keinen Typ I Fehler zu begehen. bei mehreren Tests : 2 Tests: (1-αt² p TypI = 1-(1-αt² k Tests : (1-αt k p TypI = 1-(1-αt k Tests : p = 1-1e-223 = 1!!! Bei mehreren unabhängigen Tests steigt die Wahrscheinlichkeit einen Typ I Fehler zu begehen.

20 Achtung Verwechslungsgefahr! 1-(1-αt k ist die Wahrscheinlichkeit, daß unter H 0 irgend einer der k Tests p<α hat Fauily-Wise eroroiro roaut e Wahrscheinlichkeit, mindestens einen Punkt links der Linie zu bekommen α ist die Faulshh pisit iv Raut e d.h. Anteil der Tests die bei H 0 trotzdem als positiv bewertet werden Anteil der Punkte links der Linie

21 Fehlerquellen H 0 wird verworfen (p < αt H 0 wird nicht verworfen (p > αt H 0 gilt H 0 gilt nicht ( = negative) ( = positive) V S U T R (= positiv vorhergesagt) -R (= negativ vorhergesagt) 0-0 V = Typ I Fehler, Falsch-Positiv T = Typ II Fehler, Falsch-Negativ

22 Fehlerquellen H 0 wird verworfen (p < αt H 0 wird nicht verworfen (p > αt H 0 gilt ( = negative) H 0 gilt nicht ( = positive) (= positiv vorhergesagt) (= negativ vorhergesagt) V = Typ I Fehler T = Typ II Fehler

23 Kontrolle der Typ I Fehler Gesamtheit der durchgeführten Tests wird als Familie bezeichnet : Tests Wahrscheinlichkeit eines Typ I Fehlers über alle Tests = Family Wise Error Rate : FWER = P(V 1) Anteil der Falsch Positiven gemessen an den Negativen = False Positive Rate FPR = V / m 0 Anteil der falsch-positiven in den signifkanten (bei denen H0 verworfen wirdt = False Discovery Rate FDR = V / R H 0 wird verworfen H 0 wird nicht verworfen H 0 gilt H 0 gilt nicht V S R U T -R 0-0 negative" positive"

24 False Discovery Rate Es werden 100 Medikamente nach ihrer Wirksamkeit getestet 10 haben einen Efekt (Grünt 90 haben keinen Efekt (Rott Ich führe einen Test für jedes Medikament durch: Power = 80% alpha=0.05 ich werde nur 20% falsch-negative bekommen, d.h. 80% der 10 Positiven ermitteln = 8 (Dunkelgrünt von den 90 negativen werde ich 5% als positiv betrachten ~5 (Dunkelrott 13 positive Vorhersagen, davon sind nur 8 (=62%t wahre-positive, 5 (=38%t sind falsch-positive =FALSE DISCOVERY RATE

25 Bonferroni Korrektur Kontrolle der FWER das Signifkanzniveau α wird angepasst an die Anzahl von Tests bei N Tests : α α / N p p adj = min(np,1) Wahrscheinlichkeit einen Typ I Fehler zu begehen bleibt konstant auf Niveau α sehr stringente Korrektur! Erhöhtes Typ II Fehler Risiko!! z.b. Genexpressions Daten : Gene werde auf dif. Expression getestet: α = 0.05 α/n = 5e-6

26 False Discovery Rate Bei einer großen Anzahl von Tests (typ. bei Genomdatent ist die Bonferroni Korrektur zu stringent zu viele Typ II ( = falsch negativet Fehler! man kann eine gewisse Anzahl von FP tolerieren, solange deren Anteil kontrolliert wird : False Discovery Rate False Discovery Rate = Anteil der FP in den von mir als positive gewerteten Ergebnisse FDR = 10% : 10% der von mir als positiv betrachteten Ereignisse (H 0 verworfent sind falsch Positive.

27 Benjamini Hochberg Kontrolle des FDR Niveaus Beispiel bei FDR δ = 10% Prozedur alle p-werte werden in steigender Reihenfolge geordnet p 1 p 2 p N man bestimmt den höchsten Rang j bei dem p j δ j/n alle Tests 1,2,...j werden als signifkant erklärt Pval threshold Pass Qval TRUE TRUE TRUE TRUE FALSE FALSE FALSE FALSE FALSE FALSE Von den 4 signifkanten Tests sind 10% falsch Positive q-wert = N p j / j q-wert = kleinste FDR δ, bei der dieser p-wert signifkant ist

28 Vergleich der multiple Testing Prozeduren Wir simulieren das Ergebnis von 1000 Tests (t-testt Bei 900 stimmt H0 (kein Unterschied zwischen den Mittelwerten der untersuchten Probent Bei 100 stimmt H0 NICHT (es gibt einen signifkanten Unterschiedt Wir vergleichen Alpha = 5% Bonferroni Korrektur mit alpha = 5%/1000 = % Benjamini-Hochberg FDR = 5% FPR = falsch Positive / Negative FNR = falsch Negative / Positive FDR = falsch Positive / (wahre Positive + falsch Positivet

29 Vergleich der multiple Testing Prozeduren H0 gilt (900 Tests) H0 gilt nicht (100 Tests) H0 verworfen (falsch positive) H0 nicht verworfen (wahre negative) H0 verworfen (wahre positive) H0 nicht verworfen (falsche negative) FPR FNR FDR Alpha = / (44+856) = 4.8 % 16 / (16+84) = 16% 44 / (44+84) = 34% Bonferroni : alpha = 0.05/ / (899+1) = 0.11 % 82 / (82+18) = 82% 1 / (1 + 18) = 5 % Benjamini-Hochberg FDR = 5 % /(2+898) = 0.2% 54/(54+46) = 54 % 2 / (2+46) = 4.1% Bonferroni Korrektur : sehr stringent hoher Anteil an Typ II Fehlern (falsch-negativet Benjamini-Hochberg : kontrolliert die FDR auf ein bestimmtes Level; reduziert die Anzahl der falsch-negativen

30 Beispiel: keine Korrektur ## Signifikanzniveau > alpha < ## 900 Daten mit Mittelw. 0, 100 mit Mittelw. 3 > x <- c(rnorm(900),rnorm(100,mean=3)) ## Berechnung der p-werte nach t.test ob m=0 > p <- pnorm(x,lower.tail=f) hier gilt H0 falsch Positive FPR = 44,900 = 4.8% hier gilt H0 nicht ## Anzahl der Tests, bei denen H0 verworfen wird > test <- p < alpha > table(test[1:900]) TRUE FALSE > table(test[901:1000]) TRUE FALSE wahre Negative wahre Positive falsch Negative; FNR = 16,100 = 16%

31 Beispiel : Bonferroni Korrektur ## Signifikanzniveau Bonferroni > alpha <- 0.05, 1000 ## 900 Daten mit Mittelw. 0, 100 mit Mittelw. 3 > x <- c(rnorm(900),rnorm(100,mean=3)) ## Berechnung der p-werte nach t.test ob m=0 > p <- pnorm(x,lower.tail=f) hier gilt H0 falsch Positive FPR = 1,900= 0.11% hier gilt H0 nicht ## Anzahl der Tests, bei denen H0 verworfen wird > test <- p < alpha > table(test[1:900]) TRUE FALSE > table(test[901:1000]) TRUE FALSE wahre Negative wahre Positive falsch Negative; FNR = 82,100 = 82%!!!

32 Beispiel : FDR Prozedur ## FDR > fdr < ## 900 Daten mit Mittelw. 0, 100 mit Mittelw. 3 > x <- c(rnorm(900),rnorm(100,mean=3)) ## Berechnung der p-werte nach t.test ob m=0 > p <- pnorm(x,lower.tail=f) hier gilt H0 falsch Positive FPR = 2,900 = 0.2% hier gilt H0 nicht ## Anzahl der Tests, bei denen H0 verworfen wird > test <- p < max.p > table(test[1:900]) TRUE FALSE wahre Negative > table(test[901:1000]) TRUE FALSE FDR = 2,(46+2) = 4.1% wahre Positive falsch Negative; FNR = 54,100 = 54%