Einführung in die Statistik zur Tierversuchsplanung

Transkript

1 Einführung in die Statistik zur Tierversuchsplanung und -auswertung Prof. Peter Pilz Fachbereich Biologie So viele Tiere wie nötig, so wenig Tiere wie möglich

2 Statistik Schließende Statistik Statistische Tests: H 0 H 1 Z.B.: wirkt mein Medikament? Poweranalyse Effektstärke Fallzahlen Biometrisches Gutachten

3 Statistischer Test: Hypothesen Bsp.: 2 Gruppen, Kontrolle & Behandlung Frage: Behandlung Unterschied? Hypothesen Null-Hypothese H 0 : kein Unterschied Alternativ-Hypothese H 1 : Unterschied Blutdruck (mm Hg) H 0 annehmen, wenn Irrtumswahrscheinlichkeit für H 1 >0.05 H 1 annehmen, wenn Irrtumswahrscheinlichkeit p 0.05

4 Statistischer Test: Prinzip H1/ Effekt wenn: t = + Effekt hoch - Variation niedrig + Stichprobe hoch Testprinzip: je höher t (F, r, Chi², U ), desto kleiner p aa bb SSSSSSSSSS pppppppp NN Bsp. (t* (10) =2.2): t (10) = 2.3 p< 0.05 H 1 t (10) = 1.9 p> 0.05 H 0

5 Fehler 1. Art oder alpha-fehler p = α-fehler = Irrtumswahrscheinlichkeit in 5% der signifikanten Funde irre ich mich! p klein, üblich ist 5% möglichst keine falsche Behauptung

6 Fehler 1. Art oder alpha-fehler p = α-fehler = Irrtumswahrscheinlichkeit in 5% der signifikanten Funde irre ich mich! Viele Tests: alpha-fehler addieren sich z.b. 7 Gruppen, 21 statistische Vergleiche 1 signifikantes Ergebnis erwartet bei 5% Irrtumswahrscheinlichkeit damit alpha gesamt <5% Bonferroni-Korrektur α = α/21 im Bsp. α = 0.05 /21= nur wenn p< signifikant f g e a p=0.012 b c d

7 Statistik Schließende Statistik Statistische Testgröße (Beispiel t) steigt mit: Mittelwerts-Unterschied 1/Variation Stichprobenumfang (Richtiger Test mehr Power) Ggf.: Bonferroni-Korrektur p*=5% Irrtum in 5% der Fälle = alpha-fehler

8 alpha & beta-fehler Alpha-Fehler (α=p): 5% Irrtumswahrscheinlichkeit = 5% Wahrscheinlichkeit dass man sich irrt (Zufall) β-fehler: Wahrscheinlichkeit, Effekt nicht zu finden H1 = Alternativhypothese: es gibt Effekt bzw. MW sind verschieden v? Pharmakon wirkt wirkt nicht Statistischer (H1 stimmt) (H1 falsch) Test o.k. Typ 1 Fehler H1 akzeptiert α (p) (wirkt) Typ 2 Fehler H0 akzeptiert o.k. β (wirkt nicht) Alpha: Gesellschaft trägt Risiko. Wirkungslos = gefährlich alpha klein wählen Beta: Versuchsträger Risiko. (Tabletten)wirkung nicht entdeckt = schade, Einkommensverlust beta kann etwas größer sein

9 Power Statistische Power = Wahrscheinlichkeit (vorhandenen) Effekt zu finden = Wahrscheinlichkeit, falsche H 0 zurückzuweisen = 1 - β Beispiel: Blutdrucksenker wirkt (vgl. zu Placebo) z.b.: β = 0.2 Power = 1- β = 0.8 => In 80% der Fälle statistische Signifikanz => In ß=20% keine Signifikanz (trotz Wirksamkeit)

10 Vier statistische Größen Wenn 3 Größen bekannt, 4. berechenbar: α N (i.a. p=0.05) (z.b. N=10+10=20) β-fehler bzw. Power = 1-ß Effektstärke (z.b. d ) d = Beispiel Blutdruck Placebo = 150 mmhg Medikament = 135 mmhg SD = 30 mmhg Effektstärke = = (SD) Effektstärke aa bb SSSSSSSSSS pppppppp

11 β und Power Blutdruck (mm Hg) Placebo Fehler: Stabw. d=0.5 Medikament 20% ß - Fehler ß = H1 nicht gefunden. 60% 50% 40% 30% 20% 10% 0% 50% d=0.5 (r=0.24), α= % 10% 5% 1% Häufigkeit Stichprobenumfang n d=0.5 (r=0.24), ß=0.2 *** ** * ns Signifikanz

12 Underpowered Neurobiologie: durchschnittliche Power war = viel zu niedrig nur in 21% finde ich den Effekt, in 79% finde ich den Effekt nicht! Grund: i.a. Tierzahl zu niedrig Beispiel: Geschlecht im Watermaze d=0.49 Notwendige Tiere bei Power von 0.8: 134 Im Mittel eingesetzte Tiere: 22 flickr.com 1 : Butten et al. 2013, Nat Neurosc Rev.

13 β-fehler Post-hoc, also nach dem Experiment: Gegeben: d und n sowie alpha Berechenbar: Power = 0.19 (ß=0.81) t-tests Means: Difference between two independent means Post hoc: Compute achieved power given α, sample size and effect size Effect size d 0.5 α err prob 0.05 Sample size group 1 10 Sample size group 2 10 Power (1-ß err prob)

14 Zwischenstand Poweranalyse 2 Fehlermöglichkeiten, α + β Effektgröße: bei ttest d= ΔMittelwerte / Standardabweichung 4 Werte α, β, d und n: Wenn drei davon bekannt, ist der vierte berechenbar α (bzw. p) i.a. auf 0.05 festsetzen Nach Experiment ist Effektgröße d bekannt Nach Experiment ist n bekannt Power = 1- β: Wahrscheinlichkeit, Effekt zu finden

15 Vier Rechengrößen Wenn drei davon gegeben α = 0.05! ß = 0.2?? d z.b. aus Vorversuchen dann ist N bestimmbar Biometrisches Gutachten: α, ß, d N

16 Beispiel Effektgröße N gesamt Effekt d 1-ß= ß= ß=0.95 klein mittel groß Tierversuch Keine kleinen Effekte in einzelnen Tierversuchen suchen Standard mittlere Effekte ist i.a. immer noch zu gering Größere Effekte als d=1.0 sind erlaubt und erwünscht 1-ß = 0.95 ist i.a. zu hoch

17 Power = 0.8? Wahl Power ist arbiträr, zwischen 80 und 95% 80% Power heißt 1. Wahrscheinlichkeit für "signifikantes Ergebnis" 80% 2. 20% KEIN "signifikantes Ergebnis". Risiko-Kosten-Abwägung: was kostet Experiment (Zeit, Geld und Leid der Tiere)? wie wichtig ist es, Effekt zu finden? Was passiert, wenn Effekt mit Risiko =20% verpasst Beispiel: Power = 0.8 n = 28 Power = 0.9 n = 36, also 30% mehr Tiere Risiko halbiert, Signifikanz zu verpassen, also -50% Power = 0.8, nur begründet ev. 0.9

18 Beispiel Biometrische Planung ttest: N=34, U-Test: N=36 t-tests Means: Difference between two independent means A priori: Compute required sample size given α, power and effect size Effect size d 1 α err prob 0.05 Power (1-ß err prob) 0.80 Total sample size 34

19 Biometrische Planung Statistische Hypothesen H0 und H1 Welcher Test? (vor Experiment ) ein- oder zweiseitig? parametrisch (MW) oder nicht-parametrisch (Median) wie viele Gruppen (Dosierungen) Versuchsdesign wichtige Neben-Variablen, Messwiederholungen Blockdesign, Abfolge, Randomisieren, N-Zahl (Poweranalyse) Avisierte Effektstärke d 1 bei Tierversuchen, höher = besser 1-ß=0.8 bei Tierversuchen Standard.

20 Ich brauche wenig Tiere, wenn großer Unterschied zwischen Mittelwerten Streuung der Daten klein Signifikanzniveau α hoch (5% statt 1%) Power nicht so hoch (80% statt 95%) einseitiger Test (~20% weniger Tiere) Parametrische Tests ~1 Tier/Gruppe weniger Gutes Versuchsdesign (z.b. Messwiederholung) wenig Gruppen

21 Formblatt Biometrische Planung 1. Primäre Zielgröße 2. Verteilungsform der Zielgröße 3. Planungsgrößen 4. Statistisches Test-Verfahren 5. Annahmen zum Fehler 1. Art (alpha) und 2. Art (beta) 6. Falls verwendet: Bei der Berechnung durchgeführte Korrekturen 7. Richtung von Hypothese und Test 1. (zu untersuchendes Haupt-Zielmerkmal des Versuches, anhand dessen die Stichprobe berechnet wurde; ggf. inkl. der Transformation dieser Zielgröße). 2. (soweit anhand der Vordatendichte Angabe möglich; in diesem Fall inkl. des Testverfahrens mit dem die Verteilungsform bestimmt wurde) 3. (erwarteter Unterschied (z.b. erwartete relevante Mittelwertsdifferenz und Standardabweichung oder zu detektierende Veränderung der Ereignisrate, i.a. mit Begründung für diese Erwartung anhand von Vordaten) & verwendete Effektgröße mit Angabe ihrer Berechnung) 4. mit welchem die Tierzahlplanung durchgeführt wird (z.b. t-test, Anova, Wilcoxon-Test). 5. (falls alpha ungleich 0,05 und beta ungleich 0,2 bitte begründen) 6. (z.b. Bonferroni-Korrektur --> in diesem Fall inkl. Angabe, welche Gruppen jeweils gegeneinander getestet werden und Angabe des geänderten alpha- Werts). 7. (ein- oder zweiseitig? --> 2-seitiges Testen bitte begründen).

22 Zusammenfassung Schließende Statistik: Prüfgröße (t) Effektumfang, 1/Varianz, N Poweranalyse Statistische Effektstärke Blutdrucksenkung geteilt durch SD, d=0.5 Effekt = ½ SD Power = 1-ß Biometrisches Gutachten = 0.8 (Power soll hoch sein) α =0.05, ß=0.2, d aus Vorversuchen möglichst 1.0 damit kann man N schätzen

23 Anhang Poweranalyse: GPower = Opensource-Programm A. Field: Discovering statistics using SPSS. Meistverkauftes Statistikbuch, nette Beispiele, manchmal Geschwafel. v. Zupthen et al. Versuchstierkunde, Kapitel 12 Planung von Tierversuchen. (Planung Stichprobenumfang = veraltet. Bei mir eine um veraltete Inhalte gekürzte Version erhältlich peter.pilz@uni-tuebingen.de) erläutert Power, viele Tipps, Power von Experimenten zu erhöhen. Glaser, W. Varianzanalyse. UTB. Erläutert, warum man ab n=10 fast immer die Normalverteilung annehmen darf. Tabachnik, BG, Fidell LS. Using Multivariate Statistics. Pearson. Erläutert, warum man ab 7 Stufen bei ordinalen Daten kontinuierliche Datenform annehmen darf. Schlägt vor, dass diskrete und stetige Daten nicht unbedingt unterschieden werden müssen.