8. Fortbildungsveranstaltung der GV-SOLAS für Tierschutzbeauftragte und Behördenvertreter
Warum biometrische Planung? Einfachste Antwort: Weil es im Genehmigungsantrag so vorgesehen ist. 2
Warum biometrische Planung? Bessere Gründe: weil der Wissenschaftler, der den Versuch durchführt, sicher sein kann, dass sein Versuchsergebnis eine statistisch belastbare Aussage beinhaltet. Die Frage: Hätte ich das erwartete Ergebnis bekommen, wenn ich mehr Tiere eingesetzt hätte?, kann eindeutig mit nein beantwortet werden! 3
Warum biometrische Planung? Bessere Gründe: weil der Wissenschaftler, der den Versuch durchführt, sicher sein kann, dass sein Versuchsergebnis eine statistisch belastbare Aussage beinhaltet. weil das 3R-Prinzip umgesetzt wird, denn es werden nur so viele Tiere verwendet, wie nötig. Der Versuch muss nicht wiederholt werden. 4
Warum biometrische Planung? Bessere Gründe: weil der Wissenschaftler, der den Versuch durchführt, sicher sein kann, dass sein Versuchsergebnis eine statistisch belastbare Aussage beinhaltet. weil das 3R-Prinzip umgesetzt wird, denn es werden nur so viele Tiere verwendet, wie nötig. weil die Gruppengröße, die sich aus der biometrischen Planung ergibt, nicht daran hindert, den Versuch zu einem früheren Zeitpunkt auszuwerten und ggfs. zu beenden. (wenn sich bereits nach Verwendung eines Drittels/der Hälfte/zwei Drittel der geplanten Tiere ein signifikantes Ergebnis ergibt) 5
Warum biometrische Planung? Tierschutzbeauftragte sollten Antragsteller davon überzeugen oder darin bestärken, dass eine biometrische Planung in ihrem eigenen Interesse sinnvoll und notwendig ist. Hilfestellung dabei leisten, das 3R-Prinzip auch in diesem Teil der Versuchsplanung anzuwenden. 6
Nature 520, 2015 Nature Reviews Neuroscience 14, 2013 7
Schritte zu einer zuverlässigen biometrischen Planung 1. Übersetzen der (biologischen/medizinischen) Fragestellung in eine für statistische Methoden geeignete Form. Meist recht einfach: Ist das Ergebnis zufällig entstanden? 8
Schritte zu einer zuverlässigen biometrischen Planung 1. Übersetzen der (biologischen/medizinischen) Fragestellung in eine für statistische Methoden geeignete Form. Ist der Zuhörerschwund unabhängig davon, ob mathematische Formeln präsentiert werden? 9
Chen et al. Carcinogenesis, 19:1631, 1998 RUHR-UNIVERSITÄT BOCHUM Schritte zu einer zuverlässigen biometrischen Planung 1. Übersetzen der (biologischen/medizinischen) Fragestellung in eine für statistische Methoden geeignete Form. Ist das verringerte Tumorwachstum unabhängig vom eingesetzten Medikament? 10
Pak et al. PNAS 97:11232, 2010 RUHR-UNIVERSITÄT BOCHUM Schritte zu einer zuverlässigen biometrischen Planung 1. Übersetzen der (biologischen/medizinischen) Fragestellung in eine für statistische Methoden geeignete Form. Ist der Lernerfolg der genetisch veränderten Mauslinie nur zufällig schlechter als der der Wildtyp-Tiere? 11
Schritte zu einer zuverlässigen biometrischen Planung 1. Übersetzen der (biologischen/medizinischen) Fragestellung in eine für statistische Methoden geeignete Form. 2. Wie wird die Wirkung (einer Behandlung, einer genetischen Veränderung, ) bestimmt? Welche Messgröße wird erfasst? Welche (mathematischen) Eigenschaften hat die Messgröße (metrisch, ordinal, nominal)? - danach entscheidet sich, welches statistische Verfahren angewendet werden kann/darf. 12
Schritte zu einer zuverlässigen biometrischen Planung 1. Übersetzen der (biologischen/medizinischen) Fragestellung in eine für statistische Methoden geeignete Form. 2. Wie wird die Wirkung bestimmt? 3. Wie groß muss der Unterschied des Messparameters zwischen Kontroll- und Versuchsgruppe sein? Die Statistik weiß nichts über Biologie oder Medizin. Jeder Unterschied kann auf Signifikanz getestet werden, allerdings nur mit großen Versuchsgruppen - also auf Kosten mindestens eines der drei R. 13
Schritte zu einer zuverlässigen biometrischen Planung 1. Übersetzen der (biologischen/medizinischen) Fragestellung in eine für statistische Methoden geeignete Form. 2. Wie wird die Wirkung bestimmt? 3. Wie groß muss der Unterschied des Messparameters zwischen Kontrollund Versuchsgruppe sein, damit man von einem Effekt sprechen kann? 4. Wie groß ist die Streuung der Messgröße (unter Kontroll- und Versuchsbedingungen)? Ohne Kenntnis der Streuung der Messgröße ist die biometrische Planung nicht möglich. 14
Angaben zur biometrischen Planung im Antrag Antragsformular fragt die Angaben zur biometrischen Planung einzeln ab. 15
Angaben zur biometrischen Planung im Antrag Antragsformular fragt die Angaben zur biometrischen Planung einzeln ab. 16
Angaben zur biometrischen Planung im Antrag Antragsformular fragt die Angaben zur biometrischen Planung einzeln ab. Die Planung sollte unter Einsatz biometrischer Verfahren vorgenommen werden. Auf die Ergebnisse dieser Planung ist in der Begründung einzugehen. Zusätzlich sind Angaben über die Einteilung in Versuchsgruppen bzw. Kontrollgruppen sowie über die Gruppengrößen vorzunehmen. Die Darstellung der Versuchs- und Kontrollgruppen ist in übersichtlicher Form vorzunehmen, möglichst auch mit einer Tabelle. Die Gruppen sollten auch im Hinblick auf die Aufzeichnungen nach 9 Abs. 5 TierSchG konkrete Bezeichnungen enthalten. 17
Angaben zur biometrischen Planung im Antrag Antragsformular fragt die Angaben zur biometrischen Planung einzeln ab. 1. Hauptzielgröße Anzahl der Zuhörer Tumorgröße Zeit zum Erreichen der Plattform Angaben zur biometrischen/statistischen Planung Erläuterungen: Hauptzielgröße(n): subjektive Schmerzintensität ( Grimace Scale ) Erkrankungsgrad (EAE score ; Metastasierung) ordinale Größen Geschlecht Blutgruppe nominale Größen 18
Angaben zur biometrischen Planung im Antrag Antragsformular fragt die Angaben zur biometrischen Planung einzeln ab. 1. Hauptzielgröße Angaben zur biometrischen/statistischen Planung Anzahl der Zuhörer Tumorgröße Zeit zum Erreichen der Plattform Erläuterungen: metrische Größen: T-Test, ANOVA Hauptzielgröße(n): subjektive Schmerzintensität ( Grimace Scale ) Erkrankungsgrad (EAE score ) ordinale Größen: U-Test, Kruskal-Wallis-Test Geschlecht Blutgruppe nominale Größen: C²-Test, Fisher-Yates-Test 19
Angaben zur biometrischen Planung im Antrag Antragsformular fragt die Angaben zur biometrischen Planung einzeln ab. 1. Hauptzielgröße 2. Nebenzielgröße wird/werden ebenfalls erfasst ist/sind aber für die biometrische Planung unerheblich Angaben zur biometrischen/statistischen Planung Erläuterungen: Hauptzielgröße(n): Nebenzielgröße(n): 20
Angaben zur biometrischen Planung im Antrag Antragsformular fragt die Angaben zur biometrischen Planung einzeln ab. 1. Hauptzielgröße 2. Nebenzielgröße 3. Studientyp 4. Statistisches Verfahren zur Auswertung Art der Messgröße Anzahl der Gruppen Angaben zur biometrischen/statistischen Planung Erläuterungen: Hauptzielgröße(n): Nebenzielgröße(n): Studientyp a) Orientierungsstudie b) Vergleichsstudie Es werden folgende biometrische Verfahren zur Auswertung eingesetzt: 21
Angaben zur biometrischen Planung im Antrag Antragsformular fragt die Angaben zur biometrischen Planung einzeln ab. 1. Hauptzielgröße 2. Nebenzielgröße 3. Studientyp 4. Statistisches Verfahren zur Auswertung Art der Messgröße Anzahl der Gruppen Angaben zur biometrischen/statistischen Planung Erläuterungen: Mess-Skala Hauptzielgröße(n): Nebenzielgröße(n): Metrisch Studientyp a) Orientierungsstudie Ordinal b) Vergleichsstudie 2 Gruppen mit verschiedenen Individuen t-test Versuchsdesign Es werden folgende biometrische Verfahren zur Auswertung eingesetzt: mehr als 2 Gruppen mit verschiedenen Individuen Varianzanalyse (ANOVA) Mann-Whitney- Rang-Test Kruskal-Wallis- Test 22
Angaben zur biometrischen Planung im Antrag Antragsformular fragt die Angaben zur biometrischen Planung einzeln ab. 4. Statistisches Verfahren zur Auswertung 5. Fehler 1. Art Signifikanzniveau gibt an, mit welcher Wahrscheinlichkeit das Ergebnis zufällig entstanden sein könnte. Effekt einer Behandlung wird angenommen, obwohl er in Wirklichkeit zufällig entstanden ist falsch positives Ergebnis 5% wird akzeptiert Es werden folgende biometrische Verfahren zur Auswertung eingesetzt: Die vorgesehene Tierzahl und Gruppengröße ist zur statistischen Absicherung mit einer Wahrscheinlichkeit für den Fehler 1. Art von a = 0,05 23
Angaben zur biometrischen Planung im Antrag Antragsformular fragt die Angaben zur biometrischen Planung einzeln ab. 4. Statistisches Verfahren zur Auswertung 5. Fehler 1. Art 6. Fehler 2. Art gibt an, mit welcher Wahrscheinlichkeit ein tatsächlicher Effekt übersehen wird. Effekt wird als zufällig angesehen, obwohl er tatsächlich vorhanden ist falsch negatives Ergebnis 20% wird akzeptiert Es werden folgende biometrische Verfahren zur Auswertung eingesetzt: Die vorgesehene Tierzahl und Gruppengröße ist zur statistischen Absicherung mit einer Wahrscheinlichkeit für den Fehler 1. Art von a = 0,05 einer Wahrscheinlichkeit für den Fehler 2. Art von b = 0,20 24
Angaben zur biometrischen Planung im Antrag Antragsformular fragt die Angaben zur biometrischen Planung einzeln ab. 5. Fehler 1. Art 6. Fehler 2. Art 7. Differenz Wie groß ist der erwartete Unterschied zwischen Kontroll- und Versuchsgruppe(n)? Es werden folgende biometrische Verfahren zur Auswertung eingesetzt: Die vorgesehene Tierzahl und Gruppengröße ist zur statistischen Absicherung mit einer Wahrscheinlichkeit für den Fehler 1. Art von a = 0,05 einer Wahrscheinlichkeit für den Fehler 2. Art von b = 0,20 einer biologisch relevanten Differenz Wie groß soll die Abweichung der Messwerte der Versuchsgruppe(n) vom Referenzwert der Kontrollgruppe sein, damit von einem biologisch oder medizinisch relevantem Effekt gesprochen werden kann? 25
Angaben zur biometrischen Planung im Antrag Antragsformular fragt die Angaben zur biometrischen Planung einzeln ab. 5. Fehler 1. Art 6. Fehler 2. Art 7. Differenz 8. Varianz oder Effektstärke Wie groß ist die Streuung der Messgröße? Es werden folgende biometrische Verfahren zur Auswertung eingesetzt: Die vorgesehene Tierzahl und Gruppengröße ist zur statistischen Absicherung mit einer Wahrscheinlichkeit für den Fehler 1. Art von a = 0,05 einer Wahrscheinlichkeit für den Fehler 2. Art von b = 0,20 einer biologisch relevanten Differenz Varianz oder Effektstärke (mit Angabe des genutzten Parameters, z. B. Effektstärke nach Cohen) In welchem Verhältnis stehen die Streuung der Messwerte und die Differenz zwischen Kontroll- und Versuchsgruppe(n) zueinander? 26
Angaben zur biometrischen Planung im Antrag Antragsformular fragt die Angaben zur biometrischen Planung einzeln ab. 5. Fehler 1. Art 6. Fehler 2. Art 7. Differenz 8. Varianz/Effektstärke Bestimmung der Gruppengrößen erfolgt anhand der hier angegebenen Parameter Es werden folgende biometrische Verfahren zur Auswertung eingesetzt: Die vorgesehene Tierzahl und Gruppengröße ist zur statistischen Absicherung mit einer Wahrscheinlichkeit für den Fehler 1. Art von a = 0,05 einer Wahrscheinlichkeit für den Fehler 2. Art von b = 0,20 einer biologisch relevanten Differenz Varianz oder Effektstärke (mit Angabe des genutzten Parameters, z. B. Effektstärke nach Cohen) Meist mit Hilfe eines Statistikprogrammes (z.b. G*Power, SSTAT, Statistica, ) 27
Berechnung der Gruppengröße Fehler 1. und 2. Art sind festgelegt: a = 0,05 b = 0,20 (oder Power = 0,80) Effektstärke ist das Verhältnis von Differenz zu Streuung 28
Berechnung der Gruppengröße Fehler 1. und 2. Art sind festgelegt: a = 0,05 b = 0,20 (oder Power = 0,80) Effektstärke ist das Verhältnis von Differenz zu Streuung 29
Berechnung der Gruppengröße Fehler 1. und 2. Art sind festgelegt: a = 0,05 b = 0,20 (oder Power = 0,80) Effektstärke ist das Verhältnis von Differenz zu Streuung 30
Chen et al. Carcinogenesis, 19:1631, 1998 RUHR-UNIVERSITÄT BOCHUM Berechnung der Gruppengröße Fehler 1. und 2. Art sind festgelegt: a = 0,05 und b = 0,20 Effektstärke ist das Verhältnis von Differenz zu Streuung für einen t-test: Kontrolle: 600 ± 150 mm³ Versuch: 300 ± 150 mm³ Effektstärke d = 300 / 150 = 2 Erforderliche Gruppengröße n = 6 (sagt G*Power) 31
Chen et al. Carcinogenesis, 19:1631, 1998 RUHR-UNIVERSITÄT BOCHUM Berechnung der Gruppengröße Fehler 1. und 2. Art sind Anmerkung: festgelegt: Die a = Berechnung 0,05 und b = der 0,20 Effektstärke nach Effektstärke ist das Verhältnis Differenz zwischen den Gruppen von Differenz Effektstärke zu Streuung = Standardabweichung für einen t-test: gilt in dieser einfachen Weise nur für den t-test. Für andere statistische Tests Kontrolle: (ANOVA, 600 ± U-Test, 150 mm³ Kruskal-Wallis-Test, usw.) wird die Effektstärke anders Versuch: berechnet. 300 ± 150 Die mm³ Effektstärken aus dem t-test dürfen also nicht für andere Effektstärke Tests d übernommen = 300 / 150 = werden. 2 Erforderliche Gruppengröße n = 6 (sagt G*Power) 32
Chen et al. Carcinogenesis, 19:1631, 1998 RUHR-UNIVERSITÄT BOCHUM Berechnung der Gruppengröße Fehler 1. und 2. Art sind festgelegt: a = 0,05 und b = 0,20 Effektstärke ist das Verhältnis von Differenz zu Streuung für einen t-test: Kontrolle: 600 ± 100 mm³ Versuch: 500 ± 100 mm³ Effektstärke d = 100 / 100 = 1 Erforderliche Gruppengröße n = 17 33
Chen et al. Carcinogenesis, 19:1631, 1998 RUHR-UNIVERSITÄT BOCHUM Berechnung der Gruppengröße Fehler 1. und 2. Art sind festgelegt: a = 0,05 und b = 0,20 Effektstärke ist das Verhältnis von Differenz zu Streuung für einen t-test: Kontrolle: 600 ± 100 mm³ Versuch: 550 ± 100 mm³ Effektstärke d = 50 / 100 = 0,5 Erforderliche Gruppengröße n = 64 34
Chen et al. Carcinogenesis, 19:1631, 1998 RUHR-UNIVERSITÄT BOCHUM Berechnung der Gruppengröße Fehler 1. und 2. Art sind festgelegt: a = 0,05 und b = 0,20 Effektstärke ist das Verhältnis von Differenz zu Streuung für einen t-test: Kontrolle: 600 ± 200 mm³ Versuch: 400 ± 200 mm³ Effektstärke d = 200 / 200 = 1 Erforderliche Gruppengröße n = 17 35
Pak et al. PNAS 97:11232, 2010 RUHR-UNIVERSITÄT BOCHUM Berechnung der Gruppengröße Fehler 1. und 2. Art sind festgelegt: a = 0,05 und b = 0,20 Effektstärke ist das Verhältnis von Differenz zu Streuung für eine ANOVA: Kontrolle: Versuch 1: 10 ± 2 sec 15 ± 2 sec Versuch 2: 25 ± 2 sec Effektstärke f = 3.11 Erforderliche Gruppengröße n = 2 36
Pak et al. PNAS 97:11232, 2010 RUHR-UNIVERSITÄT BOCHUM Berechnung der Gruppengröße Fehler 1. und 2. Art sind festgelegt: a = 0,05 und b = 0,20 Effektstärke ist das Verhältnis von Differenz zu Streuung für eine ANOVA: Kontrolle: Versuch 1: 10 ± 8 sec 15 ± 8 sec Versuch 2: 25 ± 8 sec Effektstärke f = 0.78 Erforderliche Gruppengröße n = 7 37
Pak et al. PNAS 97:11232, 2010 RUHR-UNIVERSITÄT BOCHUM Berechnung der Gruppengröße Fehler 1. und 2. Art sind festgelegt: a = 0,05 und b = 0,20 Effektstärke ist das Verhältnis von Differenz zu Streuung für eine ANOVA: Kontrolle: Versuch 1: 10 ± 8 sec 15 ± 8 sec Versuch 2: 20 ± 8 sec Effektstärke f = 0.51 Erforderliche Gruppengröße n = 14 38
Berechnung der Gruppengröße Effektstärke bestimmt die Gruppengröße große Differenz und geringe Streuung = kleine Gruppen kleine Differenz und große Streuung = große Gruppen relevante Differenz vorgeben Streuung vermindern 39
Fazit Die biometrische Planung muss auf realistischen Zahlen beruhen, damit eine statistisch gesicherte Aussage über das Versuchsergebnis getroffen werden kann. Mehr Tiere werden nicht benötigt, weniger aber auch nicht! 40