Präzision in der Analytik Ein unentbehrlicher Teil der Methodenvalidierung

Transkript

1 Abacus Validation Systems Präzision in der Analytik Ein unentbehrlicher Teil der Methodenvalidierung Joachim Pum, MMed (Univ. Pretoria) 2008

2 Definition Präzision ist das Maß für die Streuung von Analysenergebnissen und wird als Standardabweichung s oder al Variationskoeffizient V k ausgedrückt. Selten wird die Varianz s 2 verwendet. Präzisionsarten 1. Wiederholbarkeit Unter Wiederholbarkeit versteht man die Präzision unter Wiederholbedingungen, d.h. Bedingungen unter denen voneinander unabhängige Ermittlungsergebnisse in kurzen Zeitabständen erhalten werden (im selben Labor, mit demselben Gerät). 2. Vergleichbarkeit Unter Vergleichbarkeit versteht man die Präzision unter Vergleichsbedingungen, d.h. Bedingungen unter denen Ermittlungsergebnisse mit demselben Verfahren, in verschiedenen Labors auf verschiedenen Geräten erhalten werden. 3. Laborpräzision Unter Laborpräzision versteht man die Präzision von Ermittlungsergebnissen derselben Probe innerhalb eines Labors bei bewusster Änderung eines Parameters, z.b. ein anderer Bearbeiter, verschiedene Reagenzchargen oder ein anderes Gerät. 4. Weitere Präzisionen a. Präzision innerhalb einer Serie Es handelt sich hier um die Übereinstimmung zwischen voneinander unabhängigen Ermittlungsergebnissen, die mit demselben Verfahren innerhalb einer Serie erhalten werden. b. Präzision von Serie zu Serie Es handelt sich hier um die Übereinstimmung zwischen voneinander unabhängigen Ermittlungsergebnissen, die mit demselben Verfahren in verschiedenen Serien erhalten werden. c. Präzision von Tag zu Tag Es handelt sich hier um die Übereinstimmung zwischen voneinander unabhängigen Ermittlungsergebnissen, die mit demselben Verfahren in einer Reihe von aufeinanderfolgenden Tagen erhalten werden. Präzision gilt generell als quantitatives Maß für die Robustheit einer Methode und macht daher fast ausnahmslos immer Teil einer Methodenvalidierung aus. In der Routine werden meistens Präzision innerhalb einer Serie, Präzision von Serie zu Serie und Präzision von Tag zu Tag ermittelt, welche als Wiederholbarkeit und/oder als Verfahren-/Gerätepräzision dargestellt werden können. 2

3 Bestimmung der Präzision innerhalb einer Serie Präzision innerhalb einer Serie ist die am schnellsten und einfachsten zu bestimmende, aber auch die am wenigsten aussagekräftige Form der Präzision. Hierzu wird die zu untersuchende Substanz meist mal hintereinander auf demselben Gerät innerhalb einer Serie analysiert. Idealerweise wird der Vorgang mit mindestens zwei Kontrollen unterschiedlicher Konzentrationsbereiche durchgeführt. Anschließend werden die Standardabweichung s, die Varianz s 2 und der Variationskoeffizient V k berechnet und, falls vorhanden, mit vorgegebenen Spezifikationsgrenzen verglichen. Wichtig: Zum Vergleich der Präzision zweier Messwertreihen wird der Variationskoeffizient und nicht die Standardabweichung verwendet. Beispiel Eine HPLC-Methode, die in zwei Standorten eines Labors routinemäßig läuft, macht Probleme. Da die Bedingungen in beiden Standorten identisch sind, werden die Pumpen verdächtigt. Daraufhin wird die Flußkonstanz der beiden Pumpen über die Präzision der Retentionszeiten verglichen. Es wird bei beiden Pumpen eine Standardabweichung von 0,12 festgestellt und daraus geschlossen, dass beide Pumpen gleich gut sind. Bei weiterer Untersuchung wurde festgestellt, dass für die Ermittlung der Präzision in den beiden Standorten zwei verschiedene Substanzen mit unterschiedlichen Retentionszeiten verwendet wurden. Während Substanz A eine mittlere Retentionszeit von 3,2 Minuten aufwies, war die mittlere Retentionszeit für Substanz B 11,3 Minuten. Methode A n: 10 Ausreißer: 0 Konzentration: - Mittelwert: 3,20 Standardabweichung: 0,12 Varianz: 0,01 Variationskoeffizient: 3,75% Methode B n: 10 Ausreißer: 0 Konzentration: - Mittelwert: 11,30 Standardabweichung: 0,12 Varianz: 0,01 Variationskoeffizient: 1,06% Bei gleicher Standardabweichung hatte Methode A demnach einen V k von 3,75% und arbeitete daher wesentlich unpräziser als Methode B mit einem V k von 1,06%. Präzision von Serie zu Serie und von Tag zu Tag Diese Form der Präzision liefert mehr Information über die Robustheit des Instruments als die Präzision innerhalb einer Serie, da hier noch zusätzliche Faktoren zur Geltung kommen (z.b. unterschiedliche Bearbeiter, leichte Fluktuationen der Umgebungstemperatur usw.). Zur Ermittlung dieser Formen der Präzision werden kurz zwei grundsätzliche Verfahren erläutert, die den Empfehlungen der CLSI (Clinical Laboratory Standards Institute, ehemals NCCLS) entnommen wurden: a. Präzision mit einer Analysenserie b. Präzision mit zwei Analysenserien 3

4 Eine Analysenserie besteht aus zwei Messergebnissen eines Kontrollmaterials in einem Konzentrationsbereich, welche innerhalb einer Serie ermittelt wurden. Zur Bestimmung der Präzision mit einer Analysenserie wird das Kontrollmaterial eine bestimmte Anzahl aufeinanderfolgender Tage (typisch 20) täglich als Doppelbestimmung analysiert. Die Ergebnisse ermöglichen die Berechnung sowohl der Präzision innerhalb einer Serie als auch der Präzision zwischen Tagen. Zur Bestimmung der Präzision mit zwei Analysenserien wird das Kontrollmaterial eine bestimmte Anzahl aufeinanderfolgender Tage täglich zweimal (typischerweise am Vormittag und am Nachmittag) als Doppelbestimmung analysiert. Die Ergebnisse ermöglichen die Berechnung sowohl der Präzision innerhalb einer Serie, der Präzision zwischen Serien, als auch der Präzision zwischen Tagen. Bei Herstellerangaben hinsichtlich der Spezifikationen des Verfahrens/Tests kann anhand eines Signifikanztests (Chi-Quadrat Test) bestimmt werden ob diese bestätigt wurden. Wichtig hierbei ist es zu beachten, dass vor den Berechnungen Ausreißer vom Datensatz entfernt werden. Sollten sich mehr als 2,5% der Daten als Ausreißer rausstellen, so muss an der Robustheit des Verfahrens/Tests gezweifelt werden und ggf. mit dem Hersteller Kontakt aufgenommen werden. Beispiel Ein Labor bekommt eine neue Cholesterin-Methode und ermittelt als Teil der Methodenvalidierung die Präzision mit einer Analysenserie. Präzision - 1 Analysenserie (CLSI EP5-A2) 3 Methode 1 2 Normalisierte Werte Tage 4

5 STATISTIK Präzision des Geräts / Analysenverfahrens n: 20 Konzentration: 245,00 Standardabweichung: 3,56 Varianz: 12,70 Variationskoeffizient: 1,45% Standardabweichung laut Hersteller: 4,50 Varianz laut Hersteller: 20,25 Chi-Quadrat: 18,82 Freiheitsgrade: 30 Chi-Quadrat (p): 0,4682 Standardabweichung und V k wurden berechnet. Der Vk kann nun mit Zielwerten (sofern vorhanden) verglichen werden um auf die Akzeptanz der Präzision des Verfahrens zu schließen. Der Chi-Quadrat Test wird verwendet um Herstellerangaben mit ermittelten Werten zu vergleichen. In diesem Fall ist s kleiner als die vom Hersteller angegebene Standardabweichung, und wird die Berechnung des Chi-Quadrat Tests erübrigt. Dieselbe Präzisionsermittlung wurde in einem anderen Labor mit zwei Analysenserien durchgeführt: Präzision - 2 Analysenserien (CLSI EP5-A2) Methode 1, Methode Normalisierte Werte Tage

6 STATISTIK Wiederholbarkeit Analysenserien: 2 Konzentration: 245,00 Standardabweichung: 2,72 Varianz: 7,40 Variationskoeffizient: 1,11% Standardabweichung laut Hersteller: 4,50 Varianz laut Hersteller: 20,25 Chi-Quadrat: 14,62 Freiheitsgrade: 40 Chi-Quadrat (p): 0,9999 Präzision des Geräts / Analysenverfahrens n: 20 Konzentration: 245,00 Standardabweichung: 4,55 Varianz: 20,66 Variationskoeffizient: 1,86% Standardabweichung laut Hersteller: 4,50 Varianz laut Hersteller: 20,25 Chi-Quadrat: 69,37 Freiheitsgrade: 68 Chi-Quadrat (p): 0,4311 Hier ist die ermittelte Standardabweichung hinsichtlich der Präzision zwischen Tagen (Präzision des Geräts / Analysenverfahrens) größer als die durch den Hersteller angegebene Standardabweichung. Der zweiseitige p-wert des Chi-Quadrat Tests ist jedoch nicht signifikant, was darauf schließen lässt, dass es sich hier um einen nicht-signifikanten Unterschied handelt, und die Präzision des Geräts, bzw. des Analysenverfahrens akzeptiert werden kann. Vergleich zweier Standardabweichungen Zur Überprüfung ob die Standardabweichungen zweier unterschiedlicher Messreihen vergleichbar sind, also ob Varianzhomogenität besteht und die Werte einer Grundgesamtheit entstammen, wird der F-Test verwendet. Es gelten folgende Voraussetzungen: 1. Die Daten sind normalverteilt 2. Die Datenreihen enthalten keine Ausreißer Zur Überprüfung der Datenverteilung wird aktuell der Anderson-Darling Test empfohlen (in einem späteren Abschnitt beschrieben). Zur Identifizierung von Ausreißern kann z.b. der Grubbs-Test oder die 1,5 IQR Regel herangezogen werden. Im ersten Beispiel oben wurden die jeweiligen Datenreihen automatisch nach den CLSI-Kriterien auf Ausreißer untersucht. 6

7 Beispiel: Es sollen die Gehalte eines Wirkstoffs aus den Produktionschargen A und B auf Varianzhomogenität untersucht werden: Charge A Charge B 12,4 17,2 12,1 17,3 12,6 17,2 12,2 17,5 12,4 17,2 F-Test (Zweistichproben) Varianz Charge A Varianz Charge B STATISTIK Charge A Charge B n: 5 5 Mittelwert: 12,34 17,28 Standardabweichung: 0,19 0,13 Varianz 0,04 0,02 F-Test: 2,24 df: 4 p-wert (Zweiseitig): 0,4551 Der p-wert ist nicht signifikant (> 0,05), was darauf schließen lässt, dass trotz des unterschiedlichen Mittelwerts kein signifikanter Unterschied zwischen den Varianzen der Chargen besteht. Es besteht also Varianzhomogenität. 7 Alle Statistiken und Diagramme wurden mit Abacus 1.4 erstellt.