Validierung von Messmethoden. Validierung von Messmethoden

Transkript

1 Validierung von Messmethoden Was soll eine gute Messmethode erfüllen? 1. Richtigkeit (accucacy) 2. Genauigkeit (precision) PD Dr. Sven Reese, LMU München 1

2 Richtigkeit (accuracy) Gibt Auskunft darüber, wie weit ein ermittelter Messwert vom wahren Wert abweicht. Die Richtigkeit ist also ein Maß für die Abweichung aufgrund eines systematischen Fehlers. Genauigkeit (precision) Ist ein Maß für die Übereinstimmung (Reproduzierbarkeit) unabhängig voneinander ermittelter Meßwerte (Meßwiederholung) Die Genauigkeit beschreibt also die zufällige Streuung von Messwerten (zufälliger Fehler). PD Dr. Sven Reese, LMU München 2

3 Beispiel für Abweichung vom wahren Wert Messwerte (kg) Eichgewichte (kg) Systematischer Fehler der Waage jeweils 1,5 kg zu hohe Messwerte Beispiel für Abweichung vom wahren Wert Messwerte (kg) Eichgewichte (kg) Systematischer Fehler der Waage jeweils 20 % zu hohe Messwerte PD Dr. Sven Reese, LMU München 3

4 Beispiel für Streuung um den wahren Wert Messwerte (kg) Eichgewichte (kg) Zufälliger Fehler der Waage Streuung +/- 6 kg um einen Mittelwert, der dem realen Wert entspricht Beispiel für Streuung um den wahren Wert Messwerte (kg) Eichgewichte (kg) Zufälliger Fehler der Waage Streuung +/- 30 % um einen Mittelwert, der dem realen Wert entspricht PD Dr. Sven Reese, LMU München 4

5 Beispiel für geringe Richtigkeit und Genauigkeit Messwerte (kg) Eichgewichte (kg) Kombination aus systematischem und zufälligem Fehler Von welchen Faktoren hängen Richtigkeit und Genauigkeit eines Messverfahrens ab? 1. Messgerät 2. Untersucher 3. Objekt PD Dr. Sven Reese, LMU München 5

6 Mit welchen Kennwerten kann die Richtigkeit und Genauigkeit eines Messverfahrens beschrieben werden? 1. mittlere Abweichung 2. Varianz Womit können die mit einem Messverfahren ermittelten Werte verglichen werden? 1. Referenzprobe 2. Referenzmethode PD Dr. Sven Reese, LMU München 6

7 Grafische Darstellung von mittlerer Abweichung und Streuung Bland-Altman-Plot Bland-Altman-Plot bei Verwendung einer Referenzprobe Differenz Referenzprobe-Messwert Referenzprobe 1,96 Stabw: 9,7 Mittlere Abweichung: - 0,42 1,96 Stabw: -,5 PD Dr. Sven Reese, LMU München 7

8 Bland-Altman-Plot bei Verwendung einer Referenzmethode Liegt keine sehr genaue Referenzmethode vor, wird als Referenz der Mittelwert, der mit der Referenzprobe und der zu validierenden Methode gewonnen wurde, verwendet. Bland-Altman-Plot bei Abhängigkeit von Varianz und absolutem Wert Steigt die Abweichung mit steigendem absoluten Wert, kann dies durch eine logarithmische Transformation ausgeglichen werden. PD Dr. Sven Reese, LMU München 8

9 Probennr Elisa RIA 1 0,53 0, ,26 2,83 1,26 11,52 3,6 6,21 3,30 0,29 11,55 3,50 50,00 45,00 40,00 35,00 30, ,31 2,33 1,01 2,15 Elisa 25,00 20, ,83 12,65 15,00 1,27 0,75, ,3,08 5, ,16 39,99 0, ,02 7,16 31,61 6,83 0,00,00 20,00 30,00 40,00 50,00 RIA 15 40,59 31,61 50,00 45,00 40,00 y = 1,1986x - 0, ,00 Elisa 30,00 25,00 20,00 15,00,00 5,00 0,00 0,00,00 20,00 30,00 40,00 50,00 RIA r = 0,996 PD Dr. Sven Reese, LMU München 9

10 Korrelationskoeffizienten sind beim Vergleich von Messwertreihen immer hoch und nicht geeignet, um die Güte einer Messmethode zu belegen!! Alternativen: Intra-Class-Correlation-Coefficient (ICC) Regressionsanalyse nach Passing und Bablok (bevorzugt nach den NCCLS [National Commitee for Clinical Laboratory Standards] Vorschriften) PD Dr. Sven Reese, LMU München

11 50,00 45,00 40,00 y = 1,1986x - 0, ,00 Elisa 30,00 25,00 20,00 15,00,00 5,00 0,00 0,00,00 20,00 30,00 40,00 50,00 RIA r ICC = 0,971 PD Dr. Sven Reese, LMU München 11

12 Ausschließliche Bestimmung der Genauigkeit (Reproduzierbarkeit) von Messungen Berechnung des Variationskoeffizienten Definition: Variationskoeffizient Quotient aus Standardabweichung und Mittelwert Gut geeignet zum Vergleich der Streuung verschiedener Variablen mit unterschiedlichen Einheiten PD Dr. Sven Reese, LMU München 12

13 Berechnung des Variationskoeffizienten aus Messwertreihen mit Wiederholungsmessung Messung Messung Berechnung des Variationskoeffizienten aus Messwertreihen mit Wiederholungsmessung Berechnung einer ANOVA (z. B. SPSS): Standardabweichung: Wurzel aus Varianz: 15,3 Mittelwert der Messwertreihen: 447,9 Variationskoeffizient: 0,034 oder 3,4 % PD Dr. Sven Reese, LMU München 13

14 Bestimmung der Richtigkeit und Genauigkeit eines Testverfahrens 1. Schritt: r Untersucher messen n Objekte m-mal Zahl der erhobenen Messwerte: r n m Bestimmung der Richtigkeit und Genauigkeit eines Testverfahrens 2. Schritt: Bestimmung der Differenzen der jeweilig erhobenen Messwerte zum Referenzwert evtl. Bestimmung der relativen Differenzen Vorteil: Unabhängigkeit von der Objektgröße PD Dr. Sven Reese, LMU München 14

15 Bestimmung der Richtigkeit und Genauigkeit eines Testverfahrens 3. Schritt: Berechnung von Mittelwert und Varianz der Differenzen aller erhobenen Messwerte = Richtigkeit und Präzision der Methode = Interobserver-Variabilität Bestimmung der Intraobserver- Variabilität eines Untersuchers Berechnung von Mittelwert und Varianz der Differenzen aller von dem jeweiligen Untersucher erhobenen Messwerte (m-mal an n Objekten) = Richtigkeit und Präzision des Untersuchers = Intraobserver-Variabilität PD Dr. Sven Reese, LMU München 15

16 Bedeutung des Wissens um die Genauigkeit (Streuung) einer Methode Zwei Messwerte unterscheiden sich mit einer Wahrscheinlichkeit von 95 %, wenn V = Mindestabstand zwischen zwei Messwerten, um mit 95%iger Sicherheit unabhängig von der Messgenauigkeit zu sein. PD Dr. Sven Reese, LMU München 16