Gütekriterien von Messungen und ein paar Missverständnisse

Transkript

1 Was muss ein Messinstrument leisten? Gütekriterien von Messungen und ein paar Missverständnisse

2 Was erwartet Sie? Begriffsklärung g Funktionsklärung ein bisschen Verwirrung eine gewisse Klärung eine Ermutigung zur Gelassenheit

3 Begriffsklärung assessment: (engl.) Einschätzung, Beurteilung, Bewertung Assessments sind... zielgerichtete, wissenschaftlich-systematische systematische und standardisierte Bewertung von ausgewählten Patienten- und Rehabilitandeneigenschaften in einem definierten organisatorischen Setting. Wallesch, Hasenbein 2001

4 Standardisierte Ergebnismessung in der Therapie ist die regelgeleitete quantifizierende Beschreibung des Zustands einer definierten gesundheitlichen Eigenschaft eines Menschen mit Hilfe einer Skala zu mindestens zwei verschiedenen Zeitpunkten. mit dem Ziel, reliabel und valide Veränderungen dieser Eigenschaft im Zuge einer gesundheitsbezogenen Intervention zu beobachten, zu dokumentieren und zu interpretieren. (eigene Definition)

5 Der Test- und Assessment-Werkzeugkoffer Strukturen und Funktionen Aktivitäten und Partizipation fremd- selbst- fremd- selbsteinsch. einsch. einsch. einsch. Schubl.-test/ SLR krankheitsspezifisch generisch Ashworth, BMRC/MFP VAS,NRS Mathew Stroke Scale Barthel-Ind. FFbH-PA SF 36

6 Funktionen von Tests und Assessments im Clinical Reasoning in der Diagnostik: um ein Krankheitsbild (ICD) bzw. eine Krankheit, oder eine Beeinträchtigung g der Struktur/Funktion, Aktivität, Partizipation (ICF) zu identifizieren in der Prognostik: um eine wahrscheinliche Entwicklung vorherzusagen

7 Missverständnis 1 lautet: Viele Tests taugen nichts, weil sie mir ja gar nichts über die Ursache des Problems sagen. Beispiele: Fingerspitzen-Boden-Abstand, Schober-Ott-Zeichen, Berg- Balance-Scale Scale, Diese Tests sollen auch nicht die Ursache herausfinden!

8 in der Evaluation: um die Veränderung im Zuge einer Intervention auf ein Krankheitsbild, eine Krankheit, oder eine Beeinträchtigung der Struktur/Funktion, Aktivität, Partizipation zu ermitteln. in der klinischen Forschung: um die Wirkung einer Intervention auf ein Krankheitsbild, eine Krankheit, oder eine Beeinträchtigung der Struktur/Funktion, Aktivität, Partizipation zu ermitteln. Um zu entscheiden, ob ein Instrument eine Veränderung misst oder einen kausalen Effekt, hängt davon ab, ob es eine Kontrollgruppe (oder wenigstens eine Kontrollphase gab.

9 Missverständnis 2: (Allein) mit Stand. Ergebnismessung kann ich belegen, dass Therapie wirkt. Ergebnis RCT = Ergebnis Anwendungsbeob. = Nachweis

10 Ergebn.- messung: Praxis (ICF) Diagnostik ICD/ICF Prognostik ICD/ICF

11 Funktionen von Tests und dassessments im Marketing Darstellung von Leistungen der Abteilung Darstellung von Verbesserungen Nachweis der Wirksamkeit von veränderten Abläufen z.b. Mobilität nach Hüft-/Knie-TEP z.b. respiratorische Komplikationen

12 Um diese Funktionen erfüllen zu können, muss ein Instrument... t übereinstimmend Gütekriterien bzw. Psychometrische Eigenschaften

13 Muss es so kompliziert sein? Nein. Eigentlich gibt es nur zwei Gütekriterien. Reliabilität Validität misst das Instrument etwas auf eine reproduzierbare Weise, und kann es verschiedene Merkmalsausprägungen differenzieren? misst das Instrument, was es messen soll? Streiner DL, Norman GR 2003 Health Measurement Scales A practical guide to their development and use 3rd Ed. Oxford University Press; Oxford, New York

14 Reliabilität 1. Wenn sich der Zustand der zu messenden Eigenschaft nicht verändert, dann sollte sich das Messergebnis möglichst auch nicht verändern. 2. Wenn sich der Zustand der zu messenden Eigenschaft ändert, dann sollte sich das Messergebnis möglichst auch ändern. Analog: 1. Wenn Merkmalsträger in einer bestimmten Eigenschaft den gleichen Zustand aufweisen, dann sollten sie auch das gleiche Messergebnis haben bzw. 2. Wenn Merkmalsträger sich in einer bestimmten Eigenschaft unterscheiden, dann sollten sie auch entsprechende unterschiedliche Messergebnisse aufweisen

15 Reliabilität 1. Replizierbarkeit (Wiederholbarkeit) mit gleichem Ergebnis bzw. 2. Fähigkeit zu unterscheiden Kurzform: Ein Verfahren ist reliabel, wenn seine Ergebnisse replizierbar sind und wenn es verschiedene Zustände unterscheiden kann. Nur wenn beides gegeben ist, ist auch die Reliabilität gegeben. Reliabilität wird durch Studien mit verschiedenen statistischen Verfahren untersucht.

16 Reliabilität Konzeptionalisierungen: ngen Stability Intra-Test(er)-Reliabilität Inter-Test(er)-Reliabiliät Test-Retest-Reliabilität für multi-item Instrumente Internal Consistency Reliabilität Berechnungen: ICCs (Intra-Klassen-Koeffizient): Berechnet den Anteil der wahren wahren Variabilität unter den Daten an der Gesamtvariabilität (wahre Variabilität + Messfehler) unter technischer Definition von wahr und Messfehler ; basiert auf ANOVA-Verfahren Kappa: Beobachterübereinstimmung über die aufgrund des Zufalls zu erwartende Übereinstimmung hinaus Pearsons r: Korrelation/ Übereinstimmung (Vorsicht!!!) Kruder-Richardson, Split halves Cronbach-α internal consistency

17 Verschiedene Operationalisierungen des Begriffs Reliabilität ICC Kappa r Cronbachs α Kontingenzkoeffizienten auf Basis von Chi-Quadrat etc. spiegeln verschiedene Konzepte (Begriffe, Verständnisse) von Reliabilität wider. Nicht jede Reliabilität ist die gleiche.

18 Missverständnis 3: Korrelation = Reliabilität (Übereinstimmung), oder: Kann sein, muss aber nicht Proband Untersucher 1 Untersucher 2 Systematische Abweichung bei perfekter Korrelation Untersucher Datenr r = 1 y=x Untersucher 1

19 Missverständnis 4: Ein Test ist verlässlich, wenn er (nur) reproduzierbare Resultate t erbringt, bi Reliabilität ist gleich Übereinstimmung Tester: Proband: Extrem: Immer der gleiche Messwert, ICC = 0 Reliabilität braucht Streuung

20 Probleme der Interpretation von Reliabilitätskoeffizienten Allg. Erwartung: Werte zwischen 0,5 und 0,8 Relevanter: Was sind Folgen unbefriedigender Reliabilität? Potenzielle Einflussfaktoren f auf Größe des Koeffizienten: i Verschiedene Operationalisierungen und Rechenwege Streuung des Merkmals in Population/Sample Zahl der Items (!) eines Instruments Qualifikation/Kompetenz der Untersucher Setting: Stationär, ambulant, aufsuchend Eine Interpretation eines Reliabilitätskoeffizienten ist ohne Kenntnis seines Entstehungszusammenhangs kaum möglich.

21 Dennoch sollte sich ein Test in verschiedenen Settings als möglichst reliabel erweisen. Warum möglichst? Reliabilität und Validität sind keine dichotomen Angelegenheiten. Reliabilität und Validität können immer nur in einem gewissen Grade erreicht werden Reliabilität und Validität sind relativ.

22 Missverständnis 5: Es gibt endgültig als reliabel erwiesene Instrumente There is literally no such thing as the reliability of a test, t unqualified; the coefficient i has meaning only when applied to specific populations. Reliability is relative, just as Einstein said about time (Streiner DL, Norman GR 2003, 130).

23 Verhältnis von Reliabilität zu Validität Reliabilität ist Voraussetzung für Validität (ein Verfahren, dass nicht nicht reliabel ist, kann nicht valide sein). Validität ist jedoch keine Voraussetzung für Reliabilität (man kann auch Unsinn reliabel messen).

24 Validität misst das Instrument, was es messen soll? Validität Konzeptionalisierungen: Häufig: Die 3 C s nach Lehrbuch Content (face) Validity Criterion validity Construct validity

25 Validität: Konkretisierungen Inhaltsvalidität: Anwendung qualitativer Verfahren (z.b. focus groups) aber auch gesunder Menschenverstand Kriteriumsvalidität: Vergleich mit einem Goldstandard (konkurrent), bzw. dem tatsächlich eintretenden Ereignis (prädiktiv) ; (z.b. Sensitivität und Spezifität, prädiktive Vorhersagewerte) Konstruktvalidität: Übereinstimmung (convergent) bzw. Abweichung (diskriminant) von Ausprägungen des Tests mit anderen theoretisch abgeleiteten (verwandten) Variablen. Vielfalt von Studiendesigns und statistische Verfahren zur Überprüfung von Validität.

26 Validität: modernere Konzeptionalisierung: wie zutreffend, aussagefähig, nützlich sind Schlüsse, die aufgrund der Testergebnisse bezüglich weiterer Ereignisse und Eigenschaften der Probanden gemacht werden können? Machen Sie sich nicht zu viele Gedanken über die drei Cs, wenn Sie eine gute Idee haben, wie man ein Instrument validieren kann.

27 Probleme der Interpretation von Studienergebnissen zur Validität von Asssessments: Übertragbarkeit nicht gegeben auf von Studien differierende Kontexte oder Populationen (einschl. unterschiedlicher Prävalenzen!) Estimates of validity, like those of reliability, are dependent upon the nature of the people being measured, and the circumstances under which they are being assessed (Streiner DL, Norman GR 2003, 192). Therefore, the burden of evidence in testing construct validity arises not from a single powerful experiment, but from a series of converging experiments (Streiner DL, Norman GR 2003, 9)

28 Probleme der Interpretation von Studienergebnissen zur Validität von Asssessments: Übertragbarkeit nicht gegeben auf von Studien differierende Kontexte oder Populationen (einschl. unterschiedlicher Prävalenzen!) Estimates of validity, like those of reliability, are dependent upon the nature of the people being measured, and the circumstances under which h they are being assessed (Streiner DL, Norman GR 2003, 192). Therefore, the burden of evidence in testing construct validity arises not from a single powerful experiment, but from a series of converging g experiments (Streiner DL, Norman GR 2003, 9)

29 Missverständnis 5 1/2: Es gibt endgültig validierte Instrumente Validation is a process of hypothesis testing. ( ) Rather than being constricted by the trinitarian Cs mentioned above, scale constructors are limited only by their imagination to devise experiments to test their hypotheses. ( ) Now, the important questions are: Does the hypothesis of this validation study make sense in light of what the scale is designed to measure, and Do the results of this study allow us to draw the inferences that we wish to make? (Streiner DL, Norman GR 2003, 174)

30 Missverständnis 6: In der Praxis kommt es nicht so auf Reliabilität und Validität an wie in der Forschung. Wir benutzen Instrumente für Diagnostik (ICF), Prognose und Überprüfung der Zielerreichung (stand. Ergebnismessung)!

31 Missverständnis 7: Unsere Therapie(methode) lässt sich noch nicht evaluieren. Es fehlen noch angemessene Messmethoden. Standardisierte Ergebnismessung misst Patienteneigenschaften, nicht therapeutische Verfahren. Sitzfähigkeit, Gehfähigkeit, ADL, ROM, Funktion, Beeinträchtigung durch Schmerz

32 Ermutigung zu etwas Gelassenheit die Wissenschaft baut nicht auf Felsengrund. sie ist ein Pfeilerbau, dessen Pfeiler sich von oben her in den Sumpf senken aber nicht bis zu einem natürlichen,gegebenen Grund. Wenn man hofft, dass sie das Gebäude tragen werden, beschließt man, sich vorläufig mit der Festigkeit der Pfeiler zu begnügen. (Popper 1994: S.75f.)

33 Das Wichtigste in Kürze: 1. Standard. Ergebnismessung Diagnostik 2. Die zwei eigentlichen Konzepte hins. der Güte von Messungen sind a) Reliabilität und b) Validität 3. Reliabilität und Validität sind facettenreiche Konzepte 4. Reliabilität und Validität sind keine absoluten Größen, sondern auf vielfältige Weise Kontextabhängig 5. Stand. Ergebnismessung richtet sich nach Zielen, die für den Patienten relevant sind und ist unabh. von der jew. Interventionsform 6. Praxis ist keine Entschuldigung für Mängel in Reliabilität und Validität 7. Wir können damit leben, dass es keine 100%ige Reliabilität und Validität gibt.

34 Danke für Ihre Aufmerksamkeit