Bewertung der Qualität wissenschaftlicher Studien

Größe: px

Ab Seite anzeigen:

Download "Bewertung der Qualität wissenschaftlicher Studien"

Gabriel Baumann
vor 7 Jahren
Abrufe

1 Bewertung der Qualität wissenschaftlicher Studien Summer School 2. bis 6. September 2013 Daria Langner WINEG Wissenschaftliches Institut der TK für Nutzen und Effizienz im Gesundheitswesen

2 Inhalt 1. Qualität im Gesundheitswesen 2. Warum bewerten wir Studien? 3. Methoden der Qualitätsbewertung 4. Praktische Übung

3 Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und bedarfsgerechte, an der Lebensqualität orientierte, fachlich qualifizierte, aber auch wirtschaftliche medizinische Versorgung mit dem Ziel, die Wahrscheinlichkeit erwünschter Behandlungsergebnisse bei Individuen und in der Gesamtbevölkerung zu erhöhen" (ÄZQ 2010) Um im Versorgungsalltag die richtigen Entscheidungen treffen zu können, brauchen wir qualitativ hochwertige Studien, die uns dabei unterstützen. Quellen:

Versorgung mit dem Ziel, die Wahrscheinlichkeit erwünschter Behandlungsergebnisse bei Individuen und in der Gesamtbevölkerung zu erhöhen"

4 Definition: Studienqualität The extent to which all aspects of a study s design and conduct can be shown to protect against systematic bias, nonsystematic bias, and inferential error. (Lohr & Carey, 1999) Wie bewertet man die Qualität wissenschaftlicher Studien, mit objektiven Standards oder nach Bauchgefühl? oder beidem?

5 Warum bewerten wir Studien? Die Bewertung von Studien dient dem praktischen Nutzen im Versorgungsalltag; im Folgenden einige Beispiele: Informationen zu diagnostischen Verfahren (z.b. Testgenauigkeit) Evidenzsynthese, also die Zusammenfassung mehrerer Studien zu einem "großen" Ergebnis (z.b. Systematische Reviews, Metaanalysen) Erstellung von Handlungsempfehlungen und Leitlinien (z.b. HTA-Berichte, ärztliche Leitlinien, Patienteninformationen/ Entscheidungshilfen) Erstellung ökonomischer Analysen (z.b. Kosten-Effektivitätsanalysen, Kosten- Nutzenanalysen) Qualitative Forschung zur Erschließung eines Themengebiets/ einer Problemstellung (z.b. Fokusgruppeninterviews) Darstellung psychometrischer Instrumente (z.b. Fragebogenvalidierung) Zielgruppen sind, je nach Themengebiet direkt oder indirekt, Patienten und Versicherte, Ärzte und andere Leistungserbringer, Kostenträger, Politiker etc.

b. Kosten-Effektivitätsanalysen, Kosten- Nutzenanalysen) Qualitative Forschung zur Erschließung eines Themengebiets/ einer Problemstellung (z.b. Fokusgruppeninterviews) Darstellung psychometrischer Instrumente (z.

6 Studienqualität - was macht den Unterschied? "If you are deciding whether a paper is worth reading, you should do so on the design of the methods section and NOT on the interest value of the hypothesis, the nature or potential impact of the results or the speculation in the discussion." (Greenhalgh 2001) Leitfragen zum Nutzen von Studien: Was ist eine gute Studie? Was ist eine gute Publikation? Welche Rückschlüsse lassen sich aus den Ergebnissen ziehen? Wie implementieren wir die Studienergebnisse in den Versorgungsalltag?

interest value of the hypothesis, the nature or potential impact of the results or the speculation in the discussion.

7 Studienqualität - was macht den Unterschied?

8 Studienqualität - was macht den Unterschied? P I C O Patient population (Patient und seine Eigenschaft) Intervention (d.h. Behandlung) Comparison (Alternativmaßnahme oder keine Behandlung) Outcome, d.h. das Behandlungsziel (z.b. Mortalität, Lebensqualität)

9 Interne vs. Externe Validität Interne Validität beschreibt die Wahrscheinlichkeit, inwieweit die Studienergebnisse die "wahren" Effekte einer Exposition/Intervention darstellen und daher glaubwürdig sind beschreibt das Ausmaß von Zufallsfehlern, Confounding und Bias Externe Validität beschreibt die Generalisierbarkeit bzw. Übertragbarkeit der Studienergebnisse auf Personen, die nicht an der Studie teilgenommen haben Voraussetzung für die externe Validität ist die interne Validität, also die "Richtigkeit" der Studienergebnisse!

Exposition/Intervention darstellen und daher glaubwürdig sind beschreibt das Ausmaß von Zufallsfehlern, Confounding und Bias Externe

10 Warum wir uns Studien ganz genau anschauen müssen Quellen: Greenhalgh T (2010): How to read a paper: The basics of evidence based medicine. Fourth Edition. BMJ Books.

11 Kurze Wiederholung: Types of Biases in RCT's Target Population (baseline state) Allocation Selection bias systematic differences in the comparison groups attributable to incomplete randomisation Intervention group Control group Performance bias systematic differences in the care provided apart from the intervention being evaluated Exclusion/ Attrition bias systematic differences in withdrawals from the trial Exposed to intervention Follow-up Not exposed to intervention Follow-up Detection bias systematic differences in outcome assessment Outcomes Outcomes Publication bias Interpretation bias Quellen: Greenhalgh T (2010): How to read a paper: The basics of evidence based medicine. Fourth Edition. BMJ Books.

Attrition bias systematic differences in withdrawals from the trial Exposed to intervention Follow-up Not exposed to intervention Follow-up Detection bias systematic differences

12 Instrumente zur Bewertung der Studienqualität

13 Instrumente zur Qualitätsbewertung Bewertung von RCT's: CONSORT Statement Quelle:

14 Instrumente zur Qualitätsbewertung Bewertung von Systematischen Reviews: PRISMA-Statement (ehemals QUOROM) Quelle:

15 Instrumente zur Qualitätsbewertung Bewertung der Qualität von Leitlinien: AGREE Instrument Quelle:

16 Instrumente zur Qualitätsbewertung Bewertung der Qualität von diagnostischen Studien: STARD Statement Quelle:

17 Instrumente zur Qualitätsbewertung Bewertung der Qualität von qualitativen Studien: ENTREQ Quelle:

18 Instrumente zur Qualitätsbewertung Bewertung der Qualität von Beobachtungsstudien: STROBE Statement Quelle:

Statement Quelle: http://download.journals.

19 Praktische Übung I Aufgabenstellung: 1. Bitte lesen Sie sich die wichtigsten Aspekte des CONSORT-Statements durch. 2. Lesen Sie die Studie, achten Sie dabei insbesondere auf die in der Checkliste des CONSORT-Statements beschriebenen Themenbereiche. 3. Diskutieren Sie in der Gruppe Ergebnisse und Probleme. Wie schwierig/einfach war es für Sie, die Qualität der Studie richtig einschätzen zu können? Welche Aspekte der Checkliste sind Ihrer Einschätzung nach die wichtigsten? Wofür ist eine Bewertung wie diese notwendig?

3. Diskutieren Sie in der Gruppe Ergebnisse und Probleme.

20 Praktische Übung II Studie 1 Studie 2 Studie 3 Studiendesign?????? Population???????????? Ergebnisdarstellung?????? Gesamtbewertung??????

21 Fazit Instrumente zur Qualitätsbewertung unterstützen uns, wichtige Aspekte beim Lesen von Primär- und Sekundärliteratur zu berücksichtigen Damit können wir Ergebnisse und ihre Übertragbarkeit in den Alltag bewerten Es gibt keine "perfekte" Studie! Wichtig ist, eine annähernd "perfekte" Darstellung der Studienergebnisse zu erzielen (Methodenkapitel, Limitationen etc.) Transparenz!

22 Hilfreiche Quellen: und eine besonders hilfreiche Quelle: Greenhalgh T (2010): How to read a paper: The basics of evidence based medicine. Fourth Edition. BMJ Books.

23 Noch eine Abschlussfrage Wie bewertet man die Qualität wissenschaftlicher Studien, mit objektiven Standards oder nach Bauchgefühl? mit beidem!! und mit sehr viel Übung!!

24 Herzlichen Dank für Ihre Aufmerksamkeit! Kontakt: "Ein Medikament kann als wirksam bezeichnet werden, wenn dessen Begleiterscheinungen die Gesundheit weniger gefährden, als die Krankheitsursache" Zitat von Daniel Mühlemann (*1959), Naturfotograf, Aphoristiker und Übersetzer

Ähnliche Dokumente

Information in der Medizin Expertenmeinung bis Leitlinie. Sylvia Stracke Leiterin des Bereichs Nephrologie + Rheumatologie

Information in der Medizin Expertenmeinung bis Leitlinie Sylvia Stracke Leiterin des Bereichs Nephrologie + Rheumatologie Definition Leitlinien Empfehlungen Standards Consensus statements Richtlinien Nationale