Evaluationsmethodik. Ein Vergleich der Evaluationsmethoden aus 17 Interventionen der DETERMINE good practice - Datenbank

Transkript

1 Evaluationsmethodik Ein Vergleich der Evaluationsmethoden aus 17 Interventionen der DETERMINE good practice - Datenbank Ariane Lisanne Weiß Universität Maastricht 12. Juni 2010

2 Methodik Methodenerläuterung Inhalt Six - stage development model for the evaluation of health promotion (Nutbeam, 1998) Instrument: European Quality Instrument for Health Promotion (EQUIHP) Ergebnisse Bedarfsanalyse Theoretische Untermauerung Prozessevaluation Effektevaluation Allgemeine Probleme Mehrwert der DETERMINE good practice - Datenbank

3 Methodik Meta-Evaluation Instrument: European Quality Instrument for Health Promotion (EQUIHP) Stichprobe: 17 Evaluationen von Projekten der good practice- Datenbank Auswahl: Rücklauf Zugang Ausschluss von Organisationsevaluationen

4

5 European Quality Instrument for Health Promotion (EQUIHP) Beschreibt der Evaluationsreport deutlich: - Die Evaluationsfragen und ziele - Design, Methodik und Zeitrahmen - Wird eine Prozessevaluation durchgeführt, welche beachtet: Implementierung nach Plan Akzeptanz Probleme, Hindernisse und Verbesserungsvorschläge Wird eine Effektevaluation durchgeführt, welche beachtet: Längsschnittsdaten Ausschluss alternativer Erklärungen möglicher Effekte Kausalität Evaluation der Kosteneffektivität Werden Ergebnisse an Interessensgruppen und Zielgruppe weitergegeben?

6 Bedarfsanalyse Zu messen: Art, Verteilung und Ausmaß des Problems - Nature, distribution and magnitude - (Rossi, 2004) Praxis: Epidemiologische Studien in Zielpopulation: (Verteilung und Ausmaß) - Beispielfrage: Wie hoch ist der Anteil an fettleibigen Kindern in der Population? Wo/wann ist sie besonders anzutreffen? Individuelle Bedarfsanalyse in gegebener Population: (Art) Welche Unterstützung erhalten Sie von Ihrem Ehemann? Wie fühlen Sie sich in Ihrer Schwangerschaft? Partizipative Bedarfsanalyse: (Art und Ausmaß des Problems) Welches Gesundheitsproblem betrifft Sie am meisten? Was beunruhigt Sie? Was glauben Sie, müsste geändert werden, damit? Methodenmix: Existierende epidemiologische Studien & Bedarf in Interessensgruppen Komm auf Tour

7 Wichtigkeit: Theoretische Untermauerung Veränderungen erklären und voraussagen Adäquate Methoden identifizieren Theorie als Richtlinie Angewendete Arten Projektkonzepte Public Health Modelle: Sozio-ökologisches Modell von Dahlgren & Whitehead Lalonde Model der Gesundheitsfelder Evaluationsmodelle: Six stage development model for the evaluation of health promotion programmes (Nutbeam, 1998)

8 Prozessevaluation Allgemeines Implementierung nach Plan Akzeptanzanalyse Probleme und deren Lösungen

9 Allgemein EQUIHP Kriterien: Implementierung nach Plan Akzeptanz Probleme, Hindernisse und Verbesserungsvorschläge Ergebnisse: ~70% führten Prozessanalyse durch Große Qualitätsunterschiede Wenige Evaluationen erfüllten alle Kriterien

10 Implementierung nach Plan Wie war die Intervention geplant? Wich die Praxis vom Geplanten ab? Methoden: Dokumentenanalyse Beobachtungen Systematische Aufzeichnungen Direkte und indirekte Erfüllung des Kriteriums: Direkte Erfüllung: Nutbeam s Evaluationsmodell, EQUIHP? Indirekte Erfüllung: Ohne Evaluationstheorie oder Richtlinie Auswirkung: Verständnis, Vergleichbarkeit

11 Akzeptanzanalyse Bewertungen der Teilnehmer Akzeptanzanalyse Theorie: Nutbeam (1998): Relevanz, Machbarkeit Gefühl der Zugehörigkeit ownership Praxis: Herleitung von Meinungen über Aktivitäten und Materialien Wie gefällt Ihnen der Kochworkshop? Wie bewerten Sie den Gesundheitsleitfaden? Qualitätsunterschiede: Umfang, Strukturiertheit, Verständlichkeit

12 Probleme und Problemlösungen Bezug zu: Implementierung: ausführlich, Beispiele Eine Problematik war in der Erreichbarkeit der Zielgruppe zu erkennen Generell: Es ist zu empfehlen, Fragestellung und Ziele genauer zu stellen Akzeptanzanalyse: Nur Perspektive der Teilnehmer!!! Ich fand es problematisch, dass die Hälfte der Zeit für das Aufräumen und Spülen genutzt werden musste

13 Effektevaluation Prospektive Daten Ausschluss alternativer Erklärungen möglicher Effekte Kosten-Nutzen-Analyse

14 Prospektive Daten (Baseline data) Erfüllt: Nur bei Längsschnittstudien Methodik: Befragung schriftlich/ (mündlich) Methodenmix! Teilweise erfüllt: Vorgegeben: Längsschnittstudie Umsetzung: Vergleich exponierte und nicht exponierte Gruppe Nicht erfüllt: Wahrgenommene Effekte Wie hat sich die Schulung auf Ihre Gesundheit ausgewirkt? Interviews, Inhaltsanalyse

15 Ausschluss alternativer Erklärungen Erfüllt: Interventionsstudien: Kontrollgruppe & Erläuterung Teilweise: Kontrollgruppe Nicht erfüllt: Keine Erwähnung alternativer Erklärungen Keine Kontrollgruppe

16 Kosten-Effektivität Erfüllt: A cost-utility analysis of preventive home visits in Nordmaling Die Schulung von Älteren, für sich selbst zu sorgen RCT, stratifiziert Effekte: QUALYs, gewonnene Lebensjahre Kosten: Kosten (Nutzung) *Standardwert Zusätzliche Kosten durch gewonnene Jahre Teilweise erfüllt: Kostenschätzung Identifizierung der genutzten Ressourcen Errechnung Opportunitätskosten

17 Allgemeine Probleme Unterschied: Theorie & Praxis EQUIHP: clearly underlined? Nicht streng wissenschaftlich Evaluationen teilweise unstrukturiert Lesbarkeit Vergleichbarkeit Nutzung der Daten für den Transfer einer Intervention

18 Mehrwert der good practice - Datenbank Bietet Zugang zu vergleichbaren Interventionen/ Evaluationen Bietet Möglichkeiten: Die momentane Praxis zu erkennen Gute Praxis zu übernehmen Probleme aufzudecken Sie macht das Unsichtbare sichtbar!! Basis für kommende Richtlinien