Realistic Evaluation als Werkzeug der (Wirkungs-)evaluation in der Sozialen Arbeit? Ergebnisse einer systematischen Literaturreview

Transkript

1 Realistic Evaluation als Werkzeug der (Wirkungs-)evaluation in der Sozialen Arbeit? Ergebnisse einer systematischen Literaturreview Dr. Sigrid Haunberger unter Mitarbeit von Edgar Baumgartner und Roland Baur Präsentation in der Sektionsveranstaltung der ÖGS-Sektion Soziale Arbeit Österreichischer Soziologiekongress 2015 ( ) Universität Innsbruck

2 1. Ansatz der Realistic Evaluation Verschiebung der Fragestellung: nicht: Wirkt ein Projekt/ eine Massnahme? sondern: Wie wirkt ein Projekt/ eine Massnahme für wen, unter welchen Bedingungen, in welchem Umfang? -> vielversprechender Evaluationsrahmen: Realistic Evaluation (Pawson/Tilley 1997) Zentrale Begriffe: Kontexte (K): politische, soziale, organisationale oder individuelle Ebene Mechanismus (M): wird nur unter bestimmten Bedingungen in bestimmten Kontexten ausgelöst Outcome (O): beobachtbare/ messbare Veränderungen 2

3 1. Ansatz der Realistic Evaluation Ziel: KMO-Konfigurationen auffinden Interventionen erzeugen nur dann Wirkungen, wenn diese in einem konkreten Kontext Wirkungszusammenhänge aktivieren -> derselbe Wirkungszusammenhang kann in unterschiedlichen Kontexten zu unterschiedlichen Outcomes führen 3

4 1. Ansatz der Realistic Evaluation Beispiel 1: Prävention Kindeswohlgefährdung (Böttcher 2009) Kontext Mechanismus Outcome Schutz- und Risikofaktoren kindbezogene Einflüsse, externe Einflüsse, allgemeine Lebenszufriedenheit, allgemeine Selbstwirksamkeit, elterliche Kompetenzüberzeugung elterliche Erziehungskompetenz Beispiel 2: Qualitätsmanagement im Gesundheitssystem (Blaise/Kegels 2004) Kontext Mechanismus Outcome Europa, Afrika Implementation Qualitätsmanagement Wandel der Organisationsstruktur 4

5 2. Systematische Literaturreview Schritt 5 Synthese der Ergebnisse Kann der Ansatz einer Realistic Evaluation (RE) zur (Wirkungs-)evaluation in der Sozialen Arbeit sinnvoll angewendet werden? Warum wird die RE angewendet? Welche Forschungsperspektiven existieren im Hinblick auf RE? Welche Forschungsmethoden werden zur Umsetzung der RE angewendet? Welche ungelösten Forschungsprobleme existieren für die RE? Welches sind die zentralen (methodischen) Forschungsergebnisse? 5

6 2. Systematische Literaturreview Schritt 5 Synthese der Ergebnisse acht elektronische Literaturdatenbanken aus den Fachbereichen Gesundheit, Erziehungswissenschaft, Psychologie, Soziologie, Medizin und Pflegewissenschaft, Soziale Arbeit ERIC (ProQuest); Health Source: Nursing/ Academic Edition; IBSS; Medline (ProQuest); PsycInfo; Sociological Abstracts + Social Service Abstracts; Web of Science; WISO zusätzlich google.scholar wegen «grauer Literatur» Schlagwörter: «realistic evaluation» ODER «realist evaluation» ODER «realist approach» Zeitraum der Recherche März bis Juni

7 2. Systematische Literaturreview Schritt 5 Synthese der Ergebnisse a priori festgelegte Einschluss- und Ausschlusskriterien Beispiel für Einschlusskriterien: Volltext der Publikation in deutscher oder englischer Sprache Titel oder Abstract weisen darauf hin, dass RE in einem Handlungsfeld der Sozialen Arbeit (oder angrenzendem Gebiet) angewandt wurde Publikationszeitraum: Beispiel für Ausschlusskriterien: keine direkte Anwendung der RE systematische Reviews mittels realist review 7

8 2. Systematische Literaturreview Schritt 5 Synthese der Ergebnisse Abbildung: Such- und Auswahlstrategie Grundlage der Literaturreview: 33 Publikationen 8

9 2. Systematische Literaturreview Schritt 5 Synthese der Ergebnisse Grundlage: 33 Publikationen Grossbritannien (58%), USA/Kanada (9%), Deutschland (9%), Australien (6%), vereinzelt aus Belgien, Finnland, Frankreich, Irland, Italien, Niederlande Fachartikel (94%), Buchkapitel (3%), Forschungsbericht (3%) 26 verschiedene Journals Soziale Arbeit (33%), Soziale Arbeit und Gesundheitswesen (39%), Pflegewissenschaft (18%), Restkategorie (9%) 9

10 2. Systematische Literaturreview Schritt 5 Synthese der Ergebnisse Analysenrahmen: Phasen WARUM WAS WIE ERGEBNIS IMPLIKATION (1) Warum wird die Realistic Evaluation angewendet (Begründungen)? (2) In welchen Anwendungsbereichen findet die Realistic Evaluation Verwendung? (3) Welche Forschungsmethoden werden zur Umsetzung der Realistic Evaluation angewendet? (4) Welche methodischen Anwendungsprobleme existieren für die Realistic Evaluation? (5) Welches sind die zentralen methodischen Implikationen? (in Anlehnung an Dibbern et al. 2004) 3 unabhängige Reviewer Berechnung der Interrater-Reliabilität (Cohens-Kappa) 10

11 2. Systematische Literaturreview Schritt 5 Schritt 5 Synthese der Ergebnisse Frage 1: Warum wird die RE angewendet? 85% der Autorenteams begründen Anwendung der RE Überwindung der Schwachstellen herkömmlicher Evaluationen (Boydell/Rugkasa 2007, Duguid/Pawson 1998, Greenhalgh et al. 2009, Kazi 2003, Secker et al. 2005, Timmins/Miller 2007) Notwendigkeit einer «Theorie mittlerer Reichweite» als Analyserahmen (Byng et al. 2005, Hoddinott et al. 2010, Leone 2008, Pittam et al. 2010, Redfern et al. 2003, Wand et al. 2010) Bedeutung des Kontextes (Campion et al. 2008, Kennedy et al. 2005, Pommier et al. 2010, Rycroft- Malone et al. 2011) keine einfachen Ursache-Wirkungszusammenhänge (Böttcher 2009) Identifikation «sozialer Regelmässigkeiten» (Evans/Killoran 2000) 11

12 2. Systematische Literaturreview Schritt 5 Schritt 5 Synthese der Ergebnisse Frage 2: In welchen Anwendungsbereichen findet die RE Verwendung? hauptsächlich Evaluation von Programmen und Projekten auf Meso- und Makroebene, seltener Evaluation psychosozialer Interventionen auf Mikroebene hauptsächlich Evaluation von Implementationen, weniger auf Effekte/ Outcomes gerichtet hauptsächlich im Bereich Soziale Arbeit/ Gesundheitswesen (61%), Kinder- und Jugendhilfe (18%), restliche Themengebiete (21%) 12

13 2. Systematische Literaturreview Schritt 5 Schritt 5 Synthese der Ergebnisse Frage 3: Welche Forschungsdesigns und Forschungsmethoden werden zur Umsetzung der RE angewendet? «Theorie» als Ausgangsbedingung in etwa 48% z.b. Capabilities-Ansatz (Albus et al. 2009), Organisationsmodell von Mintzberg (Blaise/Kegels 2004) a priori KMO-Konfigurationen in etwa 33%, a posteriori KMO-Konfigurationen in etwa 44% nur qualitativ: 18%, nur quantitativ: 15%, mixed-method qualitativ/qualitativ: 42%, mixed-method qualitativ/quantitativ: 27% 13

14 2. Systematische Literaturreview Schritt 5 Schritt 5 Synthese der Ergebnisse Frage 4: Welche methodischen Anwendungsprobleme existieren für die RE? methodischen Anwendungsprobleme werden in etwa 40% diskutiert Schwächen von Programmevaluationen im Allgemeinen: fehlende Vorher-Messung, Zeitraum zwischen Datenerhebung und Rückmeldung an Beteiligte schwer zu entscheiden, welche Faktoren als Kontext oder Mechanismus betrachtet werden keine singulären KMO-Konfigurationen Feedback-Schlaufen 14

15 2. Systematische Literaturreview Schritt 5 Frage 5: Welches sind die zentralen methodischen Implikationen? es gilt Designs von Wirkungsevaluationen zu finden, die Effekte valide und praxisrelevant analysieren (Böttcher 2009) Schritt 5 Synthese der Ergebnisse Auffinden von KMO-Konfigurationen mehr interpretative als logisch-deduktive Aufgabe (Greenhalgh et al. 2009) kein «one-fits-all» Ansatz (Patsios/Carpenter 2010), da Mechanismen kontextabhängig sind RE mehr als Perspektive denn als Methode zu betrachten (Kazi 2011; Tolson et al. 2007) klassische Evaluationsfragen werden (auch) mittels RE nicht gelöst (Greenhalgh et al. 2009) 15

16 3. Fazit für RE gelten dieselben Voraussetzungen wie für andere Evaluationen auch (Kromrey 2001) RE vielversprechend für Implementationsforschung (Rycroft-Malone et al. 2011) RE vielversprechend als Rahmenwerk zur Zusammenarbeit zwischen Wissenschaft und Praxis (Högnabba et al. 2005) keine Musterlösungen aus dem Kochbuch der Methodenlehre aber: für RE wird mixed-method Design empfohlen (Kazi 2003, Kazi et al. 2012, Orme et al. 2009, Rycroft-Malone et al. 2011) Ausweitung der Perspektive: RE als Evaluationszyklus, als iterativer Prozess, setzt a priori definierte KMO-Konfigurationen voraus 16

17 Besten Dank für Ihre Aufmerksamkeit! 17