Wirkungen professionellen Handelns sichtbar machen aber wie?

Transkript

1 Angebot 16 Wirkungen professionellen Handelns sichtbar machen aber wie? Praxistagung vom 29. Januar 2014 Prof. Dr. Edgar Baumgartner Dr. Sigrid Haunberger

2 Programm Begrüssung Einstiegsfragen zum Thema Input 1: Grundlagen zur Messung von Wirkungen Input 2: Beispiele für Wirkungsevaluationen gemäss Realistic Evaluation Diskussion zu den Inputs PAUSE Gruppenarbeit Diskussion Ergebnisse der Gruppenarbeit 2

3 Einstiegsfragen zum Thema Sind die folgenden Aussagen zutreffend (ja oder nein)? In unserer Organisation evaluieren wir regelmässig und systematisch unsere Leistungen In unserer Organisation werden die Wirkungen unserer Leistungen erfasst In unserem Praxisfeld ist die Messung der Wirkungen unserer Leistungen besonders schwierig In unserer Organisation wissen wir viel darüber, wie unsere Interventionen wirken und was die Bedingungen für erfolgreiche Interventionen sind 3

4 Input 1 Grundlagen zur Messung von Wirkungen

5 Wirkungsorientierung Zumutung oder Chance? Wirkungsorientierung ist eigentlich eine professionelle Selbstverständlichkeit Wirksamkeit ist die zentrale Leitorientierung aller Professionen Gesellschaftliches Mandat von Professionen begründet sich seit jeher mit einer Wirkungserwartung: professionelle Problembearbeitung sorgt für eine positive Wirkung bzw. einen Nutzen bei den Problembetroffenen («Wirksamkeit») professionelle Problembearbeitung bringt bessere Problemlösungen hervor als andere, kostengünstigere oder gar kostenlose Formen («Effizienz») Frage: Wie ist die Untersuchung von Wirkungen in der Sozialen Arbeit sinnvoll auszugestalten? 5

6 Grundlagen Funktion und Setting Evaluation / Wirkungsmessung Funktion: Summative Funktion Wirksamkeit nachweisen, Analyse der Zielerreichung, Ist-Soll-Vergleich Formative Funktion Analyse von Wirkfaktoren, der Bedingungen von Erfolg / Misserfolg Setting: Selbstevaluation: das eigene Handeln evaluieren Fokus: Sozialberatende evaluieren ihre eigene Praxis Fremdevaluation: Handeln anderer Personen evaluieren Fokus: externe Forschende evaluieren die Praxis der Sozialen Arbeit 6

7 Grundlagen Designs: experimentelle Designs Wirkungen: Veränderungen (bei der Zielgruppe) sind kausal auf eine Intervention / Massnahme zurückzuführen Frage: Anwendung von Experimenten als klassisches Evaluationsdesign für den Nachweis der Wirksamkeit bzw. von Wirkungen sinnvoll? Elemente von Experimenten: Randomisierung: zufällige Zuordnung von Personen zu Experimentalgruppe (mit Intervention) und Kontrollgruppe (ohne Intervention) Vergleich: Vorher- / Nachher sowie mit / ohne Massnahme bzw. Intervention 7

8 Grundlagen Realistic Evaluation Fokus: Wirkungsprozesse beschreiben Ansatz: Realistic Evaluation Annahmen: Programme und Interventionen haben je nach Kontext unterschiedliche Wirkungen. Mechanismen wirken immer abhängig vom lokalen, historischen, soziokulturellen und institutionellen Umfeld. 8

9 Grundlagen Zielbezogenheit von Wirkungen Untersuchung von Wirkungen setzt voraus: Klärung der Ziele - Interventions- oder Programmziele Entscheid, aus welcher Perspektive (z.b. der Klientel, des Gesetzgebers, der Sozialberatenden usw.) die Ziele formuliert werden Entscheid, ob auch nicht-intendierte Wirkungen einbezogen werden intendierte Wirkungen: durch das Programm ausgelöste Effekte, die mit den Interventionszielen übereinstimmen nicht-intendierte Wirkungen: durch das Programm ausgelöste Effekte, die nicht mit den Programmzielen übereinstimmen bzw. ihnen widersprechen 9

10 Input 2 Wirkungen professionellen Handelns sichtbar machen aber wie? 3 Beispiele

11 Wirkungen einfaches Input Output Modell 11

12 Realistic Evaluation - Grundlagen Erster Schritt: Entwicklung von «Kontext-Mechanism-Outcome (KMO) Konfigurationen», die Aussagen über Zusammenhänge zwischen Kontexten, Mechanismen und Wirkungen aufzeigen 1. Wirkung (Outcome): Welche praktischen Effekte werden durch die verursachenden Mechanismen produziert? 2. Kontext: Welche Bedingungen sind erforderlich um bestimmte Wirkungsmuster zu produzieren? 3. Mechanismus: Was an einer Massnahme führt zu einem bestimmten Wirkungsmuster? 4. KMO-Konfigurationen: Wie werden Kontexte und Mechanismen verändert, so dass Wirkungen ausgelöst werden? 12

13 Realistic Evaluation - Grundlagen K+M=O Kontext allgemeine Rahmenbedingungen einer Institution, gekoppelt an gesellschaftliche, politische und administrative Faktoren Mechanismus sämtliche Handlungen zwischen Leistungsempfänger und Leistungserbringer Outcome sämtliche Erfolge und Misserfolge 13

14 Beispiel 1: Realistische quasiexperimentelle Wirkungsanalyse Früher Hilfen (in Deutschland) Hintergrund Ziel Vorgehen Modellprojekt Risiken im Aufwachsen von Kindern und familiale Krisen möglichst früh erkennen und frühzeitig Hilfe anzubieten Wirkungsevaluation des Besuchsdienstes im Rahmen Sozialer Frühwarnsysteme und Früher Hilfen Vorher-Nachher Messung, Clusteranalyse typischer Fälle 1 Wirkung einheitliches Wirkungsziel: elterliche Erziehungskompetenzen 2 Kontext komplexes Zusammenspiel zwischen Schutz- und Risikofaktoren 3 Mechanismus allgemeine Lebenszufriedenheit und Selbstwirksamkeit 4 KMO- Klärung vor Beginn: Was könnte für wen unter welchen Konfiguration Bedingungen wirken? 14

15 Beispiel 2: Evaluation eines Gesundheitsförderungsprogramms in Schulen (in Frankreich) Hintergrund Programm soll soziale, emotionale und physische Gesundheit von Kindern fördern, Beitrag zum Wohlbefinden an Schulen und Lebenskompetenzen schützen Ziele Vorgehen Mechanismen und Kontext verstehen, durch diese Gesundheitsförderung in Schulen wirkt CMO Konfiguration: Literaturstudium, Interviews mit Stakeholdern/ Teilnehmenden des Programms, die eine Schlüsselrolle spielen Mixed-methods design: erster Schritt induktiv, zweiter Schritt deduktiv Instrumente: vier Fragebögen (Kinder, Lehrpersonen, Familien, Schule), Halbstrukturierte Interviews zwei Gruppen (Schulkontext) und (Mitarbeitende des Projekts) 15

16 Beispiel 3: Steps into Realistic Evaluation in Social Work in Finland Hintergrund Ziele Vorgehen Pilotprojekt, dass Wirkungsevaluationen in den Arbeitsalltag von Sozialarbeitenden (Case Management) integriert, Rehabilitation von Suchtmittelabhängigen Warum haben Interventionen einen Effekt? Methode Einzelfall-Evaluation, die individuellen Lebensumstände der Klientel berücksichtigt Klärung KMO-Zusammenhänge, Konkretisierung der KMO, Entwicklung von Instrumenten für Einzelfallevaluation, Mehrere Messzeitpunkte (Outcome: Alltagsbewältigung, Gesundheitszustand) Möglich als Einzelfallmessung oder Gruppenmessung 16

17 Realistic Evaluation als Rahmen für Wirkungsmessungen 17

18 Schlussfolgerungen aus den Beispielen Prospektives Längsschnittdesign zur Abbildung von Veränderung unerlässlich Veränderungsmessung durch mehrere Messzeitpunkte auf Einzelfallebene erheben kann auf höhere Ebenen aggregiert werden Ergebnisqualität (Outcome) -> Ziele der Intervention vor Beginn der Wirkungsevaluation festlegen auch Prozessqualität (Kontext und Mechanismen) erfassen intendierte und nicht-intendierte Wirkungen erfassen 18

19 Literatur Beispiel 1: Böttcher, Wolfgang (2009). Soziale Frühwarnsysteme und Frühe Hilfen. Expertise zum 9. Kinder- und Jugendbericht der Landesregierung NRW. Beispiel 2: Pommier, Jeanine; Guével, Marie-Reneé; Jourdan, Didier (2010). Evaluation of health promotion in schools: a realistic evaluation approach using mixed methods. BMC Public Health, 10:43. Beispiel 3: Högnabba, Stina et al. (2005). Steps into Realistic Evaluation in Social Work in Finland. S In: Peter Sommerfels (Hg.) Evidence- Based Social Work Towards a New Professionalism? Peter Lang. 19

20 Gruppendiskussion Bitte bilden Sie Gruppen mit max. 5 Personen pro Gruppe und diskutieren Sie folgende Fragen: Sind die genannten Schlussfolgerungen (von Folie 18) in Ihrem Handlungsfeld anwendbar? Falls nicht: Worin liegen die Schwierigkeiten der Anwendung? Ist der Rahmen der Realistic Evaluation für Sie geeignet, um Wirkungen in Ihrem Handlungsfeld sichtbar zu machen? Sie haben etwa 40 Minuten Zeit! 20