Evaluation von Qualitätskriterien der Gesundheitsförderung: Potentiale und Grenzen der Professionalisierung

Transkript

1 an institute of the Evaluation von Qualitätskriterien der Gesundheitsförderung: Potentiale und Grenzen der Professionalisierung Mag. Daniela Rojatz Mag. Dr. Martina Nitsch Mag. Gerlinde Rohrauer-Näf, MPH Mag. Dr. Karin Waldherr LBIHPR: A-1020 Vienna, Untere Donaustraße 47, Austria FAX - 50 in cooperation with: Co-funded by:

2 Agenda Hintergrund Entwicklungsprozess eines Instrumentes zur Evaluation von Qualitätskriterien der Gesundheitsförderung (GF) Herausforderungen Programmebene Projektebene Aktuelle Umsetzung Umsetzung bei Selbstevaluation und externer Evaluation Gegenüberstellung der geplanten & realisierten Umsetzung 2

3 HINTERGRUND 3

4 Fonds Gesundes Österreich (FGÖ) zentrale Kompetenzstelle für Gesundheitsförderung und Primärprävention in Österreich jährliches Budget: 7,25 Mio. Euro Hauptaufgaben: Projektförderung und FGÖ-konzipierte Initiativen Projektförderung: 1/3-2/3 der Projektkosten (min bzw Euro) 2012: 88 neue Projekte, 129 abgeschlossen (FGÖ 2013) Evaluation und Qualitätsentwicklung wichtiger Bestandteil des Projektmanagements Beitrag zur Weiterentwicklung von GF-Maßnahmen externe Evaluation verpflichtend für Projekte ab Euro 4

5 Hintergrund Formative Programmevaluation des FGÖ die Eckdaten Ziel systematisches, projektübergreifendes Lernen aus geförderten Projekten Grundlage für gezielte Weiterentwicklung der Förderpraxis Sensibilisierung bez. der systematischen Integration von Prinzipien der GF Intention: EIN Instrument für alle Projekte (FGÖ-Evaluationsbogen) Evaluationsgegenstand Programmebene Projekt Projekt Projekt Projekt Projekt Projekt Projekt Projekt Projekt Projekt Projekt Projekt 5

6 ENTWICKLUNG DES FGÖ- EVALUATIONSBOGENS 6

7 Vorgangsweise und handlungsleitende Prinzipien Vorgangsweise Anschluss an bisherige Praxis (Selbst-/externe Evaluation) Entwicklung des FGÖ Evaluationsbogens Feedbackschleifen mit FGÖ und Evaluator/inn/en Handlungsleitende Prinzipien Nutzenorientierung Anwendbarkeit des Instruments in der Praxis 7

8 Entwicklungsprozess - Ausgangsbasis Definition von Grob- /Programmzielen (= Grundprinzipien der GF) Wirkmodell* Qualitätskriterien für Antragssteller/innen Indikatoren für die Evaluation FGÖ Evaluationsbogen *Waldherr et al

9 HERAUSFORDERUNGEN Auf Programm- und Projektebene 9

10 Herausforderungen der Professionalisierung/Systematisierung Heterogene Projekte Komplexe GF-Konzepte Evaluationsbogen Ressourcen für Evaluation Heterogene Kompetenzen d. Evaluator- /inn/en Programmebene: Generierung von systematischen, projektübergreifendem Wissen Projektebene: unterschiedliche Kompetenzen und Ressourcen für Evaluation 10

11 Herausforderung auf Programmebene - Operationalisierung von GF-Konzepten Operationalisierung komplexe und/oder fehlende GF-Konzepte Komplexitätsreduktion/Fokussierung notwendig, um handlungsfähig zu bleiben Beispiel Nachhaltigkeit kein einheitliches Konzept Übertragung eines Konzeptes aus Entwicklungszusammenarbeit (Stockmann, 2006) Statische N. Dynamische N. Nachhaltigkeit Transfer Systemische N. Aussagen über künftige Entwicklungen schwierig 11

12 Herausforderung auf Programm- und Projektebene - Heterogene Projekte Verschiedene Themen und Settings praxisorientierte Projekte in allen Settings Betriebliche Gesundheitsförderung/ Kommunale Gesundheitsförderung Unterschiedliches Projektvolumen/ Fördersumme Mind (tw. ab Euro) bis über Euro unterschiedliche Ressourcen für Evaluation (ca. 10%) für Evaluation für Evaluation unterschiedliche Anforderungen bezüglich Evaluation Selbstevaluation externe Evaluation 12

13 Herausforderungen auf Projektebene Selbstevaluation vs. externe Evaluation (Mayne 1994; Sonnichsen 1994, Stockmann, Meyer 2010 zit.n. Balthasar 2012: 174) Unabhängigkeit Selbstevaluation Vermischung zwischen Projektund Evaluationsebene Externe Evaluation Größer, aber ev. ökonomische Bindung Aufwand < > Feldkenntnisse + (-) Methodenkompetenz (-) + GF-Fachkenntnisse (-) ~ Kenntnis/Beachtung von Evaluationsstandards (-) + 13

14 LÖSUNGSPROZESS UND AKTUELLE UMSETZUNG 14

15 (vorläufige) Lösung: Formale Anforderungen in Abhängigkeit von Fördersumme Beantragte Fördersumme Anforderungen < Ausführliche und nachvollziehbare Projektdokumentation; optionale Evaluation Art der Evaluation bis Evaluationspflicht wahlweise Selbstevaluation oder externe Evaluation > [ursprünglich: ] Evaluationspflicht - verpflichtende externe Evaluation; optionale Selbstevaluation Quelle: FGÖ (2013): Factsheet Evaluation. 15

16 (vorläufige) Lösung: Inhaltliche Anforderungen Phase Selbstevaluation Externe Evaluation Antragstellung Beschreibung des Evaluationskonzepts mit Fokus auf die Fragen in den Vorlagen für Controlling- und Endbericht Projektverlauf Beschreibung der Evaluationsprozesse und Zwischenergebnisse in den Controllingberichten Projektende Beschreibung des Evaluationskonzepts, der Evaluationsprozesse und - ergebnisse im Endbericht Quelle: FGÖ (2013): Factsheet Evaluation. Upload von mindestens 2 Evaluations- Angeboten im Projektguide Upload der Angebotsbewertung und des begründeten Auswahlvorschlags im Projektguide Beschreibung des Evaluationskonzepts im Projektguide Beschreibung der Evaluationsprozesse und ggf. Zwischenergebnisse in den Controllingberichten Beschreibung des Evaluationskonzepts, der Evaluationsprozesse und -ergebnisse im Endbericht Detaillierte Beschreibung des Evaluationskonzepts, der Evaluationsprozesse und -ergebnisse im Endbericht der Evaluation ausgefüllter Evaluationsbogen 16

17 Umsetzungsbeispiel: gesundheitliche Chancengerechtigkeit Link: 17

18 Aktuelle und angedachte Hilfestellungen Selbstevaluation Vorlagen Vorlage Controllingbericht Vorlage Endbericht Externe Evaluation Vorlage Controllingbericht Vorlage Endbericht Vorlage Bewertung Evaluationskonzept Evaluationsbogen Hilfestellung Hilfestellung Selbstevaluation Hilfestellung externe Evaluation Checkliste Evaluationsauftrag Aus-/ Weiterbildung weitere Vernetzungstreffen (angedacht) Quelle: FGÖ (2013): Factsheet Evaluation. weitere Vernetzungstreffen (angedacht) 18

19 Soll-Ist-Vergleich intendiert Evaluationsbogen für Selbstevaluator/inn/en externe Evaluator/inn/en Evaluationsinhalte Aktuelle Umsetzung externe Evaluator/inn/en Selbstevaluation > Controlling-/Endbericht Gesundheitliche Chancengerechtigkeit Setting- und Determinantenorientierung Aktivitäten und Methoden Ressourcenorientierung - Partizipation Nachhaltigkeit Zielgruppenerreichung* über Angaben im Projektantrag/ Partizipationsfragen abgedeckt Zielerreichung* ** * Fragen basieren vorrangig auf Qualitätsmaßstäben des Projektmanagements, nicht der Gesundheitsförderung ** Selbstevaluation: reduziert 19

20 ZUSAMMENFASSUNG UND RESÜMEE 20

21 Ambivalenzen des Evaluationsbogens Potentiale Grenzen Potentiale systematisches, projektübergreifendes Lernen aus geförderten Projekten Grundlage für Weiterentwicklung der Förderpraxis Evaluation als Intervention Grenzen Operationalisierung der GF- Konzepte Kompetenzen der Evaluator/inn/en Ressourcen für Evaluation 21

22 Herausforderungen und förderliche Aspekte auf dem Weg zur Professionalisierung Herausforderung soziale Erwünschtheit möglichst vermeiden Fragen mit Streuung(spotential) generieren ent-wissenschaftliche / praxisangepasste Sprache möglichst wenige Fragen Förderliche Aspekte Überschneidungen der komplexen Konzepte ( Fragen/Aspekte anderorts bereits abgefragt z.b. Projektantrag) Beispiele zur Illustration komplexer Begriffe/ Sachverhalte Ausweichen auf offene Fragen bei zu geringem Vorwissen 22

23 Resümee Wie kann den Herausforderungen bei der Evaluation heterogenen GF-Projekte begegnet werden? Wie können Standards, Indikatoren und Gütekriterien themenübergreifend etabliert werden? 23

24 Resümee Programmebene inhaltliche Prioritätensetzung bei Fragebogenentwicklung Qualitätseinschätzung folgt Prinzipien der Gesundheitsförderung/ Wirkmodell Kompromisse zwischen offenen und geschlossenen Fragen (vorerst) nur deskriptive Auswertung Projektebene Sensibilisierung für Qualitätskriterien der GF und Professionalisierung Hilfestellungen und Schulungen für Projektleiter/innen und Evaluator/inn/en Übergreifend enge Zusammenarbeit im Projektteam & Rückkopplung zwischen Programm- und Projektebene 24

25 an institute of the Herzlichen Dank für Ihre Aufmerksamkeit! LBIHPR: A-1020 Vienna, Untere Donaustraße 47, Austria FAX - 50 in cooperation with: Co-funded by:

26 Quellen Balthasar A (2012): Fremd- und Selbstevaluation kombinieren: der Critical Friend Approach als Option. Zeitschrift für Evaluation 11(2), S Fonds Gesundes Österreich (2013): Jahresbericht Wien: Gesundheit Österreich GmbH, Geschäftsbereich Fonds Gesundes Österreich. Fonds Gesundes Österreich (2013): Vorlage Controllingbericht. Download: Fonds Gesundes Österreich (2013): Factsheet Evaluation. Download: Fonds Gesundes Österreich (2013): FGÖ Evaluationsbogen (Leseansicht). Download: Mayne J (1994): Utilizing Evaluation in Organisations: The Balancing Act. In: Leeuw F L, Rist RC, Sonnichsen RC (Hg.): Can Governments Learn? Comparative Perspectives on Evaluation and Organizational Learning. New Brunswick, NJ: Transaction Publishers. S Nitsch M, Rojatz D, Simek M, Waldherr K, Rohrauer-Näf G (2014): RATIONALE zum FGÖ-Evaluationsbogen. Wien: LBIHPR (unveröffentlicht) Sonnichsen RC (1994): Effective Internal Evaluation: An Approach To Organizational Learning. In: Leeuw FL, Rist RC, Sonnichsen RC (Hg.): Can Governments Learn? Comparative Perspectives on Evaluation and Organizational Learning. New Brunswick, NJ: Transaction Publishers, S Stockmann R (2006). Evaluation und Qualitätsentwicklung. Eine Grundlage für wirkungsorientiertes Qualitätsmanagement. Sozialwissenschaftliche Evaluations-forschung, Band 5. Münster: Waxmann Verlag GmbH. Stockmann R, Meyer W (2010): Evaluation: eine Einführung. Opladen: Barbara Budrich. Waldherr K, Rohraurer-Näf G, Simek M, Braunegger-Kallinger G, Peinhaupt C (2012): Evaluation der Fördertätigkeit des Fonds Gesundes Österreich. In: Robert-Koch-Institut (Hg): Beiträge zur Gesundheitsberichterstattung des Bundes. Evaluation komplexer Interventionsprogramme in der Prävention: Lernende Systeme, lehrreiche Systeme?. Berlin: