Department for Evidence-based Medicine and Clinical Epidemiology

Transkript

1 Fachbereich Evaluation Department for Evidence-based Medicine and Clinical Epidemiology Danube University Krems

2 Mag. Ludwig Grillich Professionalisierung durch Evaluation Am Beispiel Regionaler Gesundheitsförderung 11. September 2014

3 Inhalt a. Evaluationsgegenstand b. Vorgehensmodell c. Schlussfolgerungen Department for Evidence-Based Medicine and Clinical Epidemiology 3

4 A. Evaluationsgegenstand Prävention Gesundheitsförderung (PGF) Prävention: praevenire (lat.) einer Sache zuvorkommen, ihr vorzubeugen Risikofaktormodell wichtigstes Erklärungsmodell (BzgA, 2003) Einteilung nach (Caplan, 1964) Gesundheitsförderung The process of enabling people to increase control over, and to improve, their health Ottawa Charter (WHO, 1986) Regionale Gesundheitsförderung: das Schaffen gesundheitsförderlicher Lebenswelten und das Fördern gesundheitsbezogener Gemeinschaftsaktivitäten Ottawa Charter (WHO, 1986) Department for Evidence-Based Medicine and Clinical Epidemiology 4

5 A. Evaluationsgegenstand Gesunde Gemeinde Projektpräsentation in der Gemeinde Ziele: in der Bevölkerung Interesse für Fragen der Gesundheit zu wecken in der Gemeinde präventive und gesundheitsförderliche Maßnahmen umzusetzen Unterzeichnung der Kooperationsvereinbarung mit dem NÖ Gesundheits- und Sozialfonds RegionalberaterInnen NÖ Gesundheits- und Sozialfonds Bildung eines Arbeitskreises Veranstaltungen: Bewegung Ernährung Natur und Umwelt Mentale Gesundheit Vorsorge Aktivität Aktivität Aktivität Aktivität Department for Evidence-Based Medicine and Clinical Epidemiology 5

6 B. Vorgehensmodell nutzenorientierte Ansatz von Patton (1997): 1. Nutzen der Evaluation 6. Ergebnisnutzung 2. Fragestellungen der Evaluation 5. Auswertung 3. Zielparameter 4. Datensammlung Department for Evidence-Based Medicine and Clinical Epidemiology 6

7 B1. Nutzenklärung Nutzenerwartungen zu Beginn (September 2011) Nachweis, dass Gesunde Gemeinde Ergebnisse erreicht Wirkungen zeigt evidenzbasiert ist Department for Evidence-Based Medicine and Clinical Epidemiology 7

8 B1. Nutzenklärung Präzisierung des Auftrages Darlegen der Voraussetzungen und Grenzen eines Wirkungsnachweises. Department for Evidence-Based Medicine and Clinical Epidemiology 8

9 B1. Nutzenklärung Darlegen der Voraussetzungen und Grenzen eines Wirkungsnachweises Komplexität Individuen in Gruppen, Organisationen, Settings Vielfältig miteinander verbunden Viele externe Einflussfaktoren langfristige Zielhorizonte, hohe Dynamik Partizipativ, multisektoriell, interdisziplinär führt zu Einzigartigkeit der Systeme pro Gemeinde (Heterogenität, Vergleichbarkeit) Starke Kontextabhängigkeit Ursache-Wirkungszusammenhänge mehrdimensional, nicht linear und kaum voraussagbar bedeutet für Programme Bedeutet für Evaluation Nur bedingt standardisierbar Komplexität nicht fassbar Vielfältige Wirkungsebenen Starke Komplexitätsreduktion Schwierigkeit, Ziele zu setzen Wirkungen auf mehreren Ebenen Mit Unsicherheit behaftet (sachbezogen, zeitlich) Kombinierte Ansätze Wirkungen kontextbezogen Kaum generalisierbare Wirkungsnachweise Evaluation kombinierter Ansätze Ackermann, 2009 Department for Evidence-Based Medicine and Clinical Epidemiology 9

10 B1. Nutzenklärung Präzisierung des Auftrages: Zwischenergebnis Wesentliche Voraussetzungen für Wirkungs/Ergebnisevaluation fehlen Vergleichbarkeit Wirkungsmodell Standardisierung der Interventionen ist kontraproduktiv und nicht gewünscht Department for Evidence-Based Medicine and Clinical Epidemiology 10

11 B1. Nutzenklärung Präzisierung des Auftrages Erläutern möglicher Nutzen: 1. Unterstützung bei der Konzeptentwicklung (intern) Klare, messbare Zielsetzungen ( S.M.A.R.T ) Theoretisch fundierte Wirkannahmen ( theory of change ) Dem aktuellem Stand der Wissenschaft entsprechend ( evidenzbasiert ) 2. Lernendes Projekt ermöglichen/unterstützen (intern) Zeitnahe Rückmeldungen zu Schlüsselprozessen im Projekt Erfahrungen systematisch explizit machen und dokumentieren Das Projekt weiterentwickeln und stärken 3. Legitimierung/Sicherheit erbringen (intern & extern) Ergebniserreichung, Wirkungsanalyse, Kostenanalyse 4. Wissenstransfer/Positionierung (extern) Modellprojekte Department for Evidence-Based Medicine and Clinical Epidemiology 11

12 B1. Nutzenklärung Präzisierung des Auftrags Vereinbarter Nutzen/Produkte (Februar 2012) Instrument zur Diagnostik der Voraussetzungen gemeindenaher Gesundheitsförderung, Konkrete Ansatzpunkte und Vorschläge, um die Voraussetzungen für wirkungsvolle Gesundheitsförderung in den teilnehmenden Gemeinden zu stärken. Ermächtigung und Qualifizierung der RegionalberaterInnen und der teilnehmenden Gemeinden. Identifizierung wichtiger Voraussetzungen für eine nachhaltige regionale Gesundheitsförderung und Schritte zu deren Stärkung zu entwickeln. Department for Evidence-Based Medicine and Clinical Epidemiology 12

13 B. Vorgehensmodell nutzenorientierte Ansatz von Patton (1997): 1. Nutzen der Evaluation 6. Ergebnisnutzung 2. Fragestellungen der Evaluation 5. Auswertung 3. Zielparameter 4. Datensammlung Department for Evidence-Based Medicine and Clinical Epidemiology 13

14 B2. Fragestellungen 1. Welche Kapazitäten und Ressourcen hat Ihre Gemeinde, um Gesundheitsförderung umzusetzen? 2. Welche Maßnahmen können in den jeweiligen Gemeinden gesetzt werden um die Kapazitäten und Ressourcen zu stärken? Department for Evidence-Based Medicine and Clinical Epidemiology 14

15 B. Vorgehensmodell nutzenorientierte Ansatz von Patton (1997): 1. Nutzen der Evaluation 6. Ergebnisnutzung 2. Fragestellungen der Evaluation 5. Auswertung 3. Zielparameter 4. Datensammlung Department for Evidence-Based Medicine and Clinical Epidemiology 15

16 B3. Zielparameter Auswahl und Bewertung der Literatur & Gestaltung des Instruments (Mai Oktober 2012) Voraussetzungen regionaler Gesundheitsförderung = Community Readiness Suche und Bewertung der Literatur 314 Quellen davon 21 brauchbar Extraktion der Indikatoren 78 Indikatoren aus 6 Publikationen Gestaltung des Fragebogens Verständlichkeit und Anwendbarkeit in Kleingruppen mit den Regionalberaterinnen Department for Evidence-Based Medicine and Clinical Epidemiology 16

17 B3. Zielparameter Voraussetzungen in den Gemeinden 1. Kritisches Bewusstsein 2. Partizipation und Empowerment 3. Ressourcenlage und -verteilung 4. Verankerung in der politischen Kultur der Gemeinde 5. Verfügbarkeit von Führungskompetenz in der Gemeinde Voraussetzungen in den Arbeitskreisen 1. Implementierung 2. Kritisches Bewusstsein 3. Managementkompetenzen 4. Partizipation 5. Vernetzung und Partnerschaften von Strukturen Department for Evidence-Based Medicine and Clinical Epidemiology 17

18 B. Vorgehensmodell nutzenorientierte Ansatz von Patton (1997): 1. Nutzen der Evaluation 6. Ergebnisnutzung 2. Fragestellungen der Evaluation 5. Auswertung 3. Zielparameter 4. Datensammlung Department for Evidence-Based Medicine and Clinical Epidemiology 18

19 B4. Datensammlung Auswahlkriterien der Gemeinden Freiwillig 3 Jahre und länger Gesunde Gemeinde geografische und Regionalberater(RB)-bezogene Gleichverteilung (wobei im Konfliktfall der RBbezogenen Gleichverteilung Vorzug gegeben wird) Haben ausgewählte Gemeinden ihre Teilnahme verweigert, so wurde nachgereiht. Department for Evidence-Based Medicine and Clinical Epidemiology 19

20 B4. Datensammlung 15 Gemeinden durch Brief eingeladen 13 Gemeinden Zusage (mit Nachreihen) Schriftliche Befragung der RegionalbetreuerInnen (individueller Einbindung von AK- LeiterInnen) aller 13 Gemeinden (November - Dezember 2013) Department for Evidence-Based Medicine and Clinical Epidemiology 20

21 B. Vorgehensmodell nutzenorientierte Ansatz von Patton (1997): 1. Nutzen der Evaluation 6. Ergebnisnutzung 2. Fragestellungen der Evaluation 5. Auswertung 3. Zielparameter 4. Datensammlung Department for Evidence-Based Medicine and Clinical Epidemiology 21

22 B5. Auswertung Berechnungen (Jänner bis März 2013) 13 Teilgenommenen Gemeinden Einwohnerzahl: 800 bis 8600 (MW 3000, Median 2000) Jahre Gesunde Gemeinde: 4 bis 17 (MW 10,2, Median 10) Anzahl der Aktivitäten pro Jahr 1 bis 23 (MW 7,3, Median 6) Berechnung von Kennwerten pro Voraussetzung Minimaler Wert Maximaler Wert Mittelwert & Standardabweichung Rein deskriptive Darstellung nach Dimensionen (Anonymität) Spinnendiagramme Streudiagramme (Scatterplot) Department for Evidence-Based Medicine and Clinical Epidemiology 22

23 B5. Auswertung über alle Gemeinden über alle Arbeitskreise Partizipation Ressourcen 5,0 4,5 4,0 3,5 3,0 2,5 2,0 1,5 1,0 0,5 0,0 Kritisches Bewusstsein Partizipation Vernetzung 5,0 4,5 4,0 3,5 3,0 2,5 2,0 1,5 1,0 0,5 0,0 Kritisches Bewusstsein Führungskompetenz Verankerung in polit Kultur Managementkompetenz Implementierung Mittelwert Standardabweichung Mittelwert Standardabweichung Rang MW Std Dimension 1 4,00 1,08 Verankerung in politischer Kultur 2 3,46 1,85 Ressourcen 3 3,46 1,94 Kritisches Bewusstsein 4 3,04 2,22 Führungskompetenz 5 2,46 1,39 Partizipation Rang MW Std Dimension 1 3,5 2,1 Kritisches Bewusstsein 2 2,7 2,7 Managementkompetenz 3 2,6 1,9 Vernetzung 4 2,0 2,1 Partizipation 5 0,9 2,1 Implementierung Department for Evidence-Based Medicine and Clinical Epidemiology 23

24 B. Vorgehensmodell nutzenorientierte Ansatz von Patton (1997): 1. Nutzen der Evaluation 6. Ergebnisnutzung 2. Fragestellungen der Evaluation 5. Auswertung 3. Zielparameter 4. Datensammlung Department for Evidence-Based Medicine and Clinical Epidemiology 24

25 B6. Ergebnisnutzung Rückmeldung an Steuergruppe & Gemeinden (März bis Mai 2013) Steuergruppe: März 2013 zentrales Entscheidungsgremium Gemeinden: April und Mai 2013 Schlüsselpersonen der Gemeinden ArbeitskreisleiterInnen VertreterIn des Kostenträgers Department for Evidence-Based Medicine and Clinical Epidemiology 25

26 B6. Ergebnisnutzung Auftrag an die Gemeinden Welche Maßnahmen machen auf Basis der Ergebnisse Sinn, um die Kapazitäten und Ressourcen in ihrer Gemeinde zu stärken? Was sind die nächsten Schritte um diese Frage zu beantworten? Wer sollte hier unbedingt einbezogen werden? Entscheidung über Zielsetzung und weitere Schritte Einreichung bis September 2013 Department for Evidence-Based Medicine and Clinical Epidemiology 26

27 B6. Ergebnisnutzung Tabelle: Überblick Maßnahmen Gemeinde Maßnahme Dimension Angebot für (werdende) Eltern Implementierung, Management, Kompetenz, A von Kleinkinder Partizipation B Bedarfserhebung Implementierung C Bedarfserhebung Partizipation D Erweiterung des AK, externer Berater Partizipation, Implementierung, Vernetzung E Gründung des AK Partizipation F Reaktivierung des AK Implementierung, Management, Kompetenz, Partizipation, Vernetzung G Reaktivierung des AK Vernetzung, Kritisches Bewusstsein I Reaktivierung des AK Partizipation (Motivation, Teilnahme am Arbeitskreis) J Reaktivierung des AK (World Cafe) Partizipation, Implementierung Ressourcenstärkung durch K Anschaffung von Sitzmöglichkeiten Ressourcenlage- und Verteilung, Vernetzung, Partnerschaft L Vernetzungstreffen : Eröffnung Biogarten Partizipation, Vernetzung M Vernetzungstreffen aller Gemeinden Partizipation, Vernetzung Department for Evidence-Based Medicine and Clinical Epidemiology 27

28 B6. Ergebnisnutzung Ergebnisse einer Telefonische Befragung der AK-LeiterInnen (Februar 2014 ) Wie leicht oder wie schwer ist es Ihnen gefallen, solche Maßnahmen zu entwickeln? 5 3 Sehr leicht Leicht Schwer Sehr schwer 4 Department for Evidence-Based Medicine and Clinical Epidemiology 28

29 C. Schlussfolgerungen Professionalisierung Beim Fördergeber Wissen um die Wichtigkeit der Voraussetzungen Grenzen des Machbaren Nutzen von Begleitforschung und entwicklungsorientierter Evaluation In den teilnehmenden Gemeinden Vom Aktionismus hin zu strategischen Überlegungen (Rahmenbedingungen ) 2/3 der Maßnahmen Stärkung/Aktivierung des Arbeitskreises Für Evaluatoren Erfahrung in Developmental Evaluation Department for Evidence-Based Medicine and Clinical Epidemiology 29

30 Fachbereich Evaluation Department for Evidence-based Medicine and Clinical Epidemiology Danube University Krems

31 Hintergrund Rahmenbedingungen der Auftragspräzisierung Hoher Grad an kritischem Denken bei Fördergeber Direkte Zusammenarbeit mit Entscheidungsträgern in der Organisation möglich Hoher Grad an Vertrauen auf Grund von langjähriger Zusammenarbeit Evaluator konnte Teil des Entwicklungsteams werden Fachkompetenz des Evaluators vorhanden Department for Evidence-Based Medicine and Clinical Epidemiology 31

32 B6. Ergebnisnutzung Information an die Gemeinden/Arbeitskreis Ihre RegionalberaterIn unterstützt Sie bei der Maßnahmenentwicklung. Bis zum können Maßnahmen an die Initiative <<Tut gut!>> geschickt werden. Details und Anforderungen hat Ihre ReginalbetreuerIn Bis Ende September 2013: Abteilung Gesundheitsvorsorge»Tut gut!«entscheidet über die (Ko-)Finanzierung von Maßnahmen. Department for Evidence-Based Medicine and Clinical Epidemiology 32

33 Ansatz Developmental Evaluation Gamble, J.A.A., A Developmental Evaluation Primer. 2008, The J.W. McConnell Family Foundation: Canada Department for Evidence-Based Medicine and Clinical Epidemiology 33