Evaluationskonzept Via 2013

Transkript

1 Evaluationskonzept Via 2013 Version Mai Ausgangslage und Evaluationsgegenstand Ursprünglich war geplant, eine zweijährige Evaluation der Pilotprojekte der Gemeinden Biel, Baar, Langenthal und Risch durchzuführen (s. Evaluationskonzept Pilotprojekte Via). Das erste Jahr konnte planmässig mit einem Zwischenbericht abgeschlossen werden. Da in den vier Gemeinden allerdings nur sehr begrenzte Aktivitäten erfolgten, diese von Gemeinde zu Gemeinde recht unterschiedlich waren und Erfahrungen aus anderen umsetzenden Gemeinden nicht berücksichtigt wurden, war die Aussagekraft der Evaluation insgesamt beschränkt. Als ein zentrales Ergebnis hat die Evaluation aber gezeigt, dass sich die neu eingesetzten Instrumente (z.b. Kontext-Check oder Bevölkerungsbefragungen) insgesamt gut bewährt haben. Als Folgeprodukt der Evaluation 2012 werden diese Instrumente mit entsprechenden Anleitungen aufgearbeitet und anderen Interessierten zugänglich gemacht. Nach der Evaluation 2012, welche auf die vier Pilotgemeinden aus den Kantonen BE und ZG fokussierte (Gemeinden Baar, Biel, Langenthal und Risch), soll der Fokus der Evaluation im 2013 nun ausgeweitet werden, um Erfahrungen von anderen Gemeinden und Kantonen mit berücksichtigen zu können und die Aussagekraft der Ergebnisse zu erhöhen. Gleichzeitig soll die Evaluation inhaltlich tiefer greifen und mehr detailliertes Wissen zu einzelnen Fragestellungen liefern. Damit gleichzeitig die Erfahrungen von mehr umsetzenden Gemeinden und Kantonen einfliessen können und die Evaluation mehr in die Tiefe gehen kann, müssen die Fragestellungen reduziert werden. Die Evaluation 2013 soll sich infolgedessen auf wenige Schwerpunktthemen konzentrieren. Daneben sollen die Entwicklungen in den vier Pilotgemeinden, die in der Evaluation 2012 beleuchtet wurden, weiter verfolgt werden. Es interessiert insbesondere die Frage, inwiefern der Einsatz der Instrumente (Bevölkerungsbefragungen, Kontext-Check, Bestandesaufnahme, ) die gewünschten Effekte nach sich zog und erhoffte Nachfolgemassnahmen auslösen vermochte. Die Evaluation 2013 konzentriert sich insgesamt, wie auch bereits im 2012, auf die Umsetzungen auf Gemeindeebene. 2. Evaluationszweck Mit den Evaluationen 2012/2013 sind unterschiedliche Ansprüche verbunden, wobei die Interessen von Gesundheitsförderung Schweiz und der kantonalen Umsetzer im Vordergrund stehen. Qualitätsentwicklung/-sicherung Via (Grundlagen, Instrumente, Erfahrungen) Via GFCH Träger/Finanzierer Kantonale Umsetzer Gemeinden Weiterentwicklung Best Practice Angebote für ältere Menschen Rechenschaft gegenüber den Kantonen, die sich an Via beteiligen Unterstützung für die Umsetzung in den Gemeinden Qualitätsentwicklung/-sicherung der eigenen Angebote Rechenschaft gegenüber dem Kanton und ggf. weiteren Finanzierern Via Evaluationskonzept /5

2 Mit der Evaluation 2013 soll in erster Linie Umsetzungswissen auf Gemeindeebene für kantonale und kommunale Umsetzer generiert werden. Die vertiefte Auseinandersetzung mit der Umsetzung auf Gemeindeebene und die Beurteilung von Einsatz und Nutzen der Via-Grundlagen dienen zudem der Rechenschaftslegung. 3. Evaluationsfragen Die Evaluationsfragen, welche in allen Kantonen behandelt werden sollen, gliedern sich in die sechs folgenden Bereiche: 1) Nutzung und Beurteilung der Via-Dienstleistungen - Inwiefern wurden zur Planung und Umsetzung von Massnahmen auf Gemeindeebene Dienstleistungen von Via genutzt? Über welche Wege unterstützen die Via-Dienstleistungen die Umsetzung auf Gemeindeebene? - Nachfragen: Information (Via-mails, Newsletter, Webseite), Beratung/Unterstützung, Grundlagen (Berichte, Checklisten, Argumentarien, Umsetzungshilfen, ), Vernetzung/Koordination (Tagungen, Erfa-Treffen, Fachgruppe Via, ), Qualität und Evaluation - Welche Erfahrungen wurden damit gemacht? Wie haben sich die Via-Grundlagen bewährt? Wie werden sie beurteilt? - Was wurde bewusst nicht genutzt und aus welchen Gründen? Was hat allenfalls gefehlt? - Inwiefern hat Via die Qualität der Angebote für ältere Menschen gefördert (hinsichtlich Bewegungsförderung, Sturzprävention, schwer erreichbare Zielgruppen, Mitwirkung Hausärzte, Beratungen/Veranstaltungen/Kurse, psychische Gesundheit)? - Welche Unterstützungsleistungen wünschen sich neue umsetzende Kantone/Gemeinden? 2) Erfahrungen mit den folgenden Themen (nach Priorität im Erfa) Mitwirkung älterer Menschen - Inwiefern wurden/werden ältere Menschen an der Planung, Umsetzung oder Evaluation von Massnahmen (auf Gemeinde-, nicht Programmebene) beteiligt? - Welche Erfahrungen werden mit der Beteiligung älterer Menschen gemacht? - Gibt es Beispiele für besonders erfolgreiche Mitwirkung? Was macht die Beispiele erfolgreich? - Gibt es Beispiele für weniger erfolgreiche oder gar gescheiterte Mitwirkung? Was sind Gründe dafür? Wie wurde damit umgegangen? Wurden Alternativen ausprobiert? - Welches sind erfolgreiche Strategien zur Gewinnung von älteren Menschen für die Mitwirkung? - Welche Gruppen älterer Menschen lassen sich am ehesten zur Beteiligung gewinnen und welche nicht? Gibt es da klare Profile und Unterschiede? - Was gewinnen Massnahmen durch die Beteiligung älterer Menschen? - Was ist wichtig, worauf muss man achten bei der Beteiligung älterer Menschen? - Was würden Sie Verantwortlichen in anderen Gemeinden in Bezug auf die Beteiligung älterer Menschen raten? Zusammenarbeiten - Welche konkreten Zusammenarbeiten gab oder gibt es auf Gemeindeebene mit anderen Akteuren? Mit wem? - Wie sind diese Zusammenarbeiten zustande gekommen? Von wem ging die Initiative aus? Mit welchen Absichten? Inwiefern waren diese Zusammenarbeiten einfach oder schwierig aufzubauen? - Gibt es Beispiele, in welchen Zusammenarbeiten erfolglos versucht oder abgebrochen wurden? Woran sind sie gescheitert? Was hätte man rückblickend z.b. anders oder besser machen können? - Sind die aufgebauten Zusammenarbeiten regelmässiger/langfristiger Natur oder einmalig/punktuell? Was zeichnet allfällige regelmässige/langfristige Zusammenarbeiten aus? - Was würden Sie anderen empfehlen, um regelmässige/langfristige Zusammenarbeiten aufzubauen? Nachhaltigkeit/Verankerung Via Evaluationskonzept

3 - Welche Anstrengungen wurden bisher unternommen, um die Massnahmen auf Gemeindeebene längerfristig zu verankern (nicht nur punktuelle/einmalige Umsetzungen)? Welche Wege wurden dabei eingeschlagen? - Welche Erfahrungen wurden damit gemacht? - Gibt es bereits erfolgreiche Verankerungen? Falls ja, was waren die Erfolgsfaktoren, die diese Verankerung ermöglicht haben? Falls nein, was behinderte eine längerfristige Verankerung? - Was bräuchte es, damit eine Verankerung zukünftig möglich wäre? Bewegungsförderung und Sturzprävention - Welche Massnahmen zur Bewegungsförderung und Sturzprävention wurden in den verschiedenen Gemeinden geplant oder umgesetzt? - Welche Erfahrungen wurden mit den einzelnen Massnahen/Angeboten gemacht? - Inwiefern ist eine Dissemination von Bewegungsförderung und Sturzprophylaxe zu anderen Anbietern in der Gemeinde erfolgt? - Welches sind die wichtigsten Lehren, die man aus den ersten Umsetzungen ziehen konnte? Was würden Sie anderen Verantwortlichen empfehlen, die vor derselben Aufgabe stehen? 3) Ausblick - Optimale Gesundheitsförderung im Alter auf Gemeindeebene - Wenn Sie frei wünschen könnten wie würde das optimale Programm in ihrer Gemeinde aussehen? Wie würde das Umfeld aussehen? Welche Unterstützung hätten Sie von wem?... Die Kantone Bern und Zug resp. die Verantwortlichen der Umsetzungen in den 4 Pilotgemeinden Baar, Biel, Langenthal und Risch sollen zusätzlich zu den Entwicklungen in den Pilotgemeinden befragt werden (in einem separaten Interviewteil und mit entsprechender Vorbereitung/Raster): 4) Entwicklungen der Pilotumsetzungen in den Kantonen BE und ZG: - Wie haben sich die Projekte in den vier Pilotgemeinden (Baar, Biel, Langenthal, Risch) seit Herbst 2012 weiter entwickelt? Was ist gut gelaufen, was weniger gut und weshalb? - Welche Massnahmen wurden in Folge der eingesetzten Instrumente (z.b. Kontext-Check, Bevölkerungsbefragung) ergriffen und wie haben sich diese bewährt? - Welche Faktoren haben die Weiterentwicklung gefördert resp. behindert? - Wie beurteilen Sie rückblickend mit etwas Distanz den Einsatz der Instrumente? Würden Sie nochmals gleich vorgehen oder bestimmte Dinge anders machen? Es ist im Rahmen der Evaluation 2012/2013 und mit den verfügbaren Ressourcen nicht möglich, Wirkungsnachweise auf Ebene Kompetenzen und Verhaltensweisen von älteren Menschen zu erlangen. Es sind aber erste Erkenntnisse zu Wirkungspotenzialen und Hinweise auf intermediäre Wirkungen auf unterschiedlichen Ebenen (vgl. das Ergebnismodell von Gesundheitsförderung Schweiz) zu erwarten. Eine vertiefte Wirkungsevaluation ist für eine spätere Via-Projektphase und nicht im Rahmen der Pilotprojekte vorgesehen. Um den Einfluss der Via-Angebote auf die älteren Menschen untersuchen und beurteilen zu können, würden sich vertiefte qualitative Interviews mit Angebotsnutzenden besonders anbieten. 4. Evaluationsform und Methodik Die Evaluation Via ist grundsätzlich formativ angelegt, laufend gewonnene Erkenntnisse und Reflexionen sollen den Lernprozess im Projekt unterstützen. In diesem Sinne werden die Ergebnisse der Evaluation 2013 in die Via-Entwicklungsprozesse einfliessen, ein entsprechender Workshop ist für Herbst 2013 in Planung. Um die Erfahrungen aus möglichst vielen Umsetzungen berücksichtigen zu können, werden in jedem Via Umsetzungskanton 1 Gruppeninterviews mit ausgewählten Fachpersonen, welche einen direkten Bezug zur Umsetzung in den Gemeinden haben und zu den Schwerpunktthemen Auskunft geben können, durchgeführt (insgesamt ca. 8 Gruppeninterviews). In diesen Gesprächen werden die Schwerpunktthemen beleuchtet und nach Antworten auf die entsprechenden Fragen gefragt. Die Interviews werden elektronisch aufgezeichnet, transkribiert, codiert und inhaltsanalytisch ausgewertet. 1 AR, BE, GR, NW, SH, SG, TG, UR, VD, ZG NW nur schriftl. Befragung und kurze tel Nachfrage, SH und TG evtl. zusammen. Via Evaluationskonzept

4 Da die Zeit in den Interviews effizient für die verschiedenen Themen genutzt werden soll, wird vorgängig einen kurzer Fragebogen versendet, in welchem zentrale Punkte vorab abgefragt werden, als Grundlage für die Interviews (z.b. die Nutzung und Beurteilung der Via-Dienstleistungen, aber auch einige Stichworte zu den Aktivitäten in den thematischen Feldern). Voraussichtlich Büro BASS: Zusätzlich werden mit den Verantwortlichen der vier Pilotgemeinden Risch, Baar, Biel und Langnau Einzelinterviews (evtl. zu zweit/dritt) zu den entsprechenden Fragestellungen geführt. Eventuell wird den Interviews vorangehend ein kleiner Fragebogen versandt, welcher vorbereitend ausgefüllt werden soll. Die Evaluation soll sich an den Basisdokumenten des Projektes Via, insbesondere an den Best Practice Empfehlungen orientieren. 5. Zeitplanung Die strategische Via-Projektleitung erwartet den Evaluations-Schlussbericht über die 2 Jahre 2012 und 2013 auf Ende Oktober 2013 (in Deutsch). Die Evaluation orientiert sich an folgendem Zeitplan: Monate Februar März April Mai Juni - August August/September Oktober Arbeiten Evaluationskonzept Bestimmung Schwerpunktthemen am Via Erfa-Treffen vom 19. März 2013 Offerte/Vertrag mit dem Evaluationsinstitut Vorbereitung Erhebungen Schriftliche Befragungen Gruppeninterviews Transkription Auswertungen, Koordination Inhalte des Berichtes Interface/Büro BASS Präsentation des Berichtsentwurfes GFCH/KOST (Mitte Oktober) Einarbeitung Feedback GFCH/KOST Ende Oktober: Bericht in Deutsch fertig 22. November Workshop Evaluationsergebnisse, allenfalls letzte Änderungen am Bericht November Übersetzung Bericht ins Französische Dezember Layout und Druck Januar 2014 Verbreitung Ergebnisse und Bericht an der nationalen Gesundheitsförderungskonferenz 6. Finanzierung Für die Evaluation des Projektes Via stehen im 2013 insgesamt CHF aus dem Projektbudget zur Verfügung. Mit dieser Summe werden die Evaluationsinstitute beauftragt, die hier skizzierte Evaluation (Änderungen aufgrund weiterer Verhandlungen vorbehalten) umzusetzen. Übersetzungs- und Layoutkosten gehen nicht zulasten des Evaluationsbudgets, sondern werden aus anderen Via-Budgetposten beglichen. 7. Organisation der Evaluation An der Evaluation Pilotprojekte sind verschiedene Partner in unterschiedlichen Rollen beteiligt. Die Verantwortung für den Prozess liegt bei Günter Ackermann (Gesundheitsförderung Schweiz). Die folgende Übersicht zeigt die verschiedenen Partner und Rollen: Via Evaluationskonzept

5 GFCH Gesamtprojektleitung Via Ralph Steinmann GFCH Wirkungsmanagement Günter Ackermann Public Health Services Andy Biedermann, Renate Gurtner, Margot Brusa Evaluationsinstitute Interface und Büro BASS Gesamtverantwortung Projekt Via Verantwortung und Koordination Entwicklung Evaluation Auftraggeber ext. Evaluation Operative Projektleitung, Koordination Gesamtprojekt- Evaluation Durchführung der externen Evaluation 8. Valorisierung Die Erkenntnisse und Erfahrungen aus der Evaluation 2013 werden zusammen mit den wichtigsten Ergebnissen aus dem Zwischenbericht 2012 auf Ende Oktober 2013 in einem Schlussbericht zusammengefasst. Der Bericht wird ins Französische übersetzt und allen beteiligten Kantonen zur Verfügung gestellt. Es sollen rund 200 deutsche und 60 französische Exemplare gedruckt werden. Zudem wird der Bericht auf der Webseite von Gesundheitsförderung Schweiz aufgeschaltet. Im November 2013 werden die Evaluationsergebnisse interessierten Vertretern der umsetzenden Kantone in einem Workshop präsentiert und zur Diskussion gestellt. Weitere Präsentationen der Evaluationsergebnisse an geeigneten Veranstaltungen (z.b. Erfa-Treffen, Gesundheitsförderungskonferenz) sind noch zu planen. Die Evaluationsergebnisse dienen in erster Linie dazu, Umsetzungen im Rahmen von Via weiter zu entwickeln, um neuen Kantonen und Gemeinden erprobte und bewährte Vorgehensweisen und Instrumente empfehlen zu können. ga/mai 2013 Via Evaluationskonzept