FAQs zur Wirkungsmessung

Transkript

1 FAQs zur Wirkungsmessung Die Stiftung Mercator Schweiz arbeitet mit einem Wirkungsmodell, um in der Antragsphase und nach einer Bewilligung darzustellen, wie Projekte funktionieren und welche Ziele beziehungsweise Wirkungen bei der Zielgruppe angestrebt werden. Das gemeinsame Lernen aus den Fortschritten und Ergebnissen ist uns bei der Projektbegleitung wichtig. Folgende Fragen werden uns im Zusammenhang mit dem Wirkungsmodell häufig gestellt: 1. Was ist ein Wirkungsmodell? Ein Wirkungsmodell stellt dar, wie ein Projekt funktioniert oder funktionieren soll. Es dient als Orientierungshilfe während der Projektarbeit. Es ist eine Reiseroute für die Projektarbeit und bietet eine Grundlage für die Überprüfung, ob das Projekt (noch) auf dem richtigen Weg ist. Im Sinne eines wirkungsorientierten Ansatzes bricht das Wirkungsmodell ein Projekt in konkrete Zielformulierungen und Erhebungsmethoden herunter. Das Wirkungsmodell wird für die Projektplanung und Evaluation genutzt. Es setzt die geplanten Ziele sowie die notwendigen Ressourcen und Leistungen in eine systematische Beziehung zueinander. Zudem kann das Wirkungsmodell dazu beitragen, das Projekt auf seine Plausibilität und Machbarkeit hin zu überprüfen. 2. Was wird unter Zielgruppe genau verstanden? Die Zielgruppe sind Personen, Gruppen oder Organisationen, die mit dem Projekt direkt und/oder indirekt erreicht werden sollen. Das können Teilnehmende an Veranstaltungen, Leserinnen und Leser von Publikationen, die Fachgemeinde oder Schülerinnen und Schüler sein, die von den Resultaten des Projekts profitieren. Es können aber auch Gruppen sein, die erst durch das Projekt gebildet werden, beispielsweise ein Beirat oder das Projektteam. Ein Projekt kann an mehrere Zielgruppen gerichtet sein. 3. Was ist mit Input gemeint? Der Input eines Projekts umfasst alle Ressourcen, die zur Umsetzung der geplanten Aktivitäten notwendig sind. Dies können beispielsweise Ressourcen in Form von Personal, Ausrüstung, Räumlichkeiten oder Finanzen sein. Beispiel: Es braucht eine Projektleitung/Fachexperten mit Know-how für den Aufbau einer interaktiven Website zum Thema Food Waste mit der Zielgruppe Schulklassen auf Primarstufe. Dafür müssen finanziellle Mittel zur Verfügung gestellt werden. 4. Was sind Aktivitäten? Aktivitäten beschreiben Handlungen, die zur Erreichung der angestrebten Outputs in Form von Leistungen und Produkten durchgeführt werden. Diese Bedingungen müssen erfüllt sein, damit die Outputs realisiert werden können. Beispiel: Aufbau der interaktiv ausgerichteten Website für die Arbeit mit Schulklassen auf Primarstufe zum Thema Food Waste. 5. Was sind Outputs (Leistungen und Produkte)? Outputs sind die konkreten, quantifizierbaren Leistungen und Produkte eines Projekts also das, was aus einer Aktivität resultiert beziehungsweise was das Projekt anbietet und von der Zielgruppe genutzt wird. Die Outputs bilden die Grundlage dafür, dass das Projekt Wirkung erzielen kann. Im Antrag und in den Berichtsvorlagen werden diese Informationen unter Outputs und Leistungen und Produkte abgefragt. FAQ Wirkungsmessung, S. 1 / 5

2 Beispiel: Die Nutzung der interaktiven Webseite durch alle Schulklassen einer Primarschule. 6. Was sind Outcomes (Wirkungen bei den Zielgruppen)? Outcomes sind die Wirkungen des Projekts auf Ebene der Zielgruppen. Sie verdeutlichen, welche (positiven) Veränderungen das Projekt bei den Zielgruppen erzielen möchte. Im Antrag und in den Berichtsvorlagen werden diese Informationen unter Outcomes und Wirkungen bei den Zielgruppen abgefragt. Beispiel: 60% der Schülerinnen und Schüler der Primarschule wissen dank der Nutzung der Website, wie sie Food Waste vermeiden können. 7. Was sind Impacts (Wirkungen über die Zielgruppen hinaus)? In der Vorlage des Wirkungsmodells sind die Impacts unter dem Punkt Wirkungen über die Zielgruppe hinaus aufgeführt. Impacts sind die längerfristigen Wirkungen des Projekts, die sich auf weitere Personen (über die Zielgruppe hinaus), Gruppen, Organisationen, die gesamte Gesellschaft oder den Zustand der Umwelt beziehen. Beispiel: Die interaktive Website als Plattform zum Thema Food Waste wird von weiteren Primarschulen in den Unterricht integriert. Die Sensibilisierung für die Thematik findet über die ursprüngliche Zielgruppe hinaus statt und kann zu einem Umdenken bei grösseren Personengruppen und Institutionen beitragen. 8. Wir beabsichtigen keine direkten Wirkungen bei Zielgruppen wir machen ja Forschung. Welchen Nutzen haben wir vom Wirkungsmodell? In Forschungsprojekten ist der Stiftung Mercator Schweiz eine interdisziplinäre und/oder praxisorientierte Herangehensweise wichtig, die neue Erkenntnisse zu gesellschaftlich relevanten Fragen generiert. Dabei sind der Austausch von Erfahrungen und Wissen, der Aufbau von Netzwerken sowie der Transfer von Erkenntnissen in die Öffentlichkeit wichtig. Ein Forschungsprojekt generiert entsprechend Wirkungen bei Zielgruppen (zum Beispiel bei anderen Wissenschaftlern, in der Öffentlichkeit/Gesellschaft, in der Politik, bei allfälligen Beiräten, in Netzwerkgruppen). Auch bei Forschungsprojekten kann ein Wirkungsmodell somit als Orientierungshilfefür die Projektarbeit dienen. 9. Wie gehe ich am besten beim Ausfüllen des Wirkungsmodells vor? Die Erstellung eines Wirkungsmodells kann in zwei Richtungen erfolgen: Sie können von den Impacts (Wirkungen über die Zielgruppen hinaus) ausgehen und sich zu den Inputs (finanzielle, personelle und andere Ressourcen, die für das Projekt benötigt werden) vorarbeiten. Oder Sie können bei den Inputs beginnen und mit den Impacts enden. Wer bei den Impacts startet, hat den Vorteil, dass bei der Planung der Fokus auf den längerfristigen Wirkungen liegt, die das Projekt erzielen soll. In den einzelnen Planungsschritten wird gefragt, was getan werden beziehungsweise was passieren muss, um die jeweilige Wirkung oder Leistung zu erzielen. Andererseits kann bei dieser Vorgehensweise die Gefahr darin bestehen, dass man die kleinen Arbeitsschritte in Form von Aktivitäten eher vernachlässigt, weil vom grossen Ganzen her gedacht wird. Abeitet man sich hingegen von den Inputs zum Impact vor, wird der Blick für die zur Verfügung stehenden Ressourcen und bereits bestehende Aktivitäten geschärft. Dafür läuft man jedoch Gefahr, das grosse Ganze aus den Augen zu verlieren. Man ist eventuell weniger offen für neue Ideen oder Projektkonzepte. Es bietet sich also an, beide Vorgehensweisen zu nutzen und zu kombinieren. 10. Wie bestimme ich meine beabsichtigten Outcomes (Wirkungen)? Wenn Sie sich mit den Outcomes Ihres Projekts beschäftigen, sollten Sie sich folgende Fragen stellen: Welche Zielgruppe(n) wollen wir erreichen? Was soll das Projekt bei der Zielgruppe verändern? Die Out- FAQ zur Wirkungsmessung, S. 2 / 5

3 comes sollten möglichst konkret und messbar sein. Die so genannten SMART-Kriterien können bei der Formulierung (auch von Outputs) hilfreich sein. Abbildung: SMART-Kriterien Spezifisch Messmar Akzeptiert Realistisch Terminierbar Wirkungsziele müssen klar und eindeutig sein. Versuchen Sie, die Wirkungsziele so präzise und verständlich wie möglich zu formulieren, so dass sie auch von Dritten verstanden werden können. Wirkungsziele müssen messbar sein: Man muss feststellen können, ob die Wirkung eingetreten ist oder nicht. Die Wirkungsziele müssen von den wichtigsten Stakeholdern akzeptiert werden. Es muss ein gemeinsames Verständnis über die Wirkungsziele bestehen, das von allen Beteiligten mitgetragen wird. Es muss möglich sein, die Wirkungsziele zu realisieren. Das bedeutet nicht, dass Sie sich sicher sein müssen, dass Sie dieses Ziel auf jeden Fall erreichen werden. Aber es sollte im Bereich des Möglichen liegen, das Ziel im Rahmen des Projekts zu erreichen. Bei der Zielformulierung ist es in vielen Fällen schwierig, einen festen Zeitpunkt zu definieren, an dem das Ziel erreicht sein muss. Dem Wirkungsziel sollte aber zumindest ein Zeitrahmen zugeordnet werden, bis wann es erreicht sein sollte. Denn ob die Wirkung während des Projekts oder erst viel später eintreten soll/kann, macht für die Wahl des Zeitpunkts der Wirkungsanalyse einen wichtigen Unterschied. Ein Zeitrahmen bietet hier Orientierung. Quelle: Kurz/Kubek: Kursbuch Wirkung, S. 30 Wirkungsziele, die sich an diesen SMART-Kriterien orientieren, sind beispielsweise folgende: 80% der Schülerinnen und Schüler der Primarschule zeigen am Ende des Projekts anhand einer Befragung eine deutliche Verbesserung des Wissensstands zum Thema Food Waste. 60% der Schülerinnen und Schüler der Primarschule nehmen im nächsten Schuljahr an einem Folgekurs zum Thema Food Waste teil. 11. Muss jeder Output einen Outcome haben? Das Wirkungsmodell bildet die (kausalen) Zusammenhänge eines Projekts ab und zeigt, wie ein Projekt funktioniert. Konzentrieren Sie sich deshalb auf Outputs, die von der Zielgruppe genutzt werden, und darauf, welche Veränderungen in Wissen, Einstellungen oder Handeln bewirkt werden sollen (Outcomes). Nennen Sie die Outputs, die notwendig sind, um zu den erwünschten Outcomes zu gelangen. In der Regel ist es sinnvoll, wenn jedem Output ein Outcome beziehungsweise eine angestrebte Wirkung zugeordnet werden kann. Ein Outcome kann durchaus durch das Zusammenspiel mehrerer Outputs erzielt werden. 12. Was sind Zielgrössen? Die Zielgrössen geben Ihnen während der gesamten Projektlaufzeit Informationen, die eine wirkungsorientierte Steuerung ermöglichen. Tabelle: Beispiele für Zielgrössen bei der Zielgruppe Jugendliche Kategorie Verhaltensweisen, Einstellungen, persönliche Fähigkeiten und Kompetenzen (u.a. Motivation, Selbstbewusstsein, Selbstvertrauen, Verantwortungsbewusstsein, Zuverlässigkeit) Beispiel: Zuverlässigkeit Zielgrössen XY Anzahl / XY Prozentsatz der Jugendlichen, die regelmässig an den Projektangeboten teilnehmen sich selbstständig um die Terminabsprachen mit ihren Paten kümmern pünktlich zu Terminen erscheinen mit einem positiven Gefühl in Vorstellungsgespräche gehen über sich selbst sagen, dass sie sich mehr zutrauen in Gesprächen ihre eigene Meinung vertreten ihre Verantwortung für ihre eigenen Leistungen (z.b. Schulnoten) erkennen offen über ihre Probleme, Wünsche sprechen FAQ zur Wirkungsmessung, S. 3 / 5

4 sich auf eine Aufgabe konzentrieren können Praktische Fähigkeiten und Kompetenzen Beispiel: Verantwortungsvoller Umgang mit Geld Beispiel: 80% der Teilnehmenden sind zu sämtlichen gesetzten Terminen pünktlich erschienen. XY Anzahl / XY Prozentsatz der Jugendlichen, die qualitativ gute Bewerbungen schreiben können verantwortungsvoll mit Geld umgehen können ihre Rechte und Pflichten kennen und diese wahrnehmen können Berufliche Fähigkeiten und Kompetenzen Beispiel: Teamfähigkeit Beispiel: 70% der Teilnehmenden geben in der Befragung an, am Monatsende 20% ihres zur Verfügung stehenden Einkommens auf ein Sparkonto überwiesen zu haben. XY Anzahl /XY Prozentsatz der Jugendlichen, die mit ihren Kollegen im Team zusammenarbeiten Aufgaben und Probleme selbstständig lösen bzw. gezielt nach Hilfe fragen verständlich und höflich mit ihren Kollegen/Vorgesetzten/Kunden kommunizieren für ihren beruflichen Kontext relevanten IT-Anwendungen kompetent nutzen Beispiel: 2/3 der Teilnehmenden geben in der Befragung an, vermehrt mit ihren Kolleginnen und Kollegen zusammenzuarbeiten. Quelle: Kurz/Kubek: Kursbuch Wirkung, S Wie definiere ich Zielgrössen für meine Wirkungsziele? Grundlage und Ausgangspunkt für die Entwicklung von Zielgrössen sind die Ziele des Projekts, die im Wirkungsmodell festgehalten wurden. Oft sind die Zielgrössen nicht direkt messbar oder beschreibbar, und es braucht so genannte Indikatoren, um die Ziele quantifizierbar zu machen. Gehen Sie dazu ihre Ziele einzeln durch und überlegen Sie, woran Sie erkennen, dass ein bestimmtes Ziel erreicht wurde. Damit eine Zielgrösse aussagekräftig und messbar wird, sollte sie SMART sein: spezifisch, messbar, akzeptiert, realistisch und terminierbar (siehe Tabelle unter Frage 7). Formulieren Sie die Ziele so, dass deutlich wird, was in welchem Umfang und Zeitraum erreicht werden soll. Die Herausforderung, Ziele SMART zu formulieren, kann unter Umständen dazu verleiten, vor allem Zielgrössen für Outputs und Outcomes zu formulieren, die gezählt werden können. Es gilt, eine gute Mischung aus Zielgrössen zu finden, die sowohl quantitative als auch qualitative Aspekte beleuchten. Abbildung: Quantitative und qualitative Ziele Zielbeschreibung Dimension Zielgrösse Jugendliche haben nach Teilnahme am Projekt einen Ausbildungsplatz (direkt überprüfbar) zählbar Anzahl der Jugendlichen, die innerhalb von 6 Monaten nach Teilnahme am Projekt einen Job haben Jugendliche verfügen über höhere Bewerbungskompetenzen (nicht direkt überprüfbar) Quelle: Kurz/Kubek: Kursbuch Wirkung, S. 64 beschreibbar Die Mehrheit der Jugendlichen wissen, wie eine gute Bewerbung aufgebaut ist Die Mehrheit der Jugendlichen hat eine klare berufliche Perspektive Qualität der erstellten Bewerbungsunterlagen (Aussehen, Formulierung, Vollständigkeit) Die Mehrheit der Jugendlichen erstellt selbstständig eine Bewerbung FAQ zur Wirkungsmessung, S. 4 / 5

5 14. Was passiert, wenn die Ziele des Wirkungsmodells nicht erreicht werden? Die Ziele des Wirkungsmodells sind Orientierungshilfen. Das Wirkungsmodell macht die Arbeitshypothesen von Projekten sichtbar. Wichtig ist der Stiftung Mercator Schweiz eine regelmässige, ehrliche Auseinandersetzung mit der Frage, ob und inwieweit sich das Projekt in Richtung der angestrebten Ziele in Form von Outputs und Outcomes bewegt. Es kann immer sein, dass Ziele nicht erreicht werden. Wichtig ist uns die Reflexion der Projektarbeit. Aus der regelmässigen Analyse der Fortschritte, Ergebnisse und allfälligen Zielanpassungen möchten wir gemeinsam mit unseren Partnern lernen. Wir erwarten die Umsetzung der im Antrag dargelegten geplanten Aktivitäten und die Realisierung der Outputs (Leistungen und Produkte). Ein allfälliges Nichterreichen eines Outputs muss begründet werden. Zudem wird vorausgesetzt, dass Sie alle Ziele (Outputs und Outcomes) auf ihren Erfüllungsgrad hin überprüfen. Die erreichten Wirkungen (Outcomes) können jedoch von den beabsichtigten Wirkungen abweichen. Allfällige Misserfolge sollen dabei kritisch auf deren Ursache hin analysiert werden, so dass ein Lernprozess ausgelöst werden kann. Ebenso wichtig ist, dass die Wirkung des Projektes auf die Zielgruppe ermittelt wird. 15. Wo erhalte ich weitere Informationen zur Arbeit mit dem Wirkungsmodell? Einen Leitfaden zur Arbeit mit dem Wirkungsmodell finden Sie unserer Website: Das Kursbuch Wirkung. Das Praxishandbuch für alle, die Gutes noch besser tun wollen von Bettina Kurz und Doreen Kubek (Berlin: Phineo, 2013, bietet eine umfassende und praxisnahe Einführung ins Thema mit Instrumenten, Tipps und Beispielen. Stand: 09/2016 FAQ zur Wirkungsmessung, S. 5 / 5