Evaluation praktisch Wie kann eine Taschengeldbörse evaluiert werden? Abschlussworkshop des Projektes Servicebrücken Jugend-Alter Düsseldorf, 01.12.2015
Ziele des Inputs Wir erarbeiten gemeinsam Ideen für ein passendes Vorgehen zur Evaluation einer Taschengeldbörse. Wir berücksichtigen dabei, dass Sie mit (sehr) begrenzten Ressourcen auskommen müssen. Sie sind dafür sensibilisiert, eine Evaluation gut zu planen. Sie kennen weiterführende Informationsquellen. schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 2
Der Evaluationszyklus 1. Ziele des Projekts klären 6. Ergebnisse verwenden 2. Zweck der Evaluation klären Partizipation? 5. Schlussfolgerungen 3. Fragestellungen festlegen 4. Daten erheben und auswerten schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 3
Partizipation Wer stellt welche Fragen? In jedem Projekt gibt es Personen, für die «etwas auf dem Spiel steht». Sie werden Stakeholder (Anspruchsgruppen) genannt. Oft haben sie rollentypischen Fragen, Interessen, Befürchtungen und Erwartungen an eine Evaluation. Darunter sind jene, welche das Projekt finanzieren und über die Fortsetzung entscheiden; jene, die für das Projekt auf strategischer Ebene Verantwortung tragen (z. B. Geschäftsführung des Trägers, Projektleitung); jene, die an der Umsetzung des Projekts beteiligt sind (haupt- und ehrenamtliche Mitarbeitende); jene, die durch das Projekt direkt oder indirekt erreicht werden oder werden sollen bzw. die von dessen Umsetzung betroffen sind (Zielgruppen). Die Differenzierung ist nicht in jedem Projekt trennscharf gegeben. Wesentlich für eine konstruktive Haltung zur Evaluation und eine effektive Nutzung der Evaluationsergebnisse ist die Identifizierung der Stakeholder und eine den jeweiligen Ressourcen angemessene Einbeziehung. schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 4
1. Ziele des Projekts klären Was genau möchten Sie im Projekt erreichen? Ziele sollten auch unabhängig von einer Evaluation geklärt sein. Für eine Evaluation müssen die Ziele operationalisiert werden (messbar gemacht werden!) Ziele gibt es auf mehreren Ebenen: Outputs, Outcomes, Impacts Outputs (zählbare Leistungen) Was müssen Sie zur Verfügung stellen? Wie viele Jugendliche/Ältere möchten Sie erreichen? Outcomes (Veränderungen bei Personen) Was sollen die Jugendlichen lernen? Wie sollen ältere Menschen davon profitieren? Impacts (Veränderungen in sozialen Systemen) Soll die Taschengeldbörse auch Auswirkungen auf den Sozialraum, die Stadt haben? Die Erreichung von Output-Zielen zu messen ist mit Bordmitteln in der Regel leistbar. Bei Outcomes und Impacts wird es von Stufe zu Stufe anspruchsvoller. Die Messung der Zielerreichung ist mit Bordmitteln selten möglich. schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 5
2. Zweck der Evaluation klären Wozu mache ich die Evaluation? Der Zweck einer Evaluation lässt sich in der Regel einer dieser vier Kategorien zuordnen: 1. Optimierung: die Veränderung der Aktivitäten des Projekts, um bessere Ergebnisse zu erzielen 2. Rechenschaftslegung: die Legitimation über die Kosten des Projekts 3. Entscheidungsfindung: das Ermöglichen von Entscheidungen über das Projekt 4. Wissensgenerierung: generalisierbares Fachwissen über das Thema, die Zielgruppen etc. des Projekts (häufig zusätzlich gefordert: Nutzung von Ergebnissen für die Öffentlichkeitsarbeit) Sie dürfen strategisch denken! Was nützt Ihnen am meisten? Wie viel können Sie leisten? Für eine Evaluation mit Bordmitteln kommen in der Regel nur die Optimierung/Verbesserung oder die Rechenschaftslegung in Betracht. An die Stakeholder muss klar und deutlich kommuniziert werden, welche Zwecke verfolgt werden und vor allem auch, welche nicht verfolgt werden! (Was geht Was geht nicht) schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 6
3. Fragestellungen festlegen Was genau soll die Evaluation untersuchen? Die Fragestellung bringt mein Erkenntnisinteresse auf den Punkt. Worüber konkret brauche ich datenbasierte Informationen? Fragestellungen unterscheiden sich je nach Evaluationszweck und Erkenntnisinteresse. Fragen, die beim Fokussieren helfen können, sind: 1. Verbesserung/Optimierung: Bezüglich welcher Aspekte bin ich mir unsicher, ob das Konzept aufgeht? Wo hakt es? 2. Rechenschaftslegung: Wie kann ich darlegen, dass die (Finanz-)Mittel wirtschaftlich und sinnvoll eingesetzt wurden? 3. Entscheidungsfindung: Welche Argumente überzeugen (derzeitige und/oder potentielle) Mittelgeber, das Projekt weiter zu finanzieren? 4. Wissensgenerierung (im Sinne von neuem, generalisierbarem Fachwissen): Warum geht das Konzept auf? Was kann man (für Folgeprojekte) daraus lernen? Jeder Zweck erfordert spezifische Fragestellungen und Daten (Vorsicht: hoher Aufwand!) Je nach Zweck/Fragestellungen werden die rollentypischen Fragen von bestimmten Stakeholdern bedient bzw. nicht bedient. Das muss offen kommuniziert werden. schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 7
4. Daten erheben und auswerten Welche Daten beantworten die Fragestellungen? Fragestellung Ausprägung des zu untersuchenden Sachverhalts Kann ich es beobachten? Kann ich es lesen? Kann ich es fragen? Kann ich es dokumentieren? Kann ich es ausprobieren? Beobachtung Inhaltsanalyse Befragung Monitoring Experiment Auswertung: Filtern des Materials in Bezug auf die Fragestellung Der Nutzen der Evaluation wird nicht über den Umfang oder die Komplexität der Erhebungen und Auswertungen bestimmt, sondern darüber, wie systematisch und überlegt vorgegangen wird! Zu allererst sollte geprüft werden, ob vorhandene Daten genutzt werden können! Dann sollte geprüft werden, welche Unterstützung Sie erhalten können! Soweit möglich sollten qualitative und quantitative Daten kombiniert werden (Triangulation). schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 8
5. Schlussfolgerungen Am Ende leiten Werte das Handeln FIWE-Methode am Beispiel der Evaluationsergebnisse eines Führungskräftetrainings Fakten Welche Daten? Interpretationen Wie erklären? Wertungen Was leitet uns? Empfehlungen Was ist zu tun? Drei Viertel der Mitarbeitenden ist unzufrieden mit dem Führungsverhalten ihrer Vorgesetzten. Die Erwartungen der Mitarbeitenden sind sehr hoch. Das Trainingsprogramm ist schlecht. Wir sind die Besten und wollen es bleiben. Die Mitarbeitenden müssen sich anpassen. Kein Staub aufwirbeln. Stabilität hat Vorrang. Wir wollen besser werden. Das Programm wird ausgeweitet. Die Auswahl und Beurteilung der Mitarbeitenden wird verändert. Das Programm wird eingestellt, die Mitarbeitenden beruhigt. Es wird ein neues Programm erarbeitet. schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 9
6. Ergebnisse verwenden Ergebnisse verwerten - strategisch denken! Rahmenbedingung/Vorgehensweise für Erfolg/Misserfolg ist und liegt innerhalb unseres Verantwortungsbereichs. innerhalb des Verantwortungsbereich von stabil Keine bzw. langfristige Veränderung möglich Keine bzw. langfristige Veränderung möglich variabel Schnelle Veränderung möglich Überzeugungsarbeit notwendig Welche Akteure sollen bei der Interpretation von Ergebnissen einbezogen werden? Welche Ansprechpartnerinnen und -partner sind dafür zuständig bzw. geeignet? An welchen Stellen bzw. durch welche Personen werden strategische Entscheidungen getroffen, die auf Grundlage der Ergebnisse angestrebt bzw. vermieden werden sollen? Welche Form der Berichterstattung ist für die verfolgten Zwecke und die einzubeziehenden Personen geeignet? schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 10
Weiterführende Literatur Handreichungen zur Planung und Umsetzung von Evaluationen König, J. (2000). Einführung in die Selbstevaluation. Ein Leitfaden zur Bewertung der Praxis sozialer Arbeit. Freiburg i.br.: Lambertus Verlag. Beywl, Kehr, Mäder & Niestroj (2007). Evaluation Schritt für Schritt: Planung von Evaluationen. Münster: hiba Verlag. Kurz, B. & Kubek, D. (2013). Kursbuch Wirkung. Berlin: Phineo gag. Schmidt, Stefan (2016): Elemente und Aspekte im Sinne der Ergebnisqualität. In Institut für Soziale Arbeit (Hrsg.) (im erscheinen). Qualitätsmanagement im Bereich Ehrenamt in den Frühen Hilfen. Münster. Handreichungen speziell zur Zielklärung Beywl, W. & Schepp-Winter, E. (1999). Zielfindung und Zielklärung ein Leitfaden [online]. Schmidt, Stefan (2015): Die wirkungsorientierte Zielsystematik als Instrument der Evaluation und der Steuerung von komplexen Programmen und Netzwerken. In: Giel, S./Klockgether, K./Mäder, S. (Hrsg.). Evaluationspraxis. Professionalisierung - Ansätze - Methoden. Münster schmidt evaluation Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden? 11
Herzlichen Dank für die Einladung!