Wirkungsmessung für Mentoring- Programme. 3. BBE-Fachkongress im Programm Menschen stärken Menschen 15. November 2018 Fabian Schenk Associate

Transkript

1 Wirkungsmessung für Mentoring- Programme 3. BBE-Fachkongress im Programm Menschen stärken Menschen 15. November 2018 Fabian Schenk Associate

2 Mein persönlicher Bezug zum Mentoring On Purpose Berlin Ein Jahr zwei Mentoren eine Vielzahl an Kollegen 2

3 Unsere Mission und Leistungen Value for Good ist eine spezialisierte Unternehmensberatung, die die Methoden und Instrumente der Top Managementberatungen nutzt, um gesellschaftliche Wirkung zu erzielen. Wir arbeiten sektorübergreifend und unterstützen Unternehmen, öffentliche und internationale Organisationen sowie Stiftungen dabei gesellschaftlichen Mehrwert zu schaffen, zu steigern und zu messen. SUSTAINABILITY BERATUNG STRATEGISCHE BERATUNG VON KOOPERATIONEN SOCIAL IMPACT BERATUNG Wir zeigen Unter- Wir bieten strategische Wir beraten nehmen, wie sich Beratung für internationale nachhaltiges Partnerschaften Organisationen, den Wirtschaften strategisch zwischen privaten, öffentlichen Sektor und positiv auf das öffentlichen und sozialen Stiftungen dabei, Kerngeschäft auszahlt Organisationen an, um wie sie positive und zum klaren ihnen zu helfen, ihre Wirkung schaffen, Wettbewerbsvorteil Wirkung effizient zu messen und steigern werden kann. maximieren. können. 3

4 Zwei Fragen für heute: 1) Wie können geeignete Indikatoren für Mentoring-Programme identifiziert werden? 2) Wie wird Wirkungsmessung in der Praxis gestaltet? 4

5 Wir verfolgen einen mehrstufigen Ansatz zur Wirkungsmessung 4 Bestimmung von Intention & Fokus der Wirkungsmessung 3 2 Aufbau der Wirkungskette Erstellung der Theory of Change Einsatz kontinuierlicher Lernzyklen Ausarbeitung von Indikatoren & Wirkungsmessungsplan Steuerung der Datenerhebung Erarbeitung der Problemdefinition Umsetzung der Daten-analyse & - bewertung 7 Durchführung der Berichterstattung & strategischen Revision 8

6 Die Auswahl geeigneter Indikatoren basierend auf der Intention und ermöglicht die Wirkungsmessung 4 Bestimmung von Intention & Fokus der Wirkungsmessung 3 2 Aufbau der Wirkungskette Erstellung der Theory of Change Einsatz kontinuierlicher Lernzyklen Ausarbeitung von Indikatoren & Wirkungsmessungsplan Steuerung der Datenerhebung Erarbeitung der Problemdefinition Umsetzung der Daten-analyse & - bewertung 7 Durchführung der Berichterstattung & strategischen Revision 8

7 Wirkungsmessung ist Pioniersarbeit in Deutschland Laut der Google Impact Challenge 2016 Studie in Deutschland finden 84% der 99 befragten Organisationen Wirkungsanalyse wichtig, aber 37% der Organisationen haben keine Ahnung von Wirkungsanalyse Die Hälfte misst die soziale Wirkung nicht Ein Drittel schätzt die Wirkung nur qualitativ ein <20% Nutzen Indikatoren, die meisten nur Outputs

8 Beispiel Was ist Wirkungsmessung? Input Output Outcome Impact Investitionen in Mentoring-Programm Absolventen des Mentoring-Programms Mentees erreichen einen höheren Schulabschluss Erhöhte soziale Kohärenz in der Gesellschaft Überprüfen und Verstehen der Zusammenhänge zwischen Inputs, Outputs, Outcomes und Impacts eines Programms und seiner Aktivitäten auf wichtige Stakeholder

9 Das Klären der Intention der Wirkungsmessung hilft der Organisation bei der Fokussierung Qualitätsmanagement Sicherstellung der Programmqualität Effizienzsteigerung von Prozessen & Strukturen Wirkungslenkung Wirkungssteigernde Programmänderungen Neugestaltung interner Prozesse & Strukturen Legitimation Erfüllen von Auflagen der Geldgeber Einbeziehung von internen und externen Stakeholdern Skalierung Neugewinnung von Multiplikatoren & Empfängern Gewinnung von Partnerschaften & Spendern

10 Steigende Komplexität Unterschiedliche Faktoren beeinflussen die Auswahl passender Indikatoren Wie wichtig ist der KPI in der Wirkungskette? Wie viel Aufschluss gibt er über die Effekte des Programms? Welche Komplexität wird gebraucht um eine aussagekräftige Messung zu erreichen? Auswahl der passenden Indikatoren Wie viel Präzision ist benötigt? (Zahl der Teilnehmer, Qualität der Datenquellen usw.)? Wie wirken sich zeitliche Einschränkungen auf Komplexität und Präzision aus? Sind genügend Ressourcen und Zeit zur Verfügung, um den KPI zu erheben? Nutzung der Wissenschaft: Wissenschaftliche Items & Skalen ( Big-Five-Inventory der Persönlichkeit ( What works Clearinghouse

11 Es gibt einige Standard-Indikatoren für Mentoring Mentoring allgemein Investierte Finanzmittel Anzahl der Nutzer / Schulen / Gemeinden / Angestellten / Ehrenamtlichen Prozent Teilnahme / Abwesenheit / Abbruch Anzahl von Nutzer-Stunden Messbare Leistungsverbesserung (z.b. Noten) Anzahl Teilnehmer, die standardisierte Leistungsniveaus erreichen (z.b. Alphabetisierung, Rechenfähigkeiten, Berufskompetenzen) Anzahl Schulabwesenheitstage Anzahl Schulwechsel Anzahl Tage mit Schulverbot Anzahl der Wiedereinschulungen (nach Abbruch) Anzahl Stunden an Selbststudium Anzahl Absolventen Anzahl eingeschriebener Studenten in Hochschulen Anzahl Einstellungen in Jobs / Anzahl Jobbewerbungen Zufriedenheitsgrad mit Mentoring (Skala / in Prozent) Einbeziehung Elternhaus Anzahl Stunden der Entlastung für Eltern Anzahl Beratungseinheiten für Eltern Anzahl beteiligter Eltern Anzahl Eltern beteiligt an Programm-entwicklung Prozent Eltern, die Verbesserung empfinden Prozent Eltern, die Stressverminderung empfinden Anzahl Gewalttaten zu Hause Prozent die glückliches Zuhause empfinden Beruf / Wohlstand Arbeitslosenquote Durchschnittseinkommen Verschuldungsgrad Wohnungsbesitz Reisezeit zur Arbeit % Unternehmensgründer Anzahl kreierter Jobs Anzahl wiederholter Einstellungen Anzahl länger als 6, 12 Monate im Job Inklusion Nutzer mit Behinderungen Nutzer aus Risiko-Gruppen Nutzer mit großen Hürden Soziales Verhalten / Kriminalität Anzahl Mobbing-Vorfälle verursacht/erlebt Ehrenamtliches Engagement Anzahl der Freunde Anzahl Kontaktfälle mit Justizsystem Anzahl Straftaten nach Härtegrad Gang-Beteiligungsrate Drogen- & Alkoholkonsum Lehrerausfallquote (Krankheit) Anzahl Kriseneinsätze Selbstempfinden Verbesserung der Motivation Verbesserung des Selbstwert-empfindung Reduzierung der Entfremdung Positiverer Ausblick auf das Leben Reduzierung Konflikte mit Familie Soziales Umfeld Anzahl Mitgliedschaften in Vereinen Anzahl Stunden Sport pro Woche Anzahl Stunden Hobbies pro Woche Anzahl Kontakte zwischen Beteiligten Gesundheit Übergewicht Einhaltung von Routine-untersuchungen Selbstgefährdungs- / Suizidrate Konzentrationsfähigkeit Krankheitstage Skalierung Anzahl Kooperationen Generierte Finanzmittel Neugegründete Hilfsgruppen

12 Die Datenerhebung kann mit quantitativen und qualitativen Methoden erfolgen # Quantitativ Was ist die messbare Veränderung durch das Programm? Methoden der Datenerhebung Qualitativ Wie und warum wird die Veränderung hervorgerufen? 1 Externe Daten 3 Umfragen 5 Beobachtungen 2 Register / Interne Statistiken 4 Interviews 6 Fokusgruppen Digitale Tools bieten Unterstützung für eine skalierbare und effiziente Datenerhebung

13 Beispiel Morus14: Umfragen zur Datenerhebung 21 Für die Evaluation wird die Morus Klasse mit einer Parallelklasse der Regenbogenschule verglichen Morus Klasse Untersuchungsgruppe Regenbogen Klasse Vergleichsgruppe 9 (41%) 12 (59%) 5 (31%) 11 (69%) Weiblich Männlich Weiblich Männlich Schüler erhalten explizites Angebot von Schülerhilfe durch das Projekt Fit und Schlau von Anfang an 16 aus 22 SchülerInnen nahmen das Schülerhilfe- Angebot an (73%) Aufgrund eines Schulwechsels sind bei der 2. Datenerhebung nur noch 21 Schüler in der Klasse Freiwilliges Angebot von Morus 14 an Schülerhelfer-Programm teilzunehmen 1 (6%) von 16 SchülerInnen erhält regelmäßig Schülerhilfe Ein Schüler mit Behinderung erhält besondere Unterstützung durch eine Vollzeithilfe Ohne Schülerhelfer Mit Schülerhelfer Selbsteinschätzung der Mentees Anwendung einer Kontrollgruppe

14 Beispiel Harpswell Foundation: Wirkungsmessungsplan Wirkungsmessungsplan eines Mentoring-Programms für Führungskräfteentwicklung junger Frauen in Kambodscha 7 Umfragen Interviews in Haushalten und Dörfern Externe Datenanalyse

15 Die Berechnung des Social Return on Investment bei Balu & Du Social Return on Investment Koeffizient der monetisierten Impacts für jeden investieren EUR der Inputs über festgelegten Zeitraum Investitionen in Programm (Inputs) Outputs Outcomes Gesellschaftl. Mehrwert (Impacts) Monetisierte Impacts Investitionen 15

16 Diskussion in der Gruppe 1. Welche Intention verfolgen Sie mit der Wirkungsmessung? 2. Welche Indikatoren eignen sich für die Messung der Wirkung von Ihrer Mentoring- Programme? 3. Mit welchen Methoden lassen sich die erforderlichen Indikatoren erheben?

17 Kontakt: Fabian Schenk +49 (0) Value for Good GmbH Französische. Straße Berlin, Germany 17