Wissen was wirkt - Orientierung auf Wirkungen in der Internationalen Zusammenarbeit

Transkript

1 Wissen was wirkt - Orientierung auf en in der Internationalen Zusammenarbeit Dipl.-Soz. Michael Gajo Gruppenleiter Dezentrale M&E-Systeme Stabsstelle Monitoring und Evaluierung Seite 1

2 Fakten Aktiv in Deutschland und in über 130 Ländern weltweit ca laufende Programme Rund Mitarbeiterinnen und Mitarbeiter Geschäftsvolumen 2011 rund 2 Milliarden Für öffentliche und private Auftraggeber im In- und Ausland Hauptauftraggeber: das BMZ Seite 2

3 Inhalt Mandat und Aufbau der Stabsstelle Monitoring und Evaluierung Wozu evaluieren wir? Evaluierungsstandards und -kriterien nach OECD / DAC Capacity WORKS Das smodell der GIZ Evaluierungsergebnisse (Beispiel) Seite 3

4 Aufgaben der Stabsstelle M&E evidenzbasierte Ergebnisse liefern den Nachweis von Wirksamkeit der Arbeit der GIZ in allen Geschäftsfeldern ermöglichen und zur Verfügung stellen Grundlagen für unternehmensstrategische Entscheidungen liefern Impulse für individuelles und institutionelles Lernen geben Systeme, Methoden, Instrumente, Beratungsleistungen und fachliche Kompetenz in Monitoring und Evaluierung bereit stellen, um Wirksamkeit nachzuweisen Seite 4

5 Stabsstelle 08 Monitoring und Evaluierung Gruppe 0810 Zentrale Evaluierungen Gruppe 0820 Dezentrale M&E Systeme Kernleistungen: Evaluierungen im Auftrag der Unternehmensführung planen und steuern Erproben neuer Evaluierungsmethoden Ansprechpartner bei externen Evaluierungen (früher BMZ, künftig Institut für Deutsche Entwicklungsevaluierung) Einbringen von Evaluierungsergebnissen (eigene, aggregierte und externe) in den unternehmensweiten Lernprozess AV Evaluation Capacity Development (ECD) Kernleistungen: Entwicklung und Bereitstellung von Instrumenten und Prozessen für M&E Beratung beim Aufbau von M&E-Systemen und bei der Anwendung von M&E-Instrumenten Konzepte zur Qualifizierung von M&E-Kapazitäten (intern, z.b. AM-Kurs) Handreichungen, Unterstützungsmaterialien Steuerung des M&E Beraterpools Capacity Development für M&E Querschnittsaufgaben: Methodenentwicklung, Lernen aus Evaluierung, Kommunikation Seite 5

6 Wozu evaluieren wir? Rechenschaftslegung - gegenüber Auftraggeber und Öffentlichkeit Lernen - als Einzelner, im Projekt/Programm, als Unternehmen, in der IZ Steuerung - einzelner Entwicklungsmaßnahmen und der Länderportfolios Ziel: Qualität verbessern, Wirksamkeit steigern, Potenzial für Benchmarking Seite 6

7 Evaluierungsstandards Ausrichtung an Prinzipien des OECD / DAC Glaubwürdigkeit Vorhandensein eines Evaluierungssystems und -programms Unabhängigkeit Transparenz Nützlichkeit Einbeziehung der Partner Seite 7

8 Ausrichtung an Kriterien des OECD / DAC Relevanz: Tun wir das Richtige? Effizienz: Handeln wir wirtschaftlich? Effektivität: Erreichen wir die Ziele? Nachhaltigkeit: Sind die positiven en von Dauer? Impact: Tragen wir zur Erreichung entwicklungspolitischer en bei? Schulnotensystem von 1 bis 6 pro Kriterium Seite 8

9 Capacity WORKS das Managementmodell der GIZ Die fünf Erfolgsfaktoren - Bausteine Strategie Kooperation Steuerungsstruktur Prozesse Lernen und Innovation Welche sind unsere strategischen Optionen? Haben wir einen adäquaten Weg gewählt, um die vereinbarten Ziele und en zu erreichen? Wer sind die wichtigsten Akteure, wie holen wir sie ins Boot und wie arbeiten wir am besten mit ihnen zusammen? Welche Regeln und Mechanismen haben wir, um unser Kooperationssystem effektiv gemeinsam mit den relevanten Akteuren zu koordinieren? Was sind die wichtigsten Prozesse in unserem Kooperationssystem und wie gestalten wir diese effizient und effektiv? Wie fördern wir kontinuierliches Lernen und Innovation in unserem Kooperationssystem (GIZ und Partner)? Seite 9

10 Was ist Capacity WORKS? Es ist das Managementmodell der GIZ zur Steuerung von komplexen Vorhaben Capacity WORKS hilft uns auf der Ebene des wie gehen wir vor? Die Ziele und en der Vorhaben stehen im Mittelpunkt des Modells Das Vorhaben wird in 5 Erfolgsfaktoren immer wieder überlegt, gemonitort, angepasst und korrigiert. Es geht um strukturierende Hilfen, Tools die bei der Analyse und der Gestaltung helfen ( und nicht um Patentrezepte!). Seite 10

11 smodell der GIZ Seite 11

12 Orientierung auf en 1) Wer oder was muss sich ändern, um einen positiv intendierten Zustand herbeizuführen? Ausrichtung auf den Erfolgsfaktor Strategie nach Capacity WORKS: en: Positive intendierte Veränderungen eines Zustands oder Verhaltens werden sichtbar. Diese en werden zueinander in Beziehung gesetzt. Es ergibt sich ein komplexes, nicht lineares sgefüge. Seite 12

13 Orientierung auf en 2) Wo legen wir gemeinsam mit Partnern und Auftraggebern das Ziel fest? Innerhalb des Veränderungsprozesses werden alternative Strategieoptionen im Dialog mit den Partnern und Auftraggebern geprüft und ausgehandelt. Eine wird vereinbart. Wir fragen: Wo gibt es einen Bedarf? Wo sind andere Geber bereits tätig? Worin sind wir besonders gut? Wie viele Ressourcen stehen uns zur Verfügung und wie setzen wir diese am besten ein? Ziel Eine wird als Ziel festgelegt. Seite 13

14 Orientierung auf en Strategieoption 1 Das Bild zeigt eine alternative Strategieoption auf. Strategieoptionen innerhalb des Veränderungsprozesses werden im Dialog mit den Partnern geprüft. Ziel Seite 14

15 Orientierung auf en Strategieoption 2 Das Bild zeigt eine alternative Strategieoption auf. Strategieoptionen innerhalb des Veränderungsprozesses werden im Dialog mit den Partnern geprüft. Ziel Seite 15

16 Orientierung auf en Strategieoption 3 Das Bild zeigt eine alternative Strategieoption auf. Ziel Strategieoptionen innerhalb des Veränderungsprozesses werden im Dialog mit den Partnern geprüft. Seite 16

17 Verantwortung 3) Wofür trägt die GIZ gegenüber dem Auftraggeber Verantwortung? Wir definieren die Systemgrenze und damit den Verantwortungsbereich für das Vorhaben. Wir versprechen, das Ziel zu erreichen. Die Zielerreichung wird mit Hilfe der festgelegten Zielindikatoren gemessen. Ziel Seite 17

18 Der Beitrag wird festgelegt 4) Was ist unser Beitrag, um en zu erzielen? Wir fragen: - An welchen Hebeln setzen wir mit unseren Interventionen an? - Was müssen wir tun, um en zu erzielen? - Welche Instrumente sind geeignet? Aktivitäten definieren den Beitrag von Partnern und der GIZ zur Erreichung der intendierten Veränderungen. Instrumente der GIZ werden identifiziert und nach ihrem komparativen Vorteil ausgewählt und eingesetzt. Ziel. Seite 18

19 smodell erleichtert die Erstellung einer Akteursanalyse 5) Mit wem kooperieren wir? Ausrichtung auf den Erfolgsfaktor Kooperation nach Capacity WORKS: Mit welchen Akteuren kooperieren wir, um intendierte en zu erzielen? Das smodell erleichtert die Erarbeitung einer Akteursanalyse und gibt Antworten auf die Fragen: Wer muss bei der Steuerung innerhalb des Verantwortungsbereichs mit einbezogen werden? Wer muss im Blickfeld bleiben? Ziel Seite 19

20 Disparities between rural and urban areas decrease Income of farmers increases Exports of OA products to EU increase More job opportunities in agricultural sector Organic Agriculture (OA) in Serbia sgefüge The Serbian organic agricultural sector is expanded Healthier products available for consumers Natural resources / biodiversity is protected Marketing channels for OA products are improved Serbia s EU integration makes progress Serbian OA products get EU certification through Serbian certification bodies Serbian certification and control system for OA-products is established MoAgric improves policy, legal & regulatory framework for OA in line with EU standards Quality of OA products improves Joint on-farm research and development projects between farmers and researchers exist Productivity of OA increases MoAgric introduces support measures & programmes for OA Farmers convert to OA Farmers apply gained knowledge about OA & apply (more/ better) organic inputs Extension services, schools & universities integrate organic agriculture in their programmes Demand for organic products in Serbia increases Public awareness about benefit of OA in Serbia grows Offer of relevant services for OA established by BMOs & NGOs (e.g. lobbying, info on markets, production, standards, support programs, public awareness etc.) BMO = Business Membership Organisation OA = Organic Agriculture PTB = Phys.-techn. Bundesanstalt SDC = Swiss Dev. Cooperation Seite 20

21 Disparities between rural and urban areas decrease Income of farmers increases Exports of OA products to EU increase More job opportunities in agricultural sector Organic Agriculture (OA) in Serbia sgefüge The Serbian organic agricultural sector is expanded Healthier products available for consumers Natural resources / biodiversity is protected Marketing channels for OA products are improved Serbia s EU integration makes progress Serbian OA products get EU certification through Serbian certification bodies Serbian certification and control system for OA-products is established MoAgric improves policy, legal & regulatory framework for OA in line with EU standards Quality of OA products improves Joint on-farm research and development projects between farmers and researchers exist Productivity of OA increases MoAgric introduces support measures & programmes for OA Farmers convert to OA Farmers apply gained knowledge about OA & apply (more/ better) organic inputs Extension services, schools & universities integrate organic agriculture in their programmes Demand for organic products in Serbia increases Public awareness about benefit of OA in Serbia grows Offer of relevant services for OA established by BMOs & NGOs (e.g. lobbying, info on markets, production, standards, support programs, public awareness etc.) BMO = Business Membership Organisation OA = Organic Agriculture PTB = Phys.-techn. Bundesanstalt SDC = Swiss Dev. Cooperation Seite 21

22 M&E im Prozess - Funktion des smodells Planung Durchführung Abschluss Nachhaltigkeit en sorientiertes Monitoring Evaluierungen Prüfung Baseline Projektfortschrittskontrolle Schlussevaluierung Ex-post- Evaluierung Seite 22

23 Lernen aus Evaluierung Unternehmen Organisationseinheiten Projekt/ Programm en EVALUIERUNG Querschnittauswertung Auswertungssitzung Projektevaluierung Debriefing Auswertungssitzung Lernwerkstatt Unternehmensstrategische Evaluierung Querschnittauswertung Lerncafé Entscheidung durch die Unternehmensführung Management Response System Umsetzungsvereinbarung auf Basis der Evaluierungsempfehlungen Seite 23

24 Beitrag zur Langfristigen Unternehmensplanung, Geschäftschancen und Wachstumsstrategie Fokus auf Nutzen für die GIZ: sorientierung mit neuem smodell anwendbar für alle Geschäftsbereiche Unabhängige Evaluierungen (2010/11 Berufliche Bildung / Friedensentwicklung und Krisenprävention, 2011/12 Gesundheit, 2012/13 Bildung) mit strategischen Fragestellungen unter Einbeziehung aller Instrumente der GIZ Fokus auf Effizienz mit vorgeschalteter Studie Erkenntnisse für die Unternehmensstrategie/n zu Erfolgsfaktoren bei Scaling-up/ Breitenwirksamkeit und IZ in Schwellenländern Seite 24

25 Praktische Beispiele Krisenprävention und Friedensentwicklung (2010/2011) Ergebnisse im Überblick 8 unabhängige Evaluierungen zum Schwerpunktthema + Querschnittsauswertung DAC- Kriterien Durchschnittswerte * Relevanz Effektivität Effizienz Impact Nachhaltigkeit Gesamt 2,0 2,4 2,1 2,5 2,5 2,3 * Standardisiertes Notensystem von 1 bis 6 Insgesamt erfolgreich, wenn auch begrenzt nachhaltig Alle Programme haben dazu beigetragen, Gewalt zu reduzieren, das friedliche Zusammenleben zu fördern und die Lebensbedingungen der Bevölkerung zu verbessern Bewertung mit den Noten 1 bis 6 (dabei stellt 1 die beste und 6 die schlechteste Note dar) Seite 25

26 Ergebnisse en wurden v.a. auf lokaler, individueller und institutioneller Ebene erzielt. Erfolgreich war die Kombination aus wirtschaftlichen und sozialen Maßnahmen. Bewährt hat sich der Einsatz von Methoden und Instrumenten zur konfliktsensiblen Ausrichtung. Es zeigte sich eine hohe Qualität bei der Konzeption und Umsetzung der Maßnahmen. Ansatzpunkte für Verbesserungen klare und realistische Ziele, um besser messen zu können Vernetzung mit anderen Partnern, um die Langzeitwirkung zu verbessern Methoden und Instrumente zur konfliktsensiblen Ausrichtung noch systematischer und konsequenter einsetzen Seite 26

27 Praktische Beispiele Berufliche Bildung (2010/2011) Ergebnisse im Überblick DAC- Kriterien Durchschnittswerte 12 unabhängige Evaluierungen zum Schwerpunktthema + Querschnittsauswertung Relevanz Effektivität Effizienz Impact Nachhaltigkeit Gesamt 2,17 2,33 2,58 2,67 2,75 2,68 Ziele erreicht z.b. Anpassung der Aus- und Fortbildung an die Bedarfe der Wirtschaft bzw. des Arbeitsmarktes, Verbesserung der Infrastruktur und Organisation von Ausbildungseinrichtungen, Fortbildung von Lehr- und Managementpersonal, Organisationsentwicklung Aber nur teilweise nachhaltig / Keine Breitenwirksamkeit auf übergeordneter Systemebene Bewertung mit den Noten 1 bis 6 (dabei stellt 1 die beste und 6 die schlechteste Note dar) Seite 27

28 Fazit: Schlüsselgrößen für Nachhaltigkeit in der EZ Systemkompatibilität Flexibilität Ownership Qualifiziertes und motiviertes Personal Seite 28

29 Praktische Beispiele Randomized Controlled Trials (RCT) Senegal 2010: Pilot- sevaluierung Hat sich die Situation wirklich aufgrund der Maßnahme verbessert? Was wäre ohne Intervention passiert? Methodisch anspruchsvolle Evaluierung mit experimentellem Evaluierungsdesign Vergleich: Teilnehmende Zielgruppe und nicht-teilnehmende Kontrollgruppe (randomisierte Auswahl) Senegal: Wie wirkt sich die Verbreitung von energie-effizienten Kochöfen in einem ländlichen Gebiet auf die Lebensqualität der Menschen aus? Seite 29

30 Evaluierung Standardisierte Befragung von 253 Haushalten Randomisierte Einteilung in Kontrollund Zielgruppen Erneute Befragung Ergebnis der Evaluierung Weniger Feuerholz, weniger, Kochzeit, weniger Gesundheitsprobleme Auswertung der Methode: bei GIZ-Vorhaben nur begrenzt einsetzbar, da Zielgruppen oft bewusst ausgewählt werden (Vergleichbarkeit?) viele Vorhaben auf nationaler Ebene arbeiten (Kontrollgruppe?) es in einigen Sektoren (z.b. Good Governance) viel schwieriger ist, en zu quantifizieren RCTs keine Aussagen darüber treffen können, warum etwas (nicht) wirkt Seite 30

31 M&E-Instrumente der GIZ Dezentrale Evaluierung Steuerung durch operative Einheiten Projektfortschritts- Kontrolle (PFK) e-val Sonstige dezentrale Evaluierung Zentrale (unabhängige) Evaluierung Steuerung durch StS Monitoring und Evaluierung Portfolio-Evaluierung (UE) Ex-Ante-Evaluierung Schlussevaluierung Ex-Post-Evaluierung Querschnittauswertung Externe (unabhängige) Evaluierung) Steuerung durch BMZ / DEval Evaluierungsprogramm BMZ / DEval Unternehmensstrategische Evaluierung (USE) sorientiertes Monitoring (WoM) zur kontinuierlichen Lieferung relevanter Daten und Informationen

32 Vielen Dank für Ihre Aufmerksamkeit! Vielen Dank für Ihre Aufmerksamkeit! Seite 32