Stabsstelle Monitoring und Evaluierung. Policy für Monitoring und Evaluierung der GIZ

Transkript

1 Stabsstelle Monitoring und Evaluierung Policy für Monitoring und Evaluierung der GIZ

2 Als Bundesunternehmen unterstützt die GIZ die deutsche Bundesregierung bei der Erreichung ihrer Ziele in der Internationalen Zusammenarbeit für nachhaltige Entwicklung. Herausgeber Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH T (Bonn) T (Eschborn) Sitz der Gesellschaft Bonn und Eschborn Friedrich-Ebert-Allee Bonn T F Dag-Hammarskjöld-Weg Eschborn T F E I evaluierung@giz.de Verantwortlich Martina Vahlhaus, Leiterin der Stabsstelle Monitoring und Evaluierung Projektleitung Claudia Kornahrens Autor Dr. Sylvia Schweitzer Druck Gedruckt auf 100 % Recyclingpapier, nach FSC-Standards zertifiziert Bonn und Eschborn, November 2013

3 Inhaltsverzeichnis Seite Vorwort 4 I. Einleitung 5 a. Neue Rahmenbedingungen für Monitoring und Evaluierungen der GIZ 5 b. Ziel und Zweck der Policy 6 II. Monitoring und Evaluierung: Definition und Zweck 6 a. Definition von Monitoring und Evaluierung 6 b. Nutzung von Monitoring und Evaluierung 7 III. M&E Instrumente in der GIZ 7 a. Wirkungsorientiertes Monitoring (WoM) 7 b. Projektevaluierungen 8 c. Unternehmensstrategische Evaluierungen 8 d. Zusammenschau von M&E Instrumenten und Zwecken 8 IV. Akteure für Monitoring und Evaluierung und ihre Rollen 9 V. Bewertungskriterien und -kategorien für M&E 11 VI. Qualitätskriterien und -standards für M&E 12 a. Qualitätskriterien für Wirkungsorientiertes Monitoring (WoM) 12 b. Qualitätsstandards für Evaluierung 13 VII. Nutzung von M&E Ergebnissen und Empfehlungen 14 3

4 Vorwort Immer wieder sind neue Ideen gefragt, um maßgeschneiderte und nachhaltige Lösungen für komplexe gesellschaftliche Aufgabenstellungen zu finden. Dabei ist Kreativität gefordert und der Mut, mit Realitätssinn Neuland zu beschreiten, denn in der internationalen Zusammenarbeit (IZ) laufen Veränderungen selten gradlinig ab. Dennoch gilt es, diese Veränderungen bestmöglich zu gestalten. Dafür sind Monitoring und Evaluierungen (M&E) ein grundlegender Baustein. Denn nur wer weiß, warum etwas im einen Fall gut funktioniert hat und an anderer Stelle nicht, wird künftig in ähnlichen Situationen den richtigen Weg für eine nachhaltige Entwicklung finden. Der Erfolg der GIZ als Dienstleister in der IZ hängt wesentlich vom Nachweis der Wirkungen und Effizienz ihrer Arbeit ab. Zum einen erfordert die Steuerung von Aufträgen einen klaren Blick dafür, wo ein Programm steht, welche Wege Erfolg versprechen und aus welchen Erfahrungen gelernt werden kann. Zum anderen verlangen die Aufraggeber und Partner der GIZ und auch die Öffentlichkeit, dass das Unternehmen Auskunft über die Wirkungen seiner Arbeit gibt. Aus Erfolgen und Misserfolgen zu lernen, verlangt eine offene Fehler- und Lernkultur und Lernprozesse, die unternehmensweit verankert sind und mit Leben gefüllt werden. M&E ist daher zentraler Bestandteil der Unternehmensstrategien, des Programmmanagements und der unternehmerischen Tätigkeit der GIZ als Dienstleister in der IZ für nachhaltige Entwicklung. 4

5 I. Einleitung Als Bundesunternehmen unterstützt die GIZ die Bundesregierung dabei, ihre Ziele in der internationalen Zusammenarbeit für nachhaltige Entwicklung zu erreichen und ist außerdem weltweit aktiv in der internationalen Bildungsarbeit. Sie unterstützt ihre Partner auf lokaler, regionaler, nationaler und internationaler Ebene in strategischen und konzeptionellen Fragen sowie bei der Umsetzung ihrer politischen Ziele. Wichtigster Auftraggeber der GIZ ist das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ). Darüber hinaus ist die GIZ für weitere Bundesressorts darunter das Auswärtige Amt, das Bundesministerium für Umwelt, Naturschutz, Bau und Reaktorsicherheit, das Bundesministerium der Verteidigung, das Bundesministerium für Wirtschaft und Energie und das Bundesministerium für Bildung und Forschung, für Bundesländer und Kommunen sowie für öffentliche und private Auftraggeber im In- und Ausland tätig. Dazu gehören beispielsweise Regierungen anderer Länder, die Europäische Kommission, die Vereinten Nationen und die Weltbank. Die GIZ kooperiert intensiv mit der Privatwirtschaft und trägt zu einem sinnvollen Zusammenspiel von Entwicklungs- und außenwirtschaftlichen Aktivitäten bei. a. Neue Rahmenbedingungen für Monitoring und Evaluierungen der GIZ Die M&E Policy der GIZ baut auf der langjährigen Evaluierungserfahrung des Unternehmens auf. Gleichzeitig nimmt sie Bezug auf die neuen Rahmenbedingungen für M&E, die sich durch Veränderungen im politischen Umfeld der IZ, bei Auftraggebern, Partnern und im Unternehmen ergeben haben. In den letzten Jahren hat sich mit der Orientierung auf Development Effectiveness ein Wandel in der IZ vollzogen. Diese findet angesichts von Programm- und Budgetorientierung tendenziell stärker auf der Ebene der regionalen und nationalen Politik statt, während sich die erhofften Wirkungen, durch die Ausrichtung an den Millennium Development Goals, immer stärker auf der Ebene von Individuen und Haushalten manifestieren sollen. Hinzu kommt, dass mehr und mehr Akteure im internationalen Raum Entwicklungsbeiträge leisten. Zu diesen Akteuren zählen u.a. verschiedene Ministerien der Geberländer, private Stiftungen, die Privatwirtschaft, die Zivilgesellschaft, Schwellenländer, die zunehmend selber als Geber in Erscheinung treten, und nicht zuletzt Empfängerländer selbst mit ihren wachsenden Eigenbeiträgen. Damit wird die Erfassung von Wirkungen der Arbeit der GIZ immer schwieriger aber auch immer notwendiger. Dieser Herausforderung muss sich die GIZ stellen. Der veränderte Gesellschaftszweck der GIZ, die Förderung der internationalen Zusammenarbeit für nachhaltige Entwicklung und der internationalen Bildungsarbeit, eröffnet Marktchancen für die Zusammenarbeit mit neuen Kooperationspartnern und Auftraggebern, zum Beispiel Regierungen, Stiftungen, privatwirtschaftliche Unternehmen und multi- und bilaterale Geber. Die Europäische Union beispielsweise ist bereits jetzt ein wichtiger Auftraggeber der GIZ neben der Bundesregierung und der neue Gesellschaftszweck ermöglicht der GIZ, ihre Kompetenzen auch auf dem EU-Binnenmarkt anzubieten. Kooperationspartner und Geber fragen M&E aus verschiedenen Blickwinkeln nach. Sie verlangen den Einsatz hochwertiger M&E Systeme sowie einen belastbaren Wirkungsnachweis. Zudem hat sich das Auftragsverfahren der GIZ mit ihrem Hauptauftraggeber, dem Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ), verändert. Es sieht statt Programmphasen die Vergabe von dreijährigen Modulen vor. 5

6 Von Öffentlichkeit und Fachwelt wird verstärkt gefordert, die Wirkungen der IZ nachzuweisen. Transparenz wird ein immer wichtigeres Thema in der internationalen und nationalen Diskussion über die Verbesserung der Wirksamkeit der Entwicklungszusammenarbeit. Deutschland ist Mitglied der International Aid Transparency Initiative (IATI). Die GIZ will die dort verankerten gemeinsamen Standards für die Veröffentlichung von Informationen zur IZ erfüllen. b. Ziel und Zweck der Policy Die M&E Policy der GIZ spiegelt die grundlegende Philosophie wieder, auf der M&E in der GIZ fußt. Sie dient dazu: 1. die Bedeutung von M&E für das Unternehmen darzustellen; 2. Transparenz und Konsistenz herzustellen hinsichtlich der Prinzipen, Rollen, Verantwortlichkeiten und Prozesse, die für M&E in allen Geschäftsbereichen des Unternehmens gelten sollen; 3. Maßstäbe zu setzen für die methodische Qualität und ethische Durchführung und Nutzung von M&E Ergebnissen. Die M&E Policy richtet sich insbesondere an 1. Mitarbeiterinnen und Mitarbeiter der GIZ, die Monitoringsysteme aufbauen oder dabei beraten; 2. Mitarbeiterinnen und Mitarbeiter der GIZ, die Evaluierungen beauftragen oder durchführen; 3. Gutachterinnen und Gutachter, die mit dem Aufbau von Monitoringsystemen oder der Durchführung von Evaluierungen von der GIZ beauftragt werden; und 4. Auftraggeber und Kooperationspartner in der IZ und die interessierte Öffentlichkeit. II. Monitoring und Evaluierung: Definition und Zweck a. Definition von Monitoring und Evaluierung Unter Monitoring versteht die GIZ die kontinuierliche und systematische Beobachtung und Erfassung des Programmfortschritts. Dieser wird durch die regelmäßige Überprüfung von Zielgrößen anhand von Indikatoren und der Beurteilung des Programms aus Sicht der wichtigsten Akteure gemessen. Im wirkungsorientierten Monitoring wird der gesamte Veränderungsprozess beobachtet, der durch ein Programm ausgelöst wird. Dies ist ein integraler Bestandteil des Programmmanagements. Die GIZ lehnt ihre Definition von Evaluierung an die der DeGEval Gesellschaft für Evaluation an. 1 Evaluierung ist demnach zu verstehen als systematische Untersuchung des Wertes und Nutzens eines Gegenstandes. Solche Evaluierungsgegenstände können Programme, und die darin erbrachten Produkte und Leistungen oder Politiken und Strategien sein. Durch die systematische Beschreibung und Analyse des Evaluierungsgegenstands wird dessen Bewertung vorbereitet. Die erzielten Ergebnisse, Schlussfolgerungen oder Empfehlungen müssen nachvollziehbar sein und auf empirisch gewonnenen qualitativen und / oder quantitativen Daten beruhen. Evaluierung kann sowohl Programm-begleitend stattfinden als auch abschließend. 1 DeGEval Gesellschaft für Evaluation e.v. (2008) (Hrsg.): Standards für Evaluation, S

7 b. Nutzung von Monitoring und Evaluierung Die GIZ nutzt M&E für folgende Zwecke: Qualitätsverbesserung: Die GIZ nutzt Ergebnisse aus M&E, um zur Qualität und Wirksamkeit der Arbeit des Unternehmens beizutragen. M&E ist daher wesentlicher Teil des Qualitätsmanagements der GIZ. Geschäftsentwicklung: M&E spielen bei der Gewinnung von Neuaufträgen von neuen Auftraggebern sowie bei der Auftraggeberbindung eine entscheidende Rolle. M&E wird als Qualitätsmerkmal der GIZ in Wert gesetzt. Es stärkt die Umsetzungskompetenz und damit die Wettbewerbsfähigkeit des Unternehmens. Lernen: Die GIZ nutzt Ergebnisse aus M&E für Lernprozesse in den Programmen und für den unternehmensweiten Lernprozess. Steuerung: Die Evidenz von Wirkungen wird so erhoben, dass sie in die Steuerungs- Entscheidungen auf allen Ebenen eingehen kann, von einzelnen Programmen bis zu den Führungs- und Steuerungsgremien. M&E legt damit die Grundlage für operative, strategische und Managemententscheidungen. Berichterstattung und Rechenschaftslegung: Die GIZ nutzt M&E, um Rechenschaft über ihre Arbeit gegenüber ihren Auftraggebern und der Öffentlichkeit abzulegen. Ein Teil von Rechenschaftslegung, der für alle Auftraggeber der GIZ eine besonders hohe Bedeutung hat, ist die Berichterstattung über erzielte Wirkungen. M&E liefert dafür empirisch fundierte Evidenz. III. M&E Instrumente in der GIZ Grundlage und Ausgangspunkt des M&E Systems und damit aller M&E Instrumente ist das Wirkungsmodell der GIZ. Es bildet den Veränderungsprozess in einem Sektor ab und verdeutlicht darin die Ansatzpunkte eines Programms. Auf seiner Basis wird das wirkungsorientierte Monitoring aufgebaut. Darüber hinaus gilt es als Referenz für die Bewertung von Programmen in Evaluierungen. a. Wirkungsorientiertes Monitoring (WoM) Das wirkungsorientierte Monitoring (WoM) ist ein wichtiger Bestandteil des Managements eines Programms. Es ermöglicht einen daten-gestützten regelmäßigen Dialog über die Wirkungen eines Programms. Monitoringsystem und -verfahren der Partner werden für das Monitoring der Maßnahme soweit möglich genutzt. Die Programmleitung und die Partner nutzen ihr WoM für die Steuerung und stellen sicher, dass die wesentlichen Informationen den Fachkräften sowie anderen Betroffenen und Interessierten zur Verfügung stehen. Das WoM der GIZ hat zwei Funktionen: Einerseits liefert es dem Team und den Partnern regelmäßig Hinweise darüber, wo das Programm in Bezug auf die angestrebten Wirkungen und innerhalb des geplanten Prozesses steht und ob der eingeschlagene Weg den gewünschten Erfolg verspricht. Andererseits dient das WoM dazu, blinde Flecken im Wirkungsmodell aufzudecken und die Wirkungslogik des Programms zu hinterfragen. Dies erfolgt durch die offene Erfassung der Perspektiven wichtiger Akteure und Stakeholder auf das Programm. Dieses Vorgehen trägt der Komplexität von Programmen Rechnung, indem es Unvorhergesehenes berücksichtigt. 7

8 b. Projektevaluierungen Projektevaluierungen beinhalten den kritisch analytischen Rückblick auf die Wirkungen eines Programms und seiner Teile (Module). Im Fall eines potentiellen Folgemoduls setzt sich die Projektevaluierung mit weiteren Planungselementen für die Konzeption des Folgemoduls auseinander. Projektevaluierungen werden standardmäßig bei allen Programmen durchgeführt, die vom Bundesministerium für Wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) in Auftrag gegeben wurden und ein bestimmtes Mindestauftragsvolumen haben. Beauftragt werden in der Regel Module, die eine Laufzeit von bis zu drei Jahren haben. Die Projektevaluierung am Ende der Laufzeit ist verbindlich. In allen Geschäftsbereichen bietet die GIZ die Anwendung von Projektevaluierungen standardmäßig an. Dabei ist zu beachten, dass der jeweilige Auftraggeber die Ansprüche und Zielsetzung an und von Evaluierung bestimmt. c. Unternehmensstrategische Evaluierungen Unternehmensstrategische Evaluierungen werden von der Stabsstelle M&E nach Entscheidung des Vorstands in eigener Verantwortung finanziert und durchgeführt. Die Gegenstände Unternehmensstrategischer Evaluierungen werden an Entscheidungsbedarfen und Veränderungsprozessen des Unternehmens ausgerichtet. Dies beinhaltet auch die Lieferung wichtiger Informationen für die Geschäftsentwicklung. Dabei identifiziert die GIZ selber unternehmensstrategisch wichtige Lernfelder, die sowohl aus dem Bereich der Leistungserbringung (wie Ansätze, Konzepte, Instrumente, Programme, Portfolios), als auch der Strategie (wie Politiken, Strategien, Konzepte, Initiativen des Unternehmens) stammen. Die Evaluierungen orientieren sich am Ansatz der nutzungsorientierten Evaluierung (utilizationfocused evaluation nach Michael Q. Patton), d.h. es wird versucht die Nutzung der Evaluierungsergebnisse zu fördern, in dem das Erkenntnisinteresse, der Informationsbedarf und die Umsetzungskapazitäten beteiligter Akteure bei der Konzipierung von Unternehmensstrategischen Evaluierungen in den Mittelpunkt gestellt werden (intended use by intended users). Dazu organisiert die Stabstelle einen Dialogprozess mit relevanten Akteuren aus dem Unternehmen, der sich über den gesamten Prozess von Evaluierungen erstreckt. Dieser beinhaltet die Entwicklung der Evaluierungsfragen, einen regelmäßigen Dialog und schließlich Diskussionen über die Ergebnisse und deren Nutzung. Die Themen für Unternehmensstrategische Evaluierungen werden anhand folgender Kriterien ausgewählt: Unternehmenspolitische Bedeutung, Mittelfristiger Veränderungsbedarf, Evidenzbedarf, Evaluierbarkeit. d. Zusammenschau von M&E Instrumenten und Zwecken Das M&E-System der GIZ bedient die Zwecke Qualitätssicherung und verbesserung, Geschäftsentwicklung, Lernen, Steuerung, Berichtserstattung und Rechenschaftslegung auf verschiedenen Ebenen. In den Programmen verankert, ermöglicht das WoM eine fortlaufende kritische Reflektion und Anpassung der eigenen Arbeit. Dies ist eine Voraussetzung für eine evidenzbasierte Steuerung 8

9 und für Lernen. Damit trägt es zur Verbesserung der Qualität, der Wirkungsorientierung und letztlich der Wirkungen der Programme bei. Zudem liefern Evaluierungen von BMZbeauftragten Modulen und Evaluierungen von Programmen in anderen Geschäftsbereichen der GIZ Informationen über Wirkungen, die erzielt wurden. Informationen aus Monitoring und Evaluierung werden zum einen für die auftraggeberspezifische Berichterstattung verwendet. Sie sind damit wichtig für die Pflege bestehender Kunden, was die Gewinnung von Neuaufträgen unterstützen kann. Empirisch fundierte Informationen aus M&E Berichten über die Qualität der Arbeit des Unternehmens werden zum anderen für die Gewinnung von Neukunden genutzt. Zudem können mit der Entwicklung von überzeugenden Standards für M&E auftraggeberspezifisch attraktive Angebote für Wirkungsorientierung gemacht werden. Schließlich werden Informationen aus M&E für die Rechenschaftslegung gegenüber der Öffentlichkeit genutzt. Neben diesem unmittelbaren Nutzen auf Ebene der Programme legt das M&E-System auch die Basis für die Sicherung und Verbesserung von Qualität und Wirkungen darüber hinaus. Die übergreifende Auswertung von Lernerfahrungen aus (i) Evaluierungen in allen Geschäftsbereichen des Unternehmens (beispielsweise auf sektoraler oder regionaler Ebene) und (ii) unternehmensstrategischen Evaluierungen leistet einen wichtigen Beitrag zum Wissensmanagement und der Strategieentwicklung des Unternehmens. Die folgende Grafik veranschaulicht, zu welchen Zwecken die M&E Instrumente der GIZ beitragen. IV. Akteure für Monitoring und Evaluierung und ihre Rollen Führungsebene Im Rahmen des unternehmensweiten Strategieprozesses kann die Führungs- und Managementebene Themen für unternehmensstrategische Evaluierungen vorschlagen. Für 9

10 jede unternehmensstrategische Evaluierung übernimmt ein Mitglied des Excecutive Management Committee (EMC) einem zentralen Beratungsgremium zur mittelfristigen strategischen Ausrichtung des Unternehmens die Patenschaft. Die Ergebnisse unternehmensstrategischer Evaluierungen sowie programmübergreifender Querschnittsauswertungen von Projektevaluierungen werden regelmäßig einem zentralen Entscheidungsgremium des Unternehmens (dem Operativen Jour Fixe) vorgestellt. Auf der Grundlage von Evaluierungsergebnissen verabschiedet dieses Gremium entsprechende Umsetzungsvereinbarungen. Operative Unternehmenseinheiten Die operativen Einheiten umfassen alle Abteilungen an den Standorten in Deutschland und alle Büros in der Außenstruktur des Unternehmens, die am Design und an der Durchführung von Programmen beteiligt sind. Innerhalb der operativen Einheiten spielen die Programmverantwortlichen eine besonders wichtige Rolle für M&E. Sie sind in der Regel gemeinsam mit den Partnern für den Aufbau des WoM Systems verantwortlich. Die Verantwortung für Vorbereitung, Durchführung und Umsetzung von M&E sowie die Auswertung der Ergebnisse und Empfehlungen zur Nutzung im Programmkontext obliegt dem jeweiligen Programmverantwortlichen. Die operativen Unternehmenseinheiten sind außerdem in die regionale und sektorale Auswertung von Evaluierungen eng eingebunden. Mitarbeiter aus den operativen Einheiten können in unternehmensstrategischen Evaluierungen Mitglied einer Referenzgruppe sein. Die Referenzgruppe berät die Stabstelle in allen Fragen der Durchführung einer unternehmensstrategischen Evaluierung. Stabsstelle M&E Die Stabsstelle Monitoring und Evaluierung ist im Unternehmen zentraler Ansprechpartner für das Thema Monitoring und Evaluierung und hält die dafür notwendige Fachkompetenz vor. Als Stabsstelle untersteht sie organisatorisch direkt dem Vorstand und ist vom operativen Geschäft getrennt. Diese Organisationsstruktur stärkt ihre Unabhängigkeit. Die Stabsstelle M&E ist Dienstleisterin für alle Organisationseinheiten der GIZ. Sie berät die dezentral organisierten operativen Unternehmenseinheiten bei Aufbau und Nutzung von Monitoringsystemen und bei der Steuerung und Durchführung von Evaluierungen. Auf zentraler Ebene stellt sie belastbare, evidenzbasierte Informationen für die Unternehmensführung bereit, u.a. durch die unabhängige Durchführung von Unternehmensstrategischen Evaluierungen; überprüft die methodische Qualität der Projektevaluierungen; entwickelt die M&E Verfahren, Instrumente und Standards der GIZ ständig weiter und berät den Vorstand dahingehend, dass das M&E System des Unternehmens stets aktuell gültigen nationalen und internationalen Standards entspricht und national wie international fachlich anerkannt ist; erfüllt die Funktion eines Wissensbrokers. Sie gestaltet institutionelle Lernprozesse zu Evaluierungsergebnissen und trägt zum Wissensmanagement des Unternehmens bei. Dies geschieht z.b. durch (i) die Bereitstellung von Evaluierungsergebnissen für den Planungsprozess und für replizierbare innovative Ansätze sowie (ii) durch die Auswertung von Evaluierungen und Studien Dritter; 10

11 dient als Eingangsportal für alle Anfragen, die das Deutsche Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) im Rahmen seiner externen Evaluierungen an die GIZ stellt; vertritt die GIZ in Fachkreisen und arbeitet in Kooperationen und Netzwerken mit M&E Einheiten von Auftraggebern, Durchführungsorganisationen und Forschungsinstitutionen zusammen. V. Bewertungskriterien und -kategorien für M&E Die GIZ legt bei der Bewertung von Programmen und anderen Aspekten, die Gegenstand von M&E sind, Bewertungskriterien an. Mit der Anwendung dieser Kriterien verfolgt sie unterschiedliche Ziele. Die Verwendung der Bewertungskriterien des Development Assistance Committee (DAC) der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) gewährleistet die internationale Anschlussfähigkeit der M&E Produkte der GIZ. Diese Kriterien sind wie folgt definiert: Relevanz: Misst das Ausmaß, in dem die Ziele des Programms im Einklang sind mit den Prioritäten der Zielgruppe, des Partnerlandes und des Auftraggebers der Maßnahme. Effektivität: Misst den Grad zu dem die geplanten Ziele erreicht werden. Effizienz: Misst die Angemessenheit der für eine Entwicklungsmaßnahme eingesetzten Ressourcen im Hinblick auf die damit erreichten Ziele. Impact: Misst den Beitrag, der durch die Entwicklungsmaßnahme zu den angestrebten übergeordneten entwicklungspolitischen Zielen und zu anderen positiven und negativen Veränderungen direkt verursacht wurde oder zu denen die Maßnahme direkt oder indirekt beigetragen hat. Nachhaltigkeit: Misst inwieweit die positiven Wirkungen der Entwicklungsmaßnahme nach Ende des Programms fortdauern bzw. fortdauern werden. Für Evaluierungen im Kontext der Humanitären Hilfe und Krisenprävention hat das DAC der OECD weitere Kriterien festgelegt. Dies sind Kohärenz, Koordination und Deckungsgrad. Da viele der GIZ Partnerländer durch politische Krisen und Konflikte gekennzeichnet sind, sind diese Kriterien je nach Kontext mit zu betrachten. Die Ausrichtung von M&E an den fünf Erfolgsfaktoren des Managementmodell der GIZ Capacity WORKS 2 stellt sicher, dass die Ergebnisse von M&E gut für das Management von Aufträgen der GIZ genutzt werden können. Die Erfolgsfaktoren werden deshalb im Rahmen von M&E berücksichtigt. Die Erfolgsfaktoren sind die Basis, auf der die Entwicklungsmaßnahme mit den Partnern ausgehandelt wird und anhand derer die Beiträge der GIZ entwickelt werden. Die Erfolgsfaktoren und die Schlüsselthemen, die sie beinhalten, stellen sich folgendermaßen dar: Strategie: Strategische Ausrichtung, Entwicklung und Bewertung von Optionen, Capacity Development-Strategie des Programms; Kooperation: o Nach innen: Kooperationssystem, Formen und Inhalte von Kooperationen, Rollen und Verantwortlichkeiten 2 GTZ (2008): Capacity WORKS. Das Management Modell für Nachhaltige Entwicklung. 11

12 o Nach außen: Gestaltung von Partnerschaften, Aushandlung von Tauschbeziehungen; Steuerungsstruktur: Steuerungsmodell des Programms, wirkungsorientiertes Monitoring, Entscheidungsfindung, Kommunikation und Verantwortung in der Steuerung; Prozesse: Analyse der relevanten Prozesse im Partnerland, Gestaltung von Prozessen und Prozesshierarchien, Prozessoptimierung und Schnittstellen; Lernen und Innovation: Gestaltung einer kohärenten Lernarchitektur auf den Ebenen Gesellschaft (mit Rahmenbedingungen und Kooperationssystemen), Organisation und Person, Förderung der Lernkompetenz auf allen Ebenen. Die Berücksichtigung der Erfolgsfaktoren ist Grundlage für unternehmensweite Lernprozesse sowie das Lernen im Programm. Da sich die Zielsetzungen von Evaluierungen und die Charakteristika der Evaluierungsgegenstände unterscheiden können, müssen nicht immer alle Bewertungskriterien und kategorien angewendet werden. Die Auswahl bzw. der Ausschluss einzelner Kriterien und Kategorien muss aber begründet werden. VI. Qualitätskriterien und -standards für M&E a. Qualitätskriterien für Wirkungsorientiertes Monitoring (WoM) Um die Erkenntnisse aus dem Monitoringsystem erfolgreich mit den Partnern nutzen zu können und eine nach Wirkungen ausgerichtete Steuerung des Programms zu ermöglichen, hat die GIZ Qualitätskriterien für WoM Systeme formuliert. Ein gutes WoM System zeichnet sich demnach durch vier Kernelemente aus, die jeweils mit Qualitätskriterien hinterlegt sind: (a) Aufbau und Struktur Die Grundlage für jedes WoM System ist die Wirkungslogik eines Programms, die im Wirkungsmodell dargestellt ist. Sie wird bereits während der strategischen Planung entwickelt: Ziele, Wirkungen, Indikatoren, Wirkungshypothesen und externe Faktoren werden in ein Monitoringformat aufgenommen und mit Daten zur Ausgangssituation (Baseline) versehen. Auch Datenerhebungsmethoden, Messintervalle und die Verantwortlichkeiten werden beim Aufbau des WoM Systems vereinbart und festgehalten. (b) Umsetzung und Steuerung Damit die Nutzung der Monitoringdaten gelingt, versteht die GIZ das WoM-System als integralen Bestandteil des Programmmanagements. Monitoringdaten liefern kontinuierlich einen Hinweis auf den Stand der Wirkungserreichung und darauf ob und wie (um)gesteuert werden muss. Die Verantwortung liegt bei der Programmleitung und den Partnern gemeinsam. Daher ist es essentiell, dass das WoM System gemeinsam mit Partnern, Mittlern und Programmmitarbeitern und mitarbeiterinnen erarbeitet, von allen akzeptiert und in die Entscheidungsmechanismen der Partner eingebettet wird. Auch die Bereitstellung der notwendigen Ressourcen für die Umsetzung des WoM Systems ist von großer Bedeutung. 12

13 (c) Dokumentation und Lernen Die Erkenntnisse aus Monitoringdaten über Wirkungen werden mit den Programmbeteiligten reflektiert. Ergebnisse werden für die interne und externe Kommunikation sowie die Berichterstattung dokumentiert und allen beteiligten Akteuren zugänglich gemacht, damit sie auch für das institutionelle Lernen und die Geschäftsentwicklung genutzt werden können. (d) Wirtschaftlichkeit Um den Anforderungen an Effizienz und Wirtschaftlichkeit Rechnung zu tragen, sollten der Umfang eines WoM Systems in einem angemessen Kosten-Nutzen Verhältnis stehen und immer soweit möglich bestehende Systeme von Partnern nutzen. b. Qualitätsstandards für Evaluierung Die GIZ orientiert sich bei ihren Evaluierungen an den Standards für Evaluation der Gesellschaft für Evaluation (DeGEval) und den OECD-DAC Qualitätsstandards für die Entwicklungsevaluierung. Als Basis für die Entwicklung von Instrumenten zur Qualitätssicherung formuliert die Stabsstelle M&E Qualitätsstandards für die verschiedenen Aspekte von Qualität: die Prozessqualität, die methodische Qualität und die Berichts- bzw. Produktqualität. Prozessqualität Die Art und Weise, wie der Prozess einer Evaluierung gestaltet wird, ist für den späteren Nutzen der Evaluierung sehr wichtig. Um die Evaluierung so nützlich wie möglich zu gestalten, sollten folgende Standards erfüllt werden: Klärung des Evaluierungszwecks: Der Zweck einer Evaluierung wird mit dem Auftraggeber ausgehandelt und in der Aufgabenbeschreibung der Evaluatoren und im Evaluierungsbericht klar dargestellt. Beteiligung relevanter Stakeholder und intendierter Nutzer: Durch die Beteiligung relevanter Stakeholder und intendierter Nutzer am Evaluierungsprozess wird die Fairness der Evaluierung gefördert und die Akzeptanz gestärkt. Das Erkenntnissinteresse, der Informationsbedarf und die Kapazitäten zur Umsetzung von Evaluierungsergebnissen und empfehlungen relevanter Stakeholder und Nutzer müssen berücksichtigt werden. Geeigneter Zeitpunkt: Evaluierungsergebnisse liegen so zeitgerecht vor, dass sie für die Beantwortung steuerungsrelevanter Fragen und für unternehmensstrategische Entscheidungen herangezogen werden können. Glaubwürdigkeit und Kompetenz des Evaluierungsteams: Das Evaluierungsteam ist so zusammengesetzt, dass es über alle erforderlichen Kenntnisse verfügt, die für die professionelle Durchführung der Evaluierung notwendig sind. Dazu gehören fachliche, methodische, sprachliche, kulturelle, institutionelle und regionale Kenntnisse. Unabhängigkeit: Evaluatoren dürfen nicht in die Planung oder Durchführung des zu evaluierenden Programms involviert gewesen sein. Die Evaluierungsberichte geben ausschließlich die Meinung des Autors wieder. Evaluatoren erhalten freien Zugang zu Informationen. Den Organisationseinheiten, die M&E in einem Unternehmen verantworten, ist der Freiraum gegeben, das eigene Haus mit kritischen Evaluierungsergebnissen zu konfrontieren. 13

14 Ethische Durchführung: Die Evaluierung unterliegt den Grundsätzen der Integrität und Aufrichtigkeit. Evaluierungsmanager und Evaluatoren achten die Menschenrechte und respektieren bei allen Beteiligten Unterschiede in Kultur, Sitten und Gebräuchen und Glauben. Die Rechte und das Wohlergehen der an der Evaluierung Beteiligten werden geschützt. Anonymität wird allen Informanten angeboten und wenn gewünscht oder bei Bedarf zum Schutz des Individuums umgesetzt. Dokumentation der Evaluierungsergebnisse: Evaluierungsergebnisse werden systematisch dokumentiert, gespeichert und verbreitet. Methodische Qualität Die methodische Qualität einer Evaluierung bezieht sich auf die Anwendung der Methoden der empirischen Sozialforschung zur Datenerhebung und auswertung. Vier Standards sind für die methodische Qualität von Bedeutung. Angemessenheit: Die Methoden sind dem Evaluierungsgegenstand, der Fragestellung der Evaluierung, ihrem Zweck, den Rahmenbedingungen und den zur Verfügung stehenden finanziellen und zeitlichen Ressourcen angemessen. Professionelle Anwendung: Als angewandte Forschung entspricht die Datenerhebung und auswertung im Rahmen von GIZ-Evaluierungen den methodischen Maßstäben der empirischen Sozialforschung. Das heißt, auch bei knappen zeitlichen oder finanziellen Ressourcen erfolgt die Datenerhebung und auswertung und das Heranziehen von Sekundärdaten und Hintergrundinformationen immer systematisch und nachvollziehbar. Validierung: Um die Validität (d.h. die Gültigkeit) der Evaluierungsergebnisse sicher zu stellen, werden verschiedene Methoden der Datenerhebung und auswertung trianguliert. Die Evaluatoren hinterfragen die Validität und die Generalisierbarkeit der Ergebnisse kritisch, um ihr bei der Formulierung von Empfehlungen Rechnung tragen. Intersubjektive Nachvollziehbarkeit: Der gesamte Evaluierungsprozess, insbesondere die Datenerhebung und auswertung, werden so dokumentiert, dass jeder nachvollziehen kann, wie die Evaluatoren zu ihren Ergebnissen gelangen. Berichts- bzw. Produktqualität Im Bericht / Produkt werden der Evaluierungsprozess und die Evaluierungsergebnisse nachvollziehbar, transparent, vollständig, ausgewogen und nutzerfreundlich dargestellt. Empfehlungen sind für relevante Akteure nützlich und handlungsleitend. VII. Nutzung von M&E Ergebnissen und Empfehlungen Um von der Bereitstellung von Evidenz zu Veränderungen zu kommen, ist die GIZ in drei Dimensionen tätig: interne und externe Kommunikation, Lernprozesse und Management Response. Kommunikation Ergebnisse und Empfehlungen, die der Rechenschaftslegung dienen, werden veröffentlicht. Innerhalb der GIZ sollen alle Evaluierungsberichte aus allen Geschäftsbereichen über eine zentrale Datenbank verfügbar sein. Der interessierten Öffentlichkeit stehen im Sinne der Transparenz Kurzberichte der Projektevaluierungen im Internet zur Verfügung. Alle zwei Jahre veröffentlicht die GIZ zur Dokumentation ihrer Wirkungen und zur Darstellung der 14

15 Konsequenzen, die sie aus den Ergebnissen gezogen hat, einen Bericht über die M&E Ergebnisse des Unternehmens. Darüber hinaus werden die Ergebnisse besonders erkenntnisreicher Evaluierungen in Artikeln veröffentlicht und auf Konferenzen vorgestellt. Die Stabsstelle M&E stellt im Internet außerdem Positionspapiere zu aktuellen Fachthemen zur Verfügung. Ein weiterer Aspekt der Nutzung von Daten aus den Programmen ist ihre Verwendung in der Aggregierten Wirkungsberichterstattung, also der Programm- und länderübergreifenden Darstellung von Wirkungen. Zu diesem Zweck erheben die Programme mithilfe standardisierter Indikatoren in ausgewählten Sektoren Daten, die unternehmensweit für die Darstellung des Erreichten in der Öffentlichkeit und gegenüber den Auftraggebern genutzt werden. Die GIZ hat so die Möglichkeit, die Erfolge ihrer Arbeit übergreifend und konsolidiert zu präsentieren. Lernprozesse Als lernende Organisation hat die GIZ den Anspruch, Ergebnisse aus Monitoring und Evaluierungen für den unternehmensweiten Lernprozess zu nutzen. M&E Erkenntnisse werden dabei so aufbereitet und genutzt, dass ein Lernen im Programm, im Sektor als auch im Unternehmen stattfinden kann. Zunächst wird auf Programmebene Wissen erworben. Um davon als Unternehmen profitieren zu können, gilt es, dieses Wissen unternehmensweit in weiterführende Prozesse zu integrieren. Hierfür ist ein Austausch auf verschiedenen Ebenen erforderlich: horizontal zwischen den verschiedenen Organisationseinheiten des Unternehmens, sowie vertikal zwischen den Hierarchieebenen von der Geschäftsführung bis zum/zur einzelnen Mitarbeiter/in. Die zentrale Aufgabe besteht also darin, Erfahrungswerte so aufzubereiten, dass unterschiedliche Akteure in verschiedenen Prozessen daraus lernen können. Um die Erkenntnisse aus M&E für den kontinuierlichen Verbesserungsprozess nutzbar zu machen, hat die StS eine Reihe von Lerninstrumenten entwickelt. 3 Diese institutionalisieren das Lernen aus M&E, indem die Erkenntnisse auf den drei Lernebenen in den Prozess zurückgeführt werden. Dazu gehören u.a. Lernveranstaltungen und der Dialog mit den sektoral aufgestellten Fachverbünden der GIZ. Lernveranstaltungen z.b. in Form von Lerncafés bieten die Möglichkeit, sich fachübergreifend über Evaluierungsergebnisse auszutauschen. Daran nehmen nicht nur die unmittelbar Beteiligten und Verantwortlichen teil, sondern alle, für die die Evaluierungserkenntnisse von Nutzen sein können. Management Response Um sicherzustellen, dass sich das Unternehmen systematisch mit Empfehlungen aus M&E auseinandersetzt, wird von der Stabsstelle ein Management Response System koordiniert. Hierin werden Zustimmung zu bzw. Ablehnung von Empfehlungen aus Evaluierungen systematisch dargestellt und begründet. Darüber hinaus werden Schritte zur Umsetzung von Empfehlungen verbindlich vereinbart. Die Stabsstelle M&E überprüft den Stand der Umsetzung akzeptierter Empfehlungen regelmäßig. Erst wenn aus M&E Konsequenzen gezogen und Veränderungen angestoßen werden, wirkt M&E und kann einen Beitrag zur nachhaltigen Entwicklung leisten. 3 Nähere Informationen zu Lerninstrumenten finden sich in: GIZ (2013): Lernen aus Evaluierung. Prozesse und Instrumente der GIZ als lernende Organisation und der Beitrag zum interorganisationalen Lernen. Internet: Lernen aus Evaluierung 15

16 Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH Sitz der Gesellschaft Bonn und Eschborn Friedrich-Ebert-Allee Bonn T F Dag-Hammarskjöld-Weg Eschborn T F E I evaluierung@giz.de 16