Das Evaluierungssystem der GIZ

Transkript

1 Das Evaluierungssystem der GIZ Unternehmensstrategische Evaluierung

2 Impressum Als Bundesunternehmen unterstützt die GIZ die deutsche Bundesregierung bei der Erreichung ihrer Ziele in der internationalen Zusammenarbeit für nachhaltige Entwicklung und der internationalen Bildungsarbeit. Als Stabsstelle Evaluierung der GIZ untersteht sie organisatorisch direkt dem Vorstand und ist vom operativen Geschäft getrennt. Diese Organisationsstruktur stärkt ihre Unabhängigkeit. Die Stabsstelle Evaluierung ist mandatiert, zur Entscheidungsfindung evidenzbasierte Ergebnisse und Empfehlungen zu generieren, einen glaubwürdigen Wirkungsnachweis zu erbringen und die Transparenz zu den Ergebnissen zu erhöhen. Autorinnen und Autoren: Stabsstelle Evaluierung Konzeption, Koordination und Management: Dr. Annette Backhaus, GIZ Stabsstelle Evaluierung, Gruppenleiterin Unternehmensstrategische Evaluierungen Franziska Krisch, GIZ Stabsstelle Evaluierung, Senior-Fachkonzeptionistin Simon Freund, GIZ Stabsstelle Evaluierung, Senior-Fachkonzeptionist Christoph Mairesse, GIZ Stabsstelle Evaluierung, Senior-Fachkonzeptionist Verantwortlich: Dr. Ricardo Gomez, GIZ Leiter Stabsstelle Evaluierung Herausgeberin: Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH Sitz der Gesellschaft: Bonn und Eschborn Friedrich-Ebert-Allee Bonn, Deutschland T F E evaluierung@giz.de I Design/Layout etc.: DITHO Design GmbH, Köln Druck und Vertrieb: GIZ, Bonn Gedruckt auf 100 % Recyclingpapier, nach FSC- Standards zertifiziert. Bonn 2018 Das vorliegende Dokument ist auf der GIZ-Website als pdf-download verfügbar unter Anfragen nach einer gedruckten Ausgabe richten Sie bitte an evaluierung@giz.de

3 Inhalt 1 Funktionen unternehmensstrategischer Evaluierungen Themen und Auswahlkriterien Qualitätssicherung unternehmensstrategischer Evaluierungen Qualitätsstandards Qualitätsinstrumente und -verfahren Durchführung der unternehmensstrategischen Evaluierungen Governance des Instruments und Rollen der Akteure... 8 Vorstand... 8 Auftraggeber/-in der USE... 8 Referenzgruppe... 9 Gremien... 9 Stabsstelle Evaluierung... 9 Evaluatoren und Evaluatorinnen Kommunikation mit BMZ Prozessbeschreibung Erstellung des Evaluierungsprogramms Einzelevaluierung... 11

4 1 Funktionen unternehmensstrategischer Evaluierungen Die Evaluierungspolicy der GIZ definiert drei Grundfunktionen für Evaluierungen: evidenzbasierte Entscheidungen, Transparenz und Rechenschaftslegung sowie organisationales Lernen. Planung, Durchführung und Nutzung von Evaluierungen gestaltet die GIZ daher so, dass der Beitrag der Evaluierung, sowohl während des Evaluierungsprozesses als auch in Form der Evaluierungsergebnisse, zu diesen drei Grundfunktionen optimiert wird. Unternehmensstrategische Evaluierungen (USE) werden von der GIZ in eigener Verantwortung ausgewählt und durchgeführt. Sie werden von der Stabsstelle Evaluierung im Auftrag des Vorstands durchgeführt und aus deren Budget finanziert. Sie sind auf den spezifischen Informationsbedarf und das Erkenntnisinteresse von Akteuren im Unternehmen ausgerichtet. Für Entscheidungen, Positionierungen oder Veränderungsprozesse, die eine vertiefte Kenntnis der Unternehmensrealität erfordern, werden unter Berücksichtigung international anerkannter Evaluierungsprinzipien und -standards sowie ggf. mithilfe externer Expertise Evidenzen erarbeitet. Die Ergebnisse der USE sollen evidenzbasierte Entscheidungen, Veränderungen und Lernprozesse sowohl auf der strategischen als auch auf der operativen Ebene ermöglichen, um damit Wirksamkeit, Wirtschaftlichkeit und Qualität der Leistungserbringung sowie der Veränderungsprozesse des Unternehmens zu erhöhen. Unternehmensstrategische Evaluierungen sind daher geschäftsfeld- und instrumentenübergreifend angelegt. Auf diese Weise sollen Erfahrungen ausgewertet werden und in Zukunfts- und Innovationsprozesse des Unternehmens einfließen. Im Rahmen der USE identifiziert das Unternehmen strategisch wichtige Themen aus den beiden nachfolgenden Bereichen: Unternehmensentwicklung: Weiterentwicklung von Unternehmensstrategien, -strukturen und -prozessen Leistungserbringung: Planung und Durchführung von Vorhaben, Weiterentwicklung von strategischen Instrumenten, Dienstleistungen, Leistungsangeboten, Beitrag zur (Weiter-)Entwicklung von Sektor- und Länderkonzepten Dabei sollen Erkenntnisse generiert werden, die evidenzbasierte Entscheidungen und Steuerung auf strategischer und operativer Ebene sowie organisationales Lernen ermöglichen; Rechenschaftslegung sowohl nach innen als auch gegenüber Auftraggebern, Partnern, Zielgruppen und der Öffentlichkeit unterstützen; Fortschreibung und Weiterentwicklung von Ansätzen und Methoden der Leistungserbringung sowie von Unternehmenspolitiken und -strategien fördern; Veränderungs- und Lernprozesse qualifizieren; Informationen für die Positionierung des Unternehmens sowie für Kundengewinnung und -pflege liefern. USE können je nach Entscheidungs- und Erkenntnisbedarf vor Beginn der Maßnahmen angesetzte Exante-Evaluierungen, begleitende (formative) Evaluierungen, Ex-post-Evaluierungen oder Querschnittauswertungen (Evaluierungssynthesen, Meta-Evaluierungen) sein. In jedem Evaluierungsprogramm sollen eine Ex-post-Evaluierung sowie eine Querschnittauswertung durchgeführt werden. Diese können sich auf strategisch relevante Vorhaben beziehen, sollen aber in der Regel Länder- oder Sektor-Portfolien untersuchen. Je nach Bedarf können auch Elemente einer umfassenden USE einzeln und ggf. kurzfristig durchgeführt werden, beispielsweise eine Portfolioanalyse oder eine standardisierte (Online-)Befragung. Das Instrument wird konsequent am Nutzen für das Unternehmen ausgerichtet. Die Nutzung wird 4

5 unterstützt, indem das Erkenntnisinteresse, der Informationsbedarf und die Umsetzungskapazitäten beteiligter Akteure bei der Konzipierung und Durchführung im Rahmen von Referenzgruppen berücksichtigt werden. Mittels eines Management-Response-Systems werden Umsetzungsvereinbarungen auf der Basis der Ergebnisse und Empfehlungen der USE erarbeitet, festgehalten und gemonitort. Wichtige Ergebnisse, Good Practices und Erfolgsfaktoren werden zudem in verschiedenen Lern,- Dialog- und Informationsveranstaltungen diskutiert, sowohl evaluierungsbegleitend als auch auf der Basis des Evaluierungsberichts. Ergänzend werden sie auch im Internet, durch Publikationen und Konferenzbeiträge über die GIZ hinaus verbreitet. 2 Themen und Auswahlkriterien Das Evaluierungsprogramm wird für zwei Jahre festgelegt und im Jahresrhythmus angepasst. Derzeit werden jährlich bis zu fünf Themen evaluiert, wobei die Evaluierungen sich in Umfang und Ausrichtung unterscheiden. Die Themen werden von den Mitgliedern des Vorstands und der ersten Führungsebene der GIZ (Bereichs- und Stabsstellenleitungen) im Rahmen einer Abfrage der Stabsstelle Evaluierung vorgeschlagen. Darüber hinaus kann der Vorstand jederzeit nach Bedarf USE-Themen festlegen und die Stabsstelle Evaluierung damit beauftragen. Die Stabsstelle Evaluierung analysiert die Vorschläge und legt dem Vorstand einen entsprechenden USE-Programmvorschlag zur Entscheidung vor. Auswahl und Entscheidung erfolgen anhand folgender Kriterien: Unternehmenspolitische Bedeutung: Das Thema ist von übergeordnetem unternehmenspolitischen Interesse, was unter anderem in unternehmenspolitischen Grundsatzdokumenten und Beschlüssen, in der langfristigen Unternehmensplanung (LUP), in der Geschäftsstrategie, in TOP- Maßnahmen, in den jährlichen Unternehmenszielen oder im Qualitätsbericht zum Ausdruck kommt. Es weist besonderes Potenzial auf für die Geschäftsentwicklung und/oder für Verbesserungen in den Strukturen, Prozessen und Verfahren des Unternehmens in allen Bereichen und auf allen Ebenen. Mittelfristiger Entscheidungsbedarf: Das Thema steht im Zusammenhang mit mittel- oder langfristig (d.h. in ein bis drei Jahren) anstehenden grundlegenden Entscheidungen oder Positionierungen. Für kurzfristig erforderliche Entscheidungen oder Positionierungen sind strategische Evaluierungen dagegen zu zeit- und kostenintensiv. Evidenzbedarf: Entscheidungen oder Positionierungen erfordern eine vertiefte Kenntnis komplexer Sachverhalte der Unternehmensrealität unter Berücksichtigung international anerkannter Evaluierungsstandards und ggf. mit Unterstützung externer Expertise. Evaluierbarkeit: Konkret wird geprüft, ob der Evaluierungsgegenstand hinreichend genau definiert ist, ob dessen Ergebnisse überprüfbar sind und ob eine Evaluierung die optimale Herangehensweise ist, um die Fragen der Stakeholder zu beantworten. Die Evaluierungsfragen müssen im Rahmen des zur Verfügung stehenden Zeitrahmens und Budgets für die Erhebung und Auswertung von Primär- und Sekundärdaten in angemessener Tiefe bearbeitet werden können. Zudem muss die Datenlage eine Evaluierung erlauben. Bewertungscharakter: Evaluierungen bewerten die Umsetzung der Unternehmensstrategie oder die Leistungserbringung der GIZ im Sinne einer Erfolgskontrolle und/oder Wirkungserfassung. Darin unterscheiden sie sich von Studien, in denen beispielsweise der Wissensstand zu einem Themenfeld aufbereitet wird oder ein Benchmarking zwischen verschiedenen Anbietern ähnlicher Dienstleistungen erfolgt und die von anderen Organisationseinheiten des Unternehmens in Auftrag gegeben oder durchgeführt werden. 5

6 3 Qualitätssicherung unternehmensstrategischer Evaluierungen 3.1 Qualitätsstandards Unternehmensstrategische Evaluierungen folgen internationalen und nationalen Qualitätsstandards, wie sie in den Standards des Development Assistance Committee (DAC) der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) und der Gesellschaft für Evaluation e.v. (DeGEval) sowie in der GIZ-Evaluierungspolicy (2017) niedergelegt sind. Sie orientieren sich insbesondere an den Standards für Unabhängigkeit, Genauigkeit, Nützlichkeit und Transparenz von Evaluierungen. Diese werden wie folgt umgesetzt: Unabhängigkeit: Die Stabsstelle Evaluierung ist organisatorisch direkt dem Vorstand zugeordnet und in der Evaluierungsdurchführung unabhängig von den operativen Bereichen und den Strategieeinheiten des Unternehmens. Der Stabsstelle ist der Freiraum gegeben, das eigene Haus mit kritischen Evaluierungsergebnissen zu konfrontieren. Die Durchführung einzelner Evaluierungen kann an externe Auftragnehmer vergeben oder von der Stabsstelle selbst übernommen werden. Die Inhalte von Evaluierungsberichten und damit auch die Bewertung des Evaluierungsgegenstandes liegen in der alleinigen Verantwortung der Evaluatoren und Evaluatorinnen. Genauigkeit: Die Evaluierungen werden auf der Basis anerkannter Qualitätsstandards, Methoden und Verfahren durchgeführt, die im Papier Wirkungsverständnis der GIZ Stabsstelle Evaluierung dargelegt sind. Zur Qualitätssicherung hat die Stabsstelle Evaluierung ein System des internen und (im Falle einer eigenen Durchführung) externen Peer Reviewing eingeführt. Die USE liefern nachvollziehbare Ergebnisse und dokumentieren sowohl Erfolge als auch Misserfolge und die Gründe dafür. Nützlichkeit: Die unternehmensstrategischen Evaluierungen orientieren sich am international anerkannten Ansatz der nutzungsorientierten Evaluierung. Dabei sind die Identifikation potenzieller Nutzer und die intensive Beteiligung relevanter Akteure in Form der Referenzgruppen und darüber hinaus am gesamten Evaluierungsprozess zentral. Transparenz: Die Berichte der USE werden mit einer Stellungnahme der GIZ und der Management Response veröffentlicht. Die Positionierung der GIZ als transparente, selbstkritische und lernende Organisation wird damit gefördert. Je nach Zielsetzung und Evaluierungsgegenstand werden die USE auch Partnern oder anderen Gebern zugänglich gemacht. Zentrale Erkenntnisse und Empfehlungen der USE (Management Summary) sowie der Umgang damit (Management Response) sind immer in deutscher und englischer Sprache verfügbar. Die GIZ verzichtet nur in folgenden Fällen auf eine Veröffentlichung des Hauptberichtes der Evaluierung: Wenn diese die Rechte Dritter verletzen, die Anonymisierung personenbezogener Daten nicht gewährleisten, Betriebs- oder Geschäftsgeheimnisse beinhalten, laufende nationale und internationale Verhandlungen beeinträchtigen oder außen- bzw. sicherheitspolitisch sensibel sind. 3.2 Qualitätsinstrumente und -verfahren Bei den USE sorgt die Stabsstelle Evaluierung mit folgenden Instrumenten für die Einhaltung der Qualitätsstandards: Auftragsklärung: Eine umfassende Auftragsklärung mit dem/der Auftraggeber/-in der USE einerseits und den externen Gutachtern und Gutachterinnen andererseits legt den Grundstein für eine erfolgreiche Evaluierung. Sie beugt Konflikten im Verlauf der Evaluierung vor und erhöht die Zufriedenheit aller Beteiligten mit dem Evaluierungsprozess und die Akzeptanz der Evaluierungsergebnisse. Evaluierungsmanager/-innen müssen daher dafür sorgen, dass die Ergebnisse der jeweiligen Auftragsklärung möglichst eindeutig und unmissverständlich sind. 6

7 Inception Report: Ein Inception Report fasst die Vorerkenntnisse zu dem Evaluierungsgegenstand zusammen, die aus Dokumentenanalysen und Interviews gewonnen werden. Er spezifiziert ferner das Evaluierungsdesign, legt den Fokus und Umfang der Evaluierung fest und nimmt eine kritische Analyse der Qualität der verfügbaren Dokumente vor. Weiterhin entwickeln die beauftragten Evaluatoren und Evaluatorinnen in diesem Rahmen auch die Instrumente zur Datenerhebung. Der Inception Report ist eine zentrale Leistung des Evaluators bzw. der Evaluatorin, und die Kommentierung seitens des Auftraggebers bzw. der Auftraggeberin und der Evaluierungsmanager/-innen ist ein Schlüsselinstrument der Qualitätssicherung. Methodische Vorgaben für externe Gutachter/-innen: Die GIZ gibt i.d.r. einen theoriebasierten Evaluierungsansatz wie beispielsweise Realist Evaluation, Process Tracing und die Kontributionsanalyse vor. Die Auswahl ist auf das Erkenntnisinteresse und den Evaluierungsgegenstand abgestimmt. Auf der Grundlage vorhandener Wirkungsmodelle oder von den Evaluatorinnen und Evaluatoren rekonstruierter Theories of Change können die Wirkungshypothesen auf ihre Plausibilität hin überprüft werden. Für die Datenerhebung werden angemessene quantitative und qualitative Methoden gezielt so kombiniert, dass sie im für die Durchführung der Evaluierung verfügbaren Zeitraum optimal aufeinander aufbauen. Annotierte Gliederungen für die Berichtslegung: Verbindliche Leitlinien für die Erstellung von Evaluierungsprodukten wie bspw. Inception Report und Hauptbericht spezifizieren Inhalt und Struktur derselben sowie ihre erwartete Qualität. Stellungnahme zu dem Evaluierungsbericht: Der finale Evaluierungsbericht ist ein unabhängiger Bericht der von der GIZ beauftragten Evaluatoren und Evaluatorinnen. Bei der Diskussion des Entwurfs sind die Evaluatoren und Evaluatorinnen frei in der Entscheidung, in den Evaluierungsbericht die Anregungen aufzunehmen, die sie von dem/der Auftraggeber/-in, der Referenzgruppe und den Evaluierungsmanagern/-managerinnen in der Stabsstelle erhalten, es sei denn, die Kommentare beziehen sich auf vertraglich vereinbarte Leistungen. Ggf. abweichende Einschätzungen der Ergebnisse werden in der Stellungnahme der GIZ zu dem unabhängigen Evaluierungsbericht transparent gemacht. 4 Durchführung der unternehmensstrategischen Evaluierungen Unternehmensstrategische Evaluierungen werden von der Stabsstelle Evaluierung im Auftrag des Vorstands durchgeführt und aus deren Budget finanziert. Eine USE beginnt mit der Auswahl des Themenvorschlags durch den Vorstand, der die Stabsstelle Evaluierung mit der Durchführung beauftragt. Sie ist abgeschlossen, wenn der/die Auftraggeber/-in den Hauptbericht, die Stellungnahme der Stabsstelle Evaluierung (im Fall einer externen Durchführung) sowie die Management Response (Umgang mit den Empfehlungen) abgenommen hat. Damit die Ergebnisse möglichst rasch verbreitet und genutzt werden können, soll der USE-Bericht möglichst direkt nach Abschluss veröffentlicht werden. Der weitere Prozess des Management Response Systems (Prozessschritt Nutzung), also die Entwicklung von gezielten Maßnahmen zur Qualitätsverbesserung, die Umsetzungsentscheidung und die kontinuierliche Dokumentation des Standes der Umsetzung ist nicht Teil der eigentlichen unternehmensstrategischen Evaluierung. Die Prozessschritte werden in Abschnitt 6 definiert und im Detail beschrieben. Je nach thematischer Schwerpunktsetzung und Verfügbarkeit von Personalressourcen können USE extern vergeben oder von der Stabsstelle Evaluierung selbst durchgeführt werden. Wenn der Fokus auf Transparenz und Rechenschaftslegung gelegt wird, der Wunsch nach einer externen Einschätzung besteht oder für die Beantwortung der Evaluierungsfragen spezifisches Fach- oder Methodenwissen erforderlich ist, spricht dies für eine externe Vergabe. Eine eigene Durchführung bietet sich an, wenn für die USE eine tiefe Kenntnis von Unternehmensprozessen erforderlich ist, vertrauliche Daten erhoben 7

8 bzw. vertrauliche Dokumente ausgewertet werden müssen oder ein bestimmter Erkenntnisbedarf kurzfristig bedient werden soll. Eine Eigendurchführung bietet sich ferner dann an, wenn zu einem bestimmten Evaluierungsgegenstand die Kompetenz und die Lieferfähigkeit externer Evaluatoren und Evaluatorinnen als begrenzt eingeschätzt wird. In der Praxis sind folgende Varianten der Durchführung einer USE möglich: Vergabe der gesamten USE: Erstellung der Concept Note durch die Stabsstelle Evaluierung Ausschreibung und Vergabe Modulare Mischformen: eigene Durchführung bis zum Inception Report: Durchführung erster Erhebungsschritte wie bspw. Portfolioanalyse, Dokumentenauswertung, danach Ausschreibung und Vergabe Steuerung der ganzen USE inkl. Verantwortung für die Berichterstellung, dabei Vergabe einzelner Erhebungsschritte wie bspw. Fallstudien eigene Durchführung einzelner Erhebungsschritte (bspw. Online-Befragung), deren Ergebnisse dem für die Berichterstellung verantwortlichen Auftragnehmer zur Verfügung gestellt werden Eigene Durchführung: vollständige Durchführung durch Personal der Stabsstelle Evaluierung standardmäßige oder angepasste Prozessbegleitung 5 Governance des Instruments und Rollen der Akteure Die Stabsstelle Evaluierung fordert den Vorstand und die erste Führungsebene der GIZ (Bereichs- und Stabsstellenleitungen) alle zwei Jahre auf, Themenvorschläge für die Entwicklung eines neuen Evaluierungsprogramms einzureichen. Die Bereichs- und Stabsstellenleiter/-innen können in ihren Einheiten Vorschläge abfragen, diese bewerten, priorisieren und bei der Stabsstelle Evaluierung einreichen. Die Themenvorschläge werden durch die Stabsstelle zu Evaluierungsskizzen aufbereitet und in einer Themenliste für das anstehende Zweijahresprogramm dem Vorstand vorgeschlagen. Vorstand Der Vorstand priorisiert die Vorschläge der Stabsstelle für unternehmensstrategische Evaluierungen und beauftragt das zweijährige Evaluierungsprogramm. Jeweils jährlich erhält der Vorstand einen Bericht über den Stand der Durchführung der einzelnen Evaluierungen und entscheidet bei Bedarf über Anpassungen an neue Entwicklungen in der restlichen Zeit des Zweijahresprogramms. Auftraggeber/-in der USE Der Vorstand benennt ein Vorstandsmitglied, welches als Auftraggeber/-in der Einzelevaluierung mit allen Entscheidungsbefugnissen zur Durchführung der USE mandatiert ist. Der Vorstand kann im Ausnahmefall diese Funktion an eine Führungskraft der ersten Ebene delegieren. Auftraggeber (re)definieren auf der Basis der Evaluierungsskizze Entscheidungs- und Veränderungsbedarfe sowie Bedarfe der Rechenschaftslegung (innen/außen), die von der Evaluierung bearbeitet werden sollen. Sie sind Ansprechpartner/-innen der Stabsstelle im Vorstand für den USE-Prozess und werden als Auftraggeber/- in in alle wichtigen Entscheidungen eingebunden. Die konkreten Einbindungsbedarfe werden zu Beginn jeder USE spezifiziert. Auftraggeber/-innen haben eine wichtige Funktion für die unternehmenspoliti- 8

9 sche Ausrichtung und Akzeptanz der Evaluierung sowie zur Bewertung potenzieller Synergien mit anderen relevanten Prozessen im Unternehmen. Nach Abnahme des Hauptberichts, der Stellungnahme sowie der Management Response beauftragen sie Mitglieder der Referenzgruppe sowie ggf. weitere Vertreter/-innen relevanter Organisationseinheiten mit der Erarbeitung konkreter Umsetzungsvereinbarungen. Referenzgruppe Für jede unternehmensstrategische Evaluierung wird eine Referenzgruppe aus Vertreterinnen und Vertretern relevanter Organisationseinheiten gebildet. Sie wird in Abstimmung mit den Leitungen der betreffenden Bereiche bzw. Stabsstellen von den jeweiligen Auftraggebern und Auftraggeberinnen und der Stabsstelle Evaluierung nach inhaltlichen und unternehmenspolitischen Kriterien zusammengestellt. Ihre Zusammensetzung soll die Breite des jeweiligen Themas sowie Verantwortlichkeiten im Unternehmen widerspiegeln, weshalb Fach- und Managementebene gleichermaßen vertreten sind. Die Mitglieder der Referenzgruppe sind von ihrer jeweiligen Organisationseinheit benannt und mandatiert, die Position ihrer Organisationseinheit einzubringen. Zusätzlich können Mitarbeiter/-innen an der Referenzgruppe teilnehmen, die auf Grund ihrer fachlichen und/oder methodischen Kompetenzen und Erfahrungen den Evaluierungsprozess beratend unterstützen sollen. Die Referenzgruppe ist kein Entscheidungsgremium. Sie berät den/die Auftraggeber/-in und die Stabsstelle im Sinne eines sounding board während des gesamten Evaluierungsprozesses zu konzeptionellen und sonstigen grundlegenden Fragen der Durchführung der Evaluierung und stellt so sicher, dass die Evaluierung den Bedarf des Unternehmens abdeckt und der Evaluierungsprozess sowie die Empfehlungen nicht zu Überlastungen von Unternehmensteilen führen. Sie diskutiert und kommentiert die Berichtsentwürfe sowie die Schlussfolgerungen und Empfehlungen und übernimmt eine wichtige Funktion bei der Erstellung der Management Response, der Umsetzungsvereinbarung und der Kommunikation der Evaluierungsergebnisse. Gremien Die Ergebnisse der unternehmensstrategischen Evaluierungen werden nach Abnahme durch den/die Auftraggeber/-in dem Strategiekreis vorgelegt. Auf der Grundlage der Evaluierungsempfehlungen verabschiedet der Strategiekreis die Management Response. Die konkreten Umsetzungsvereinbarungen (tabellarischer Maßnahmenkatalog als Anhang zur Management Response), die Vertreter/-innen der jeweiligen Referenzgruppe sowie ggf. betroffener Organisationseinheiten unter Koordination der Stabsstelle Evaluierung anschließend erarbeiten, werden zu einem späteren Zeitpunkt vom Managementkreis verabschiedet. Stabsstelle Evaluierung Die Aufgaben der Stabsstelle umfassen die Erstellung des Evaluierungsprogramms, welches vom Vorstand diskutiert und beschlossen wird. Bei der Durchführung der einzelnen USE erarbeitet in der Regel ein Tandem aus zwei Fachkonzeptionisten/Fachkonzeptionistinnen unter Einbeziehung von Auftraggebern/Auftraggeberinnen und Referenzgruppenmitgliedern das Evaluierungskonzept, organisiert die Ausschreibung und Vergabe von Aufträgen an Gutachterfirmen, steuert diese bzw. koordiniert die Durchführung der Evaluierungen oder führt sie ggf. selbst durch. Die Stabsstelle Evaluierung ist verantwortlich für die Qualitätssicherung des Gesamtprozesses, der methodischen Vorgehensweise und der Berichterstattung. Die Inhalte des Schlussberichtes werden von den Evaluatoren und Evaluatorinnen verantwortet. Die Stabsstelle Evaluierung erarbeitet eine Stellungnahme zur unternehmenspolitischen Einordnung des Evaluierungsgegenstands, zur Qualität und den Inhalten des Hauptberichts. Auf der Basis der Diskussion in der letzten Referenzgruppensitzung entwirft sie die Management Response, stimmt diese mit Auftraggeber/-in und Referenzgruppenmitgliedern ab und koordiniert die Erarbeitung der konkreten Umsetzungsmaßnahmen (nicht veröffentlichter Anhang zur Management Response). Die Stabsstelle überprüft den Fortschritt der in der Umsetzungsvereibarung beauftragten Maßnahmen 9

10 mit der Stabsstelle Unternehmensentwicklung. Darüber hinaus ist die Stabsstelle Evaluierung verantwortlich für die Veröffentlichung der Evaluierungsberichte sowie für die Organisation von Lern- und Präsentationsveranstaltungen, um die Evaluierungsergebnisse für institutionelles Lernen sowie ggf. den nationalen und internationalen Fachdiskurs verfügbar zu machen. Die Stabsstelle berücksichtigt die Empfehlungen der Referenzgruppe, ist im Sinne der Unabhängigkeit jedoch nicht an deren Entscheidungen gebunden. Der Vorstand und die jeweiligen Auftraggeber/-innen sind weisungsbefugt bezüglich der Spezifizierung des Evaluierungsgegenstands, nicht aber hinsichtlich der methodischen Herangehensweise und/oder der Interpretation der Evaluierungsergebnisse. Evaluatoren und Evaluatorinnen Mit der Durchführung der einzelnen Evaluierungen können Mitarbeiter/-innen der Stabsstelle Evaluierung, externe Forschungsinstitute, Consultingfirmen oder (Teams aus) Einzelgutachtern und Einzelgutachterinnen beauftragt werden. Darüber hinaus können neben Evaluatorinnen und Evaluatoren auch renommierte internationale Fachexpertinnen und experten zur Begleitung der Evaluierung hinzugezogen werden, wenn dies der methodischen und fachlichen Qualität der Evaluierungsergebnisse dient. Die Evaluatoren und Evaluatorinnen sind allein verantwortlich für die Inhalte des Evaluierungsberichts. Kommunikation mit BMZ Nach der Verabschiedung des USE-Programms durch den Vorstand wird das Evaluierungsreferat des BMZ darüber informiert, um bei Bedarf eine Abstimmung mit dem DEval-Evaluierungsprogramm vornehmen zu können. Im Zuge der Veröffentlichung des Hauptberichts einer USE wird dieser an das Evaluierungsreferat des BMZ versandt. Bei Interesse können die Ergebnisse im BMZ diskutiert und dargestellt werden. Im Falle von USE, bei denen Mitarbeiter/-innen des BMZ im In- und/oder Ausland interviewt oder Daten und Informationen beim BMZ angefragt werden, erhält das BMZ auch Arbeitsdokumente (USE-Skizze, Evaluierungskonzept, Inception Report) zur Kenntnis, um die Bedarfe an BMZ- Ressourcen besser einordnen zu können. 10

11 6 Prozessbeschreibung Erstellung des Evaluierungsprogramms Prozessschritt Wer Wozu und wie Sammlung von Themen für USE Stabsstelle Evaluierung (08) Abfrage bei Vorstand und Führungsebene 1 Prüfung der Vorschläge 08 Anhand der Auswahlkriterien Erstellung Evaluierungsprogramm Aufbereitung der Vorschläge 08 Erarbeitung von Evaluierungsskizzen für den Entscheidungsprozess Priorisierung und Entscheidung über Zweijahresprogramm Vorstand benennt verantwortliche Mitglieder als Auftraggeber/-innen für die einzelnen USE Fortschreibung/Anpassung des Evaluierungsprogramms Vorstand Vorstand Je nach Ressourcen in der 08, derzeit bis zu fünf Evaluierungen pro Jahr Aktualisierter Sachstand und ggf. neue Themen für USE Einzelevaluierung Prozessschritt Wer Wozu und wie Auftragsklärung mit Auftraggeber/-in (AG) 08 Klärung der Evaluierungsziele, Entscheidungs- und Erkenntnisbedarfe und der angestrebten Nutzung der Evaluierungsergebnisse; Vorschläge für Referenzgruppe; Entscheidung über interne/externe Durchführung (Im Folgenden wird der Normalfall der externen Vergabe dargestellt) Vorbereitung Bildung der Referenzgruppe Entwicklung des Evaluierungsdesigns (Concept Note) Entscheidung über sowie ggf. Steuerung der Vergabe an externe Auftragnehmer (AN) 08 in Abstimmung mit relevanten Organisationseinheit (OE) 08 Abstimmung mit Auftraggeber/-in und Referenzgruppe; Konkretisierung von Evaluierungsgegenstand und -fragen sowie Evaluierungsdesign 08 Vergabe nach Orientierungen und Regeln (OuR); Angebotsprüfung nach Qualitätskriterien der 08; 11

12 Prüfung Kosten-Nutzen-Verhältnis Prozessschritt Wer Wozu und wie Durchführung Explorative Datenerhebung und -analyse AN, ggf. 08 Klärung der Datenlage; Entwicklung von Erhebungsinstrumenten; erste Interviews und Dokumentenanalysen Entwurf Inception Report AN, ggf. 08 Abgestimmtes Evaluierungs- und Erhebungsdesign; Prüfung, ob Informationsbedarf abgedeckt ist Diskussion und Kommentierung Inception Report Anpassung Inception Report und Evaluierungsdesign Abnahme Inception Report 08 +AG und Referenzgruppe AN, ggf , ggf, AG und Referenzgruppe Kommentierung durch Referenzgruppe nach Qualitätsprüfung durch die StS 08 Abnahme nach erneuter Qualitätsprüfung durch die StS 08 Datenerhebung AN, ggf. 08 Abhängig vom Design Dokumentenanalyse Interviews Online-Befragung Fallstudien Datenanalyse AN, ggf. 08 Entwurf Hauptbericht AN, ggf. 08 Diskussion und Kommentierung Hauptbericht 08 +AG und Referenzgruppe, ggf. externe Peer Reviewer Anpassung des Hauptberichts AN, ggf. 08 Abnahme des Hauptberichts Kommentierung durch Referenzgruppe und AG nach Qualitätsprüfung durch die StS Abnahme nach erneuter Qualitätsprüfung durch die StS 08 Prozessschritt Wer Wozu und wie Nutzung Verfassen der Stellungnahme zur (methodischen) Qualität der USE Formulierung der Management Response Verabschiedung der Management Response Veröffentlichung des Evaluierungsberichts Erarbeiten der Umsetzungsvereinbarung Verabschiedung der Umsetzungsvereinbarung Entwicklung und Umsetzung von Informations- und Lernformaten Entwicklung von weiteren Publikationen (Broschüre, Teaser etc.) Ggf. Präsentation der Ergebnisse (z.b. bei Auftraggebern, Partnern, nationaler und internationaler Fachöffentlichkeit) Monitoring der Umsetzung der vereinbarten Maßnahmen 08 Transparenz bezüglich der Belastbarkeit Entwurf 08, Abstimmung mit AG Strategiekreis der Evaluierungsergebnisse Transparenter Umgang mit Empfehlungen Freigabe zur Veröffentlichung 08 Evaluierungsberichte werden bis auf benannte Ausnahmen veröffentlicht Referenzgruppe mit rel. OE, moderiert durch 08 Managementkreis Konkreter Maßnahmenkatalog auf Basis der Management Response Verbindlichkeit der Entscheidungen 08 / relevante OE Disseminierung, konzeptionelles und organisationales Lernen 08 / relevante OE 08 / relevante OE Disseminierung 08 und 04, relevante OE 12

13 13

14 Fotonachweise und Quellen Fotonachweise/Quellen: URL-Verweise: In dieser Publikation befinden sich ggf. Verweise zu externen Internetseiten. Für die Inhalte der aufgeführten externen Seiten ist stets der jeweilige Anbieter verantwortlich. Die GIZ hat beim erstmaligen Verweis den fremden Inhalt daraufhin überprüft, ob durch ihn eine mögliche zivilrechtliche oder strafrechtliche Verantwortlichkeit ausgelöst wird. Eine permanente inhaltliche Kontrolle der Verweise auf externe Seiten ist jedoch ohne konkrete Anhaltspunkte einer Rechtsverletzung nicht zumutbar. Wenn die GIZ feststellt oder von anderen darauf hingewiesen wird, dass ein externes Angebot, auf das sie verwiesen hat, eine zivil- oder strafrechtliche Verantwortlichkeit auslöst, wird sie den Verweis auf dieses Angebot unverzüglich aufheben. Die GIZ distanziert sich ausdrücklich von derartigen Inhalten. Kartenmaterial: Kartografische Darstellungen dienen nur dem informativen Zweck und beinhalten keine völkerrechtliche Anerkennung von Grenzen und Gebieten. Die GIZ übernimmt keinerlei Gewähr für die Aktualität, Korrektheit oder Vollständigkeit des bereitgestellten Kartenmaterials. Jegliche Haftung für Schäden, die direkt oder indirekt aus der Benutzung entstehen, wird ausgeschlossen. 14

15 Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH Sitz der Gesellschaft Bonn und Eschborn Friedrich-Ebert-Allee Bonn, Deutschland T F Dag-Hammarskjöld-Weg Eschborn, Deutschland T F E info@giz.de I 15