Deutsche Humanitäre Hilfe im Ausland

Transkript

1 Deutsche Humanitäre Hilfe im Ausland Evaluierung Vorstudie zur Erfolgskontrolle von Beiträgen an Internationale Organisationen Ralf Otto, Lioba Weingärtner, Christian Berg

2 Danksagung Diese Studie hätte ohne die Beteiligung, Gesprächsbereitschaft und Unterstützung einer Vielzahl von Personen nicht durchgeführt werden können. Das Gutachterteam möchte sich bei allen Personen, die ihre Zeit, ihr Wissen und ihre Dokumente zur Verfügung gestellt haben, ganz herzlich bedanken. Die Diskussionen mit für Erfolgskontrolle und Humanitäre Hilfe Verantwortlichen im Auswärtigen Amt, im Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung, beim Welternährungsprogramm, beim Internationalen Komitee vom Roten Kreuz, beim Hochkommissar für Flüchtlinge, bei ausgewählten anderen Gebern (Niederlande, Vereinigtes Königreich und Schweiz) und mit Einzelpersonen waren sehr engagiert und aufschlussreich. Alle Gesprächspartner hatten das gemeinsame Anliegen, für die Erfolgskontrolle von Beiträgen an Internationale Organisationen gute und dem besonderen Kontext angemessene Lösungen zu finden. August 2008 ii

3 Vorwort Diese Vorstudie ist Teil eines umfassenden Arbeitsvorhabens der interministeriellen Arbeitsgruppe Humanitäre Hilfe des Auswärtigen Amtes (AA) und des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ). Ziel des Arbeitsvorhabens ist eine Gesamtbewertung der deutschen Humanitären Hilfe im Ausland, um Schlussfolgerungen für die weitere Förderung zu ziehen, sowie die Einrichtung eines kohärenten Erfolgskontroll- und Evaluierungssystems in diesem Bereich. Unter der Gesamtsteuerung der interministeriellen Arbeitsgruppe werden einzelne Arbeitsvorhaben mit unterschiedlicher Managementverantwortung durchgeführt. Anlass dazu waren entsprechende Empfehlungen der DAC Peer Review sowie Prüfungsfeststellungen des Bundesrechnungshofs. Gegenstand der Untersuchung sind die humanitären Hilfsmaßnahmen außerhalb der Entwicklungshilfe, ressortierend im AA, sowie die entwicklungsorientierte Not- und Übergangshilfe, ressortierend im BMZ. Wenngleich diese beiden Bereiche international unter dem Begriff Humanitarian Aid zusammengefasst werden, wird in Deutschland aus inhaltlichen Gründen eine grundsätzliche Differenzierung und damit begründet auch die Ressortzuständigkeit der beiden Bereiche vorgenommen. Mit Blick auf die bessere Lesbarkeit werden im Bericht allerdings nur dort differenzierte Bezeichnungen verwendet, wo dies aus sachlichen Gründen erforderlich ist. Die vorliegende Vorstudie (Management: BMZ-Evaluierung) befasst sich mit Anforderungen der Erfolgskontrolle, wie von der Bundeshaushaltsordnung vorgesehen, und zwar speziell im Zusammenhang mit Beiträgen an Internationale Organisationen (inklusive internationale NROs). Ein weiterer Bericht zur Erfolgskontrolle staatlicher Finanzierungen von Maßnahmen zivilgesellschaftlicher und Durchführungsorganisationen komplettiert die erste Phase der Gesamtbewertung. Die in diesem Bericht dargestellten Auffassungen stellen die Meinung eines unabhängigen, externen Expertenteams dar und stimmen nicht notwendigerweise mit der Meinung des AA und des BMZ überein. Der Bericht sollte wie folgt zitiert werden: Otto, R.; Weingärtner, L.; Berg, Ch. (2008): Deutsche Humanitäre Hilfe im Ausland; Evaluierung. Vorstudie zur Erfolgskontrolle von Beiträgen an Internationale Organisationen. Unveröffentlichtes Manuskript. Bonn/Berlin. Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung/Auswärtiges Amt. AA Arbeitsstab BMZ Referat Entwicklungsorientierte BMZ Referat Evaluierung der Humanitäre Hilfe Not- und Übergangshilfe Entwicklungszusammenarbeit; Außenrevision iii

4 iv

5 Inhaltsverzeichnis Abkürzungsverzeichnis... vii Zusammenfassung... ix Executive Summary... xiv 1 Einleitung Anlass und Hintergrund Zweck und Nutzung Ablauf und Management Methodik Portfolio-Bestandsaufnahme Ergebnisse der Überprüfung IO-interne Elemente der Erfolgskontrolle Welternährungsprogramm (WFP) Hochkommissar für Flüchtlinge der Vereinten Nationen (UNHCR) Exkurs: Blick auf die Evaluierung im VN-System Internationales Komitee vom Roten Kreuz (IKRK) Bewertung der Informationen durch die Ressorts Maßnahmen der Ressorts im Falle unzureichender Informationen Kohärenz der Erfolgskontrolle der Ressorts Andere Geber und deren Bewertungssysteme Schweiz Niederlande Vereinigtes Königreich Exkurs: Blick auf einige Entwicklungen im internationalen System humanitäre Hilfe Gute Humanitäre Geberschaft und Humanitarian Response Index Central Emergency Response Fund CERF Schlussfolgerungen Empfehlungen Literatur v

6 Verzeichnis der Tabellen und Schaubilder: Tabelle 1: Schaubild 1: Auszahlungen AA und BMZ an ausgewählte IO für humanitäre Hilfe 2007 (in.000 ) Regionale Verteilung der freiwilligen gebundenen und aufteilbaren Beiträge an IO 2007 Tabelle 2: Beiträge der Bundesregierung zum WFP (in.000 ) 9 Verzeichnis der Anlagen: Anlage 1: Anlage 2: Anlage 3: Terms of Reference Untersuchungsmatrix Liste der Gesprächspartner Anlage 4 Übersicht über die Empfänger freiwilliger Beiträge an IO 2007 Anlage 5: Anlage 6: UNHCR Reporting Cycle ICRC Standard Reporting-Production/Drafting Workflow 7 8 vi

7 Abkürzungsverzeichnis AA Auswärtiges Amt ALNAP Active Learning Network for Accountability and Performance in Humanitarian Action BHO Bundeshaushaltsordnung BMF Bundesministerium der Finanzen BMZ Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung BRH Bundesrechnungshof CAP Consolidated Appeal Process CERF Central Emergency Response Fund CHAP Consolidated Humanitarian Action Plan DAC Development Assistance Committee DEZA Direktion für Entwicklung und Zusammenarbeit DFID Department for International Development DG Directorate General DRK Deutsches Rotes Kreuz DSG Donor Support Group EB Executive Board ECHO European Commission Humanitarian Aid Department ENÜH Entwicklungsorientierte Not- und Übergangshilfe EMOP Emergency Operations ER Exekutivrat EU Europäische Union EUR Euro ExCom Executive Committee FAC Food Aid Convention FAO Food and Agriculture Organization of the United Nations FTS Financial Tracking System GHD Good Humanitarian Donorship GQIG German Quality Improvement Grant GSO Global Strategic Objective GTZ Deutsche Gesellschaft für Technische Zusammenarbeit GmbH HQ Headquarters IASC Inter-Agency Standing Committee ICRC International Committee of the Red Cross IKRK Internationales Komitee des Roten Kreuzes IO Internationale Organisation IOB Policy and Operations Evaluation Department JIU Joint Inspection Unit JPO Junior Professional Officer MDES Multilateral Development Effectiveness Summaries M&E Monitoring & Evaluation MOE Mittel- und Osteuropa MOPAN The Multilateral Organizations Performance Assessment Network MSRP Management Systems Renewal Project (UNHCR) NRO Nichtregierungsorganisation NUS Neue Unabhängige Staaten OCHA Office for the Coordination of Humanitarian Affairs OECD Organisation for Economic Cooperation and Development PDES Policy Development and Evaluation Service PRRO Protracted Relief and Rehabilitation Operation RBM Results Based Management SIDA Swedish International Development Cooperation Agency SPR Standard Project Report TEuro Tausend Euro vii

8 ToR UNDP UNEG UNHCR UNICEF UNRWA USD VN VV WFP Terms of Reference United Nations Development Programme United Nations Evaluation Group United Nations High Commissioner for Refugees United Nations International Children s Emergency Fund United Nations Relief and Works Agency for Palestine Refugees in the Near East United States Dollar Vereinte Nationen Verwaltungsvorschriften World Food Programme viii

9 Zusammenfassung Hintergrund Bei dem vorliegenden Bericht handelt es sich um das Ergebnis einer unabhängigen Bestandsaufnahme und Bewertung der gegenwärtigen Praxis der Erfolgskontrolle freiwilliger Beiträge des Auswärtigen Amtes (AA) und des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) an Internationale Organisationen (IO) der humanitären Hilfe. Diese Vorstudie stellt die erste Phase eines mehrstufigen Prozesses dar, in dessen weiterem Verlauf eine unabhängige Evaluierung des Systems der humanitären Hilfe Deutschlands im Ausland (einschließlich Erhebungen vor Ort, Phase II) sowie eine Synthese mit Blick auf die Gesamtperformance des Systems erfolgen soll (Phase III). Hauptnutzer der Vorstudie ist die interministerielle Arbeitsgruppe (AA-BMZ), die zugleich Steuerungsgruppe für das gesamte Evaluierungsvorhaben (Phasen I bis III) ist. Hauptanlass für die Vorstudie ist ein Bericht des Bundesrechnungshofs (BRH) an den Haushaltsausschuss des Deutschen Bundestages vom Juli Darin weist der BRH Bezug nehmend auf das Gebot der Wirtschaftlichkeit jeglichen Verwaltungshandelns darauf hin, dass eine Bewertung finanzwirksamer Maßnahmen des Bundes (so auch freiwilliger Beiträge an IO) durch die bewilligenden Ressorts zwingend vorgeschrieben, die Durchführung entsprechender Erfolgskontrollen ( Evaluierungen ) jedoch nicht zu erkennen sei. Dafür, dass unabhängige Evaluierungseinheiten der IO die Durchführung eigener Evaluierungen entbehrlich machten, fehle es zudem an einem plausiblen Nachweis der Ressorts. Insgesamt rund 25 ausländische und IO (einschließlich internationaler Treuhandfonds und nicht-staatlicher Organisationen) der humanitären Hilfe erhielten von AA und BMZ 2007 etwa 80 Mio. an freiwilligen Beiträgen, davon hauptsächlich zweckgebundene Mittel zur Projektförderung (knapp 90%). Das Internationale Komitee vom Roten Kreuz (IKRK) und verschiedene Organisationen der Vereinten Nationen (VN), darunter vor allem der Hohe Flüchtlingskommissar der Vereinten Nationen (UNHCR), das Hilfsprogramm der Vereinten Nationen für Palästinaflüchtlinge (UNRWA) und das Büro der Vereinten Nationen für die Koordinierung humanitärer Hilfe (OCHA) erhielten zudem vom AA ungebundene Mittel. Für die Vorstudie wurden drei IO untersucht, die zusammen im Jahr 2007 rund 72% der freiwilligen Beiträge des Bundes für humanitäre Hilfe erhielten: Das Welternährungsprogramm der Vereinten Nationen (WFP), der UNHCR sowie das IKRK. Für die Datenerhebung angesichts der Kürze der zur Verfügung stehenden Zeit in Form eines light approach wurden relevante Dokumente (v. a. nationale und internationale Standards und Vorgaben, Förderstrategien und -richtlinien, erfolgskontrollrelevante Berichte der IO und Dritter) ausgewertet und Interviews bei den IO und in den Ressorts geführt. Um einen vergleichenden Blick auf die Erfolgskontrollsysteme anderer Geberländer zu werfen, wurden die Niederlande, die Schweiz und das Vereinigte Königreich ausgewählt. Wesentliche Feststellungen und Schlussfolgerungen Profile der IO WFP ist das Nahrungsmittelhilfeprogramm der VN. Es konzentriert sich im Wesentlichen auf die Nahrungsmittelnothilfe, Nahrungsmittelhilfe zur Unterstützung der wirtschaftlichen und sozialen Entwicklung in Entwicklungsländern und die Förderung der Welternährungssicherung. Das WFP hängt zu 100% von freiwilligen Beiträgen internationaler Geber, des Privatsektors und von Spenden von Einzelpersonen ab, um seine humanitären und Entwicklungsprojekte zu finanzieren. Die Bundesregierung gehört zu den wichtigsten bilateralen Geldgebern des WFP und unterstützt die Organisation sowohl in der Finanzierung ihrer längerfristigen Entwicklungsprogramme und -projekte als auch in Abhängigkeit akuter Bedarfssituationen im Kontext ihrer Emergency Operations (EMOP) und Protracted Relief and Rehabilitation Operations (PRRO). Seit der Gründung des Programms engagiert sich die Bundesregierung als Mitglied im zentralen Steuerungs- und Aufsichtsorgan. ix

10 UNHCR ist das Flüchtlingshilfswerk der VN. Die UNHCR-Hilfsprogramme werden hauptsächlich durch freiwillige Beiträge von Regierungen, aber auch von Stiftungen und Privatpersonen finanziert. Zudem steht ein begrenzter Betrag weniger als zwei Prozent aus dem regulären VN-Budget für Verwaltungszwecke zur Verfügung. Hinzu kommen jedes Jahr Sonderprogramme für einzelne Länder oder Regionen. Deutschland belegt seit 2004 Rang 8 unter den Gebern des UNHCR. Das IKRK unterscheidet sich im Aufbau, der Arbeitsweise, wie auch in der Finanzierung deutlich von den beiden betrachteten VN-Organisationen. Es ist eine private Schweizer Organisation, die sich unabhängig, neutral und unparteilich weltweit für den Schutz der Opfer von bewaffneten Konflikten einsetzt. Das IKRK bekommt (fast) keine institutionelle Förderung, sondern basiert sein Budget auf dem vorhergesagten humanitären Bedarf. Die Finanzierung des IKRK erfolgt durch Beiträge von Geberländern und Nationalen Rotkreuz-Gesellschaften sowie durch private Spenden. Die zehn größten Geldgeber des IKRK sind in der Donor Support Group (DSG) vertreten, zu der auch Deutschland gehört. Ein Kontrollorgan vergleichbar mit den Exekutivräten der VN-Organisationen gibt es nicht. Im Leitungsorgan (das Komitee) sind keine Geber vertreten, da es Schweizer Staatsbürgern vorbehalten ist. IO-interne Elemente der Erfolgskontrolle WFP und UNHCR haben vor rund 10 Jahren ein wirkungsorientiertes Management (Results- Based Management) eingeführt, das IKRK sein entsprechendes System (Planning for Results) bereits Die Verfahren und Instrumente zum internen Monitoring und Berichtswesen der IO sind jedoch in allen drei Fällen noch stark auf Aktivitäten und Leistungen (outputs) und weniger auf die Analyse und Dokumentation der Zielerreichung (outcome) und Wirkungen (impact) von humanitären Maßnahmen ausgerichtet. Die IO arbeiten an der Einführung bzw. Verbesserung ihrer internen Monitoring- und Berichterstattungssysteme und sind hierbei unterschiedlich weit fortgeschritten. Die Evaluierungsfunktionen der drei untersuchten IO sind im Auf- oder Umbau. Beim UNHCR und bei WFP wurden Schlüsselpositionen neu besetzt, um der Evaluierung mehr fachliche Kompetenz zu verleihen. Bei WFP und UNHCR werden derzeit Evaluierungsstrategien neu formuliert und im UNHCR und im IKRK wurde die institutionelle Verankerung jüngst neu ausgerichtet, um der Evaluierungsfunktion mehr strategisches Gewicht zu geben. Mit Abstufungen zwischen den betrachteten Organisationen sind die Evaluierungsfunktionen bisher noch nicht vollständig als umfassendes Instrument der Erfolgskontrolle, des strategischen Managements und des organisationsinternen Lernens etabliert und geeignet. Als Herausforderungen stellen sich die Erhöhung des Deckungsgrades und der Repräsentativität der Evaluierungen sowie deren Finanzierung dar. Akzeptanz und Integration der Evaluierungsfunktion innerhalb der Organisationen sind noch nicht vollständig erreicht. Eignung der Anträge und Berichte der IO an die Ressorts Die Bundesregierung hat keinen eigenen separaten Vorgabenkatalog für IO für Anträge und Berichte. Die Anträge und Berichte der IO an die Ressorts sind oft von eher generellem Charakter und wenig spezifisch im Hinblick auf Elemente, die für eine spätere Kontrolle der Zielerreichung, Wirksamkeit und Wirtschaftlichkeit freiwilliger Beiträge erforderlich wären. Das heißt sie sind wenig spezifisch hinsichtlich Zielgruppen, lokalem Projektkontext und angestrebter Ziele und Wirkungen. Bereits die Tatsache, dass IO überwiegend mit Länderprogrammen arbeiten, die Bundesregierung aber in der humanitären Hilfe überwiegend projektspezifische Förderung und damit projektspezifische Erfolgskontrolle betreibt, erschwert das Verfahren. Die Detailliertheit und analytische Tiefe der Anträge und Berichte spiegelt nicht den von den IO in Dokumenten und Interviews dargestellten internen Aufwand und die Verfahren zur Datenerfassung und Dokumentation wider. x

11 Bewertung und Verifizierung von zur Verfügung gestellten Informationen durch die Ressorts Das Verfahren zur Bewertung der Informationen ist einheitlich gestaltet, lässt jedoch viel Spielraum für die einzelnen Bearbeitenden in den Ressorts. Die Prüfung von Anträgen ist zu sehr auf die Förderungswürdigkeit gemäß der jeweiligen deutschen Förderkonzepte bzw. - richtlinien sowie die Relevanz der Maßnahme (Bedarf) ausgerichtet. Darüber hinaus existieren keine ressortübergreifenden Bewertungskriterien, die den Anforderungen beider Mandate (humanitäre Soforthilfe des AA und entwicklungsorientierte Not- und Übergangshilfe des BMZ) genügen und standardmäßig geprüft werden. Als Kriterien kämen in Betracht die des Development Assistance Committee, (DAC) der Organisation für Wirtschaftliche Zusammenarbeit und Entwicklung (OECD) bzw. des Active Learning Network for Accountability and Performance in Humanitarian Action (ALNAP). Bei den Ressorts besteht überwiegend ein guter Informationsstand über die generelle Lage und die Entwicklungen in den Zielländern und bei den geförderten Organisationen. Der Verifizierung projektspezifischer Angaben sind jedoch deutliche Grenzen gesetzt, was die Kapazitäten und die Nutzung von systematisch erstellten Informationsquellen anbetrifft. Auch die Verifizierung hängt stark von der Erfahrung und Arbeitsweise der Bearbeiterin oder des Bearbeiters ab. Bisher wenig ausgeprägt ist die systematische und regelmäßige Analyse vorgelegter Informationen zur Erfolgskontrolle durch das verantwortliche Ressort. Der generellen Verfolgung der Maßnahmen und Entwicklungen der IO durch die Ministerien, die Ständigen Vertretungen am Sitz der IO und die Auslandsvertretungen in den Zielländern sowie durch die jährlichen Konsultationen und den laufenden Kontakt ist eine nicht unwesentliche Rolle für die Nachverfolgung der Aktivitäten der IO zuzuschreiben, welche mit Blick auf Erfolgskontrolle noch stärker wahrgenommen könnte. Maßnahmen der Geber, falls Informationen nicht ausreichend sind Viele offene Fragen werden im direkten Kontakt mit den IO unbürokratisch und oft bereits vor Einreichung des schriftlichen Antrags geklärt. Offene Fragen beziehen sich größtenteils auf die Mittelverwendung und nicht die Zielerreichung oder Wirtschaftlichkeit der Maßnahmen. Gegenüber projektspezifischen Beanstandungen sind die Möglichkeiten für die Ressorts, über die Führungsgremien der VN-Organisationen bzw. ihre Mitgliedschaft in der Donor Support Group Einfluss auszuüben und auf eine Stärkung der internen Erfolgskontrolle allgemein hinzuwirken von größerer Bedeutung. Kohärenz der Erfolgskontrolle durch die Ressorts Hinsichtlich der Erfolgskontrollverfahren besteht überwiegend Kohärenz zwischen den beiden Ressorts. Die IO machen in Form, Art und Umfang der Anträge und Berichte an das BMZ und das AA keine Unterschiede. Unterschiede ergeben sich jedoch aus der Zuständigkeitsverteilung zwischen BMZ und AA für einzelne IO. Das BMZ hat die Zuständigkeit für WFP, während das AA für UNHCR und das IKRK federführend ist, was bedeutsam ist für die Nachverfolgung der Aktivitäten der IO. Abweichungen im Verfahren gibt es bei der Verfahrensweise zur Stellungnahme bzw. Information des jeweils anderen Ressorts, wo das BMZ das AA vor Bescheidung, das AA das BMZ jedoch erst nach Bescheidung konsultiert beziehungsweise informiert. Im BMZ ist außerdem der Kontakt zu den Länderreferaten sowie zur Deutschen Gesellschaft für Technische Zusammenarbeit (GTZ) und auch einigen Fällen zu Nichtregierungsorganisationen bedeutender und die Möglichkeit, sich selbst vor Ort ein Bild zu machen, eingeschränkter. Von Bedeutung sind hierbei auch die unterschiedlichen personellen Kapazitäten der beiden Ressorts. Internationale Entwicklungen Der derzeitige Reformprozess in der internationalen humanitären Hilfe, der eine verstärkte Koordinierung und Vereinfachung der Finanzierung fördern möchte, zielt auf eine zentralere Rolle der VN-Organisationen im System der Hilfe ab. Innerhalb der VN hat die Standardisierung sowie die Bedeutung von organisationsübergreifenden wie auch xi

12 organisationsspezifischen Studien in den letzten Jahren zugenommen. Die VN hat ihre Arbeit nicht zuletzt auf Druck der Mitgliedstaaten zunehmend wirkungsorientiert ausgerichtet. Die UN Evaluation Group spielt eine zentrale Rolle bei der Standardisierung von Evaluierungen, die Joint Inspection Unit des VN-Systems, das Office of Internal Oversight Services des VN- Generalsekretariats sowie OCHA bei organisationsübergreifenden Evaluierungen. OCHA hat innerhalb der VN das Mandat zur Koordinierung der Humanitären Hilfe. Dies umfasst auch die Durchführung von Evaluierungen. Einige andere Geber haben ihre Systeme auch aus internen Effizienzgründen den Prinzipien der internationalen Reformvorhaben (z. B. Good Humanitarian Donorship GHD) bereits angepasst, in dem sie die Berichtspflicht der IO im Sinne der GHD gestalten (nichtprojektspezifisch, nicht-geberspezifisch). Versucht wird, z. B. in den Niederlanden und im Vereinigten Königreich, das eigene Erfolgskontrollsystem den IO anzupassen und nicht umgekehrt. Einige Geberländer (Vereinigtes Königreich, Dänemark und Kanada) haben sich zusammengeschlossen, um gemeinsame Strategien für einzelne IO zu entwickeln und deren Umsetzung zu begleiten. Anstelle der projektspezifischen Erfolgskontrolle setzen einige Geber (v. a. das Department for International Development der britischen Regierung) auf regelmäßige eigene Bestandsaufnahmen der Effektivität der IO. Einheitliche Kriterien oder Verfahren hierfür gibt es bisher allerdings noch nicht. Empfehlungen 1. Das AA und das BMZ sollten gegenüber den IO eine klare Position und Leitlinie formulieren, was von den IO hinsichtlich Erfolgskontrolle erwartet wird. Im Vordergrund sollten hierbei Verfahren, Prinzipien, Methoden und Arbeitsansätze zur Erfassung, Auswertung und Dokumentation der Zielerreichung (outcome), der weitergehenden Wirkungen und der Effizienz von humanitären Maßnahmen stehen. Hierbei sollten die berechtigten Interessen und Kapazitäten der IO wie auch internationale Standards und Geberverfahren berücksichtigt werden. 2. Das AA und das BMZ sollten sich klar positionieren, was ihre Stellung zu und ihre Unterstützung der organisationsinternen Verfahren und Instrumente der IO zur Erfolgskontrolle anbelangt. Auch hierbei sollte sich die Bundesregierung international informieren und abstimmen, um eine Dopplung oder Überschneidung mit anderen Geberinitiativen zu vermeiden. Von Bedeutung sind insbesondere die Ausübung der Mitgliedsrechte der Bundesregierung bei den IO sowie die internationale Gremienarbeit (z. B. die Teilnahme und Ausrichtung von Tagungen und Konferenzen, wie das derzeit geschieht bei der Ausrichtung der kommenden ALNAP-Tagung). 3. In diesem Zusammenhang sollten das AA sowie das BMZ über ihre Mitglieds- und Mitwirkungsrechte bei den IO diese in Zusammenarbeit mit anderen Gebern dazu anhalten, eine auf Effektivität und Effizienz und die anderen, anerkannten Evaluierungskriterien von humanitärer Hilfe (Relevanz, Anschlussgrad, Deckungsgrad, Kohärenz, und soweit angemessen übergeordnete entwicklungspolitische Wirkungen) ausgerichtete Evaluierungen der humanitären Hilfe durchzuführen. 4. Initiativen der Ministerien zur Evaluierung von IO insgesamt oder von ihren Maßnahmen sollten stets subsidiär zu bereits bestehenden oder geplanten Vorhaben (der IO oder anderer Geber) sein und nicht zu einer Verdopplung der Kontrolle oder einer zusätzlichen Belastung der IO führen. Anstelle von rein deutschen Evaluierungen sollte das AA sowie das BMZ weiterhin Gemeinschaftsevaluierungen (Joint Evaluations) der IO, die für die Bundesregierung je nach Aufgabengebiet von strategischem Interesse sind, anregen und ihre Beteiligung an solchen Evaluierungen sicherstellen. Das AA und das BMZ sollten sich bei der Auswahl der Themen, Länder und Instrumente für Evaluierungen strategisch verhalten und ausgewählte Themen besetzen (z. B. Nahrungsmittelhilfe oder das Thema Konfliktsensibilität im Kontext humanitärer Hilfe). 5. Das AA und das BMZ sollten Parlamentsabgeordnete, den BRH und die deutsche Öffentlichkeit über die besonderen Herausforderungen für die Erfolgskontrolle von IO und xii

13 deren Maßnahmen und die Beteiligung der Bundesregierung an geberübergreifenden Initiativen informieren sowie für Verständnis für harmonisierte und arbeitsteilige Systeme im Kontext internationaler Vereinbarungen und Vorstellungen zu GHD werben. 6. Basierend auf den oben angeführten Anforderungen an die IO, sollten das AA sowie das BMZ einheitliche Kriterien zur Bewertung von Förderanträgen und Berichten der IO entwickeln und anwenden, soweit es die verschiedenen Mandate erlauben. Diese Kriterien sollten über die Relevanz der Maßnahme und deren Förderungswürdigkeit nach den jeweiligen Richtlinien oder Konzepten hinausgehen. 7. Das AA und das BMZ sollten sodann sicherstellen, dass alle mit der Bewertung und Bescheidung betrauten Bearbeiterinnen und Bearbeiter sowie die zur Stellungnahme herangezogenen Stellen ein einheitliches Verständnis der Kriterien für Erfolgskontrolle und Evaluierung von humanitärer Hilfe und der ihnen zu Grunde liegenden Prinzipien haben. Dies kann durch Schulungen, Merkblätter wie auch durch den regelmäßigen Austausch zwischen den Bearbeitenden geschehen. 8. Zur Verifizierung der von den IO zur Verfügung gestellten Informationen sollten das AA und das BMZ entsprechend der Schwerpunkte bei der Erfolgskontrolle eine Reihe von Informationsquellen bereit halten, die auch die Feldperspektive berücksichtigen. Um den zielgerichteten Zugriff auf die für die Erfolgskontrolle relevanten Ressourcen zu gewährleisten, sollten potentielle Quellen zuvor identifiziert und vorbereitet werden. xiii

14 Executive Summary Context The present report is the result of an independent review of current practice in the performance auditing of voluntary contributions by the German Federal Foreign Office and the German Federal Ministry for Economic Cooperation and Development (Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung - BMZ) to international organisations (IOs) in the humanitarian aid sector. This pre-study constitutes the first phase of a tiered process, in the course of which Germany s system of humanitarian aid is to be independently evaluated (including field studies in partner countries, phase II), and information synthesised with a view to the overall performance of the system (phase III). The prestudy is primarily designed to benefit the inter-ministerial working group (Federal Foreign Office/BMZ), which is also the steering group for the overall evaluation project (phases I to III). The main impetus for the pre-study derives from a report by the German Federal Court of Audit to the Budget Committee of the German Parliament (Bundestag) dated July With reference to the budget code requiring all administrative action to be effective and economically efficient, the German Federal Court of Audit points out that administrative programmes that have a financial impact (including the voluntary contributions to the IOs) must always be assessed by the respective government departments authorising the funds. The necessary performance audits ( evaluations ), however, do not currently seem to be carried out. Furthermore, the government departments do not produce plausible evidence to suggest that the need for evaluations of their own is obviated by internal evaluation units in the IOs. A total of some 25 foreign and international organisations (including international trust funds and non-governmental organisations) in the humanitarian aid sector received around EUR 80 million in voluntary contributions from the Federal Foreign Office and BMZ in 2007, the largest share of which was earmarked as project funding (almost 90 percent). The International Committee of the Red Cross (ICRC) and various United Nations (UN) organisations, including above all the UN High Commissioner for Refugees (UNHCR), the United Nations Relief and Works Agency for Palestine Refugees in the Near East (UNRWA) and the UN Office for the Coordination of Humanitarian Affairs (OCHA), also received core funding from the Federal Foreign Office. The pre-study assessed three IOs that together received around 72 percent of the German Government s voluntary contributions to humanitarian aid in 2007: the UN World Food Programme (WFP), UNHCR and the ICRC. Due to the limited time available a light approach was used: Data collection relied on the review of relevant documents (primarily national and international standards and guidelines, operational strategies and guidelines, reports by the IOs and third parties relevant to performance auditing) and interviews conducted at the headquarters of the IOs and in the government departments. The Netherlands, Switzerland and United Kingdom were selected to draw a comparison with the performance assessment systems of other donor countries. Key findings and conclusions Profiles of the IOs WFP, the UN s World Food Programme, essentially focuses on emergency food aid, food aid to support economic and social development in developing countries, and the promotion of global food security. WFP is entirely dependent on voluntary contributions from international donors, the private sector and donations by private individuals to finance its humanitarian and development projects. The German Government is one of WFP s most important bilateral donors; it promotes the organisation both by financing its longer-term development programmes and projects and in connection with situations of acute need in the context of its Emergency Operations (EMOP) and Protracted Relief and Rehabilitation Operations (PRRO). xiv

15 The German Government has been a member of WFP s executive board ever since the programme was founded. UNHCR is the UN s Refugee Agency. Its aid programmes are primarily financed by voluntary contributions from governments but also by foundations and individuals. It also receives a limited amount (less than 2 percent) from the UN s regular budget for administrative purposes. This is supplemented every year by special programmes for individual countries or regions. Germany has ranked 8th among UNHCR s donors since The ICRC differs considerably from the two UN organisations under review here in terms of its organisation, operational procedures and financing. It is a private Swiss organisation that helps protect the victims of armed conflicts throughout the world; it is independent, neutral and unbiased. The ICRC receives (almost) no institutional funding, but bases its budget on the predicted humanitarian need. The organisation is funded through contributions from donor countries and national Red Cross societies and through private donations. The ICRC s ten largest donors are represented in the Donor Support Group, to which Germany belongs. There is no supervisory body comparable with the executive boards of the UN organisations. There are no donors in the management board ( the Committee ), as this privilege is reserved for Swiss nationals. Internal performance assessment elements in the IOs Around ten years ago, WFP and UNHCR introduced a results-based management system; the ICRC introduced a similar system ( Planning for Results ) as early as At all three organisations, however, the procedures and instruments for internal monitoring and reporting in the IOs are still very much geared to activities and outputs and less to the analysis and documentation of the outcome and impact of humanitarian aid programmes. The IOs are working to introduce or improve their internal monitoring and reporting systems and have achieved differing degrees of progress in this context. The three IOs under review are currently establishing or reorganising their evaluation functions. At UNHCR and WFP, new staff has been appointed to key posts to ensure greater expertise for evaluations. At WFP and UNHCR, evaluation strategies are currently being reformulated, and at UNHCR and the ICRC, the institutional structures have recently been reorganised to give greater strategic weight to the evaluation function. There are differences of degree between the organisations under review, but the evaluation functions have not yet been fully established as a comprehensive instrument for performance assessments, strategic management and learning within the organisations and are not yet fully suitable to perform these functions. The challenges they face are to increase the coverage and the representativeness of the evaluations and their financing. The evaluation functions have not yet been fully accepted and integrated within the organisations. Adequacy of funding requests and reports by the IOs to the government departments The German Government does not have its own separate list of requirements for IOs for funding requests and reporting. The requests and reports submitted by the IOs to the government departments often tend to be of a general nature and not very specific in terms of the elements necessary for subsequent assessments of the effectiveness and efficiency of voluntary contributions. In other words, they are not very specific about target groups, the local context of the interventions or their objectives and intended results. The fact that the IOs predominantly work within the framework of country programmes while the German Government largely provides project-specific contributions and hence carries out projectspecific performance auditing in the humanitarian aid sector makes the reporting and performance auditing procedure more difficult in itself. The degree of detail and the analytical depth of the funding requests and reports do not reflect the internal work and procedures for data collection and documentation as reported by the IOs in documents and interviews. xv

16 Evaluation and verification by the government departments of the information provided The procedure used to verify information is a uniform one, but it allows a great deal of scope for the individual officers in the government departments. When examining applications, too much attention is given to compliance with the relevant German eligibility criteria and guidelines and to the relevance of the measure (need). Moreover, there are no crossdepartmental assessment criteria that meet the requirements of both mandates (humanitarian emergency aid by the Federal Foreign Office and development-oriented emergency and transitional aid by BMZ) and that are examined on a routine basis. Possible criteria would be those of the Development Assistance Committee (DAC) of the Organisation for Economic Cooperation and Development (OECD) or of the Active Learning Network for Accountability and Performance in Humanitarian Action (ALNAP). The level of information that the government departments have about the general situation and developments in the target countries and about the organisations promoted is largely sufficient. However, there are clear limits to the verification of project-specific information in terms of capacity and the use of systematically compiled sources of information. Verification of this information also depends heavily on the relevant officer s experience and working method. Systematic and regular analysis of submitted information for performance auditing by the relevant government department have of yet not been very well established. General monitoring of the interventions and developments in the IOs by the ministries, the permanent representations at the registered domicile of the IOs and the representations abroad in the target countries and through the annual consultations and ongoing contact plays a considerable role in following up on the activities of the IOs, something that could be stepped up with a view to assessing performance. Measures taken by the donors if sufficient information is not available Many open questions are clarified directly with the IOs without unnecessary bureaucracy and often before the written funding request has been submitted. The majority of open questions pertains to the use of funds and not the achievement of objectives or the efficiency of the measures. The options open to the government departments to exert influence and to try to strengthen results-oriented monitoring and evaluation in general via the governing bodies of the UN organisations or via their membership in the Donor Support Group are more important than project-specific objections. Coherence of performance auditing by the government departments The performance audit procedures used by both government departments are largely coherent. The IOs do not differentiate between BMZ and the Federal Foreign Office in terms of form, type or length of applications and reports. However, differences arise due to the division of responsibilities between BMZ and the Federal Foreign Office for the individual IOs. BMZ is responsible for WFP, while the Federal Foreign Office is responsible for UNHCR and the ICRC, which is relevant in the follow-up of the activities undertaken by the IOs. There are differences in the procedure concerning comments and the provision of information to the other government department in that BMZ consults the Federal Foreign Office before a decision is taken, whereas the Federal Foreign Office does not inform BMZ until after the decision has been taken. Moreover, in BMZ, contact to the country desks and to the German Agency for Technical Cooperation (Deutsche Gesellschaft für Technische Zusammenarbeit - GTZ) and in some cases to non-governmental organisations is more important, and the opportunities for gaining a first-hand impression in the field are more limited. The differing human resources in the two government departments are also significant. International developments The current reform process in the international humanitarian aid sector in an attempt to achieve greater coordination and to simplify financing is designed to give the UN xvi

17 organisations a more important role in the aid system. Within the UN, cross-organisational and organisation-specific studies have become more standardised and more important over the past few years. Partly due to pressure from the member states, the UN has increasingly focused on results in its work. The UN Evaluation Group plays a key role in the standardisation of evaluations, while the Joint Inspection Unit of the UN system, the UN Office of Internal Oversight Services and OCHA play an important part in cross-organisational evaluations. OCHA is in charge of coordinating humanitarian aid within the UN. This also includes carrying out evaluations. Partly for reasons of internal efficiency, several other donors have already adapted their systems to comply with the principles of international reform projects (e.g. Good Humanitarian Donorship GHD) by ensuring that the reporting duties of the IOs meet GHD requirements (not project or donor specific). In the Netherlands and the United Kingdom, for example, attempts are being made to adapt their results monitoring system to the IOs and not vice versa. Some donor countries (United Kingdom, Denmark and Canada) have teamed up to develop and supervise implementation of joint strategies for individual IOs. Instead of project-specific performance assessments, some donors (primarily the British Government s Department for International Development) rely on regular assessments of their own on the effectiveness of the IOs. However, there are no uniform criteria or procedures for this yet. Recommendations 1. The Federal Foreign Office and BMZ should adopt a clear position vis-à-vis the IOs and should draw up guidelines on what is expected of the IOs in terms of monitoring and reporting on results. The focus should be on procedures, principles, methods and working approaches to record, assess and document the outcomes, impacts and the efficiency of humanitarian aid. The legitimate interests and capacity of the IOs should be taken into account, as should international standards and donor procedures. 2. The Federal Foreign Office and BMZ should adopt a clear position regarding their view of and their support for internal procedures and instruments of the IOs performance assessment systems. Here, too, the German Government should obtain information and coordinate activities at international level to avoid duplicating or overlapping with other donor initiatives. It is particularly important for the German Government to exercise its membership rights at the IOs and to take part in international networking (e.g. attend and hold meetings and conferences, as it is currently doing by hosting the forthcoming ALNAP meeting). 3. In this context, in cooperation with other donors, the Federal Foreign Office and BMZ should use their membership and co-determination rights at the IOs to urge them to conduct evaluations of humanitarian aid geared towards assessing the effectiveness and economic efficiency and the other recognised evaluation criteria for humanitarian aid (relevance, connectedness, coverage, coherence and, where appropriate, impact). 4. Initiatives by the ministries to evaluate the performance of IOs as a whole or their programmes should always be subsidiary to existing or planned evaluation projects (by the IOs or other donors) and should not lead to duplication or to additional work for the IOs. Instead of purely German evaluations, the Federal Foreign Office and BMZ should continue to propose joint evaluations of the IOs that are of interest to the German Government depending on their area of work, and should ensure participation. When selecting themes, countries and instruments for evaluations, the Federal Foreign Office and BMZ should adopt a strategic approach and take on selected themes (e.g. food aid or conflict sensitivity in the context of humanitarian aid). 5. The Federal Foreign Office and BMZ should inform members of parliament, the Federal Court of Audit and the German public about the particular challenges for performance auditing of IOs and their measures programmes and the German Government s participation in cross-donor initiatives; they should also promote acceptance of xvii

18 harmonised systems on the basis of task-sharing in the context of international agreements and ideas on GHD. 6. On the basis of the aforementioned requirements made of the IOs, the Federal Foreign Office and BMZ should develop and apply uniform criteria to assess funding requests and reports by the IOs within the scope of their different mandates. These criteria should go beyond the relevance of the measure and its eligibility for funding in accordance with the relevant guidelines or concepts. 7. The Federal Foreign Office and BMZ should then ensure that all officers involved in assessments and decision-making and all those consulted should have a uniform understanding of the criteria for performance auditing and evaluation of humanitarian aid and the principles on which they are based. This can be done through training sessions, information sheets and regular exchange between the officers. 8. To verify the information provided by the IOs, the Federal Foreign Office and BMZ should draw on a series of information sources in accordance with the priority areas of performance auditing, also taking into account the field perspective. In order to guarantee targeted access to the resources relevant to performance auditing, potential sources should be identified and prepared in advance. xviii

19 1 Einleitung Bei dem vorliegenden Bericht handelt es sich um das Ergebnis einer vorläufigen Bestandsaufnahme und Bewertung der gegenwärtigen Praxis der Erfolgskontrolle freiwilliger Beitragsleistungen 1 des Auswärtigen Amtes (AA) und des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) an Internationale Organisationen (IO) der humanitären Hilfe. Der Begriff humanitäre Hilfe, wie er für diesen Bericht verwendet wird, umfasst nach international üblichen Definitionen 2 Soforthilfe (emergency response), Wiederaufbau- und Wiederherstellungsmaßnahmen (reconstruction relief and rehabilitation), sowie Maßnahmen der Katastrophenprävention und -vorsorge (disaster prevention and preparedness). 3 Sie kennzeichnen verschiedene konsekutive Phasen der humanitären Hilfe, die in der Realität oft überlappen. Diese Hilfe umfasst in Deutschland die humanitäre Soforthilfe des AA (Sofortmaßnahmen der Not-, Katastrophen- und Flüchtlingshilfe 4, Vorhaben der Katastrophenvorsorge sowie humanitäres Minenräumen 5 ) und die entwicklungsorientierte Not- und Übergangshilfe (ENÜH, d. h. Sicherstellung der Ernährung durch Nahrungsmittelhilfe und Ernährungssicherungsprogramme, Schaffung und Wiederherstellung einer Mindestversorgung an sozialer und materieller Infrastruktur sowie Stärkung der Selbsthilfekräfte und Flüchtlingshilfe) des BMZ (BMZ 2005). Maßnahmen (insbesondere des Wiederaufbaus) zur Beseitigung von Schäden, die durch Naturkatastrophen, Krisen und Konflikte entstanden sind und die vom BMZ über sog. FZ/- TZ-Eilverfahren eingeleitet werden, und sonstige humanitäre Hilfsmaßnahmen (außer Soforthilfe), die aus anderen Haushaltstiteln des BMZ über zivilgesellschaftliche (einschließlich kirchliche), private und (halb- )staatliche Organisationen gefördert werden. Diese Vorstudie stellt die erste Phase eines mehrstufigen Prozesses dar, in dessen weiterem Verlauf eine unabhängige Evaluierung des Systems der humanitären Hilfe Deutschlands im Ausland (einschließlich Erhebungen vor Ort, Phase II) sowie eine Synthese mit Blick auf die Gesamtperformance des Systems erfolgen soll (Phase III). Erfolgskontrolle wird hier, in Anlehnung an 7 der Bundeshaushaltsordnung (BHO) verstanden als die begleitende und abschließende Prüfung, ob und in welchem Ausmaß die angestrebten Ziele der finanzwirksamen Maßnahme erreicht wurden (Zielerreichungskontrolle), ob die Maßnahme ursächlich für Zielerreichung war (Wirkungskontrolle) und ob die Maßnahme wirtschaftlich war (Wirtschaftlichkeitskontrolle). Übersetzt in einschlägige internationale Standards und Kriterien für die Bewertung humanitärer Hilfe, insbesondere des OECD (OECD DAC 1999) und der Adaptierung der DAC-Kriterien für humanitäre Hilfe durch das Active Learning Network for Accountability and Performance in Humanitarian Action (ALNAP) (ALNAP 2006), bedeutet dies die Überprüfung insbesondere der Effektivität und Effizienz sowie im weiteren Sinne auch der Relevanz, der Hierbei handelt es sich sowohl um ungebundene Beiträge (unearmarked contributions, core contributions), als auch um gebundene Beiträge (earmarked contributions, program/project funding). Siehe Mit der Subsumierung der Humanitären Hilfe (HuHi) des AA und der entwicklungsorientierten Notund Übergangshilfe (ENÜH) des BMZ unter den Begriff humanitäre Hilfe verbindet sich keinerlei Wertung der derzeitigen Ressortzuständigkeiten für dieses entwicklungspolitische Aufgabenfeld. Diese Hilfe wird von der Bundesregierung auch als humanitäre Hilfe im engeren Sinne bezeichnet (siehe AA 2006, S. 17). Humanitäres Minenräumen wird aus einem eigenen Haushaltsansatz (Kapitel 0502 Titel ) finanziert (siehe AA 2006, S. 19) und ist nicht Gegenstand dieser Überprüfung. 1

20 Nachhaltigkeit beziehungsweise des Anschlussgrads (connectedness) und des Deckungsgrades (coverage) humanitärer Maßnahmen. Erfolgskontrolle als nicht (oder allenfalls an andere Stellen des Bundes) delegierbare hoheitliche Aufgabe umfasst sowohl die Prüfung in der Planungsphase, ob die Voraussetzungen für eine spätere Erfolgskontrolle vorliegen (z. B. ob die Ziele der Maßnahme hinreichend bestimmt sind), als auch ausgehend von der Planung (Soll-Ist-Vergleich) die begleitende 6 und abschließende Feststellung des Erfolgs der Maßnahme. Um Aussagen über die Erfolgskontrolle machen zu können, muss das gesamte System, auf Seiten der bewilligenden Ressorts wie auch der Maßnahmen durchführenden IO, von ziel- und wirkungsorientierter Planung und Beobachtung (Monitoring), interner und externer Evaluierung, Zwischen- und Schlussberichterstattung/Berichtsprüfung sowie des Lernens aus und der Rechenschaftslegung über den Erfolg und Misserfolg von Maßnahmen in den Blick genommen werden. 1.1 Anlass und Hintergrund Anlass für diese Vorstudie ist der Bericht des Bundesrechnungshofs (BRH) an den Haushaltsausschuss des Deutschen Bundestages vom 19. Juli Darin weist der BRH Bezug nehmend auf das Wirtschaftlichkeitsgebot des 7 BHO darauf hin, dass 7 die Beurteilung finanzwirksamer Maßnahmen des Bundes (so auch freiwilliger Beiträge an IO) zwingend vorgeschrieben sei, die Durchführung entsprechender Erfolgskontrollen ( Evaluierungen 8 ) seitens der Ressorts nicht zu erkennen sei, und es dafür, dass unabhängige Evaluierungseinheiten der IO die Durchführung eigener Evaluierungen entbehrlich machten, an einem plausiblen Nachweis der Ressorts mangelt. Der BRH hielt es dementsprechend für dringend geboten, die über Jahre in erheblicher Größenordnung erbrachten freiwilligen Beiträge an IO einer Evaluierung zu unterziehen und dabei auch das Gesamtengagement des Bundes zu berücksichtigen. 9 Der Haushaltsauschuss bat daraufhin am 14. November 2007 die Bundesregierung um einen Bericht darüber, wie künftig sämtliche freiwillige Beiträge an IO bewertet werden sollen und welche Konsequenzen die Bundesregierung aus den Ergebnissen für freiwillige Beitragsleistungen zieht. 10 AA und BMZ richteten in der Folge eine interministerielle Arbeitsgruppe ein, um für die Finanzierungen der Ressorts an internationale Organisationen der humanitären Hilfe (die etwa ein Drittel der freiwilligen Leistungen an IO absorbieren) ein konsistentes Erfolgskontroll- und Evaluierungssystem einzurichten und dabei die Verfahren innerhalb der Bundesregierung zu harmonisieren. Dabei wollen sich die Ressorts an den bereits bestehenden internationalen Nach 7 BHO sind bei Maßnahmen, die sich über mehr als zwei Jahre erstrecken, und in sonstigen geeigneten Fällen nach individuell festzulegenden Laufzeiten oder zu Zeitpunkten, an denen abgrenzbare Ergebnisse oder Teilrealisierungen einer Maßnahme zu erwarten sind, begleitende Erfolgskontrollen durchzuführen. Sie liefern vor dem Hintergrund zwischenzeitlich eingetretener ökonomischer, gesellschaftlicher und technischer Veränderungen die notwendigen Informationen für die Entscheidung, ob und wie die Maßnahme fortgeführt werden soll. BRH (2007), S. 11. Der BRH und das Bundesfinanzministerium (BMF) benutzen die Begriffe Erfolgskontrolle, Evaluierung und Bewertung / Beurteilung weitgehend synonym, ohne dass es sich faktisch um inhaltsgleiche Begriffe handelt. Für diesen Bericht wird Evaluierung gemäß DAC (DAC 2002) definiert und als ein Instrument von Erfolgskontrolle (neben Schreibtischprüfungen von Berichten, Leistungsüberprüfungen usw.) verstanden, das sich besonders für umfassende Überprüfungen eignet. Bewertung dagegen ist im Verständnis der Autoren ein Schritt innerhalb von Erfolgskontrolle (nach der Faktensammlung und -analyse). BRH (2007), S. 3. Beschluss des Haushaltsausschusses vom (Ausschussdrucksache 3597). 2

21 Standards und guter Praxis orientieren und soweit vorhanden auf qualitativ guten Evaluierungssystemen der Organisationen und anderer Geber aufbauen. 11 Die Entscheidung für das Portfolio humanitäre Hilfe erfolgte auch vor dem Hintergrund der DAC Peer Review von 2005, die in ihrer Beurteilung der deutschen humanitären Hilfe u. a. zu der Schlussfolgerung kam, dass die Bundesregierung Anstrengungen zu einer engeren Ausrichtung seiner Politikansätze und -strukturen an den Prinzipien guter humanitärer Geberschaft (GHD, siehe dazu auch Abschnitt 4.6.1) unternehmen solle, es Verbesserungsspielraum für bestimmte Aspekte der Finanzierungsgrundsätze gebe, speziell was Flexibilität und Vorausberechenbarkeit angeht, Deutschland eine stärkere Kohärenz der verschiedenen Komponenten der humanitären Hilfe erwägen solle, und eine Weiterentwicklung des bestehenden Evaluierungssystems im Bereich humanitärer Hilfe in Betracht komme. Das DAC empfahl der Bundesregierung zudem, die Gesamtergebnisse seines Systems der humanitären Hilfe, d. h. unter Einbeziehung sowohl des Auswärtigen Amts als auch des BMZ, zu evaluieren. 12 Der BRH wies in dem o. g. Bericht an den Haushaltsausschuss darauf hin, dass diese Empfehlung dem Petitum seiner Prüfungsmitteilung entspreche. 1.2 Zweck und Nutzung Die Ergebnisse der Vorstudie sollen in den oben erwähnten Bericht der Bundesregierung an den Haushaltsausschuss einfließen und die abgeleiteten Empfehlungen für die Entwicklung eines verbesserten Erfolgskontroll- (einschließlich Evaluierungs-) Ansatzes für freiwillige Beiträge an IO genutzt werden. Die Vorstudie soll Antwort auf die folgenden sechs Untersuchungsfragen geben (vgl. Terms of Reference ToR in Anlage 1): 1) Sind die Berichte der IO an die Geber (AA, BMZ) einzeln wie auch insgesamt (unterschieden nach verschiedenen Finanzierungsmodalitäten und entsprechenden Kanälen und Einflussmöglichkeiten) hinreichend umfassend und überzeugend, um eine Einschätzung entsprechend Standard-Evaluierungskriterien des finanzierten Beitrags zu gestatten? 2) Wie werden die zur Verfügung gestellten Informationen bewertet, gegebenenfalls durch andere Quellen der Information verifiziert, die Bewertungsergebnisse dokumentiert und, falls nötig, intern (z. B. zwischen Vertretungen bei IO vor Ort und in den Zentralen) und an andere wichtige Betroffene (z. B. zwischen AA und BMZ) verbreitet? 3) Welche Art von Maßnahmen ergreifen die Geber oder könnten von ihnen ergriffen werden für den Fall dass die Information unzureichend für eine umfassende und glaubwürdige Bewertung ist (unterschieden nach verschiedenen Finanzierungsmodalitäten und Einflussmöglichkeiten)? 4) Welche Art des Follow-up wird unternommen oder könnte unternommen werden im Sinne des Lernens für künftige ähnliche Fälle oder die Finanzierung einer IO? 5) Verfolgen AA und BMZ einen kohärenten Ansatz im Sinne a) einer Gleichbehandlung ähnlicher Förderfälle und b) einer angemessenen und konsistenten Bewertung übergreifender oder gemeinsamer Themen (besonders wenn die gleiche IO oder sogar das gleiche Programm von beiden gefördert wird)? 6) Im Besonderen, wie sollte der derzeitige Ansatz verbessert werden? Wann und wie sollten Evaluierungen (individuell oder gemeinsam) von den Gebern selbst durchgeführt werden? Welche Kriterien sollten für die Auswahl von Evaluierungen und Feldstudien genutzt werden? Bericht des AA und des BMZ 2008, S. 2. DAC (2005), S

22 Hauptnutzer der Vorstudie wird die interministerielle Arbeitsgruppe sein, die zugleich Steuerungsgruppe für das gesamte Evaluierungsvorhaben (Phasen I bis III) ist. Zusätzlich sind andere Organisationseinheiten im AA und im BMZ sowie andere Ministerien, die mit IO befasst sind, die Mitglieder des Haushaltsausschusses des Deutschen Bundestages und der BRH wichtige Nutzer. 1.3 Ablauf und Management Die Vorstudie wurde von einem Team unabhängiger Gutachter durchgeführt und von der Steuerungsgruppe bestehend aus den BMZ-Referaten Evaluierung der Entwicklungszusammenarbeit; Außenrevision (Vorsitz) und Entwicklungsorientierte Not- und Übergangshilfe sowie den AA-Referaten VN05/Arbeitsstab Humanitäre Hilfe und Haushalt gesteuert. Eine Expertengruppe bestehend aus dem Leiter des Centrums für Evaluation am Lehrstuhl für Soziologie an der Universität Saarbrücken, einem Mitarbeiter in der Politik- und Programmevaluierungsabteilung des niederländischen Außenministeriums und dem Koordinator des International Council of Voluntary Agencies, einem internationalen Zusammenschluss von Nichtregierungsorganisationen, hat die Untersuchung beratend begleitet. Die Vorstudie gliederte sich in drei Phasen: 1) Vorbereitung: Auftaktbesprechung der Gutachter mit der Steuerungsgruppe; Identifizierung von Gesprächspartnern in den IO, in den beteiligten Ressorts und bei anderen Gebern; Studium von Grundlagendokumenten (Förderkonzepte und -leitlinien, Berichte von Peer Reviews und anderen Meta-Evaluierungen, Selbstdarstellungen der IO und ihrer Planungs-, Monitoring- und Evaluierungs- (PME-), Berichterstattungs- und Wissensmanagementsysteme, Haushaltsvorschriften, usw.); 2) Durchführung: Interviews mit Zuständigen für PME, Berichterstattung und Wissensmanagement im operativen und Managementbereich der IO, Ständigen Vertretern bei IO sowie Referats-/Abteilungsmitarbeitern und -leitern im AA, BMZ und bei anderen Gebern, die mit IO befasst sind; Aktenstudium von Finanzierungsvorgängen und Durchsicht von Evaluierungsberichten; 3) Nachbereitung: Auswertung der Untersuchungsergebnisse durch das Gutachterteam; Entwurf des Berichts; Präsentation und Diskussion der Ergebnisse, Schlussfolgerungen und Empfehlungen mit der Steuerungs- und der Expertengruppe; Fertigstellung des Berichts. Der vorliegende Teil-Bericht zu IO wurde in Struktur und Inhalt eng mit dem zweiten Teil- Bericht zu nationalen Organisationen (NO) abgestimmt. Die Berichtskoordination oblag dem Leiter des Gesamtgutachterteams. 4

23 2 Methodik Untersuchungsfragen und Untersuchungsmatrix Um die angestrebten Ergebnisse der Überprüfung zu erreichen, wurden basierend auf den ToR in einem ersten Schritt die relevanten Untersuchungsfragen mit entsprechenden Unterfragen formuliert sowie die jeweiligen Beobachtungsfelder/Indikatoren, Informationsquellen und Methoden der Datenerhebung identifiziert. Die Ergebnisse dieser Überlegungen sind in einer für die konkrete Anwendung bei Interviews in Gesprächsleitfäden übersetzten Untersuchungsmatrix (Anlage 2) zusammengestellt. Stichprobe Bereits bei der Erstellung der ToR wurden drei IO zur Untersuchung ausgewählt. Kriterien waren hierbei die Finanzierung der IO durch beide Ressorts und der Umfang der Beiträge an die IO (WFP steht an 1. Stelle, UNHCR an 2. Stelle und das IKRK an 3. Stelle). 13 Zudem wurde Wert darauf gelegt, mit dem Internationalen Komitee des Roten Kreuzes (IKRK) eine internationale Nichtregierungsorganisation in die Stichprobe aufzunehmen. Für die Überprüfung der Antrags- und Berichtsqualität wurden abgeschlossene Finanzierungsvorgänge aus der jüngeren Vergangenheit ( ) ausgewählt, bei großen Fallzahlen (mehr als fünf pro Jahr) im Zufallsstichprobenverfahren, d. h. durch verdeckte Ziehung. Da die systematische Identifizierung abgeschlossener Vorgänge für das WFP sehr aufwändig gewesen wäre, wurden exemplarisch Vorhaben der Programmkategorien Emergency, Protracted Relief und Rehabilitaton sowie systematisch die Vorhaben der ersten Auszahlungstranche des Grundbeitrages 2007 und ein Bewilligungsvorgang für acht Projekte aus den Kategorien EMOP und Protracted Relief and Rehabilitation analysiert. 14 Datenerhebung Für die Datenerhebung wurden hauptsächlich zwei Methoden angewendet: Dokumentenstudium und -auswertung: Relevante Dokumente wurden in Kooperation mit den verschiedenen beteiligten und betroffenen Akteuren identifiziert und entsprechend der Untersuchungsfragen analysiert. Hierzu gehören u. a. relevante nationale und internationale Standards, Vorgaben des Bundesrechnungshofes und der BHO, Förderstrategien und -richtlinien, Notenwechsel, Berichterstattungen der geförderten Organisationen an eigene Aufsichtsgremien und das fördernde Ressort, Evaluierungsberichte und Berichte von Peer Reviews, Berichte Dritter (z. B. Kooperations-/Durchführungspartner der IO). Insoweit Evaluierungsberichte auszuwerten waren, hat sich das Team aus Effizienzgründen darauf beschränkt, die Anzahl und Schwerpunktsetzung der Evaluierungen zu betrachten. Bei Evaluierungen, welche die für diese Untersuchung ausgewählten IO betrafen, sowie Studien, welche für die Erfolgskontrolle relevant sind wie z.b. Wirkungsanalysen, wurde die Anwendung der OECD/DAC- sowie deren Auslegung gemäß den ALNAP-Richtlinien für die humanitäre Hilfe geprüft. 15 Interviews: Es wurden persönliche und/oder telefonische, semi-strukturierte Interviews mit Vertreterinnen und Vertretern der geförderten Organisationen, der fördernden Organisationen und anderer Geber geführt. Die relevanten Gesprächspartner/-innen (siehe Liste in Anlage 3) wurden über Dokumentenstudium und -analyse sowie durch Interviews identifiziert. Bei den Besuchen bei den IO, die über Kontakte in den Evaluierungsabteilungen zustande kamen, wurden den Gutachter/-innen zum Thema Erfolgskontrolle humanitärer Hilfe Mitarbeiter/-innen sämtlicher relevanter Abteilungen zugewiesen, die im Namen der Organisation die Interviews vorbereiteten, teilweise begleiteten und sich an den Diskussionen beteiligten Siehe sogleich in Kapitel 3. Zu den Programmkategorien und Finanzierungsmodi siehe Kap ALNAP (2006). 5

24 In 35 Kalendertagen wurden 54 Personen entweder persönlich oder telefonisch interviewt. Das Team hat in wechselnder Besetzung, doch immer in Anwesenheit des für diesen Bericht verantwortlichen Gutachters, die drei ausgewählten IO ein, bzw. zwei Tage lang vor Ort besucht. In Den Haag konnte ein Gruppeninterview mit Vertretern der Abteilung für Humanitäre Hilfe im Auswärtigen Amt durchgeführt werden. Vergleich mit anderen Gebern Um einen vergleichenden Blick auf andere Geldgeber zu werfen, wurden drei Geber zur Betrachtung ausgewählt: Niederlande, Schweiz und Vereinigtes Königreich. 16 Die Betrachtung erhebt keinen Anspruch auf Vollständigkeit, sollte jedoch der Orientierung im internationalen System der humanitären Hilfe dienen und mögliche Ansatzpunkte für gemeinsame Initiativen in der Erfolgskontrolle identifizieren. Mit dem Niederländischen Außenministerium wurde ein Geber ausgewählt, der kürzlich eine umfassende Evaluierung der humanitären Hilfe durchgeführt hat, und der für seine Vorreiterrolle in der internationalen Reform des Systems der humanitären Hilfe bekannt ist. Mit der Direktion für Entwicklung und Zusammenarbeit (DEZA) der Schweiz wurde ein Geber ausgewählt, der in diesem Reformprozess eine vergleichbare Stellung nicht eingenommen hat und außerdem eine Sonderstellung einnimmt, weil er gleichzeitig Geber und Implementierungsorganisation ist. Zudem wurde das Department for International Development (DFID) des Vereinigten Königreichs ausgewählt, das bisher keine umfassende Evaluierung der humanitären Hilfe unternommen hat, sich aber auf Grund seiner aktiven und ausformulierten Strategie gegenüber UNHCR und anderen IO herausstellt. Alle drei Geber sind in einem unabhängig erstellten Ranking von OECD/DAC-Mitgliedern, das sich auf die Einhaltung der GHD-Prinzipien durch die Geber bezieht, höher bewertet worden als die Bundesrepublik. 17 Beschränkungen Entsprechend der ToR ( light review ) und insbesondere angesichts der beschränkten Zeit, die für die Datenerhebung und die Berichterstellung zur Verfügung stand, konnten nicht alle Organisationen und Verfahren mit der gleichen Tiefe und Detailliertheit betrachtet und dargestellt werden. Das Gutachterteam hat Wert darauf gelegt, die für die deutsche Erfolgskontrolle wesentlichen Aspekte der IO möglichst einheitlich darzustellen. Die Darstellung kann und sollte keine vollständige Prüfung der Systeme und Arbeitsweisen der IO darstellen. Das Gutachterteam hat am Ende jedes Besuches bei den IO eine kurze informelle Präsentation der Erkenntnisse aus den Besuchen gegeben und eine Diskussion mit den IO hierüber geführt. Die IO hatten so Gelegenheit, kurz zu den Beobachtungen Stellung zu nehmen. Eine umfassende und strukturierte Möglichkeit zur Stellungnahme hatten die IO dennoch nicht und die in den jeweiligen Abschnitten in Kapitel 4.1 dargestellten Feststellungen der IO zur Erfolgskontrolle beruhen nicht auf einer systematischen Konsultation oder offiziellen Antwort der IO auf die Untersuchungsfragen. 18 Im Verlaufe der Untersuchung ergaben sich weitere Untersuchungsgegenstände, die zum Zeitpunkt der ToR-Erstellung noch nicht in vollem Umfang abzusehen waren (z. B. Blick auf die Erfolgskontrolle im VN-System außerhalb der ausgewählten IO). Da das Thema Erfolgskontrolle eng mit zahlreichen Aspekten der Leistungsfähigkeit der IO und auch des gesamten Systems der humanitären Hilfe verbunden ist, bestand das Risiko sich zu verlieren. Das Gutachterteam hat sich bei der folgenden Darstellung entsprechend der Maßgabe eines light approach auf die für die deutsche Erfolgskontrolle wesentlichen Aspekte beschränken müssen. Dies war dennoch nicht in dem ursprünglich vorgesehenen Rahmen von 25 Seiten möglich Norwegen war als weiterer Geber identifiziert worden, war jedoch in dem kurzen Zeitraum der Datenerhebung nicht für Interviews verfügbar. Siehe hierzu genauer Kapitel Den IO wurde zugesagt, ihnen eine Zusammenfassung des Berichtes auf Englisch zukommen zu lassen. 6

25 BMZ Kap AA Kap ERFOLGSKONTROLLE HUMANITÄRER HILFE BERICHT ZU IO 3 Portfolio-Bestandsaufnahme Internationale Organisationen der humanitären Hilfe erhielten von AA und BMZ 2007 rund 80 Mio. 19 an freiwilligen Beiträgen, davon hauptsächlich zweckgebundene Mittel zur Projektförderung (ca. 89%) aus den Kapiteln 0502 (Titel Für humanitäre Hilfsmaßnahmen im Ausland außerhalb der Entwicklungshilfe ) und 2302 (Titel Entwicklungsorientierte Not- und Übergangshilfe ). Das Internationale Komitee vom Roten Kreuz (IKRK), das Kinderhilfswerk der Vereinten Nationen (UNICEF), der Hohe Flüchtlingskommissar der Vereinten Nationen (UNHCR), das Hilfsprogramm der Vereinten Nationen für Palästinaflüchtlinge (UNRWA) und das Büro der Vereinten Nationen für die Koordinierung humanitärer Hilfe (OCHA) erhielten zudem vom AA freiwillige ungebundene Mittel aus Titel "Sonstige Leistungen an Organisationen und Einrichtungen im internationalen Bereich" (siehe nachfolgende Tabelle und Anlage 4). Tabelle 1: Auszahlungen AA und BMZ an ausgewählte IO für humanitäre Hilfe 2007 (in.000 ) IO IKRK OCHA UNHCR UNICEF UNRWA WFP 20 Summe Projektförderung Ungebundene Beiträge Summe Projektförderung Gesamtsumme Quelle: Angaben des AA und des BMZ Hinzu kamen 2007 (laut OCHA Financial Tracking System-FTS) freiwillige Beiträge des AA an folgende internationale Institutionen der humanitären Hilfe 22 (in.000 US$): VN-Organisationen, -Programme und -Fonds: Central Emergency Response Fund (CERF) 6.598; International Strategy for Disaster Reduction (ISDR) und ISDR/PPEW (Platform for the Promotion of Early Warning) 667; Internationale Nichtregierungsorganisationen: Lutherischer Weltbund und Internationale Föderation der Rotkreuz- und Rothalbmondgesellschaften zusammen 284; Ausländische staatliche und nichtstaatliche Organisationen: DanChurchAid Darin nicht enthalten sind die für 2007 bereitgestellten BMZ/UNHCR- Kombifinanzierungen in Höhe von 7,2 Mio.. Das Welternährungsprogramm (WFP) erhält zudem einen jährlich gleichbleibenden Beitrag des BMZ aus Titel Beteiligung am Welternährungsprogramm in Höhe von rund 23 Mio., der aufgrund seiner weit überwiegenden Verwendung für die Finanzierung längerfristiger Entwicklungsprogramme und -projekte (Country Programmes, Development Projects) hier nicht dargestellt ist (vgl. auch Kapitel 4.1.1). Diese Zahl bedürfte einer eingehenderen Überprüfung auf der Grundlage der durch das BMZ- Referat 325 geleisteten Beiträge (Treuhandmittel). Ohne Beiträge für humanitäres Minenräumen in Höhe von insgesamt rund 8,6 Mio. US$ und ohne Kleinstförderungen internationaler z. B. UNHCR und ausländischer Hilfsorganisationen z. B. nationale Rotkreuzgesellschaften durch die deutschen Botschaften in einer Gesamthöhe von 1,538 Mio. (nach Angaben des AA, einschließlich für humanitäres Minenräumen). 7

26 Afrika südlich der Sahara war 2007 die Region, in die mit Abstand die meisten der freiwilligen gebundenen und regional aufteilbaren Beiträge an IO seitens des AA (46%) und des BMZ (64%) flossen. Humanitäre Hilfe in Asien absorbierte jeweils in etwa ein Viertel der Beiträge der beiden Ressorts, während Beiträge für humanitäre Soforthilfe des AA, vor allem über die UNRWA, in erheblichem Umfang (24%) auch in Länder des Nahen Ostens geleitet wurden (siehe nachfolgendes Schaubild). Schaubild 1: Regionale Verteilung der freiwilligen zweckgebundenen und aufteilbaren Beiträge an IO 2007 Regionale Verteilung AA Regionale Verteilung BMZ Afrika Amerika Asien Nahost Afrika Amerika Asien Nahost MOE/NUS Quelle: Angaben des AA und des BMZ Die genaue Zuordnung der freiwilligen Beiträge der Ressorts zu den verschiedenen DAC- Förderbereichsschlüsseln für humanitäre Hilfe (72010 Materielle Nothilfe; Nahrungsmittelnothilfe; Nothilfekoordinierung, Schutz- und Unterstützungsmaßnahmen; Wiederaufbauhilfe und Wiederherstellungsmaßnahmen; Katastrophenprävention und -vorsorge) würde eine eingehende Portfolioanalyse erfordern, die im Rahmen dieser Vorstudie nicht leistbar ist. Allerdings legen die Mandatsaufteilung zwischen den Ressorts, die Mandate der Empfängerorganisationen sowie derzeit verfügbare Einzelangaben der Ressorts (siehe Tabelle 1 oben und Anlage 4) nahe, davon auszugehen, dass die Materielle Nothilfe weit überwiegend aus freiwilligen Beiträgen des AA finanziert wird und damit 2007 mit hoher Wahrscheinlichkeit über die Hälfte (d. h. über 40 von 80 Mio. ) der freiwilligen Beiträge für humanitäre Hilfe absorbiert hat, die Nahrungsmittelnothilfe, die in erster Linie aus dem BMZ-Titel finanziert wird, aus etwas über 30% der Gesamtmittel (2007 rund 25 von 80 Mio. ) finanziert wird, Wiederaufbau und Wiederherstellung (Rehabilitation) zum größten Teil in das ENÜH- Portfolio des BMZ fallen und damit (einbezüglich etwaiger Mittel des AA für Reparaturund ähnliche Maßnahmen im Rahmen von Soforthilfe) 2007 weniger als 10% der Gesamtbeiträge (rund 6,5 von 80 Mio. ) absorbiert haben, und die Bundesregierung für die Nothilfekoordinierung (über OCHA) 2007 etwa 1% ( ) seiner Mittel für humanitäre Hilfe vergeben hat. Eine genauere Bestandsaufnahme der Zweckbestimmung freiwilliger Beiträge an die für diese Untersuchung ausgewählten IO findet sich in den jeweiligen Abschnitten von Kapitel 4. 8

27 4 Ergebnisse der Überprüfung 4.1 IO-interne Elemente der Erfolgskontrolle Welternährungsprogramm (WFP) Profil der Organisation Das Welternährungsprogramm (World Food Programme WFP) wurde 1961 gegründet und ist das Nahrungsmittelhilfeprogramm der VN. Es konzentriert sich im Wesentlichen auf die drei Aufgaben (i) Nahrungsmittelnothilfe, (ii) Nahrungsmittelhilfe zur Unterstützung der wirtschaftlichen und sozialen Entwicklung in Entwicklungsländern und (iii) Förderung der Welternährungssicherung. Das WFP hängt zu 100% von freiwilligen Beiträgen internationaler Geber, des Privatsektors und von Spenden von Einzelpersonen ab, um seine humanitären und Entwicklungsprojekte zu finanzieren. Die Bundesregierung gehört zu den wichtigsten bilateralen Geldgebern des WFP. Laut WFP ist Deutschland derzeit auf Platz 10 der Geber 23 und engagiert sich seit der Gründung des Programms als Mitglied im zentralen Steuerungs- und Aufsichtsorgan. Die derzeitige gewählte Mitgliedschaft im Exekutivrat (ER) endet am Die Bundesregierung leistet dort ihre Beiträge in den dreimal jährlich stattfindenden Exekutivratssitzungen, bei denen Grundsatzpapiere und einzelne Länderprogramme diskutiert und verabschiedet werden. Außerdem beteiligt sie sich über die Ständige Vertretung in Rom an den informellen Konsultationen im Vorfeld und Nachgang der Sitzungen. Seit Juli 2004 sind mit den Zielen und der Strategie die Grundzüge der Zusammenarbeit zwischen BMZ und WFP in einem BMZ-Spezial festgelegt. 24 Dieses Papier befindet sich derzeit in Überarbeitung und soll unter Berücksichtigung des neuen strategischen Plans des WFP, der im Juni 2008 verabschiedet wurde in Kürze fertiggestellt werden. Auf der Grundlage der Zweckbestimmungen der Haushaltstitel (Beteiligung am Welternährungsprogramm) 25 und (Entwicklungsorientierte Not- und Übergangshilfe ENÜH) des Kapitels 2302 des Bundeshaushalts beteiligt sich das BMZ mit freiwilligen Beiträgen an humanitärer Hilfe, ENÜH sowie längerfristigen Entwicklungsprogrammen des WFP. Dieses Programm der VN ist die wichtigste multilaterale Partnerorganisation des BMZ in der ENÜH. Die nachfolgende Tabelle stellt übersichtsartig die deutschen Beiträge zum WFP für den Zeitraum dar: Tabelle 2: Beiträge der Bundesregierung zum WFP (in.000 Euro) Jahr Grundbeitrag 26 Weitere Projektfinanzierungen (Ist) (Ist) (Soll) (Ist) (Soll) * (Ist) *Stand: 15. Juli 2008 Quellen: Bundesministerium der Finanzen (2008) und Information durch BMZ, Ref. 213 Die Beiträge erfolgen einerseits als überwiegend ungebundene, sog. multilaterale Grundbeiträge, über deren Verwendung das WFP flexibel entscheiden kann und die es Stand Juli Quelle: BMZ (2004). Laut Titelbestimmung (BMF 2008) dient das WFP und die deutsche Beteiligung daran der Förderung arbeitsintensiver und produktiver Projekte durch Bereitstellung von Nahrungsmitteln einschließlich notwendiger Begleitmaßnahmen und der Hilfe bei akuten Hungersnöten. Die Bezeichnung Grundbeitrag wird so vom BMZ-Referat 213 verwendet und ist nicht im Sinne des englischen Begriffs Core Financing zu verstehen. 9

28 insbesondere zur Finanzierung ihrer längerfristigen Entwicklungsprogramme und -projekte (Country Programmes, Development Projects) einsetzt. Jährlich sind durchschnittlich 1,2 Mio. Euro dieses Grundbeitrages als German Quality Improvement Grant (GQIG) für Beratungsmaßnahmen zur Qualitätsverbesserung der Arbeit des WFP zweckgebunden. Andererseits erhält das WFP in Abhängigkeit akuter Bedarfssituationen im Kontext ihrer Emergency Operations (EMOP) und Protracted Relief and Rehabilitation Operations (PRRO) zusätzlich konkrete Projektfinanzierungen, über deren Finanzierung das BMZ individuell entscheidet. 27 In einzelnen Fällen beteiligt sich das AA an Finanzierungen sog. Special Operations (SO) des WFP. Diese sind eng mit EMOPs und PRROs verbunden und dienen in Sondersituationen der Reparatur, Wiederherstellung oder Erweiterung von Transportkapazitäten oder logistischer Infrastruktur. Das WFP arbeitet nach Rules and Regulations, in denen generelle und finanzielle Richtlinien sowie die Verfahrensregeln für das ER festgehalten sind. 28 Die Programm- und Projektarbeit der Organisation folgt einem systematischen Zyklus, der nachfolgend in seinen einzelnen Schritten dargestellt wird. Bedarfsanalyse, Zielformulierung und Finanzierungsanträge Mit dem Emergency Food Security Assessment Handbook und den UNHCR/WFP Joint Assessment Guidelines 29, einer Datenbank mit Informationen zu Personen, die Bedarfsanalysen durchführen können (Assessors), veröffentlichten Berichten von Bedarfsanalysen u. a. Elementen hat das WFP wichtige Grundlagen für angemessene Bedarfserhebungen guter Qualität geschaffen. Eine Evaluierung der Umsetzung des Strengthening Emergency Needs Assessment Implementation Plan des WFP 30 hat gezeigt, dass die Kapazitäten zur Bedarfsermittlung tatsächlich gestärkt sowie die Qualität und Glaubwürdigkeit der Erhebungen verbessert wurden. Die Initiative hat die Transparenz und Rechenschaftslegung der Organisation verbessert und die Bedeutung von verbesserten Analysen als Basis für eine Programmgestaltung, die den Bedarf der ernährungsunsicheren Bevölkerungen proportionaler und angemessener trifft, demonstriert. Die Evaluierung hat auch eine Reihe von Schwachstellen identifiziert und einen Bedarf festgestellt für (i) objektive Messgrößen für Genauigkeit, (ii) Wege, die Erhebungen vergleichbar zu machen und (iii) Verbesserungen in der Verbindung zwischen Bedarfserhebung von Programmentscheidungen. Weitere Empfehlungen betreffen die Verbesserung der Antworten auf die Erhebungen, eine stärkere Betonung von Überwachung (Surveillance) statt nur einmaliger Erhebungen und eine stärkere Beteiligung der ernährungsunsicheren Menschen. Das Erreichte gilt noch nicht als gesichert. 31 Auffällig ist, dass beide obengenannten Handbücher bzw. Leitlinien Konfliktaspekte und einen konfliktbezogenen Ansatz nicht systematisch berücksichtigen, obwohl solche Aspekte in vielen Situationen, in denen Not- und Übergangshilfe geleistet werden, entscheidende Bedeutung haben Mit den Beiträgen und Finanzierungen zu Projekten des WFP kommt die Bundesregierung gleichzeitig ihrer internationalen Verpflichtung zur Erfüllung des Nahrungsmittelhilfe- Übereinkommens (Food Aid Convention FAC) nach, in deren Rahmen die Bundesregierung zur Zeit 56,24 Mio. Euro pro Jahr bereit stellt zur Finanzierung von Nahrungsmitteln und anderen auf die FAC anrechenbaren Gütern und Leistungen. WFP (2008a). WFP (2005) und UNHCR and WFP (2004). Strengthening Emergency Needs Assessment Implementation Plan ist ein interner Prozess, der Instrumentarien und Kapazitäten zur Durchführung von Bedarfsanalysen in Notsituationen verbessern sollte. WFP (2007b). 10

29 Auch Länderprogramme und Entwicklungsprojekte des WFP werden mit mehr oder weniger umfassenden Situations- und Bedarfsanalysen vorbereitet, mit denen entscheidungsrelevante Informationen systematisch gesammelt und analysiert werden. Auf der Basis von Bedarfserhebungen werden konkrete Programm- und Projektvorschläge erarbeitet. Jedes Projektdokument folgt einem Standardschema und enthält wichtige Informationen, die für eine spätere Erfolgskontrolle relevant sind, insbesondere die Ziele und geplanten Wirkungen, eine Umsetzungsstrategie, die Zielgruppen der Hilfsmaßnahmen und deren beabsichtigten Nutzen sowie Projekt-/Programmbudgets (Inputs). Im Normalfall enthält jedes Projekt-/Programmdokument eine Projektplanungsübersicht (Logframe), in dem Ziele (Outcomes und Impact) und Leistungen (Outputs) jeweils mit Indikatoren belegt sowie Annahmen und Risiken zusammenfassend dargestellt werden. Ziele sind, insbesondere durch die Standardisierung im Kontext des wirkungsbasierten Managements (s. u.), in der Regel als beabsichtigte Wirkungen im Sinne einer Verbesserung der Lebensbedingungen der Begünstigten formuliert. Die Projektanträge enthalten im Regelfall eine Ausstiegsstrategie (Exit Strategy), so dass frühzeitig die Verbindung zwischen Nothilfe, Rehabilitation und Entwicklungszusammenarbeit bzw. im Falle von Entwicklungs- und Länderprogrammen auch ein Auslaufen von WFP- Unterstützung (Linking Relief, Rehabilitation and Development sowie Connectedness) vorgesehen ist. Monitoring Die Einführung eines wirkungsorientieren Managements (Results Based Management RBM) mit entsprechenden Monitoring- und Evaluierungs- (M&E-) Aktivitäten war seit Anfang 2000 Schwerpunkt der WFP-Strategie, des Management-Plans und der Aktivitäten (WFP 2003a). Insgesamt wurde das M&E-System auf Resultate hin ausgerichtet und eine Vielzahl von Mitarbeiter/-innen in der Zentrale und im Feld über Schulungen in ihren RBM-Kapazitäten, einschließlich RBM-basiertem Monitoring, gestärkt. 32 Basierend auf den strategischen und Management-Prioritäten der Organisation wurden Corporate Indicators auf Leistungs- und kurzfristiger/direkter Wirkungsebene (Outputs und Outcomes) identifiziert. Dies hat zu einer Vereinheitlichung der Zielsetzungen und der Berichterstattung geführt. Allerdings hat sich u. a. als problematisch erwiesen, dass nicht für alle Prioritäten von Beginn an gute Indikatoren identifiziert wurden (und dies später auch nicht nachgeholt wurde). Außerdem konnten nicht alle Indikatoren auch tatsächlich systematisch und gut gemessen werden. Insgesamt wurde deutlich, dass der Formulierung und Nachverfolgung verbesserter und angemessener Indikatoren im Kontext des neuen Strategischen Plans ( ) und dem nachfolgend anzupassenden Management-Plan entscheidende Bedeutung zukommt. Das Monitoring einzelner Aspekte der Projekte und Programme, z. B. das Post-Distribution Monitoring, wird in vielen Fällen von staatlichen oder nicht-staatlichen Partnern durchgeführt, mit denen WFP in der Implementierung der Programme und Projekte zusammenarbeitet. 33 Damit hängt WFP von deren fachlichen und finanziell-materiellen Kapazitäten für angemessenes Monitoring ab. Einerseits unterstützt das WFP-Personal die Partnerorganisationen in der Erfüllung ihrer Monitoringaufgaben, andererseits verifiziert und ergänzt es auch die Ergebnisse des Monitorings der Partner. Diese Aktivitäten sind vor Ort zum Teil mit erheblichem finanziellem und personellem Aufwand verbunden. Mit der Restrukturierung des WFP 2007/2008 wurde die RBM-Unit aufgelöst und die Funktion in die Organisation und laufende Prozesse integriert. Einzelne Personen sind weiterhin Über den GQIG hat sich das BMZ u. a. auch an der Finanzierung verschiedener Beratungsmaßnahmen zur Verbesserung des M&E-Systems des WFP beteiligt. WFP arbeitet mit ca NRO zusammen, von denen ca. 90% rein nationale Akteure sind ( 11

30 Ansprechpartner für RBM und M&E, müssen aber nach Eindruck der Gutachter in der neuen Struktur erst noch ihren Platz finden. Zwischen- und Schlussberichterstattung Die Hauptergebnisse des Monitorings gehen in die Berichterstattung des WFP ein. Die Organisation berichtet jährlich allen Gebern über den Fortschritt aller Projekte und Programme. Dies erfolgt über die Standard Project Reports (SPR), die in der Vergangenheit als Papierversion und seit einiger Zeit über einen speziellen Zugangscode auf der Internetseite des WFP als Softkopie bereit gestellt werden. Das Gros der Berichterstattung erfolgt zum jeweiligen Jahresende, so dass der überwiegende Teil der Berichte bis zum 31. März des Folgejahres zur Verfügung steht. WFP hat diese SPR im Jahr 1996 eingeführt und ist nach eigenen Angaben die erste VN- Organisation, die solche SPR erstellt hat. Ziel der Berichte ist es, Rechenschaft abzulegen über die Nutzung der Ressourcen und die im Jahresverlauf erzielten Resultate. Es handelt sich um Projektberichte und nicht um Geber- bzw. Beitrag-spezifische Berichte. Der Aufbau aller Berichte ist gleich. Die Berichte enthalten nach einer Titelseite die drei Hauptkapitel (i) Landesüberblick, (ii) operationaler SPR und (iii) finanzieller SPR. Sie dokumentieren die Projektziele, die Art der Implementierung, die eingesetzten Ressourcen, die erzielten Resultate und die Verwendung der finanziellen Ressourcen pro Geber. Grundsätzlich unterscheiden sich Zwischen- und Schlussberichte nicht. Nur wenn die Schlussrechnung (Financial Closure) nach dem letzten SPR erfolgt, wird im letzten Bericht insbesondere der finanzielle Teil bearbeitet. 34 Seit Beginn sind organisationsweit umfassende Anstrengungen in die Erstellung und Qualitätsverbesserung dieser Berichte geflossen, z. B. Vereinheitlichung des Formats, Training und Beratung von Mitarbeiter/-innen, Datenabgleich zwischen Länderbüros und Zentrale des WFP, jährliche Querschnittsanalyse der Berichte durch die federführende Organisationseinheit in Rom mit entsprechender Rückmeldung an die Organisationseinheiten, die mit der Erstellung des Berichts beauftragt sind. Einmal im Jahr wird auf der Basis der SPR der Annual Performance Report erstellt, der dem ER zur Genehmigung vorgelegt wird. 35 Evaluierungsfunktion Das WFP hat seit 1965 eine Evaluierungseinheit, die seither eine Reihe von Veränderungen durchlaufen hat. Die Grundzüge der WFP-Evaluierung sind in der Evaluierungspolitik festgeschrieben. 36 Sie befindet sich zur Zeit in Überarbeitung und soll im Oktober 2008 im ER abgestimmt werden. Sie sieht vor, eine mittelfristige Evaluierungsstrategie zu entwickeln und umzusetzen. Die konkrete Evaluierungstätigkeit beruht auf einem zweijährigen Programm. In der Evaluierungspolitik sind Auswahlkriterien für Evaluierungen, die im Verlauf oder nach der Programm-/Projektimplementierung stattfinden sollen, festgelegt. Neben Evaluierungen, die von der unabhängigen Evaluierungseinheit betreut werden, führen auch Länder- und Regionalbüros des WFP (interne) Evaluierungen durch. Im Kontext der neuen Evaluierungspolitik soll eine repräsentative Auswahl von Evaluierungsvorhaben getroffen werden, so dass die Gesamtheit der jährlichen Evaluierungen das WFP-Gesamtprogramm abbilden. Grundsätzlich kann das ER auf das Evaluierungsprogramm Einfluss nehmen. Derzeit arbeiten in der Evaluierungseinheit die Direktorin, sechs Evaluation Officers und drei Assistenten Z. B. wenn das Projektende mit dem Berichtszeitraum am erfolgt und die Financial Closure dann im nachfolgenden Jahr vorgenommen wird. WFP (2008b). WFP (2003). 12

31 2005 wurden dem ER sieben, 2006 elf und 2007 neun Evaluierungen vorgelegt. Dies waren sowohl Programm-/Projektevaluierungen (inkl. Special Operations), die zur Mitte oder gegen Ende der Laufzeit der Vorhaben durchgeführt wurden, als auch Themen- und Instrumentenevaluierungen. Bei einer Gesamtzahl von 167 aktiven Projekten (ohne Special Operations) im Jahr und einer Zahl von sechs Programmevaluierungen lag der Deckungsgrad von unabhängigen Evaluierungen bei ca. 3 Prozent. Kurzfassungen der Evaluierungsberichte werden dem ER vorgelegt und dort diskutiert. Im Kontext der ER-Sitzungen haben die Mitglieder des ER auch Zugang zu den Langfassungen der Evaluierungsberichte. Allerdings steht für die Diskussionen dieser Berichte oft nur ein sehr begrenztes Zeitfenster zur Verfügung. Die Kurz- und Langfassungen werden auch im Internet veröffentlicht. Seit 2005 erstellt die Evaluierungseinheit einen Jahresbericht, aus dem die wichtigsten Tätigkeiten und Ergebnisse ihrer Arbeit hervorgeht. 38 Außerdem werden Evaluierungs-Briefs erstellt, die den Hintergrund, Schlüsselergebnisse, Schlussfolgerungen und die Hauptempfehlungen der Evaluierungen kurz zusammenfassend darstellen. Verschiedene Geber haben in der Vergangenheit zwei große externe Gemeinsame Evaluierungen (Joint Evaluations) des WFP insgesamt bzw. der Enabling Development Policy veranlasst bzw. sich an ihnen beteiligt. Letztere wurde von Deutschland initiiert und über die aktive Beteiligung im Steering Committee und in der Management Group maßgeblich mitgestaltet. 39 So konnten externe, unabhängige Erkenntnisse und Empfehlungen zu strategischen organisationspolitischen und inhaltlichen Fragestellungen generiert werden, die durch das WEP-Management und den Executive Board nachverfolgt wurden. Die Evaluierungseinheit des WFP steht seit Jahren in der Beobachtung und Diskussion des ER. Verschiedene ER-Mitglieder (insbesondere Großbritannien, Schweden, Norwegen, Finnland und Deutschland) versuchen, die Evaluierungsfunktion durch Stellungnahmen zu stärken. Hauptkritikpunkte entzündeten sich insbesondere an (i) der organisationsinternen Verortung der Einheit, (ii) den Berichtswegen, (iii) dem Budget und (iv) der Verbindung mit dem ER. Auf der Jahressitzung des ER 2006 hat der Executive Director (ED) einer Professionalisierung der Evaluierungseinheit zugestimmt. Diese soll erreicht werden durch (i) die Ernennung einer Leitung der Einheit mit professioneller Evaluierungserfahrung (statt einer Besetzung durch interne Berufung), (ii) eine Aufwertung der Position und Aufnahme der Evaluierungsleitung in den Kreis des Führungsstabes und (iii) eine Berichterstattung direkt an den/die ED. Außerdem sollte die Evaluierungsfunktion einer freiwilligen Peer Review unterzogen werden. Diese Peer Review wurde im Jahr 2007 durchgeführt. 40 Hauptergebnisse waren: Die zentrale Evaluierungseinheit in Rom ist eine starke Einheit mit gut ausgebildetem und motiviertem Personal, die in den letzten Jahren viel investiert hat, um die Evaluierungsfunktion zu verbessern und Schwächen zu bearbeiten. Die Evaluierungsfunktion in den Länder- und Regionalbüros ist von variabler Qualität. Die Unabhängigkeit der Evaluierungseinheit ist auch im Vergleich zu ähnlichen Organisationen angemessen. Die Glaubwürdigkeit der verschiedenen Evaluierungsprodukte ist unterschiedlich, während der Prozess glaubwürdiger, allerdings immer noch problematisch ist WFP (2008b). WFP (2007). Die Evaluierung wurde gemeinsam mit sechs bilateralen Gebern und unter Beteiligung der Evaluierungseinheit des WFP gemeinsam veranlasst und gesteuert und durch ein Konsortium unabhängiger Firmen durchgeführt. Baker et al. (2007). 13

32 Aufgrund des Beitrags zur Programmgestaltung ist die Nützlichkeit von Evaluierungen teilweise gegeben. Allerdings sind die Strukturen und Mechanismen zur Sicherstellung der Nützlichkeit eher schwach. Auf Initiative Deutschlands wurden in einer gemeinsame Stellungnahme von elf bilateralen europäischen Gebern zur Peer Review im Februar 2008 insbesondere die Aspekte (i) einer unabhängigen, glaubwürdigen und nützlichen Evaluierung, (ii) einer Verbesserung der Managementreaktionen, (iii) des Fokus auf Wirkungen (statt auf Prozesse und Leistungen), (iv) der Notwendigkeit einer Verbesserung der Qualität von Evaluierungen und (v) einer stärkeren Betonung von M&E im strategischen Plan hervorgehoben. Unter der neuen Direktorin der Evaluierungsabteilung wurde eine Qualitäts- und Qualifizierungsoffensive gestartet. Basierend auf den Normen und Standards der Evaluierungsgruppe der VN (UNEG), in der WFP seit Jahren aktiv mitarbeitet, wird ein Evaluation Quality Assurance System aufgebaut, um die Glaubwürdigkeit und Nützlichkeit der Evaluierungen zu verbessern. Es besteht aus Vorlagen für wichtige Evaluierungsinstrumente, einer Prozesslandkarte, Qualitätschecklisten und technischen Noten, die in allen Prozessschritten einer Evaluierung von der Identifikation des Themas und des Evaluierungsmanagers bis hin zum Ende der Evaluierung eingesetzt werden sollen. Die Finanzierung von Evaluierungen bleibt eine der großen Herausforderungen für das WFP, insbesondere in Zeiten knapper werdender Ressourcen und gestiegener Anforderungen und u. a. aufgrund des aktuellen Finanzierungsmechanismus der Organisation. Wissensmanagement und organisationsinternes Lernen Nach Einschätzung mehrerer Gesprächspartner/-innen gibt es beim WFP eine Reihe von Möglichkeiten und Initiativen zum individuellen und organisationsinternen Wissensmanagement und Lernen. Diese werden unterstützt z. B. durch Training, die Bereitstellung von Dokumenten oder über Inter- und Intranet und speziellen Lernplattformen. Allerdings wurde übereinstimmend festgestellt, dass es ein umfassendes System des Wissensmanagements und Lernens bisher ebenso wenig gibt wie eine Organisationseinheit oder einzelne Personen, die sich explizit mit diesem Thema befassen. So bleibt systematische und strategische Wissensnutzung in vielen Fällen individuellen Initiativen überlassen und unterliegt dem Risiko, im Tagesgeschäft unterzugehen. Feststellungen des WFP zur Erfolgskontrolle Die Auflösung der RBM-Einheit in der Zentrale des WFP war Diskussionsgegenstand bei den Interviews. Eine Reihe von Gesprächspartner/-innen teilen die Einschätzung der Gutachter, dass das Mainstreaming von RBM unter Umständen zu früh kam, so dass das Risiko von Qualitätseinbußen im Programmmanagement und insbesondere in der Steuerung besteht. Das ER des WFP misst dem Monitoring und der Evaluierung ebenso wie den Bedarfsanalysen hohe Bedeutung und Priorität zu. Im Kontext der Diskussionen zum Management-Plan im ER wurde dies nochmals betont. Hinsichtlich der Evaluierungsfunktion betont WFP in der Managementantwort auf die Peer Review, dass viele Veränderungen bereits eingeleitet wurden und die Peer Review als Bestätigung des eingeschlagenen Weges gesehen wird. 41 Der vom ER geäußerte Wunsch, eine größere Rolle in der Aufsicht über die Evaluierungseinheit zu übernehmen, wird geschätzt. Zu allen Empfehlungen der Peer Reviewer an die Organisation nimmt das Management Stellung und dokumentiert die unternommenen Aktionen sowie den Fälligkeitstermin Hochkommissar für Flüchtlinge der Vereinten Nationen (UNHCR) Profil der Organisation 41 WFP (2007c). 14

33 UNHCR (The United Nations High Commissioner for Refugees) mit Sitz in Genf ist auf der Grundlage der Genfer Flüchtlingskonvention von 1951 im Rahmen des VN-Systems weltweit dafür zuständig, dass Menschen, die von Verfolgung bedroht sind, in anderen Staaten Asyl erhalten. Laut seinem Mandat hat UNHCR auch die Aufgabe, dauerhafte Lösungen für Flüchtlinge zu finden. Dazu gehören die freiwillige Rückkehr, die Integration im Aufnahmeland oder die Neuansiedlung in einem Drittland. Ende 2005 haben sich die VN und andere Organisationen auf einen besser koordinierten und umfassenderen Ansatz zum Schutz von Binnenvertriebenen geeinigt. UNHCR übernimmt dabei eine leitende Rolle sowohl bei der Unterbringung von Binnenvertriebenen als auch bei ihrem Schutz und bei der Koordination in den Lagern. Das Jahresbudget für 2008 liegt bei 1,31 Milliarden USD. 42 Hinzu kommen jedes Jahr Sonderprogramme für einzelne Länder oder Regionen. Die UNHCR-Hilfsprogramme werden hauptsächlich durch freiwillige Beiträge von Regierungen, aber auch von Stiftungen und Privatpersonen finanziert. Zudem steht ein begrenzter Betrag weniger als zwei Prozent aus dem regulären VN-Budget für Verwaltungszwecke zur Verfügung. Deutschland belegt seit 2004 Rang 8 unter den Gebern des UNHCR erhielt UNHCR aus Mitteln des AA (Federführung) und des BMZ nach deren Angaben insgesamt (ohne BMZ/UNHCR- Kombifinanzierungen 44 ) rund 18,4 Mio. Euro. Pro Jahr leitet UNHCR etwa 30% seines Budgets an mehr als 500 Nichtregierungsorganisationen (NRO) 45. Die rund Verträge mit NRO haben ein Volumen von etwa 300 Mio. USD. Die Tendenz ist steigend und soll mehr und mehr nationale Implementierungspartner in den Zielländern umfassen. 46 Das Exekutivkomitee (Executive Committee of the High Commissioner's Programme-ExCom) des UNHCR hat seit seiner Erweiterung 76 Mitgliedsstaaten. Deutschland ist Mitglied seit Das ExCom tagt einmal jährlich in Genf, um UNHCRs Programm und das Jahresbudget des Folgejahres zu verabschieden. Das ExCom Standing Committee tagt mehrmals jährlich, um die Angelegenheiten des ExCom zwischen den Sitzungen fortzuführen und vorzubereiten. Der derzeitige Hochkommissar hat für den UNHCR das Ziel ausgegeben, zur effektivsten Organisation der VN-Familie zu werden. Erreicht werden soll das u. a. durch eine verstärkte Dezentralisierung (Stärkung von Regionalbüros), eine verbesserte Personalrekrutierung und - entwicklung sowie den Ausbau und die Vertiefung strategischer Partnerschaften. Im operativen Bereich soll der Fokus verstärkt auf RBM gelegt werden, d. h. die konsequentere Ausrichtung von Planung, Monitoring und Evaluierung auf outcomes statt outputs. Bedarfsanalyse, Zielformulierung und Finanzierungsanträge Das UNHCR-Verfahren zur Formulierung der Zielsetzung von Maßnahmen hängt davon ab, ob es sich um einen fortlaufenden Einsatz handelt, in dem eine Jahresplanung stattfindet, oder um eine plötzlich auftretende Krise. In fortlaufenden Programmen werden einmal jährlich sogenannte Country Operations Plans erstellt, die in den globalen Aufruf einfließen (Global Appeal). In plötzlich auftretenden Krisen ist eine situationsangepasste Programmplanung erforderlich. UNHCR hat kein standardisiertes Verfahren zur Bedarfsermittlung wurden fielen 31% des Jahresbudgets auf Verwaltungs- und Managementkosten (laut DFID UNHCR Development Effectiveness Summary 2007) unterzeichneten das BMZ und UNHCR die Gemeinsame Absichtserklärung über die Zusammenarbeit bei entwicklungsorientierten Flüchtlingsprogrammen (BMZ und UNHCR 2006, Anhang). Für die Zusammenarbeit werden jährlich zwischen 24 und 31 Mio. ( ) bereitgestellt. Der Finanzierungsanteil des BMZ beträgt zwischen 23 und 26 % (Aufstellung BMZ: UNHCR Kombifinanzierung Übersicht der Mittelherkunft 2005 bis 2008). Mit der Planung und Umsetzung von Flüchtlingsprogrammen, die im Rahmen dieser Kooperation finanziert werden, wurde die Gesellschaft für Technische Zusammenarbeit (GTZ) als Hauptdurchführungsorganisation beauftragt (BMZ 2006, S. 6). Inter Office Memorandum No 04/2007, Office of the UNHCR, 15 Januar

34 Richtlinien für eine partizipative Bedarfsanalyse eingeführt (UNHCR Tool for Participatory Assessments in Operations). 47 Um Zugang zur projektspezifischen Finanzierung der Bundesregierung zu haben, stellt UNHCR Finanzierungsanträge für einzelne Programme an das AA und das BMZ, obwohl die Organisation überwiegend mit Jahresbudgets und Länderprogrammen arbeitet. Finanzierungsanträge von UNHCR aus den Jahren 2005 bis 2007 sind nicht einheitlich gestaltet. Daten hierfür werden häufig aus dem Global Appeal der Organisation übernommen, der einmal pro Jahr veröffentlicht wird. Typische Elemente eines Antrages sind: Basic Data Sheet, Background and Historic Overview, Overall Objectives of UNHCR Assistance Measures, Activities proposed for funding, Beneficiaries, Budget and Implementation Period. Finanzierungsanträge für ungebundene Core Contributions existieren naturgemäß nicht. Einmal jährlich finden Konsultationen zwischen UNHCR, dem AA und dem BMZ statt, bei denen die Entwicklungen der Organisation sowie die Schwerpunkte der Arbeit besprochen werden. UNHCR übersendet eine kurze Übersicht über den Finanzbedarf eines Jahres (z. B. 1,5 Seiten für das Jahr 2008). Dieser enthält u. a. Details zum Jahresbudget, zu operationellen Reserven und zum Bedarf für Zusatzprogramme. Die Angaben bauen auf dem globalen Aufruf des UNHCR auf, der einen Überblick über UNHCRs operationelle Pläne gibt. 48 Er gibt eine Übersicht über Themen, die für die Organisation im Fokus stehen und geht auf geplante Programme ein. Hierbei wird eine regionale Zusammenfassung gebracht, die auf 3-4 Seiten auf das Arbeitsumfeld eingeht, strategische Zielsetzungen für die Region beschreibt, auf Herausforderungen (Challenges) eingeht und das Budget in Tabellenform ausweist. Monitoring Ergebnisse des projektspezifischen Monitoring-Verfahrens von UNHCR werden in dem Sub- Project-Monitoring-Report (SPMR) festgehalten. Er hat einen Teil über Finanzen (Teil 1) und einen Bericht über die Durchführung (Performance Reporting; Teil 2). Teil 2 enthält laut Handbuch Informationen über Wirkungen und Indikatoren. 49 Monitoringberichte werden in der Regel vierteljährlich vorgelegt: Ende März, Ende Juni, Ende September und Mitte Februar für den Schlussbericht. Seit 1998 arbeitet UNHCR mit Results-Based Management (RBM) 50. RBM ist wiederum in das zentrale Managementsystem von UNHCR integriert (Operations Management System OMS). Operationspläne der Länderbüros (Country Operations Plan COP) sowie Projektdokumente (Sub-Project-Description) enthalten Logframes. Zur Registrierung von Daten verwendet UNHCR seine eigene Software progres und 2006 hat UNHCR eine eigene Software für RBM entwickelt (Focus) und in 10 Pilotländern getestet. Derzeit arbeitet die Organisation an dessen weltweiter Einführung. Die Internet basierte Software fußt auf einer zielorientierten Projektplanung (Objective Trees) und sieht auch den Gebrauch von Indikatoren vor. Die Programmziele sollen erstmalig direkt mit den Organisationszielen verbunden werden. Hierbei wird auch der Begriff Impact verwendet, dessen Gebrauch jedoch nicht einheitlich ist und zumindest teilweise im Sinne von Projektfortschritt verwendet und mit (Prozent-) Zahlen unterlegt wird. Inwieweit durch dieses Werkzeug die Erfolgskontrolle und das Berichtswesen der Organisation verbessert werden, kann derzeit noch nicht beurteilt werden. Eine Verbindung der Software mit anderen Datenbanken sowie ein umfassender Praxistest stehen noch aus UNHCR (2007), S. 76. Früher für den Zeitraum eines Jahres, nun mit der neuen Budgetstruktur für einen Zeitraum von zwei Jahren. UNHCR (2007), S. 41. Das Gutachterteam hatte keine Gelegenheit diese Berichte einzusehen. UNHCR (2003), Sektion

35 Im Jahr 2002 hat UNHCR eine Initiative für Standardindikatoren eingeleitet. Im Oktober 2003 wurde eine Liste von quantitativen Indikatoren vorgestellt, die aus Konsultationen mit Regional- und Länderbüros hervorgegangen ist. 51 Dieser Prozess wird kontinuierlich fortgeführt. In Gesprächen mit UNHCR wurde mitgeteilt, dass sich RBM langsam in der Organisation verwurzeln würde, es aber immer noch Schwierigkeiten mit der Formulierung und Messung von Zielerreichungsindikatoren gibt, wenn es um nicht-standardisierte, komplexere Aktivitäten ginge (wie z. B. Maßnahmen zur Integration von internationalem Flüchtlingsrecht in nationale Gesetzgebung). Mittlerweile sind in Handbüchern die quantitativen Indikatoren um qualitative Indikatoren, Indikatoren auf Projektebene sowie detailierte sektorspezifische Daten und Situationsberichte ergänzt worden. 52 Sie sind überwiegend auf Lagersituationen zugeschnitten. Die Initiative lässt sich laut Handbuch mit den MDGs verbinden: UNHCR-Indikatoren können den einzelnen MDGs zugeordnet werden. 53 Obwohl die Organisation in jüngster Zeit das Thema Friedensförderung aufgreift und auch einen Bezug zwischen Reintegration und Entwicklung herstellt, spiegelt sich dies nicht in den Indikatoren wieder. Die Indikatoren nehmen nicht direkt Bezug auf die Sphere Standards, lassen sich jedoch wiederum mit den Zielen und Prinzipen der Humanitarian Charter in Einklang bringen. Zwischen- und Schlussberichte Hinsichtlich Rechenschaftslegungsberichte befinden sich in den Akten des AA und des BMZ in der Regel lediglich die Schlussberichte, obwohl UNHCR eine Vielzahl von weiteren Berichten für den internen Gebrauch anfertigt (siehe unten). Die wichtigsten Berichtsformen des UNHCR sind die Situationsberichte (Situation Reports- Sitreps), der jährliche Programmzwischenbericht sowie die Länderberichte. Der Programmzwischenbericht setzt sich mit der Zielerreichung auseinander. Er enthält einen Sach- und einen Finanzbericht. Er soll darüber Auskunft geben, inwieweit die Projektziele verwirklicht wurden und welche Mittel hierfür aufgewendet worden sind. Berichte dienen zum einen als Managementinstrument für die Länderbüros. Zum anderen informieren sie den Hauptsitz über den Fortschritt und die eingesetzten Mittel. Letztendlich bilden sie die Basis für den globalen Bericht des UNHCR. 54 UNHCR-Mitarbeiter/-innen in Länderbüros sind in der Regel nicht direkt mit der Berichtstellung an Geldgeber involviert. Dies obliegt der Abteilung Donor Relations and Resource Mobilization Service in Genf. 55 Die Trennung dient auch dazu, die Länderbüros vor zu vielen Anfragen über Entwicklungen und Aktivitäten seitens der Geldgeber zu bewahren, was sie von der Arbeit vor Ort abhalten würde. 56 Die Abteilung Donor Relations verfügt derzeit ca. 30 Mitarbeiter/-innen, die Abteilung, die für die Erstellung des Jahresberichtes zuständig ist, arbeitet mit 4 Mitarbeiter/innen zuzüglich eines Junior Professional Officers (JPO). UNHCR hat bis vor kurzem die Jahresabschlussberichte der Länderprogramme als Schlussberichte übersandt. Diese gingen naturgemäß nicht einzeln auf die von der Bundesregierung finanzierten Maßnahmen ein. Nach Konsultationen mit UNHCR sollen in Zukunft für Deutschland spezifische Berichte eingereicht werden. 57 Schlussberichte an das UNHCR (2007), Anhang 6 und Kapitel 4. UNHCR (2006). Ebd., Box 2, S. 12. In einem Interview wurde das Verfahren als cut and paste bezeichnet. UNHCR (2007), S Siehe Anlage 5 Reporting Cycle UNHCR. Obwohl dies nicht den Prinzipien von Guter Humanitärer Geberschaft (GHD, siehe ) entspricht, verlangen neben Deutschland laut UNHCR auch andere bilaterale Geber, so wie Spanien und Belgien, eigene narrative Berichte, während die skandinavischen Geber hierauf durchgehend verzichten und allein den globalen Bericht akzeptieren. Die Einführung projektspezifischer Berichte an die Geber könnte bei WFP hingegen nur mit einstimmigem Beschluss des ER eingeführt werden. 17

36 AA und BMZ werden zum Ende des Folgejahres fällig. Über ein Programm, das z. B. im Juni 2006 abgeschlossen wird, berichtet UNHCR zum Ende des Jahres Innerhalb der Organisation war es nach eigenen Angaben lange eine Herausforderung, der Berichtspflicht pünktlich nachzukommen. Dies habe sich auf Grund erhöhter Anstrengung und mit der Aufstockung der Abteilung verbessert. Das Berichtswesen von UNHCR war wiederholt Gegenstand von Partnerevaluierungen des European Commission Humanitarian Aid Department (ECHO). Im Jahr 2001 wurde das Berichtswesen von UNHCR als Schwäche in dem Partnerschaftsverhältnis zu ECHO identifiziert und auch in der Folgeevaluierung in 2005 wurden noch immer die folgenden Probleme konstatiert, die auch in Interviews in Genf problematisiert und weitestgehend bestätigt wurden 58 : Obwohl sich die Pünktlichkeit der Berichtstellung verbessert habe, bedürfe die inhaltliche Qualität noch immer Aufmerksamkeit. Berichte lassen eine kritische Analyse vermissen, zeigen nicht die Schwierigkeiten bei der Projektumsetzung auf und tragen nicht zum Lernen bei. 59 Das Berichtswesen sei noch immer eine zeitaufwändige Tätigkeit, die UNHCR- Mitarbeiter/-innen davon abhalte, ihre Arbeit in den Camps zu tätigen. 60 Das Monitoring von Wirkungen anstelle von Outputs sei noch immer eine Herausforderung für UNHCR. 61 Evaluierungsfunktion Die Evaluierungsfunktion bei UNHCR befindet sich seit 2006 in einem Neuaufbau und es ist schwer festzustellen, wie tief die Evaluierungsfunktion in der Organisation verankert ist. Sie ist sehr eng mit der Funktion zur Fortentwicklung der Politiken der Organisation verbunden. Dies bindet nach Informationen der Organisation ihre Kapazitäten. Evaluierung bei UNHCR fällt in den Zuständigkeitsbereich des Policy Development and Evaluation Service (PDES). Dieser ersetzt seit 2006 die Evaluation and Policy Analysis Unit. PDES hat drei Hauptaufgaben: Politikberatung für die Leitungsebene der Organisation Evaluierung und Forschung und Veröffentlichungen. PDES berichtet direkt an den Hochkommissar und ist Teil des Executive Office. 62 Dies soll nach Angaben der Organisation die Unabhängigkeit und Bedeutung der Abteilung stärken, hat jedoch auch die Konsequenz, dass die Abteilung und insbesondere ihr Leiter häufig mit Politikfragen beschäftigt ist und für die Anfertigung von Positionspapieren und Reden für den Hochkommissar beansprucht wird. 63 PDES arbeitet mit derzeit mit 5 Mitarbeitern (davon ein JPO), die alle (inkl. des Abteilungsleiters) regelmäßig auch selbst Evaluierungen vor Ort durchführen Grünewald, F. et al. (2001) und de Ville de Goyet, C. et al. (2005). de Ville de Goyet, C. et al. (2005), S. 11. Ebd., S. 11. Ebd., S. 10. Hierzu: UN General Assembly (2006). Die Abteilung versteht sich selbst als Politikabteilung und wird seitens des Hochkommissars als eine Art Think Tank betrachtet. Neben diesen Studien nimmt UNHCR externe Gutachter unter Vertrag (siehe sogleich). Für externe Evaluierungsgutachter hat die Abteilung derzeit ein Jahresbudget von USD (ca Euro). 18

37 Die Evaluierungsstrategie des UNHCR stammt aus dem Jahr 2002 und wird derzeit überarbeitet. Sie beruht auf den folgenden Prinzipien: Transparenz, Unabhängigkeit, Konsultationen, Relevanz, Integrität. 65 Das Arbeitsprogramm der Abteilung ist themenorientiert und teilt sich in Evaluierungen (current and planned evaluations) und Politikentwicklung (current and planned policy development activities). Für die zweite Jahreshälfte 2008 sieht das Programm 14 Evaluierungen vor (zu den Themen Migration, Rückkehr und Reintegration, Schutztätigkeiten und Lösungen für besonders betroffene Personen). 66 Für den Bereich Politikentwicklung sind 9 Initiativen vorgesehen (zu denselben Themen wie oben und zusätzlich zum Thema Binnenvertriebene). 67 Obwohl in der aktuellen Evaluierungsstrategie vorgesehen, finden dezentrale Evaluierungen auf Regional- oder Länderebene derzeit nicht statt. 68 Der Grund hierfür sind laut UNHCR fehlende Kapazitäten (insbesondere Budgets). Derzeit sind auf der Internetseite von PDES 125 Berichte veröffentlicht (Evaluierungen, Situationsberichte, Richtlinien, etc.). 69 Hierunter befinden sich Evaluierungen verschiedenster Art, so zum Beispiel jüngst vermehrt Echtzeit-Evaluierungen (Real Time Evaluations) sowie externe als auch vor allem interne Evaluierungen (durchgeführt von PDES/EPAU selbst). Evaluierungen sind nicht standardmäßig auf OECD/DAC oder ALNAP-Kriterien basiert. Terms of Reference stellen zum Teil nur auf Effektivität, Effizienz und Wirkungen ab, nicht jedoch auf Relevanz, Coverage oder Connectedness. UNHCR-Evaluierungen gelten gemeinhin als analytisch und kritisch und haben Einfluss auf die Politikebene der Organisation. Die ECHO Partnerschaftsevaluierung von UNHCR hebt die internen Evaluierungen von UNHCR, auf Grund ihrer Objektivität und Qualität positiv hervor. 70 Inwieweit die Ergebnisse der Studien auf die Umsetzungsebene vor Ort Anwendung finden, lässt sich schwer feststellen. 71 Auf der ExCom-Agenda befindet sich stets ein Bericht des Leiters der Evaluierungsabteilung. Standardmäßige Stellungnahmen des Managements zu Evaluierungen gibt es bisher nicht. Das Verfahren befindet sich laut UNHCR ebenfalls derzeit in der Überarbeitung. Wissensmanagement und organisationsinternes Lernen UNHCR verfügt über eine Vielzahl von Schulungs- und Informationsmöglichkeiten (Handbücher, IT-basierte Instrumente). Ein umfassendes System des Wissensmanagements und Lernens gibt es bisher ebenso wenig wie eine spezielle Organisationseinheit oder einzelne Personen, die sich explizit mit diesem Thema befassen. Feststellungen des UNHCR zur Erfolgskontrolle Sowohl die Verbesserung der Evaluierungsfunktion des UNHCR, als auch die Einführung des RBM, sind laut UNHCR laufende Prozesse. Das Berichtswesen wurde in den vergangenen Jahren bereits verbessert, um den Anforderungen der Geldgeber gerecht zu werden. Die Organisation ist offen gegenüber den Gebern bezüglich dieser Vorgänge und ist insbesondere an klaren Aussagen seitens der Geber interessiert, was deren Anforderungen an die Berichterstattung betrifft. Allerdings sieht UNHCR auch Grenzen in den eigenen Kapazitäten zur Erfüllung individueller Geberanforderungen, insbesondere was projektspezifisches Berichtswesen anbelangt UNHCR (2002); das (1-seitige) Mission Statement von PDES sieht Integrität nicht mehr vor. unhcr.org/research/research/3b8a1add4.pdf. Policy Development and Evaluation Service Work Programme, June-December In den Jahren 2005 bis 2007 hat UNHCR 37 Evaluierungen, Studien und Richtlinien veröffentlicht. Die Organisation ist derzeit bemüht dezentrale Strukturen zu stärken und die Funktionen des Hauptsitzes auf Politikentwicklung, strategische Entscheidungen, Kontrolle, sowie Medien- und Geberkoordination zu beschränken (UNHCR Global Appeal , S. 93). De Ville de Goyet, C. et al. (2005), S. 11. Siehe hierzu DFID (2007a). 19

38 Die Organisation ist ebenfalls offen für die verstärkte Evaluierung von Einzelmaßnahmen und Programmen, die von Gebern gefördert werden, weist jedoch auch hier auf die begrenzten (finanziellen) Kapazitäten der Organisation hin sowie darauf, dass einzelne Geberbeiträge in großen Programmen (etwa der Darfur operation) nur einen kleinen Anteil haben, was die individuelle Zurechnung erzielter Wirkungen fraglich erscheinen lässt. Die Organisation äußert sich generell kritisch gegenüber zunehmenden geberspezifischen Berichts- und Kontrollmaßnahmen. UNHCR ist sich bewusst, dass ein gewisser Grad der Rechenschaftslegung von den Implementierungspartnern abhängt und dass nicht alle Partner den von UNHCR gewünschten Standard im Berichtswesen haben. Das damit verbundene Risiko wird bewusst als Teil der Arbeitsweise der Organisation in Kauf genommen ( generic risk ). 72 Soweit als möglich versucht UNHCR dieses Risiko durch eine sorgfältige Auswahl der Partner und kapazitätsbildende Maßnahmen mit seinen Partnerorganisationen aufzufangen Exkurs: Blick auf die Evaluierung im VN-System Neben Evaluierungen durch Geber und organisationsinternen Evaluierungssystemen spielt innerhalb der VN auch die organisationsübergreifende Evaluierung eine Rolle. Auch wenn ein einheitliches umfassendes Evaluierungssystem innerhalb der VN noch nicht realisiert ist, so hat die Standardisierung in den letzten Jahren deutlich zugenommen. Ergänzend werden organisationsübergreifende wie auch organisationsspezifische Studien durchgeführt, die für die Erfolgskontrolle durch Geber relevant sein können. Ohne das VN-System oder dessen Evaluierungsfunktionen näher zu analysieren oder zu kommentieren, ist es daher Ziel dieses Exkurses aufzuzeigen, welche Maßnahmen innerhalb der VN durchgeführt werden, die eventuell für die Erfolgskontrolle der von Deutschland geförderten IO-Maßnahmen von Bedeutung sein könnten. 73 Die Evaluierungsaktivitäten im VN-System haben in den letzten Jahren an Bedeutung gewonnen und sind sowohl in den Zentralen wie in den meisten operativen Einheiten z. T. deutlich verstärkt worden. Die VN hat ihre Arbeit nicht zuletzt auf Druck der Mitgliedstaaten zunehmend leistungs- und wirkungsorientiert ausgerichtet. Es sind allgemeingültige Grundregeln für Evaluierungsfunktionen entwickelt worden, die an den Prinzipien und Standards des DAC orientiert sind. Eine UN-weite zentrale Evaluierungsfunktion oder eine zentrale Koordinierung bzw. Planung für Evaluierungsmaßnahmen für das gesamte VN-System gibt es bisher allerdings nicht. Vergleiche zwischen den verschiedenen Einheiten sind somit schwierig. 74 Folgende Institutionen spielen bei organisationsübergreifenden Evaluierungen/Prüfungen eine Rolle: UN Evaluation Group, Joint Inspection Unit, Office of Internal Oversight Services, OCHA. Die UN Evaluation Group (UNEG) 75 vereint 43 Mitglieder unter dem Vorsitz von UNDP. Die Mitgliedschaft ist institutionell und umfasst die Verantwortlichen der Evaluierungseinheiten des VN-Systems. Die Gruppe wurde im Januar 1984 als die Inter-Agency Working Group on Evaluation (IWAG) ins Leben gerufen und funktionierte viele Jahre als informelle Arbeitsgruppe der Leiter der Evaluierungseinheiten von VN-Organisationen. Eine Evaluierung im Jahr 2000 hat deutlich gemacht, dass die Gruppe eine stärker proaktive Funktion erhalten und spezifische Produkte erarbeiten soll, die das VN-System in seiner Evaluierungsarbeit nutzen könne. Der Name der Gruppe wurde im Jahr 2003 in UNEG geändert UNHCR Financial Empowerment and Accountability Framework, S. 10. Im Gegensatz dazu sind die Auditing-Systeme weitestgehend vereinheitlicht. Für alle Teile des VN- Systems gibt es seit 1946 mit dem Board of Auditors (BOA) eine externe Finanzkontrolle. -Bericht Ständige Vertretung bei den Vereinten Nationen, Gz.: Pol New York, den , Ber. Nr.: M 111/2008, Verf.: RA Rohde/ OAR Schneider. 20

39 UNEG hat zum Ziel, die Objektivität, Effektivität und Sichtbarkeit der Evaluierung im VN- System zu stärken und sich für die Bedeutung von Evaluierung für Lernen, Entscheidungsfindung und Steuerung einzusetzen. UNEG gilt als Forum für seine Mitglieder zum Austausch von Erfahrungen und Information, zur Diskussion neuester Aspekte in der Evaluierung und zur Förderung von Vereinfachungen und Harmonisierungen in der Berichterstattung. Zwei wichtige Arbeitsergebnisse von UNEG sind die Norms 76 und die Standards for Evaluation in the UN System. 77 Die Normen sollen die systemweite Zusammenarbeit zu Evaluierung unterstützen und sicherstellen, dass die Evaluierungseinheiten der VN gemeinsam vereinbarten Grundprinzipien folgen. Die Standards bauen auf den Normen auf. Sie sollen Orientierung für die Einrichtung des institutionellen Rahmens, das Management der Evaluierungsfunktion sowie die Durchführung und Nutzung von Evaluierungen bieten. WFP hat zum Beispiel begonnen, sich an dieser Standardisierung zu orientieren, deren konkrete Umsetzung steht jedoch noch aus. Die Peer Reviews der Evaluierungsfunktionen von WFP, UNICEF und UNDP sind auf der Internetseite von UNEG veröffentlicht. Die Joint Inspection Unit (JIU) ist die einzige externe Prüfungseinheit für das gesamte VN- System. Sie führt Prüfungen zu (organisations-)übergreifenden bzw. stichprobenartig zu ausgewählten Themen in einzelnen Programmen/Organisationen des VN-Systems durch und konzentriert sich hierbei überwiegend auf Verfahrensfragen. 78 JIU veröffentlicht zwischen 6 und 12 Studien pro Jahr. Ein Screening der Studien, die von JIU in den Jahren 2004 bis 2007 durchgeführt wurde, ergab, dass sich JIU mit den Themen Berichtswesen innerhalb der VN, Results-Based-Management und humanitärer Hilfe beschäftigt hat: Review of Management and Administration in the Office of the United Nations High Commissioner for Refugees. JIU/REP/2004/4; Towards a United Nations humanitarian assistance programme for disaster response and reduction: lessons learned from the Indian Ocean tsunami disaster. JIU/REP/2006/5; Overview of the series of reports on managing for results in the United Nations system. JIU/REP/2004/5; Results-based management in the United Nations in the context of the reform process. JIU/REP/2006/6. Die Lessons Learnt Studie zur Tsunamikatastrophe ist von Interesse, da sie ein spezifisches Programm beleuchtet. Obwohl die Studie nicht explizit auf OECD/DAC-Evaluierungskriterien oder die ALNAP-Kriterien Bezug nimmt, werden Fragen der Relevanz, Effektivität, Effizienz und Coverage behandelt. Einzelne VN-Organisationen werden erwähnt, jedoch nicht im Detail behandelt. Von Interesse ist die UNHCR-spezifische Studie. Die Studie beschäftigt sich mit internen Aspekten des Managements als auch mit operativen Aspekten der Organisation. Zu dem auch in dieser Studie behandelten Themen Wissensmanagement und RBM heiß es: For UNHCR, information management is a major organizational challenge: there exists a multitude of separate information systems; ( ) information flow is problematic; and resultsbased management has not been fully recognized in developing an Enterprise Resource Planning (ERP) system (Management Systems Renewal Project-MSRP). 79 Die JIU-Studien über RBM sind nur begrenzt relevant für die Erfolgskontrolle freiwilliger Beiträge. Die Studien sind weniger eine Analyse der bestehenden Systeme als ein Versuch, Faktoren zu identifizieren, die für eine erfolgreiche Einführung von RBM als strategisches UNEG (2005a). UNEG (2005b). JIU (2004), Seite vi. 21

40 Managementinstrument von Bedeutung sind. Die hier betrachteten VN-Organisationen werden in den Studien nicht behandelt. Office of Internal Oversight Services (OIOS) ist für alle Aktivitäten, die in die Zuständigkeit des VN Generalsekretärs fallen (einschließlich Peacekeeping-Missionen und humanitäre Einsätze), zuständig und diesem direkt verantwortlich. Zwischen 15 und 25 Studien werden pro Jahr veröffentlicht. Ein Screening der Studien aus dem Jahr 2004 bis heute ergab, dass sich eine Reihe von Studien mit Peacekeeping-Missionen befasste, jedoch nur eine mit dem Thema humanitäre Hilfe: Report on the audit and investigative reviews of the tsunami relief operations conducted by UN Secretariat, funds and programmes and specialized agencies (22 Dec 2006 A/61/ ). Bei der Studie handelt es sich um ein Audit mit dem Schwerpunkt auf Kontrolle und Risikomanagement. Die hier betrachteten Organisationen werden nicht behandelt. UN-OCHA führt OCHA-spezifische Evaluierungen durch, aber auch organisationsübergreifende. 81 OCHA besitzt eine zentrale Evaluierungseinheit (Evaluations and Studies Section), die zurzeit mit lediglich 3 Fachkräften ausgestattet ist. Die Einheit soll auf 7 Evaluierungsexperten aufgestockt werden. Auf der Webseite von OCHA sind 37 Studien veröffentlicht (17 OCHA-spezifische Studien und 20 organisationsübergreifende Studien). 82 Hinsichtlich der organisationsübergreifenden Studien sind die Studien im Rahmen der Tsunami Evaluation Coalition hervorzuheben, die sehr bedeutsam für den Sektor der internationalen humanitären Hilfe sind und an denen OCHA maßgeblich im Management und durch eine eigene Studie zur Koordinierung mitgewirkt hat.das BMZ unterstützte die diversen Studien finanziell und durch eigene kleinere Studien als Input.. 83 Auch wenn die Studien nicht standardmäßig die OECD/DAC-Evaluierungskriterien anwenden, so behandeln sie doch Aspekte wie Relevanz, Effizienz und Coverage Internationales Komitee vom Roten Kreuz (IKRK) Profil der Organisation Das IKRK unterscheidet sich im Aufbau, der Arbeitsweise, wie auch in der Finanzierung von den zuvor dargestellten Organisationen. Es ist eine private, neutrale und unabhängige Schweizer Organisation mit dem humanitären Auftrag, sich weltweit für den Schutz der Opfer von bewaffneten Konflikten einzusetzen. Es leitet und koordiniert internationale Hilfsaktionen in bewaffneten Konflikten, besucht Gefangene und organisiert einen Zentralen Suchdienst. Darüber hinaus hat das IKRK eine zentrale Rolle bei der Weiterentwicklung des humanitären Völkerrechts und ist die einzige Organisation, die im humanitären Völkerrecht erfasst und als dessen Kontrollorgan genannt ist. Die Arbeit der Organisation basiert auf den Prinzipien der Unparteilichkeit, Neutralität und Unabhängigkeit, der Schutz des Lebens und der Würde der Opfer von Kriegen und innerstaatlichen Konflikten. Das IKRK hat ein Jahresbudget von ca. 1 Milliarde Schweizer Franken (ca. 620 Millionen Euro). Bis auf wenige Ausnahmen 84 bekommt das IKRK keine institutionelle Förderung, sondern basiert sein Budget auf dem vorhergesagten Bedarf. Die Finanzierung des IKRK erfolgt durch Beiträge von Geldgebern, Nationalen Rotkreuz-Gesellschaften sowie von privaten Beiträgen. Laut eigener Einschätzung des IKRK arbeitet die Organisation im Hinblick auf ihr globales Mandat und ihre globalen Aktivitäten mit einem eher kleinen Kreis an Die Schweizer Regierung, die traditionell eine enge Bindung zu der Organisation hat, finanziert 54% der Budgetkosten des Hauptsitzes des IKRK. 22

41 Geldgebern haben BMZ und AA zusammen Beiträge in Höhe von USD geleistet. 86 Das IKRK veröffentlicht zwei Finanzierungsaufrufe pro Jahr, einen für den Hauptsitz in Genf, den anderen für Operationen. Um sofort tätig werden zu können, werden Nothilfeprogramme in der Regel aus der Reserve vorfinanziert. Die Organisation ist bestrebt, Mittel so langfristig wie möglich und so frei von Bedingungen wie möglich zu erhalten. Verbesserungen in der Vorhersehbarkeit von Beiträgen gibt es seit 2006, als Abkommen mit Belgien, den Niederlanden, dem Vereinigten Königreich und Nordirland, Schweden, und bzgl. Budgets für das Headquarter (HQ) mit der Schweiz abgeschlossen wurden. 87 Die zehn größten Geldgeber des IKRK sind in der Donor Support Group (DSG) vertreten, die sich einmal jährlich trifft. Vor jedem Treffen finden gemeinsame Reisen von Vertretern einiger Geber und des IKRK statt, deren Resultate und Beobachtungen dann bei den Treffen erörtert werden. Deutschland ist Mitglied der DSG und entsendet Vertreter zu den Feldbesuchen und jährlichen Treffen. Ein Kontrollorgan vergleichbar mit dem ExCom der VN-Organisationen gibt es nicht. Das Komitee ist Schweizer Staatsbürgern vorbehalten und hat derzeit 18 Mitglieder. Bedarfsanalyse, Zielformulierung und Finanzierungsanträge Planning for Results (PfR) ist das zentrale Planungs- und Managementinstrument für das IKRK. 88 Es dient insbesondere der Planung der Länderprogramme, die einmal jährlich stattfindet. PfR basiert auf dem Logframe-Ansatz und unterscheidet zwischen Aktivitäten, Output, Resultaten und Wirkungen. Einmal jährlich wird von den Delegationen eine umfassende Situationsanalyse erwartet, die auf Grund der kontinuierlich erfassten Informationen erstell wird. Auf dieser aufbauend wird eine Problemanalyse angefertigt, übergeordnete Ziele formuliert sowie Programme und Budgets entworfen. Obwohl das IKRK und sein Projektmanagementsystem programmorientiert arbeiten, übermittelt die Organisation projektspezifische Anträge an das AA und das BMZ, um den Förderrichtlinien dieser Geber gerecht zu werden. Finanzierungsanträge an das AA und an das BMZ bauen auf den Emergency Appeals des IKRK auf und sind einheitlich. Sie enthalten Zielsetzungen für jede der von IKRK betreuten Zielgruppe. 89 Jeder Zielsetzung (Objectives) folgt ein Aktionsplan, der eine Reihe von Aktivitäten in Form einer kurzen Liste aufführt. Anträge haben den folgenden Aufbau: Project Background mit General Situation und Humanitarian Response, Budget (inkl. des Beitrages der Bundesregierung), Humanitarian Issues, Objectives, Plan of Action. Der Aktionsplan ist nach Zielgruppen gegliedert. Diese Gliederung zieht sich durch alle Berichte des IKRK, bis hin zu den Jahresberichten. Monitoring Im Jahr 1989 hat das IKRK Planning for Results (PfR) in den Länderbüros eingeführt, ein Jahr später im Hauptsitz. 90 Nach Angaben der Organisation ist die Analyse- und Planungskomponente des Instruments weit ausgebaut und nach einer Reihe von Anpassungen mittlerweile wichtiger Bestandteil der Organisation. Bisher weniger entwickelt sei die Berichts- und Kontrollfunktion des Instruments. Insbesondere das Fehlen von Indikatoren zur Verifizierung von Ergebnissen und Wirkungen sei ein Manko. Im Jahr 2007 war dieses Thema unter anderem Gegenstand eines Treffens der DSG. Für das tägliche interne Management findet ein extensives Monitoring durch die Delegationen und Unter-Delegationen statt, über das wöchentlich und monatlich berichtet wird. In akuten Die Top 10 Geldgeber (inkl. EU) stellen 78,4% des Budgets der Organisation. ICRC 2008, S. 57. Siehe Anlage 4. ICRC (2007); Siehe sogleich den Abschnitt Monitoring. Zielgruppen sind: Zivilisten, Gefangene, Verwundete und Kranke, Offizielle Stellen, Streitkräfte und andere bewaffnete Gruppen, Zivilgesellschaft und die Rotkreuz- und Rothalbmondbewegung. Guidelines-Planning for Results Version 06/

42 Krisen werden tägliche Situationsberichte angefertigt. Es gibt einen monatlichen Statistikbericht (Monthly Statistic Report MSR). Die Organisation hat wiederholt ihr Engagement zur Verbesserung der Qualitätskontrolle und der Wirkungsanalyse bekräftigt und dies in die IKRK-Strategie für aufgenommen. Das Direktorat hat die Umsetzung von Results-based Management zu einer seiner Prioritäten erklärt. 91 Eine neue Abteilung hat kürzlich ihre Arbeit aufgenommen, bzw. wurde umbenannt: Institutional Performance Management Unit. Zwischen- und Schlussberichterstattung Das IKRK berichtet seinen Geldgebern über einen jährlichen Zwischenbericht, der die ersten zwei Quartale des Jahres umfasst. Dieser Bericht obwohl er sich in Inhalt, Form und Charakter nicht wesentlich vom Schlussbericht unterscheidet ist nur den Gebern zugänglich, nicht der Öffentlichkeit. Dies soll Ausdruck des besonderen Verhältnisses zu den Gebern sein, die Zugang zu Informationen haben, die noch vorläufig sind und nicht von der Jahresabschlussprüfung umfasst sind. Die zweite Jahreshälfte wird in einem Länderbericht behandelt, der in den Jahresbericht einfließt. Der Jahresbericht bezieht sich auf die Zielsetzungen der Emergency Appeals. 92 Da Jahresberichte öffentlich gemacht werden, verzichtet die Organisation nach eigenen Angaben auf eine detaillierte Analyse und sensible Tatsachen, welche die Tätigkeit der Organisation beeinträchtigen könnten. Entsprechend der Jahresberichte enthalten Schlussberichte für vom AA und BMZ finanzierte Vorhaben Angaben zu Aktivitäten, Statistiken und Indikatoren und haben folgenden Aufbau: Einleitung, Key Points (i.d.r. eine Liste der Aktivitäten), Kontext, IKRK-Tätigkeiten, Zahlen und Indikatoren. 93 Das IKRK hat schon seit einiger Zeit geberspezifische Berichte zur Verfügung gestellt, obwohl sich die Donor Support Group (DSG) im Jahr 2005 darauf geeinigt hat, die Jahresberichte als einzige Berichtsform zu akzeptieren. Schlussberichte für deutsche Beiträge enthalten ein separates Kapitel über von Deutschland kofinanzierte Aktivitäten und einen Abschnitt über nicht von Deutschland kofinanzierte Aktivitäten. Schlussberichte gehen im Folgejahr beim AA und BMZ ein. Das IKRK ist in der Regel pünktlich bei Einhaltung der Berichtspflichten. Geldgeber hatten in der Vergangenheit das IKRK gebeten, spezifisch über die Aktivitäten zu Gunsten von Frauen und Kindern zu berichten. Dies wurde als zu aufwändig empfunden und hätte zu vielen Wiederholungen in den Berichten geführt, da der Ansatz immer ähnlich sei. Das IKRK kommt den Gebern nun entgegen, indem es einen Bericht über diese speziellen Zielgruppen und das Vorgehen der Organisation anfertigt, und in seinen jährlichen Aufruf sowie in seinen Schlussbericht 2007 integriert. 94 Die Erstellung des Jahresberichtes obliegt einer gesonderten Abteilung des IKRK, deren Mitarbeiter/-innen kürzlich verstärkt und zusätzlich geschult worden sind, um der Berichtspflicht gegenüber den Gebern besser nachkommen zu können. 95 Die Trennung der Berichtsfunktion zu Gebern von den Länderbüros dient nach Angaben der Organisation auch Results-Based Management- Planning for and reporting on results, 2008 Bericht an die IKRK Donor Support Group, S. 1. Teil des Jahresberichtes ist das Zertifikat der Jahresabschlussprüfung. The ICRC s operational approach to women and girls Siehe: Results-Based Management- Planning for and reporting on results, 2008 Bericht an die IKRK Donor Support Group, S. 4. Im Jahr 2001 hat das IKRK außerdem eine Studie über die Auswirkungen von Kriegen auf Frauen veröffentlicht: reliefweb.int/library/documents/2001/icrc-women-17oct.pdf. Die Abteilung arbeitet derzeit mit 9 Mitarbeiter/-innen. 24

43 deren Schutz vor zu vielen Anfragen der Geber, welche die Kapazitäten überfordern würde. 96 Evaluierung Die Evaluierungsfunktion des IKRK ist noch in der Entwicklung. Externe, unabhängige Evaluierungen werden erst seit wenigen Jahren verstärkt durchgeführt. Das Instrument der externen, unabhängigen Evaluierung mit dem Ziel des Lernens und der Rechenschaftslegung etabliert sich erst langsam in der Organisation. Direkt dem Büro des Generaldirektors unterstellt ist die Evaluierungsabteilung des IKRK (nun integriert in die neue Institutional Performance Management Unit). Die gleiche Einheit ist auch für die jährliche Programmplanung verantwortlich. In der Abteilung sind drei Mitarbeiter mit dem Thema Evaluierungen befasst. Das Büro des Generaldirektors ist für die Umsetzung der Empfehlungen von Evaluierungen, Audits und Reviews zuständig. Empfehlungen sollen insbesondere in die jährliche Programmplanung einfließen. Entsprechend der institutionellen Strategie für unabhängige Evaluierungen haben diese folgende Funktion innerhalb des IKRK: Beitrag zu strategischer und operationeller Entscheidungsfindung; Verbesserung der Effektivität der humanitären Aktivitäten durch institutionelles Lernen; Beitrag zur Rechenschaftslegung und Transparenz durch die Information an Partner, Geldgeber und der Begünstigten. 97 In der Auflistung über durchgeführte Studien für die Jahre 2005 und 2006 werden 10 Berichte aufgeführt, für die Jahre 2007 und Von Letzteren sind laut Berichtstitel 5 Evaluierungen. Bemerkenswert sind die Ressourcen, die in die Vorbereitung und Begleitung der Studie investiert werden. Da das IKRK sehr dezentral arbeitet und den Länderbüros eine große Bedeutung zukommt, sind für die Studien stets ausreichend Mittel für Reisen in Länderbüros vorgesehen. Zum Evaluierungsstandard gehört es, einen Runden Tisch am Ende der Studie abzuhalten, zu dem Vertreter aller betroffenen Abteilungen eingeladen werden, um die Ergebnisse und Empfehlungen zu diskutieren. Bezüglich Transparenz und Veröffentlichung von Berichten, Studien und Evaluierungen entsteht oft ein Interessenkonflikt mit der Vertraulichkeit der Arbeit des IKRK. Das IKRK handelt mit einem weltweit einmaligen Mandat und hat die Geheimhaltung tief in seiner Arbeitsweise und Organisationskultur verankert. In der Regel wird im Zweifel für die Geheimhaltung entschieden. Evaluierungsberichte werden deshalb in der Regel nicht veröffentlicht. Es gibt erste Entwicklungen, die auf eine Öffnung der Organisation hinausläuft. So wird beispielsweise den Geldgebern Zugang zu Studien über eine verschlüsselte Webseite gewährt und mehr und mehr externe Gutachter/-innen für Evaluierungen zugelassen. 98 Das IKRK nimmt auch an dem Standing Committee for Humanitarian Response (SCHR) Peer Review Prozess teil. 99 IKRK-Evaluierungen legen die OECD/DAC-Evaluierungskriterien zugrunde und enthalten in den ToR standardmäßig die folgenden Kriterien: Relevanz und Angemessenheit, Ergebnisse, Effektivität, Effizienz, Kohärenz, Coverage, Koordination und Management. Wissensmanagement und organisationsinternes Lernen Lernen und Wissensmanagement ist in der Organisation nicht in dem Sinne institutionalisiert, dass es eine Strategie oder eine eigene Abteilung gibt, die hierfür zuständig wäre. Die Laut IKRK erhält die Organisation regelmäßig Anfragen, die die Geberorganisation mit den bereits zur Verfügung stehenden Informationen selbst hätte beantworten können. Zu der Organisation des Berichtswesens siehe Anlage 6 Standard Reporting Production/Drafting Workflow. ICRC Institutional Strategy for Independent Evaluations, June DFID (2007b). 25

44 Organisation ist jedoch dafür bekannt, dass ihre Mitarbeiter/-innen sehr engagiert, analytisch und kritisch sind. Die Organisation verfügt über eine unübersehbare Zahl von Handbüchern, Tool-Kits, Datenbanken, Intra- und Extranetseiten, und führt eigene spezialisierte Schulungen am Hauptsitz und in den Ländern durch. Was derzeit nach eigenen Angaben der Organisation oft fehlt, ist der systematische und benutzerfreundliche Zugang zu den Informationen und Wissenswerkzeugen, ein größerer Austausch zwischen den verschiedenen Einheiten der Organisation sowie auch ein besseres Lernen aus der Vergangenheit (z. B. durch Evaluierungen). Bei der Vielzahl an Informationen kommt die Organisation nach eigener Auskunft oft an die Grenzen der Absorptionsfähigkeit, so dass Daten nicht systematisch für Lernen oder für das Berichtswesen verwendet werden. Feststellungen des IKRK zur Erfolgskontrolle Die Organisation äußert sich kritisch gegenüber zunehmenden geberspezifischen Berichtsund Kontrollmaßnahmen. Die Organisation weist auf den Stellenwert des Geberanteils in der Gesamtfinanzierung des IKRK hin und stellt einen Zusammenhang zu dem Aufwand für das Antragswesen und die Berichtstellung her. Das IKRK weist außerdem darauf hin, dass Informationsanfragen der Geber häufig schon durch die übermittelten Informationen gedeckt seien. Die Organisation zeigt sich offen für eine verstärkte Diskussion über Wirkungen der IKRK- Aktivitäten im Rahmen der bestehenden Fora und Instrumente. Das IKRK würde es diesbezüglich begrüßen, wenn die Geber ihren Bedarf an Informationen spezifischer formulieren würden. 4.2 Bewertung der Informationen durch die Ressorts Vorabbemerkung Bei der Bewertung der Informationen der IO sind zu berücksichtigen: die dokumentierten Bewertungen des projektspezifischen schriftlichen Antrags- und Berichtsverfahrens, der kontinuierliche Austausch (formell und informell) zwischen den Ministerien und den IO sowie die Nachverfolgung der Aktivitäten der IO global und in den Ländern. Die Darstellung gliedert sich soweit als möglich entsprechend des chronologischen Ablaufs eines Bewilligungsverfahrens und beginnt mit der jährlichen Planung. Auf dieser Planung aufbauend folgen im Laufe eines Jahres projektspezifische Anträge und zusätzliche Programme in Fällen plötzlich auftretender Krisen. 100 Da Art und Umfang der Bewertung eng mit Art und Umfang der zur Verfügung gestellten Informationen zusammenhängen, wird in diesem Abschnitt diesbezüglich zu den Informationen, die von WFP, UNHCR und dem IKRK zur Verfügung gestellt werden, Stellung bezogen. Bewertung von Informationen außerhalb des projektspezifischen Antragsverfahren Zwischen der Bundesregierung und den IO gibt es eine Vielzahl von Instrumenten und Gelegenheiten zum Austausch von Informationen über Maßnahmen und Zielsetzungen der IO. Das WFP zum Beispiel legt dem BMZ im Kontext der ER-Sitzungen, regelmäßigen Berichterstattungen und individuellen Funding Proposals bei EMOPs und PRROs alle entscheidungs- und kontrollrelevanten Informationen insbesondere in Form des Projektdokuments und der SPRs ggf. auch Evaluierungsberichte vor. Sowohl UNHCR als auch das IKRK übersenden ihre jährlichen Aufrufe (Appeals), die überwiegend auf 100 Im Falle des AA ist darauf hinzuweisen, dass Initiativen für Maßnahmen auch aus dem AA kommen und den IO kommuniziert werden, die daraufhin Projektanträge formulieren. 26

45 Länderprogrammen aufbauen. Zu Beginn eines Jahres werden allgemeine Entwicklungen der IO sowie die Jahresprogramme mit dem BMZ und dem AA in Berlin abgestimmt. 101 Die Bewertung der in diesem Zusammenhang übermittelten Informationen wird weniger formell festgehalten als in dem sogleich beschriebenen Bewilligungsverfahren. Die Bewertungen fließen jedoch in dieses ein und bilden eine Grundlage für die projektspezifischen wie auch die ungebundenen Beiträge an die IO. Aufzuzählen sind hier insbesondere: 102 Jährliche Konsultationen; Besuche des Führungspersonals der IO und Besuche bei den IO; der häufige Kontakt der Ständigen Vertretungen in Rom und Genf; Kontakt zu deutschen JPOs; Treffen mit Vertretern der IO in den Auslandsvertretungen, gemeinsame und getrennte Feldbesuche; 103 Wahrnehmung der Mitgliedsrechte in den Führungsgremien der VN-Organisationen; Mitgliedschaft in der DSG des IKRK; Zugang zum Extranet des IKRK sowie Zugang zum Passwort-geschützten Bereich für Geber des WFP-Internets; Teilnahme an gemeinsamen Treffen zu internationalen Initiativen zur Reform des internationalen Systems der humanitären Hilfe (GHD, VN-Reform, ALNAP, etc.). Hierauf basierend bewerten die Ressorts die generelle Effizienz und Leistungsfähigkeit der Organisationen (global und in den Ländern). Einheitlich festgelegte Kriterien für die Bewertung gibt es nicht. Als Benchmark werden andere IO herangezogen. 104 Der Kontakt zu den IO ist teilweise sehr eng. Insbesondere die Mitarbeiter/-innen der Ständigen Vertretungen pflegen einen guten Kontakt zu den IO. Im Falle der betrachteten IO kann man von einer etablierten Partnerschaft sprechen, die laut AA beispielsweise noch nicht mit OCHA oder UNICEF bestehe. Dennoch ist die Bewertung der Informationen eher genereller Natur und erlaubt nicht die systematische Bewertung einzelner Programme oder Maßnahmen der Organisationen. Zu berücksichtigen ist hierbei, dass der Austausch von Informationen von einem Geber-Empfänger- Verhältnis geprägt ist. Auch wenn WFP, UNHCR und das IKRK gemeinhin als offen und transparent gelten, wird seitens der IO große Sorgfalt auf die Weiterreichung von Informationen an die Geber gelegt. Bewertung der Finanzierungsanträge für projektbezogene Beiträge Grundlage der Bewertung Grundlage für die Förderung von Vorhaben der humanitären Hilfe im AA ist das Konzept zur Förderung von Vorhaben der humanitären Hilfe aus Kapitel 0502 Titel , dessen Verfahren in Abschnitt 5 auf internationale Organisationen soweit wie möglich sinngemäß Anwendung findet. 105 Grundlage für die Förderung von Vorhaben in der ENÜH ist die 101 UNHCR und das IKRK verbringen je einen halben Tag mit dem AA und dem BMZ-Referat 213. Mitarbeiter/-innen des jeweils anderen Ressorts nehmen an den Treffen nicht teil. Das AA führt keine jährlichen Konsultationen mit WFP durch, diskutiert aber derzeit eine verstärkte Zusammenarbeit im Bereich Logistik. 102 Die hier angeführte Liste hat keinen Anspruch auf Vollständigkeit, sondern beschränkt sich auf die Punkte, die Gegenstand und Ergebnis der Interviews und der Dokumentenanalyse waren. 103 Anzahl, Art und Umfang der Feldbesuche hängen von einer Reihe von Faktoren ab. Hierzu gehören auch Sicherheitsfragen. 104 So wird z. B. das IKRK gemeinhin gegenüber VN-Organisationen als die effizientere Organisation wahrgenommen. 105 Hier vorliegend in der Fassung vom anwendbar ab Daneben gibt es noch Förderkonzepte zur Katastrophenvorsorge und zum humanitären Minenräumen, sowie ein 27

46 Richtlinie zur Förderung von Vorhaben in der entwicklungsorientierten Not- und Übergangshilfe aus Kapitel 2302 Titel des BMZ. 106 Prüfung durch die Bearbeiter Der zuständige Bearbeiter prüft den Antrag auf Schlüssigkeit und Förderungswürdigkeit. Wie im Detail die Prüfung stattfindet ist dem einzelnen Bearbeiter überlassen. Bezüglich der Förderungswürdigkeit ist in der Regel der Bedarf maßgebend (Relevanz). Es kann jedoch auch eine Rolle spielen, wie viel Geld eine Organisation im laufenden Jahr bereits erhalten hat. In der Regel werden die Maßnahmen in erster Linie dahingehend geprüft, ob sie mit den im Förderkonzept bzw. der Richtlinie aufgelisteten förderungswürdigen Maßnahmen übereinstimmen. Weitere Kriterien, wie z. B. Einbindung in lokale Maßnahmen, Wirtschaftlichkeit, 107 Konfliktsensibilität der Maßnahmen, oder Koordination mit anderen Aktivitäten, werden nicht standardmäßig geprüft. Wert wird hingegen darauf gelegt, dass die Organisationen Maßnahmen vorschlagen, die innerhalb ihres Mandats liegen und dass kein anderer Akteur vor Ort in derselben Region oder in demselben Sektor arbeitet (Koordinierungsfunktion). Verifizierung der Informationen Sofern eine Verifizierung der Informationen erforderlich erscheint, greifen Bearbeiter auf ihre allgemeinen Kenntnisse der Ländersituationen zurück und bedienen sich bei Bedarf hausinterner Informationsquellen sowie spezialisierter öffentlicher Informationsquellen, wie z. B. des Reliefweb, Berichte der International Crisis Group oder die Internetseite Reuters Alert 108. Für das AA spielen die Länderberichte der EU (DG ECHO) eine wichtige Rolle. Gelegentlich werden auch nicht spezialisierte öffentliche Quellen konsultiert, wie z. B. ein Vorgang im BMZ belegt, in dem ein Ausdruck der Wikipedia-Internetseite über Somalia der Akte hinzugefügt wurde. Unabhängig vom Antragsverfahren fertigen Sachbearbeiter/-innen des AA regelmäßig 4- bis 5- seitige Hintergrundberichte über die Ländersituationen an, die als Entscheidungsgrundlage für Referent/-innen dienen. Dementsprechende Berichte wurden im BMZ bei der Akteneinsicht nicht vorgefunden. Laut Angabe des BMZ werden Situationsanalysen, an denen die BMZ Regionalreferate und das AA beteiligt werden, angefragt. Für die Bewertung von Anträgen, die Krisenkontexte betreffen, die sich über einen längeren Zeitraum erstrecken (z. B. Krisen im Kongo, Darfur, Sri Lanka), werden im AA selten Berichte aus bereits bewilligten oder abgeschlossenen Projekten herangezogen, um den dort beschriebenen Zustand mit den Informationen des Finanzierungsantrags zu vergleichen. Und dies, obwohl sich die Maßnahmen oft wiederholen und auf vorangegangene Maßnahmen aufbauen. 109 Erschwerend ist hierbei, dass Schlussberichte verfahrensgemäß spät eingereicht werden (zum Ende des Folgejahres, siehe oben). Die Interviews ergaben, dass die Bewertungen der Informationen stark von dem jeweiligen Bearbeiter abhängen, dessen persönlichen Interessen und seinem Hintergrund. Spezifische Verifizierungen der Informationen bezüglich des Bedarfs werden in der Regel nicht durchgeführt. Laut AA bestehe kein Informationsmangel was die generelle Lage vor Ort angehe. Mitarbeiter/- innen sind durch Verfolgung der Presse, der internen Vermerke und die Mitwirkung in verschiedenen Gremien gut über die in ihren Zuständigkeitsbereich fallenden Länder informiert. Grundsatzpapier der Bundesregierung zur humanitären Hilfe: Bericht der Bundesregierung über die deutsche humanitäre Hilfe im Ausland 2002 bis Stand Mai In einigen Fällen setzen Bearbeiter das Budget z. B. in Relation zu den Maßnahmen, indem durch eine einfache Kalkulation die Projektkosten pro Empfänger der Hilfsleistung ermittelt werden Etwa in Darfur, wo seit 2003 Schutzmaßnahmen und Gesundheitsversorgung für Binnenvertriebene durchgeführt werden. Im AA wird diesbezüglich auf das Verständnis der humanitären Hilfe als kurzfristige Maßnahme hingewiesen, was den hier angesprochenen Situationen nicht immer gerecht wird. 28

47 Die Deckung des Informationsbedarfs wird von Mitarbeiter/-innen des BMZ, die weniger Gelegenheiten zu Länderbesuchen haben, anders empfunden. Im Falle des WFP werden bei Bedarf individuelle Nachfragen und Rückmeldungen zur Programmgestaltung an das WFP-Büro in Berlin übermittelt, das diesen nach Einschätzung des BMZ zügig und sehr klientenorientiert nachkommt. Informationen werden von Referat 213 mit den in den Länderreferaten des BMZ und AA vorliegenden Erkenntnissen abgeglichen. Die Länderreferate des AA kontaktieren im Bedarfsfall die Botschaften. Bei Bedarf werden zusätzlich individuelle Informationen zur Programmgestaltung bei den HQ der IOs angefordert. Im AA besteht eher die Möglichkeit sich selbst vor Ort ein Bild zu machen. 110 Darüber hinaus bedient sich das AA eines Gutachters, der eigens für den Arbeitsstab sog. Erfolgskontrollen bei deutschen Zuwendungsempfängern durchführt. Die Maßnahme ist weder von der Intention, noch von der Methodik als systematische Evaluierung zu bezeichnen. Die Informationen dieser 10 bis 14-tägigen Reisen vor Ort fließen genauso wie Informationen aus der Gremienarbeit des AA und anderen Quellen auch in die Bewertung der Anträge der IO ein, sind jedoch nicht auf diese ausgerichtet. 111 Die Auswahl der Gutachterreisen ist mit dem BMZ nicht abgestimmt. Die Ergebnisse werden i.d.r. auch nicht an das BMZ weitergegeben. Beteiligung anderer Ressorts Über den Finanzierungsantrag entscheidet das Auswärtige Amt in der Regel unter Beteiligung seiner Auslandsvertretungen in den Zielländern. Diese werden per um Stellungnahme gebeten. In der Regel gibt es keine Einwände der Auslandsvertretungen. 112 Andere Ressorts, insbesondere das BMZ, werden laut Förderkonzept beteiligt. 113 Das BMZ (Referat 213) wird nach der Genehmigung des Beitrags seitens des AA informiert, während das BMZ stets das AA (Länderreferate und VN-05) vor Bewilligungserteilung mit 14-tägiger Frist zur Stellungnahme auffordert. 114 Die Bewertung der Dokumente des WFP erfolgt durch das federführende Referat im BMZ, das das AA, die zuständigen BMZ-Regionalreferate und unter Umständen die GTZ in die Bewertung einbezieht. Laut Referat 213 findet eine sehr enge Abstimmung mit den Länderreferaten des BMZ sowie der GTZ statt. 115 Im BMZ werden in einigen Fällen auch Auslandsvertretungen um eine Stellungnahme gebeten und diese auch an NRO weitergeleitet, die vom BMZ gefördert werden. Eignung der Anträge Die Anträge sind oft von eher generellem Charakter und wenig spezifisch im Hinblick auf Elemente, die für eine spätere Erfolgskontrolle im Sinne der BHO erforderlich wären, d. h. hinsichtlich Zielgruppen, lokalem Projektkontext und angestrebte Ziele und Wirkungen. Dementsprechend kann auch die Bewertung durch die Ressorts nicht auf diese Details eingehen. 110 So geschehen in einer plötzlich eintretenden Krise, z. B. zu Anfang des Jahres durch die Keniareise eines Referenten in Begleitung eines AA-Gutachters. Ansonsten führen Referent/-innen ca. 2 Dienstreisen pro Jahr in Krisengebiete durch. 111 Die Aktivitäten der von der Bundesregierung geförderten IO werden hierbei nicht geprüft. Der Gutachter konsultiert jedoch die IO insoweit deren Tätigkeiten oder Koordinierungsfunktionen für die Maßnahmen der NRO relevant sind. 112 Das Verfahren dient gleichzeitig der Information und Sensibilisierung der Botschaft über das anstehende Vorhaben der Organisation in dem Land. Art, Umfang und Qualität der Stellungnahmen der Auslandsvertretungen hängen laut AA von der jeweiligen Botschaft, deren Schwerpunktsetzung, sowie dem Hintergrund und den Interessen der Mitarbeiter/-innen ab Förderkonzept des AA. 114 Das BMZ spricht sich für eine Änderung dieser Praxis aus. Eine Änderung ist diesbezüglich für Vorhaben in der Katastrophenvorsorge eingeführt worden, die nun auch bereits vor Bescheid zur Stellungnahme dem BMZ vorgelegt werden. 115 Beteiligung anderer Ressorts nach Abschnitt 6.2 der Förderrichtlinie des BMZ. 29

48 Auch wenn die Tatsache, dass bei WFP strukturierte Planungsübersichten (LogFrames) erstellt werden, insgesamt positiv zu bewerten ist, bleibt nach kursorischer Prüfung festzustellen, dass diese immer wieder Mängel aufweisen und die für die Erfolgskontrolle erforderlichen Informationen nicht immer nachvollziehbar sind, z. B.: Die Ziel- bzw. Wirkungshierarchie und -logik ist nicht immer schlüssig. Geplante kurz- bis mittelfristige Wirkungen (outcomes), z. B. Sicherung oder Verbesserung des Ernährungsstatus, sind teilweise nur erreichbar, wenn komplementäre Maßnahmen außerhalb des vorgeschlagenen Projektes gesichert sind, z. B. Gesundheitsversorgung. Resultate und Indikatoren (mit Wertbestückungen) sind zumeist nicht sauber getrennt. In vielen Fällen fehlt die Wertbestückung der Indikatoren bzw. sind die Wertbestückungen als absolute oder prozentuale Zahlen festgelegt, die später keine Analyse erlauben, ob sich eine Verbesserung oder eine Verschlechterung der Situation ergeben hat (z. B. quantity of food to be distributed to entitled participants ). Inputs sind nur teilweise genannt. Anträge von UNHCR beziehen sich oft auf die Länderprogramme und wenig konkret auf spezifische Maßnahmen, die von der Bundesregierung finanziert werden sollen. Zielgruppen werden oft nicht spezifiziert nach Alter, genauer Herkunft, Aufenthaltsort, oder Geschlecht. 116 Die Anträge enthalten keine Indikatoren zur Zielerreichungskontrolle. Einige Anträge setzten sich mit möglichen Risiken für die Programmumsetzung auseinander (z. B. Sicherheitslage, Kooperation mit der Regierung). Auch die Anträge des IKRK enthalten keine Indikatoren und sind wenig spezifisch, was die genauen Zahlen und Charakteristika der Zielgruppe anbelangt. Beanstandungen und Bewilligung Die Bewertung der Finanzierungsanträge beim BMZ und AA erfolgt im Wege der kursorischen Prüfung der Anträge. Da Anträge häufig bereits vorbesprochen sind (entweder im Rahmen der jährlichen Konsultationen oder durch Korrespondenz), werden allenfalls einige wenige Änderungen vorgenommen, Anträge aber in der Regel nicht als Ganzes abgelehnt. Die im BMZ eingereichten Anträge beruhen auf strategischen Bedarfsplanungen, die im Rahmen eines Planungsprozesses mit den IO festgelegt werden und bei denen zu fördernde Vorhaben priorisiert werden. Beanstandungen werden häufig bereits vor offizieller Beantragung im Wege des informellen Austausches zwischen der IO und dem Ministerium besprochen und behoben. Es kann z. B. vorkommen, dass eine IO eine Reihe von möglichen zu fördernden Maßnahmen an das AA übersendet und diese dann telefonisch mit dem AA bespricht, bevor der Antrag übersendet wird. Wenn es Beanstandungen zu den Förderanträgen gibt, dann beziehen diese sich häufig auf Maßnahmen, die nicht dem Förderbereich des jeweiligen Ressorts zuzurechnen sind. Dies wird dem Antragsteller mitgeteilt, so dass er diese Maßnahmen aus dem Antrag nimmt und dieser angepasst wird, bevor er beschieden wird. Sachbearbeiter/-innen des AA fertigen ein standardisiertes Bewilligungsformblatt aus, welches sich in die Darstellung des Vorhabens und die Beurteilung des Vorhabens unterteilt. Die Abschnitte über die Bewertung in den Formularen sind eher genereller Natur und gehen nicht detailliert auf die Maßnahme ein. 117 Zur Notwendigkeit und Angemessenheit der 116 Abschnitt 4.2 der Förderrichtlinie des BMZ verlangt, dass nur Vorhaben mit quantitativ und regional klar umrissener Zielgruppe gefördert werden. Anträge sprechen jedoch oft lediglich von Flüchtlingen, Rückkehrern oder betroffener Bevölkerung (affected population), ohne genauer auf deren derzeitigen Aufenthaltsort oder deren Zusammensetzung einzugehen. 117 Z. B.: Das Vorhaben passt zum derzeitigen Engagement in der Region. Die Maßnahme wird als förderungswürdig erachtet. eine humanitäre Aufgabe, an der sich auch die Bundesregierung beteiligen sollte. 30

49 vorgeschlagenen Maßnahme wird oft auf die generelle Lage in einem Land hingewiesen oder auf einen VN-Aufruf im Rahmen der VN-koordinierten Nothilfe. 118 Die Projektentscheidungen im BMZ-Referat 213 bestehen aus einer Darstellung und einer Beurteilung des Vorhabens. Die Beurteilung wird wie bei den Vermerken des AA kurz gehalten und enthält oft etwa folgenden Wortlaut: Das Vorhaben ist insgesamt geeignet, zur Verbesserung der Lebensumstände beizutragen. Häufig findet sich lediglich die kurze Anmerkung: Das Vorhaben entspricht den Förderrichtlinien zu Titel und ist förderungswürdig. In einigen der eingesehenen Projektunterlagen wurde in der Bewertung auf Zielsetzungen der Maßnahme eingegangen, die zwar einen Themenschwerpunkt des BMZ bilden, so in den Antragsunterlagen jedoch nicht explizit vorgesehen waren. 119 Insbesondere Schutztätigkeiten (Protection) oder Maßnahmen zur Verbesserung der Gesundheitsversorgung werden von Mitarbeiter/-innen des AA in den Anträgen als zu unspezifisch dargestellt empfunden. Prüfung der projektspezifischen Berichte Berichte der IO werden zunächst vom Sachbearbeiter auf ihre Schlüssigkeit geprüft und dann vom Referenten noch einmal gegengelesen. Referent/-innen überlassen es in einigen Fällen dem Sachbearbeiter, sie auf Unregelmäßigkeiten aufmerksam zu machen und lesen nicht alle Schlussberichte bzw. Vermerke hierüber. Geeignetheit der Berichte Die Zwischen- und Schlussberichte des WFP liefern wichtige Informationen zu den Entwicklungen laufender und abgeschlossener Vorhaben. Allerdings sind weiterhin einerseits Qualitätsunterschiede in der Berichterstattung und andererseits eine (Über-)Betonung quantitativer Daten und Informationen (vorrangig zu Inputs und Outputs) festzustellen. Wichtige Grundlagen zur Verbesserung von Programmen und Projekten liefert das Kapitel zu Lessons Learnt. Die von UNHCR eingereichten Schlussberichte sind von genereller Natur und enthalten wenig spezifische Informationen über die Zielgruppen, die Wirksamkeit der Maßnahmen oder deren Wirtschaftlichkeit. Die Berichte enthalten generelle Informationen über die Entwicklungen in den Ländern und listen die Aktivitäten von UNHCR auf. 120 Der Informationsgehalt der Berichte des UNHCR spiegelt nicht die oben von der Organisation dargestellten Verfahren in Results-Based-Management und Monitoring wieder. Über Erfolge wird in der Regel im Sinne von Aktivitäten oder Leistungen, also z. B. Anzahl der assistierten Flüchtlinge oder Binnenvertriebene berichtet. 121 In den Schlussberichten an die Bundesregierung geht UNHCR nicht auf die oben unter erwähnten Indikatoren ein. Auch die Berichte des IKRK sind mehr auf Output als auf Wirkungen ausgerichtet. Zwischenund Schlussberichte enthalten Indikatoren ( Main Figures and Indicators ), die jedoch reine Output-Indikatoren sind (z. B. Zahl der besuchten Gefangenen, der unterstützten Gesundheitszentren). Die Berichte spiegeln nicht den Aufwand und den Umfang der Datenerhebung und des internen Berichtswesens des IKRK wieder, wie weiter oben unter dargestellt Im ersten Fall z. B. die generell schlechte Situation für einige Bevölkerungsgruppen in Afghanistan. 119 Konfliktprävention in der Bewertung eines Antrages des IKRK. 120 Abschnitt 6.4 der BMZ Förderrichtlinie z. B. verlangt, dass in dem Sachbericht die Verwendung [...] sowie das erzielte Ergebnis im Einzelnen darzustellen und den vorgegebenen Zielen gegenüberzustellen sind. [ ] Ferner ist die Notwendigkeit und Angemessenheit der geleisteten Arbeit zu erläutern. 121 Der Jahresbericht 2007 stellt diesbezüglich schon eine Verbesserung dar, indem er mehr auf Ergebnisse eingeht, die über die Output-Ebene hinaus gehen (z. B. Umsetzung von Flüchtlingsrecht in nationaler Gesetzgebung, Reduzierung der Global Acute Malnutrition (GAM-)Rate). 122 Vgl. Grünewald, F. et al. (2006), S. 7: ICRC operations succeed in achieving considerable results. However, in many situations, statistics fail to portray the true value of these achievements. Even though some programme results or impacts are difficult to measure and are linked to external 31

50 Abschlussvermerke Die Anmerkungen zu den Schlussberichten sind in der Regel genereller Natur und wenig projektspezifisch. Entsprechend des Informationsgehaltes der Schlussberichte (z. B. Bericht über Leistungen anstelle von Wirkungen, fehlende Indikatoren zur Zielerreichung, Mangel an Details bzgl. Zielgruppen) kann eine Erfolgskontrolle (Zielerreichung, Wirksamkeit, Wirtschaftlichkeit der Maßnahmen) nur höchst eingeschränkt durchgeführt werden. Die kursorische Prüfung erlaubt es den Bearbeitern lediglich, die gröbsten Abweichungen zwischen beantragten Maßnahmen und durchgeführten Maßnahmen laut Schlussberichten festzustellen. Die Dokumentation der Bearbeitung der verschiedenen Berichte und eines abschließenden Urteils zur Prüfung und Erfolgskontrolle ist noch verbesserungswürdig. Für das WFP werden bisher noch keine Prüfvermerke erstellt. Diese sollen in naher Zukunft, vergleichbar zu den Prüfvermerken zur Zusammenarbeit mit UNHCR, systematisch eingeführt werden. Im AA wird unter Verwendung eines Standardformats ein Vermerk über die Berichtsprüfung angefertigt. 123 Im BMZ-Referat 213 weisen Aktenvermerke auf die Anwendung von EZ- Maßstäben bei der Erfolgskontrolle hin. 124 Stellungnahmen beruhen dabei nicht immer auf den in den Anträgen enthaltenen Informationen. 125 Bisher gibt es beim AA und BMZ noch kein systematisches Wissensmanagement und Lernen aus Erfolgskontrolle. Beim BMZ, dem für das WFP zuständigen Ressort, werden Informationen in vorhabenspezifischen Akten zusammengestellt und können bei Bedarf aktiviert werden. Systematische Querschnittsauswertungen erfolgen zweijährig im Rahmen der Strategiepapiere des BMZ. Einzelevaluierungen werden geprüft soweit sie Gegenstand der Tagesordnung der ExCom-Sitzung sind. Themenvorschläge für aus Sicht des BMZ besonders relevante Themen für Lernerfahrungen aus der Programmarbeit des WFP wurden bisher vereinzelt in die Evaluierungsarbeit der Organisation eingebracht. Die Jahresberichte werden von Sachbearbeiter/-innen und Referent/-innen gelesen, wobei sich die Lektüre meistens auf die Länder des jeweiligen Zuständigkeitsbereiches und Teile von Interesse, beziehungsweise auf die Zusammenfassung beschränken. Vermerke über die Bewertung der Jahresberichte werden nicht angefertigt. 4.3 Maßnahmen der Ressorts im Falle unzureichender Informationen Laut Bewilligungsbescheid behält es sich die Bundesregierung vor, die Auszahlung der Mittel oder von Teilbeträgen davon zurückzuhalten bzw. die Mittel oder Teilbeträge davon zurückzufordern, wenn sich bedeutsame Änderungen in Programm und Budget ergeben oder wenn Ziele und Durchführung des Programms aus anderen wichtigen Gründen gefährdet scheinen. 126 Umwidmungen der Mittel sind in begrenztem Maß und nach Rücksprache mit den Ministerien möglich, sofern die Situation vor Ort die planungsgemäße Durchführung der Maßnahme nicht erlaubt. Grenzen bei der Umwidmung sind vor allem die Vorgaben zur Einhaltung der Zeitrahmens sowie die Voraussetzung, dass es sich bei den neuen Maßnahmen um solche handelt, die den Förderrichtlinien des jeweiligen Ressorts entsprechen. Beanstandungen von Projektschlussberichten seitens der Ministerien sind die Ausnahme. Zu Ablehnungen des Schlussberichtes kommt es sehr selten. Wenn es Beanstandungen gibt, dann beziehen sie sich in der Regel auf die nicht ausreichende Tiefe der Berichte. In diesen Fällen factors, this does not mean that they are not important Das Format befindet sich derzeit in Überarbeitung. 124 Stellungnahmen beginnen generell mit der folgenden Aussage: Der entwicklungspolitische Erfolg der Maßnahme. 125 Z. B.: Die Maßnahmen dürften einen spürbaren Anteil an einer konfliktfreien und nachhaltigen Wiedereingliederung in örtliche Gemeinschaften und Clanstrukturen gehabt haben. Weder der Antrag, noch der Schlussbericht zu dieser Maßnahme bezogen sich auf Konfliktsensibilität oder Nachhaltigkeit und enthielten keine detaillierten Angaben zu örtlichen Gemeinschaften oder Clanstrukturen. 126 Abschnitt 3 des standardisierten Zuwendungsbescheides 32

51 wird die Organisation um zusätzliche Auskunft gebeten. Die Kommunikation zwischen den Ressorts und den IO diesbezüglich funktioniert überwiegend gut. Laut AA dauert es allerdings im Vergleich zu den deutschen und internationalen NRO lange, bis Informationen von den VN zur Verfügung gestellt werden. Anmerkungen in Schlussberichten werden nicht regelmäßig weiter verfolgt. Empfehlungen über weitere Förderungen in Vermerken sind die Ausnahme. Obwohl Anträge und Berichte keine Hinweise auf Wirtschaftlichkeit enthalten, wird dieses in der Regel nicht beanstandet. Einige der Zahlenangaben in Schlussberichten sind zudem nicht immer glaubwürdig. Dies z. B., wenn die Anzahl der Bedürftigen im Antrag mit angegeben wird und zu 100% mit der Zahl der von UNHCR vorgeblich betreuten Menschen (im Abschlussbericht) übereinstimmt. In dem konkreten Fall ist dies auch von dem zuständigen Bearbeiter handschriftlich vermerkt worden, ohne dass es dann jedoch weiteren Schriftverkehr über diese Anzweiflung in der Akte gab. 4.4 Kohärenz der Erfolgskontrolle der Ressorts Hinsichtlich des Verfahrens kann überwiegend von einer Kohärenz der Erfolgskontrolle gesprochen werden. Beide Ministerien prüfen Anträge und Schlussberichte in vergleichbarer Weise. Die IO übersenden dementsprechend einheitliche Informationen und verfahren mit beiden Gebern in gleicher Weise. Anträge und Schlussberichte an die beiden Ministerien unterscheiden sich nicht in Art und Umfang. 127 Unterschiede ergeben sich aus der Zuständigkeitsverteilung zwischen BMZ und AA für einzelne IO, was bedeutsam ist für die Nachverfolgung der Aktivitäten der IO. Unterschiede ergeben sich außerdem bei der Konsultation von Informationsquellen in den Zielländern. Beim AA liegt hier klar der Schwerpunkt auf den Stellungnahmen der Botschaften. Bis zu einem gewissen Grad können sich Mitarbeiter/-innen des AA in Berlin selbst einen Eindruck vor Ort verschaffen. Im BMZ-Referat 213 ist der Kontakt zu den Länderreferaten sowie zur GTZ und auch einigen Fällen zu NRO bedeutender und die Möglichkeit, sich selbst vor Ort ein Bild zu machen, eingeschränkter. Von Bedeutung sind hierbei auch die unterschiedlichen personellen Kapazitäten der beiden Ressorts. VN-05 und Referat 213 stehen in engem Kontakt und konsultieren sich regelmäßig hinsichtlich genereller Entwicklungen in den IO sowie über einzelne Maßnahmen der IO. Beide Ressorts halten jedoch getrennt voneinander Konsultationen mit den IO ab. Das AA nimmt auch nicht an den Konsultationen des BMZ mit dem UNHCR und der GTZ über die sog. Kombifinanzierung teil. Ein Unterschied besteht in den Zeitpunkten der Konsultationen bei projektspezifischen Entscheidungen, bei denen das AA das BMZ Referat 213 erst nach der Entscheidung informiert, während das BMZ den Arbeitsstab Humanitäre Hilfe bereits vor der Bescheidung um Stellungnahme bittet. 128 Eine Abstimmung findet bei längerfristigen Krisen statt, wo eine Abgrenzung der humanitären Hilfe im Sinne der Förderung durch das AA von der ENÜH notwendig, aber nicht immer unproblematisch ist. Bei der Kommentierung von Schlussberichten fällt seitens des Referats 213 die EZ-spezifische Betrachtungsweise auf, die beispielsweise in einigen UNHCR-Berichten konfliktsensitive Aspekte berücksichtigt, was in den Vermerken des AA nicht der Fall ist. 4.5 Andere Geber und deren Bewertungssysteme 127 Unterschiede gibt es jedoch in dem Ablauf der Antrags- und Bewilligungsverfahren. Für das BMZ- Referat 213 spielt beispielsweise die jährliche Planung eine größere Rolles und für das AA ist es für die Zeitlichkeit der Zuwendungszusagen von Bedeutung, dass die Leiterin des Arbeitsstabes endentscheidungsbefugt ist. 128 Das BMZ-Referat 213 strebt eine frühzeitigere Einbindung des BMZ, also vor Projektentscheidung durch das AA, an. 33

52 4.5.1 Schweiz Eine Besonderheit der Schweiz ist, das die Direktion für Entwicklung und Zusammenarbeit des Department für Auswärtige Angelegenheiten (DEZA) Geldgeber und gleichzeitig Durchführungsorganisation ist 129. Außerdem befinden sich die humanitäre Hilfe und die EZ unter einem Dach. Die Zuwendungskontrolle wird im Hinblick auf Rechenschaftslegung von DEZA als ausreichend angesehen, wenn auch die internen Anforderungen über die letzten Jahre stetig steigen. Als Stärke im System der DEZA wird das sog. Dreieck angesehen: Berichte werden von drei Stellen angefertigt und gegengelesen. Dies ist der Sachbearbeiter einer Region oder eines Landes, der Sachbearbeiter der Sektion für multilaterale Organisationen und der DEZA- Mitarbeiter vor Ort. Hierbei ist von Vorteil, dass viele DEZA-Mitarbeiter/-innen über Erfahrung im Feld und zum Teil auch direkt bei den multilateralen Organisationen verfügen. Sachbearbeiter reisen i.d.r. zwei Mal pro Jahr selbst in die Zielländer. 130 Eine weitere Besonderheit sind sog. Secondments zu VN-Organisationen, wo von DEZA bereitgestellte und finanzierte Mitarbeiter/-innen für einen bestimmten Zeitraum Mitarbeiter/in einer multilateralen Organisation werden. Hierüber werden Abkommen mit den Organisationen abgeschlossen, die auch eine Berichtspflicht beinhalten. Außerdem findet ein starker informaler Austausch zwischen diesen Mitarbeiter/-innen und der DEZA statt. In der humanitären Hilfe hat die DEZA bisher nicht viele Evaluierungen durchgeführt. Es gab Sektorevaluierungen (z. B. zum Thema Wasser) die auch die humanitäre Hilfe umfassten. Evaluierungen sollen in der Zukunft verstärkt durchgeführt werden, wobei offene, die Organisation einbindende Methoden erwünscht sind Niederlande Die Niederlande sind bestrebt so weit als möglich ein guter Geldgeber im Sinne der internationalen Reformen der humanitären Hilfe zu sein. VN-Reformen und GHD werden ausdrücklich unterstützt 131. Zum Ausdruck kommt dies zum einen in weitestgehend nicht gebundenen Beiträgen an IO, zum anderen in der Gestaltung des Berichtswesens. IO erhalten eine einmalige jährliche Zuwendung im Rahmen der Aufrufe der IO. Für WFP und UNHCR findet eine Bindung der Mittel im Rahmen des Consolidated Appeal Process (CAP) auf Länderebene statt. Es obliegt den IO zu entscheiden, für welche Aktivitäten sie die Mittel einsetzen. Für plötzlich auftretende Krisen können zusätzlich Mittel beantragt werden, die von Fall zu Fall entschieden werden. Festgeschrieben ist dies in einem Rahmenabkommen, das die Niederlande mit dem IKRK, UNHCR, WFP, OCHA und UNICEF abgeschlossen haben (Channel Finance Agreements) 132. Für Beiträge an das IKRK ist die einzige Bedingung, dass Mittel in OECD/DAC- Empfängerländern verwendet werden. 133 Aber auch für andere Empfängerländer (wie z. B. Russland) werden Lösungen gefunden, so dass die Programme des IKRK dort gefördert werden können. Daneben werden entsprechend dem Verfahren bei der VN Programme nach plötzlich auftretenden Krisen finanziert. 129 Etwa 1/3 der Mittel für humanitäre Hilfe gehen an das IKRK, etwa 1/3 an multilaterale Organisationen und rund 1/3 fließen in die Eigenimplementierung, davon wiederum etwa 1/3 an Schweizer NRO bzw. in die Programmfinanzierung. 130 Ziel einer kürzlich vorgestellten Initiative zur Reorganisation von DEZA soll es sein, noch dezentraler und mit mehr Verantwortung in den Länderbüros zu arbeiten. News/News_Detailansicht?itemID= Die Niederlande setzen auf die VN als zentralen Akteur und Koordinator der humanitären Hilfe. OCHA, IASC, CHAP und CAP werden als die prinzipiellen Instrumente der niederländischen Strategie in der humanitären Hilfe angesehen. 132 Seit 2003, siehe Beispiel: Channel Finance Agreement between The Netherlands Minister for Development Cooperation and the UN Office for the Coordination of Humanitarian Affairs % der Mittel werden für Aktivitäten in der Zentrale eingesetzt, 85% für Aktivitäten in den Ländern. 34

53 Im Weiteren äußert sich der Ansatz der Niederlande in dem Bestreben des Außenministeriums, das Berichtsverfahren so einfach und kostengünstig wie möglich zu halten. Dies geschieht vor allem durch die Akzeptanz der Jahresberichte der IO als einzige Berichterstattung an den Geber. Für Beiträge, die außerhalb der jährlichen Förderung stattfinden (plötzlich eintretende Krisen) werden ebenfalls Jahresendberichte verlangt, welche die folgenden finanziellen Informationen enthalten sollen: (i) Gesamtheit der erhaltenen Förderung; (ii) Gesamtheit der von den Niederlanden erhaltenen Mittel; (iii) Gesamtheit der ausgegebenen Mittel; (iv) Anteil der Managementkosten ( Programme Support Costs Recovery ); (v) Bilanz der nicht verwendeten Mittel. Hinter der Vereinfachung des Systems steht nicht nur das Bestreben der Niederlande, international als guter Geldgeber wahrgenommen zu werden. Außerdem spielt eine entscheidende Rolle, dass der Verwaltungsaufwand intern reduziert werden musste, da die Kapazitäten der Abteilungen in der Vergangenheit durch die projektspezifische Arbeitsweise überlastet waren bzw. dass durch den hohen Aufwand auf der administrativen Seite die Zeit für strategische Arbeit zu kurz kam. 134 Zur Anpassung der Verfahren wurden auch Regularien geändert und ein ständiger Dialog mit dem Niederländischen Rechnungshof geführt. Daneben gibt es die üblichen Formen der Zusammenarbeit wie beispielsweise in jährlichen Treffen mit Vertretern der IO, auf Botschaftsebene und in der DSG des IKRK. Jedes Jahr werden alle IO in einer kurzen Analyse erfasst, die das Ministerium zusammen mit ihren ständigen Vertretungen anfertigt. Das Ministerium ist bemüht, Rückforderungen von IO zu vermeiden, da der Verwaltungsaufwand die Wirtschaftlichkeit der Maßnahme in Frage stellen würde. Gemeinsam mit den IO wird eine Lösung diskutiert, falls die IO die Mittel nicht ausgeben kann. So wurde beispielsweise eine Zuwendung an WFP in der jüngsten Libanonkrise, die die Organisation nicht verwenden konnte, umgewidmet, so dass die Organisation das Geld außerhalb des Libanon einsetzen konnte. Das Ministerium ist verpflichtet, Politikfelder regelmäßig zu evaluieren und 2006 fand eine umfassende Evaluierung der niederländischen humanitären Hilfe der Jahre durch die Evaluierungsabteilung des Ministeriums statt (IOB Policy and Operations Evaluation Department). 135 Daneben steht der Abteilung für Humanitäre Hilfe die Möglichkeit offen, selbst Evaluierungen durchzuführen. Laut der oben genannten Evaluierung ist dies jedoch nur sehr begrenzt geschehen. 136 Schließlich nimmt das Ministerium auch an gemeinsamen Evaluierungen mit anderen Gebern teil. 137 Die Teilnahme an gemeinsamen Evaluierungen wird ebenfalls von IOB wahrgenommen. Die oben genannte Evaluierung war Anlass zu einer umfassenden Prüfung des niederländischen Systems der humanitären Hilfe und hat eine Reihe von Fragen aufgegriffen, die auch für Deutschland und den mit dieser Vorstudie eingeleiteten Prozess der Betrachtung des Gesamtsystems der humanitären Hilfe von großem Interesse sind. 138 Ergebnisse der Fünfjahresstudie betreffen zum Beispiel auch die Erfolgskontrolle. Hinsichtlich des neuen Berichtsverfahrens (Akzeptanz der Jahresberichte als einzige Berichtsform) stellt die Studie fest: The unearmarked funding and the new reporting approach, [ ] make it difficult if not impossible to monitor or even trace the Dutch contributions at the intervention level. The 134 Die Abteilung für Humanitären Hilfe setzt mit 9 Mitarbeiter/-innen jährlich ca. 250 Mio. Euro um. 135 Dutch Humanitarian Assistance, An Evaluation, IOB Evaluations, Juli Z. B. wurden im Jahr 2005 nur zwei Evaluierungen durchgeführt. Siehe Seite 107 der IOB Evaluierung. 137 So z. B. im Jahr 2005 an einer gemeinsamen Evaluierung zu Binnenvertriebenen sowie an Studien über die Tsunami-Katastrophe. 138 Ausführlich diskutiert wurde z. B. das Fehlen einer niederländischen Politik für den Sektor und Fragen der Zuwendungsmodalitäten und Verfahren. Die Studie basiert auf ausgewählten umfassenden Regional- bzw. Länderstudien. 35

54 Humanitarian Aid Division does not consider this a drawback, as long as it remains possible to assess the overall performance of the implementing organizations. 139 Im Weiteren geht die Studie auf die zentralen Elemente der generellen Beobachtung der Aktivitäten der IO durch das Ministerium ein. Die jährlichen Treffen mit IO sollen diesem Zweck dienen, werden laut der Studie in der Realität jedoch in der Regel für generelle Entwicklungen der IO sowie Politikfragen genutzt. Ein weiteres zentrales Element sollen die Feldbesuche sein (durch die Botschaften sowie im Rahmen der DSG). Insbesondere die Überwachungstätigkeiten durch die Botschaften werden in dem Bericht als problematisch dargestellt, da Botschaftspersonal oft nicht ausreichend vorhanden ist bzw. neben anderen Aufgaben nicht ausreichend Zeit hat, nicht ausreichend erfahren in der humanitären Hilfe ist oder aus Sicherheitsgründen keinen Zugang zu den Projekten hat. 140 An den dargestellten Aspekten hat sich laut dem Ministerium seit der Studie nichts geändert Vereinigtes Königreich DFID unterschreibt mit IO Partnerschaftsvereinbarungen, die 3-5 Jahre Gültigkeit haben und vor jeder Erneuerung einer Prüfung unterzogen werden. Ein wichtiger Unterschied zwischen DFID und dem deutschen System besteht in der dezentralen Struktur von DFID und der stärkeren Rolle der Botschaften vor Ort, die über projektspezifische Vorhaben entscheiden und auch für deren Erfolgskontrolle zuständig sind. Generell versucht DFID die Berichtspflicht der IO im Sinne der GHD zu gestalten. Versucht wird, das eigene System den IO anzupassen und nicht umgekehrt. DFIDs Erfolgskontrolle und Zuwendungssystem an IO werden derzeit überarbeitet. Die Grundidee der neuen Initiative ( Performance related funding ) ist es, den Anteil der Core Contributions der IO, gekoppelt an deren Effektivität, zu erhöhen. Die Erhöhung der ungebundenen Beiträge soll dabei als Anreiz für die IO dienen, die zusammen mit DFID vereinbarten Ziele, die wiederum auf den Zielen der IO aufbauen, einzuhalten. Nach einer jährlich stattfindenden Einschätzung, sollen die Beiträge der Core Contributions pro Jahr um ca. 10% gesteigert werden. 141 Hierbei soll zunächst der Zuwendungsbetrag selbst erhöht werden, in einer zweiten Stufe sollen dann bisher noch gebundene Beiträge (thematisch oder länderspezifisch) in nicht zweckgebundene Core Contributions umgewandelt werden. 142 Sollte die IO sich bei einer Einschätzung als weniger effektiv darstellen, würden nicht die Mittel gekürzt, jedoch Anteil der Core Contributions wieder reduziert und zweckgebundene Förderung erhöht. Gemeinsame Strategie für UNHCR DFID hat sich mit Kanada und Dänemark zusammengeschlossen und eine gemeinsame, auf zwei Jahre ( ) ausgelegte Strategie für UNHCR verfasst. Diese formuliert Zielsetzungen für die Organisation, welche die Globalen Strategischen Zielen (Global Strategic Objective GSO) von UNHCR wiederspiegeln. In einem Aktionsplan werden die prioritären Zielsetzungen mit Indikatoren und Sollvorgaben aufgelistet. 143 Ein eigener Prozess zur Erfolgskontrolle bei der Umsetzung des Aktionsplanes gibt es im Interesse der Effizienz nicht. Vielmehr soll das allgemeine Berichtswesen des UNHCR als Grundlage dienen. Fortschritte werden in einem jährlichen Treffen besprochen. 144 Der Mehrwert dieser Strategie soll zum einen in dem größeren Gewicht und Druck auf UNHCR liegen, das die drei Geldgeber durch ihr Engagement ausdrücken. Zum anderen soll die 139 Dutch Ministry of Foreign Affairs (2006), Seite 99, Ebd., Seite 99, Wie genau die jährliche Bestandsaufnahme stattfinden soll, ist derzeit noch offen. 142 Das System würde auch auf UNHCR, UNICEF und OCHA und auf WFP Anwendung finden (mit Einschränkungen, da es dort keine Core Contributions im eigentlichen Sinne gibt). 143 Annual Action Plan for 2008 version 31 March Aussagen über den Fortschritt lassen sich noch nicht treffen, da das erste Treffen zum Zeitpunkt der Berichterstellung noch ausstand. 36

55 Strategie einen systematischen Rahmen zur Planung und Erfolgskontrolle geben. Die drei Geber haben die Verantwortlichkeit für Teile des Aktionsplans unter sich aufgeteilt. 145 Eine der Prioritäten der Strategie lautet Results-based Management and Evaluation. Sie bezieht sich auf das GSO Improving Management. Als Zielsetzung ist in dem Aktionsplan für 2008 bis 2009 vorgesehen: Konsolidierung von RBM in der gesamten Organisation unter Einbeziehung von Politikentwicklung, Planung, Berichtswesen und Evaluierung. Als Indikatoren aufgelistet finden sich: weltweite Einführung der RBM-Software Focus; verbesserte Bedingungen und Systeme für die Rechenschaftslegung; verbesserte Kapazität von PDES, so dass Normen und Standards für Evaluierungen im UN-System erfüllt werden und die Anzahl von Evaluierungen erhöht werden; das Management antwortet zeitlich auf alle Evaluierungen und setzt alle akzeptierten Empfehlungen um. Multilateral Development Effectiveness Summaries DFID führt darüber hinaus regelmäßig sog. Multilateral Development Effectiveness Summaries (MDES) durch. 146 Die auf einer Wertungsliste (Scorecard) basierende, und von DFID angefertigte Prüfung dient zum einen der Rechenschaftsflicht gegenüber dem Finanzministerium, zum anderen der strategischen Planung und der Entscheidung über zukünftige Beiträge. Neben Fragen des Managements und der Zusammenarbeit mit Partnern gibt es auch einen Satz Fragen zu Ergebnissen und Wirkungen der Arbeit der Organisation. 147 Die von DFID derzeit durchgeführten MDES sollen laut DFID in Zukunft in das sog. Multilateral Organisations Performance Assessment Network (MOPAN) eingegliedert werden, jedoch für IO in der humanitären Hilfe angepasst werden. 4.6 Exkurs: Blick auf einige Entwicklungen im internationalen System der humanitären Hilfe Gute Humanitäre Geberschaft und Humanitarian Response Index Auf Initiative der schwedischen Regierung fand im Jahr 2003 ein Treffen zum Thema Gute humanitäre Geberschaft (Good Humanitarian Donorship GHD) statt. 148 Ziele der Initiative sind es: Geldgeber und deren Politiken besser im Hinblick auf die Vergabe von Mitteln zu koordinieren; Beiträge flexibler und vorhersehbarer zu gestalten; humanitäre Hilfe auf den Bedarf zu begründen; objektive Kriterien für die Bedarfsanalysen zu verwenden und so zu ausgeglichenen Beiträge zu gelangen und dabei insbesondere die sog. vergessenen Krisen zu berücksichtigen. GHD ist ein fortlaufender Prozess, der die wichtigsten humanitären Geber im Dialog über die Verbesserung und vor allem Vereinfachung der Beiträge halten soll. Im Rahmen von GHD werden Prinzipien und Standards definiert. Hierzu gehören allgemeine Kriterien der humanitären Hilfe (z. B. Neutralität, Respekt des Humanitären Völkerrechts), aber auch beitragsspezifische Vorgaben. In Burundi und in der DR Kongo wurden Pilotprojekte zur Implementierung von GHD durchgeführt und evaluiert. 145 Eine Verbindung dieses Prozesses mit Zuwendungsentscheidungen der Geber ist bisher nicht vorgesehen Auch UNHCR und das IKRK wurden in diesem Verfahren geprüft. Die Ergebnisse sind im Internet verfügbar. In den Abschnitten über UNHCR (4.1.2) und IKRK (4.1.4) wird in den Fußnoten Bezug auf sie genommen

56 Die Bundesregierung bekennt sich zu den Prinzipien von GHD und setzt sie laut ihres Berichts über die humanitäre Hilfe im Ausland im Rahmen ihrer gesetzlichen Möglichkeiten um. 149 In dem Bericht weist sie auf die Begrenzungen bei der Umsetzung hin, die sich aus der deutschen Gesetzgebung ergeben (insbesondere die von der BHO geforderte Projektförderung). Für das Jahr 2007 hat die Organisation Dara International zum ersten Mal den sogenannten Humanitarian Response Index veröffentlicht. 150 Der Index ist ein Versuch, die 23 Mitglieder des OECD-DAC gegenüber ihren Bekenntnissen zu den GHD-Prinzipien zu bewerten. Der Index untersucht Geberpraktiken in den folgenden fünf Kategorien: (i) Bedarfsorientiertheit der humanitären Intervention; (ii) Integration von Nothilfe und Entwicklungszusammenarbeit; (iii) Zusammenarbeit mit Partnern in der humanitären Hilfe; (iv) Umsetzung von internationalen Richtlinien; (v) Förderung von Lernen und Rechenschaftspflicht. 151 Deutschland befindet sich mit Platz 13 unter anderem hinter den skandinavischen Ländern (Plätze 1-3) sowie den Niederlanden und der Europäischen Kommission (Plätze 4 und 5) sowie hinter dem Vereinigten Königreich und der Schweiz (Plätze 9 und 10). 152 Am Ende der Liste finden sich Portugal, Italien und Griechenland Central Emergency Response Fund CERF Im VN-System sind in den vergangenen Jahren eine Reihe von Reformvorhaben beschlossen worden, um besser und schneller auf plötzlich eintretenden Krisen und chronisch unterfinanzierte Krisen reagieren zu können. Bei diesen Reformen wird allgemein den VN eine (noch) zentralere Rolle in der Koordinierung und Überwachung der Aktivitäten zugewiesen. Der Einfluss der Geber auf projektspezifische Entscheidungen und deren Nachverfolgung wird im Rahmen dieser Initiativen zurückgenommen. Damit wird auch die bilaterale Rolle der Geber bei der Erfolgskontrolle bzw. Evaluierung reduziert und auf die VN bzw. andere Institutionen übertragen. Konsequenterweise ist diese Entwicklung für das System der Erfolgskontrolle in Deutschland von Bedeutung und soll hier deshalb kurz dargestellt werden. Zu den Reformen gehört zum einen die Einführung des Cluster Approaches, welche eine Stärkung der VN-Organisationen im System der Koordinierung bei der Mittelverwendung bedeutet. Hinzu kommt und insbesondere bedeutsam für Geber die Einführung des Central Emergency Response Fund (CERF). 153 Der Fond hängt von den freiwilligen Beiträgen der Geldgeber ab. Seit seiner Einführung am 9. März 2006 wurden über den CERF 835,7 Mio. USD für Krisen in 62 Länder ausgezahlt. CERF soll dazu dienen, die Mittel innerhalb des VN-Systems so zu verteilen, dass sie die Organisation erreichen, die den dringendsten Bedarf hat. Zu diesen Organisationen gehören auch WFP und UNHCR. Von 77 Gebern ist Deutschland im Jahr 2008 mit 14,8 Mio. 149 AA (2006), S The Humanitarian Response Index 2007 Measuring Commitment to Best Practice. Silvia Hidalgo, Augusto Lopez-Claros. 151 Zu den unter dieser Kategorie abgefragten Indikatoren zählt unter anderem die Anzahl der selbst durchgeführten Evaluierungen, sowie inwieweit der Geber Partner und Zuwendungsempfänger zu Evaluierungen auffordert. 152 Die dem Rating zugrunde liegende Methodik ist nicht unumstritten, kann jedoch nicht im Rahmen dieser Studie näher bewertet werden. Da der Index der erste und einzige Versuch ist, Geberverhalten anhand festgelegter und anerkannter Kriterien darzustellen und zu vergleichen, findet die Maßnahme Beachtung und sollte nach Einschätzung der Gutachter zumindest erwähnt und grundsätzlich begrüßt werden

57 USD auf Platz 8 der Geberliste war Deutschland mit 6,6 Mio. USD auf Platz 12 (bei 67 Gebern). 154 CERF-finanzierte Projekte müssen lebensrettende Maßnahmen betreffen. Sie werden in den betroffenen Ländern bestimmt und vom UN Emergency Relief Coordinator (ERC) koordiniert. Mit Hilfe des Fonds können die ersten Maßnahmen eines Nothilfeprojektes finanziert werden, bis die endgültige Finanzierung steht. CERF-Regularien fördern die Zusammenarbeit mit NRO-Partnern vor Ort. Eine Reihe von international tätigen NRO sind in der CERF Partnership Taskforce vertreten. Die Einführung des CERF führte zu Forderungen von NRO, direkten Zugang zu dessen Mitteln zu haben und nicht auf die Rolle als Implementierungspartner von UN- Organisationen beschränkt zu sein wurde eine externe Zwischenevaluierung des CERF durchgeführt. 155 Im Hinblick auf Rechenschaftslegung stellt die Studie fest, dass Informationen nicht benutzerfreundlich verfügbar gemacht werden. 156 Informationen werden über die OCHA-Internetseite verfügbar gemacht, die jedoch keine Verbindung zwischen Sach- und Finanzberichten erlauben. Die Veröffentlichung auf der Internetseite sei mehr auf die Öffentlichkeit ausgereichtet als auf das Interesse von Geldgebern an systematischer und umfassender Information. CERF hat bisher kein systematisches Verfahren, um die Zielerreichung und Ergebnisse der finanzierten Maßnahmen zu erfassen. 154 Beiträge an den CERF (bis zu 10 Mio. ) können aus dem Haushaltstitel des AA sowie aus dem Titel des BMZ finanziert werden. 155 CERF Interim Review, 19 September Eine Evaluierung des CERF ist derzeit in der Durchführung, die Ergebnisse jedoch noch nicht veröffentlicht. 156 Ebd., S

58 5 Schlussfolgerungen IO-interne Elemente der Erfolgskontrolle 1. Die IO verfügen über umfassende und komplexe Verfahren und Instrumente zum internen Monitoring und Berichtswesen. 157 Die Systeme sind noch stark auf Aktivitäten und Leistungen, jedoch wenig auf die Analyse und Dokumentation der Zielerreichung und Wirkungen ausgerichtet. Der Gebrauch von Indikatoren ist vor allem auf der Leistungs(Output)-Ebene relativ stark und angemessen. Wirkungsindikatoren (Outcome und Impact) sind quantitativ und qualitativ noch nicht sehr weit entwickelt und erlauben keine umfassende Überprüfung der Zielerreichung im Sinne eines Soll-Ist-Vergleiches oder auf der Wirkungsebene. Die Organisationen stehen vor der Herausforderung der Entwicklung, Einführung und des Gebrauchs von Indikatoren zur Verifizierung der Grades der Zielerreichung. Hieran arbeiten die IO. 2. Die Evaluierungsfunktionen der IO sind ebenfalls im Auf- oder Umbau. Mit Abstufungen zwischen den betrachteten Organisationen sind sie bisher noch nicht vollständig als umfassendes Instrument des Managements und des organisationsinternen Lernens etabliert. Die Strukturen sind jedoch überwiegend geschaffen. Allerdings liegt weiterhin ein großer Bedarf darin, erreichte Fortschritte zu sichern, alten und neuen Herausforderungen zu begegnen und insgesamt (noch) besser zu werden. Insbesondere bei WFP sind die personelle Ausstattung der Evaluierungseinheit im HQ und bei WFP und dem IKRK dessen Unabhängigkeit als Stärken hervorzuheben. 3. Die IO halten Studien, die für die Erfolgskontrolle durch die Geber relevant sind, bereit und machen diese zum Teil öffentlich. Haupt-Herausforderungen sind die Erhöhung des Deckungsgrades und der Repräsentativität der Evaluierungen sowie deren Finanzierung. Herausforderungen stellen im Falle von UNHCR und WFP besonders die knappen Ressourcen zur Durchführung maßnahmenspezifischer Evaluierungen dar (insbesondere in den Länderbüros), wobei für WFP die Schwierigkeit der verlässlichen Finanzierung von auf Dauer angelegten Querschnittsfunktionen bei weder zeitlich noch in der Höhe kalkulierbaren Zusagen gesehen werden muss. Für alle drei IO sind Akzeptanz und Integration der Evaluierungsfunktion innerhalb der Organisation noch nicht vollendet. Bei den IO ist das systematische und in der Organisation verwurzelte Lernen aus Evaluierungen unterentwickelt. Notwendig ist eine (weitere) Qualitätsverbesserung und Stärkung der Wirkungsorientierung der Erfolgskontrolle bei den IO. 4. Bezüglich der VN-Organisationen sind die organisationsübergreifenden Evaluierungsfunktionen zu beachten, da sie für die Erfolgskontrolle relevante Studien bereit halten könnten. Für die humanitäre Hilfe können insbesondere Evaluierungen von OCHA bedeutsam sein. Eignung der Anträge und Berichte an die Ressorts 5. Die Anträge und Berichte der IO an die Geber enthalten überwiegend wenig spezifische Informationen und erlauben nur sehr eingeschränkt eine Wirtschaftlichkeitsuntersuchung bzw. Erfolgskontrolle nach Maßgabe der BHO. Bereits die Tatsache, dass IO überwiegend mit Länderprogrammen arbeiten, die Bundesregierung aber in der humanitären Hilfe überwiegend projektspezifische Förderung und damit projektspezifische Erfolgskontrolle betreibt, erschwert das Verfahren. Die nichtprojektspezifische Arbeitsweise der drei betrachteten IO ist einheitlich und wird von der Mehrheit der internationalen Geber akzeptiert. Jüngste Reformvorhaben (wie z. B. GHD) im Sektor gehen ebenfalls von nicht-projektspezifischer Arbeitsweise aus, so dass sich eine Anpassung der IO an das deutsche System schwer vertreten ließe. 6. Die Detailliertheit und analytische Tiefe der Anträge und Berichte die von eigens für Geber zuständigen Abteilungen angefertigt werden, spiegelt jedoch nicht den von den 157 Dies und die folgenden Bewertungen beziehen sich lediglich auf die drei untersuchten IO. 40

59 IO dargestellten internen Aufwand und das Verfahren zur Datenerfassung und Dokumentation wider. 7. IO versuchen, den Aufwand zur Erstellung von Geberanträgen und geberspezifischen Berichten in einem gesunden Verhältnis zur Programmarbeit und zur relativen Höhe der Geberbeiträge zu halten. 8. Die Bundesregierung hat keinen eigenen separaten Vorgabenkatalog für IO für Anträge und Berichte. Geberspezifische Vorgaben würden jedoch im Gegensatz zu den internationalen Bestrebungen sowie dem Interesse der IO stehen, das Antrags- und Berichtswesen einfach und wirtschaftlich zu gestalten. Bewertung und Verifizierung von zur Verfügung gestellten Informationen 9. Das Verfahren zur Bewertung der Informationen ist einheitlich gestaltet, lässt jedoch zu viel Spielraum für die einzelnen Bearbeiter/innen. Die ausschlaggebenden Kriterien zur Bewilligung sind die Förderungswürdigkeit gemäß der jeweiligen Förderkonzepte bzw. Richtlinien, sowie die Relevanz der Maßnahme (Bedarf). Darüber hinaus werden keine ressortübergreifenden Bewertungskriterien standardmäßig geprüft, die den Anforderungen beider Mandate (humanitäre Soforthilfe und ENÜH) genügen (z. B. basierend auf DAC- bzw. ALNAP-Kriterien). 10. Das Ob und Wie der Verifizierung der Informationen obliegt ebenfalls den einzelnen Bearbeiter/-innen. Es steht hierzu eine Palette von hausinternen und externen Informationsquellen zur Verfügung, die jedoch nicht alle systematisch genutzt werden. Das Verfahren wird von den Vorkenntnissen der Bearbeiterin oder des Bearbeiters und deren Verständnis der Materie beeinflusst. 11. Es besteht überwiegend ein guter Informationsstand über die generelle Lage und die Entwicklungen in den Zielländern und bei den geförderten Organisationen. Dies insbesondere wenn die Bearbeiter/-innen schon längere Zeit mit dem Land befasst sind. Der Verifizierung projektspezifischer Angaben sind jedoch deutliche Grenzen gesetzt. 12. Diese Grenzen ergeben sich schon aus den wenig spezifischen Angaben in den Anträgen und Berichten der IO. Aber selbst wenn die Informationen verfügbar wären, würden Bearbeiter/-innen und die eingebundenen Ressorts bei der Überprüfung der projektspezifischen Maßnahmen an ihre Kapazitätsgrenzen stoßen. 13. Der generellen Verfolgung der Maßnahmen und Entwicklungen der IO durch die Ministerien, die Ständigen Vertretungen am Sitz der IO und die Auslandsvertretungen in den Zielländern sowie durch die jährlichen Konsultationen und den laufenden Kontakt, ist eine nicht unwesentliche Rolle für die Nachverfolgung der Aktivitäten der IO zuzuschreiben, welche mit Blick auf Erfolgskontrolle noch unzureichend wahrgenommen wird. 14. Bisher wenig ausgeprägt ist die systematische und regelmäßige Analyse vorgelegter Informationen zur Erfolgskontrolle durch das verantwortliche Ressort. Die Fülle von Informationen aus Anträgen, Berichten und Auskünften der IO werden weder systematisch erfasst, noch systematisch aufgearbeitet. Maßnahmen der Ressorts, falls Informationen nicht ausreichend sind 15. Viele offene Fragen werden im direkten Kontakt mit den IO unbürokratisch geklärt, beziehen sich allerdings größtenteils auf Fragen der Mittelverwendung und nicht der Zielerreichung oder Wirtschaftlichkeit der Maßnahmen. 16. Beanstandungen im Antragsverfahren sind oft von untergeordneter Bedeutung, da Maßnahmen und die Schwerpunkte der Tätigkeiten vor Erstellung der Anträge besprochen werden. Demgegenüber von größerer Bedeutung sind die Möglichkeiten für die Ressorts, über die Führungsgremien der VN-Organisationen, bzw. die Mitgliedschaft in der DSG eine Beteiligung auszuüben und auf eine Stärkung der Erfolgskontrolle allgemein Einfluss zu nehmen. 17. Generell wird das Berichtswesen der IO entgegenkommend gehandhabt. Nicht immer haben Beanstandungen Konsequenzen. 41

60 18. Umwidmungen werden in enger Abstimmung mit den IO und zweckgebunden flexibel gehandhabt. Kohärenz 19. Hinsichtlich der Erfolgskontrollverfahren besteht überwiegend Kohärenz und die IO machen in Form, Art und Umfang der Anträge und Berichte an das BMZ und das AA keine Unterschiede. 20. Abweichungen gibt es bei der Verfahrensweise zur Stellungnahme bzw. Information des anderen Ressorts, wo das BMZ das AA vor Bescheidung, das AA das BMZ jedoch erst nach Bescheidung konsultiert. 21. Die zur Verifizierung und generellen Information herangezogenen Quellen sind im AA und BMZ nicht einheitlich. Auf Grund der größeren Nähe stellt das AA mehr auf die Auslandsvertretungen ab, während das BMZ-Referat 213 verstärkt zu den Länderreferaten im BMZ (welche, soweit als notwendig erachtet, die Auslandsvertretungen kontaktieren) sowie zur GTZ und den nationalen Zuwendungsempfängern des Referats 213 Kontakt hält. Internationale Entwicklungen 22. Der derzeitige Reformprozess in der Internationalen humanitären Hilfe zielt auf eine zentrale Rolle der VN-Organisationen sowie auf eine Vereinfachung der Beitrags- und Berichtsverfahren ab. Deutschland hat sich diesem Prozess angeschlossen, kann ihm nach eigener Aussage und Einschätzung auf Grund der nationalen Gesetzeslage jedoch nur eingeschränkt folgen. 23. Einige Geber haben ihre Systeme auch aus internen Effizienzgründen den Prinzipien der internationalen Reformvorhaben (z. B. GHD) bereits angepasst. Anstelle der projektspezifischen Erfolgskontrolle setzen einige Geber auf regelmäßige Bestandsaufnahmen der Effektivität der IO. Einheitliche Kriterien oder Verfahren hierbei gibt es bisher allerdings noch nicht, werden aber in entsprechenden Netzwerken diskutiert. 42

61 6 Empfehlungen 1. Das AA sowie das BMZ sollten gegenüber den IO eine klare Position und Leitlinie formulieren, was von den IO zur Erfolgskontrolle erwartet wird (interne Monitoring- und Evaluierungssysteme siehe sogleich wie auch Zurverfügungstellung von Informationen nach außen). Im Vordergrund sollten hierbei Verfahren, Prinzipien, Methoden und Arbeitsansätze zur Erfassung, Auswertung und Dokumentation der Zielerreichung (outcome), der weitergehenden Wirkungen und der Effizienz von humanitären Maßnahmen stehen. Anforderungen an SMARTe Indikatoren zur Verifizierung, die sich an Resultaten (Leistungen und Wirkungen) orientieren, sollten gleichfalls formuliert werden. 2. Hierbei sollten die Interessen und Kapazitäten der IO wie auch internationale Standards und Geberverfahren berücksichtigt werden. 3. Das AA sowie das BMZ sollten sich klar positionieren, was ihre Stellung zu und ihre Unterstützung der organisationsinternen evaluativen Managementverfahren und -instrumente der IO anbelangt. Auch hierbei sollte sich die Bundesregierung international informieren und abstimmen, um eine Dopplung oder Überschneidung mit anderen Geberinitiativen zu vermeiden. Falls sich eine Möglichkeit hierzu ergibt, sollte die Bundesregierung gemeinsam mit anderen Gebern Positionen formulieren und geeignete Maßnahmen zur Unterstützung der Positionen unternehmen. 4. Von Bedeutung ist hierbei insbesondere die Ausübung der Mitgliedsrechte der Bundesregierung bei den IO sowie die internationale Gremienarbeit. Die Bundesregierung sollte ihre Einflussmöglichkeiten zur Verbesserung der Projektmanagement- und Berichterstattungssysteme der IO in Kooperation mit den anderen Gebern weiterhin konsequent analysieren und nutzen. 5. Entsprechend den oben gesetzten Schwerpunkten sollten das AA sowie das BMZ weiterhin Gemeinsame Evaluierungen (Joint Evaluations) der IO, die für die Bundesregierung je nach Aufgabengebiet von strategischem Interesse sind, anregen und ihre Beteiligung an solchen Evaluierungen sicherstellen. Die Ressorts sollten auch gemeinsame Evaluierungen mit den IO in Erwägung ziehen und besprechen. 6. Das AA und das BMZ sollten sich bei der Auswahl der Themen, Länder und Instrumente für Evaluierungen strategisch verhalten und ausgewählte Themen besetzen. In Frage kommen Themen, die in der Bundesregierung schwerpunktmäßig bereits behandelt werden und die für die humanitäre Hilfe relevant sind. Dies könnte zum Beispiel die Nahrungsmittelhilfe sein, aber auch das Thema Konfliktsensibilität. Das AA und das BMZ könnten auch Potenziale für ressortübergreifende Evaluierungen analysieren und sich für eine Einbeziehung der humanitären Hilfe einsetzen. 7. Initiativen der Ministerien sollten jedoch stets subsidiär zu bereits bestehenden oder geplanten Vorhaben sein und nicht zu einer Verdopplung der Kontrolle oder einer zusätzlichen Belastung der IO führen. Evaluierungen bei IO sollten im Verhältnis zur Höhe des freiwilligen Beitrags stehen. Eigene, bilaterale Evaluierungen sollten auf ein Minimum beschränkt werden. 8. Die Bundesregierung sollte sich weiter an der Entwicklung der Erfolgskontrolle von IO im Kontext von MOPAN und der Sicherstellung der Einbeziehung von humanitärer Hilfe in diesem Kontext beteiligen. 9. Das AA sowie das BMZ sollten Parlamentarier/-innen, den Bundesrechnungshof und die deutsche Öffentlichkeit über die besonderen Herausforderungen für die Erfolgskontrolle von IO und deren Maßnahmen informieren sowie für Verständnis für harmonisierte und arbeitsteilige Systeme im Kontext internationaler Vereinbarungen und Vorstellungen zu Guter Humanitärer Geberschaft (GHD) werben. 10. Basierend auf den oben angeführten Anforderungen an die IO sollten der Arbeitsstab Humanitäre Hilfe im AA sowie das BMZ einheitliche Kriterien zur Bewertung von Förderanträgen und Berichten der IO entwickeln und anwenden, soweit es die verschiedenen 43

62 Mandate erlauben. Diese Kriterien sollten über die Relevanz der Maßnahme und deren Förderungswürdigkeit nach den jeweiligen Richtlinien oder Konzepten hinausgehen. In Betracht kommen je nach Schwerpunktsetzung zusätzliche Kriterien wie zum Beispiel Connectedness und Konfliktsensibilität. 11. Das AA sowie das BMZ sollten sodann sicherstellen, dass alle mit der Bewertung und Bescheidung betrauten Bearbeiter/-innen sowie die zur Stellungnahme herangezogenen Stellen ein einheitliches Verständnis der Kriterien für Erfolgskontrolle und Evaluierung von humanitärer Hilfe und der ihnen zu Grunde liegenden Prinzipien haben. Dies kann durch Schulungen, Merkblätter, wie auch durch den regelmäßigen Austausch zwischen den Bearbeiter/-innen geschehen (z. B. in einer Referenten- und Sachbearbeiterrunde). 12. Zur Verifizierung der von den IO zur Verfügung gestellten Informationen sollten das AA sowie das BMZ entsprechend der Schwerpunkte bei der Erfolgskontrolle eine Reihe von Informationsquellen bereit halten. Um in der vielfältigen Informationswelt den zielgerichteten Zugriff auf die für die Erfolgskontrolle relevanten Ressourcen zu gewährleisten, sollten potentielle Quellen zuvor identifiziert und vorbereitet werden (z. B. angeleiteter Zugang zu ausgewählten Evaluierungsdatenbanken). Soweit als möglich sollte die Feldperspektive berücksichtigt werden. Idealerweise würde eine Bewertung eine Reihe von Informationen vergleichend heranziehen. 13. Parallel dazu sollten der Arbeitsstab Humanitäre Hilfe im AA sowie das BMZ über ihre Mitglieds- und Mitwirkungsrechte bei den IO diese in Zusammenarbeit mit anderen Gebern dazu anhalten, eine auf Zielerreichung, Wirksamkeit und Wirtschaftlichkeit und die anderen, anerkannten Evaluierungskriterien von humanitärer Hilfe (Relevanz, Anschlussgrad, Deckungsgrad, Kohärenz, und soweit angemessen übergeordnete entwicklungspolitische Wirkungen) ausgerichtete Evaluierungen von humanitärer Soforthilfe und entwicklungsorientierter Not- und Übergangshilfe durchzuführen. Dies kann dazu beitragen, dass das Thema Erfolgskontrolle auf der internationalen Agenda vertreten ist, bzw. bleibt und die Geber sowie die IO gemeinsame Anstrengungen unternehmen, um die Erfolgskontrolle und letztendlich die Ergebnisse der humanitären Hilfe zu verbessern. 44

63 7 Literatur AA (2006): Bericht der Bundesregierung über die deutsche humanitäre Hilfe im Ausland AA (2007): Konzept zur Förderung von Vorhaben der Humanitären Hilfe aus Kapitel 0502 Titel Anwendbar seit Berlin, November 2007 ALNAP (2006): Evaluating humanitarian action using the OECD-DAC criteria. An ALNAP guide for humanitarian agencies. London, March 2006 Baker, J. et al. (2007): Evaluation function at the World Food Programme. Peer Review. Published by SIDA 2007 BMZ (2004): Die Zusammenarbeit des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung mit dem Welternährungsprogramm. BMZ-Spezial Nr Bonn, 30. Juli 2004 BMZ (2005): Konzept für Maßnahmen der Entwicklungsorientierten Not- und Übergangshilfe. Konzept Nr Bonn, September 2005 BMZ (2006): Die Zusammenarbeit des BMZ mit dem Amt des Hohen Flüchtlingskommissars der Vereinten Nationen (UNHCR). BMZ Spezial 138. Bonn, Mai 2006 BMZ und UNHCR (2006): BMZ/UNHCR Partnerschaftsprogramm. Bonn, Mai 2006 BMF (2008): Bundeshaushaltsplan 2008 Einzelpläne, 23 Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung BRH (2007): Bericht an den Haushaltsausschuss des Deutschen Bundestages nach 88 Abs. 2 BHO über die Evaluierung des Engagements des Bundes aus freiwilligen Beitragsleistungen an Internationale Organisationen. Bonn, (unveröffentlichter Bericht) DAC OECD (2002): Glossary of Key Terms in Evaluation and Results Based Management. Paris DAC OECD (2006): Prüfbericht über die Entwicklungszusammenarbeit Deutschland. Paris De Ville de Goyet, C. et al. (2005): Evaluation of the Partnership between ECHO and UNHCR and of UNHCR activities funded by ECHO. Evaluation Report. Final Version. October 2005 DFID (2007a): UNHCR Development Effectiveness Summary. London DFID (2007b): ICRC Development Effectiveness Summary. London Dutch Ministry of Foreign Affairs (2006): Dutch Humanitarian Assistance. An Evaluation. No. 303, July 2006 GHD (2003): Principles and Good Practice of Humanitarian Donorship. Stockholm, 17 June 2003 Grünewald, F. et al. (2006): An Evaluation of the Partnership Between DG ECHO and the International Committee of the Red Cross (ICRC) and of the ICRC s Activities Funded by DG ECHO. 22 nd October 2006 ICRC (2007): Annual Report Geneva, May 2007 ICRC (2008): Annual Report Geneva, May 2008 JIU (2004a): Review of Management and Administration in the Office of the United Nations High Commissioner for Refugees. JIU/REP/2004/4 45

64 JIU (2004b): Overview of the series of reports on managing for results in the United Nations system. JIU/REP/2004/5 JIU (2006a): Towards a United Nations humanitarian assistance programme for disaster response and reduction: lessons learned from the Indian Ocean tsunami disaster. JIU/REP/2006/5 JIU (2006b): Results-based management in the United Nations in the context of the reform process. JIU/REP/2006/6 Ministry of Foreign Affairs of Denmark, Danida (2008): Assessing Multilateral Organisation Effectiveness. Evaluation Study 2008/3 Prolog (2001): Evaluation of UNHCR Activities funded by ECHO. Synthesis Report. December 2001 WFP (2003a): WFP s Evaluation Policy. WFP/EB.3/2003/4-C. Rome, 19 September 2003 WFP (2003b): Results Based Management Orientation Guide. Rome, 23 October 2003 WFP (2005): Emergency Food Security Assessment Handbook. First Edition. Rome, June 2005 WFP (2007a): Annual Evaluation Report Office of Evaluation, Rome, June 2007 WFP (2007b): Evaluation of WFP s Strengthening Emergency Needs Assessments Implementation Plan. WFP/EB.2/2007/6-A. Rome, 14 September 2007 WFP (2007c): Management Response to the Peer Review of the Evaluation Function at the World Food Programme. WFP/EB.1/2008/7-A/Add.1. Rome, 20 December 2007 WFP (2008a): General Regulations, General Rules, Financial Regulations, Rules of Procedure of the Executive Board Edition. Rome WFP (2008b): Annual Performance Report for WFP/EB.A/2008/4. Rome, 12 May 2008 UNHCR (2002): UNHCR s Evaluation Policy. Geneva, September 2002 UNHCR (2003): Partnership: An Operations Management Handbook for UNHCR s Partners. Revised Edition. Geneva, February 2003 UNHCR (2006): Practical Guide to the Systematic Use of Standards & Indicators in UNHCR Operations. Second Edition. Geneva, February 2006 UNHCR (2007): Handbook for Emergencies. Third Edition. Geneva, February 2007 UNHCR and WFP (2004): UNHCR/WFP Joint Assessment Guidelines. First Edition. Geneva and Rome, June 2004 UNEG (2005a): Norms for the Evaluation in the UN System. 29. April 2005 UNEG (2005b): Standards for the Evaluation in the UN System. 29. April 2005 UN General Assembly (2006): Reports Relating to Evaluation and Inspection. Evaluation and Policy Development. Report by the High Commissioner. A/AC.96/ July 2006 Neben diesen Dokumenten wurde eine Vielzahl von relevanten Akten bzw. unveröffentlichten Dokumenten der beteiligten Ministerien und Organisationen sowie relevante Internetseiten in die Recherchen und Analysen einbezogen. 46

65 Anlage 1: Terms of Reference Federal Ministry for Economic Cooperation and Development & Federal Foreign Office, Germany May 13, 2008 Terms of Reference Assessing Performance of Humanitarian Asssistance Phase I: Review of Current Practices and Recommendations for Further Action 1. Background and Rationale Following-up on a report of the German Court of Auditors, the Budget Committee of the Deutsche Bundestag (German parliament) has requested the Federal Foreign Office (AA) and the Federal Ministry for Economic Cooperation and Development (BMZ) to report on steps taken to improve on assessing performance 158 and evaluating Germany s voluntary contributions to International Organisations (I.O.). A major share of these contributions is earmarked for Humanitarian Assistance (HA) organisations and programmes, comprising emergency aid including refugee aid (funded by the AA) and development-oriented emergency and transition aid including food security programmes (funded by the BMZ). In addition, the DAC Peer Review of Germany (2005) recommended with regard to HA that Germany should consider its evaluation system in this field. Germany should also consider evaluating overall performance of its humanitarian aid system involving the Federal Foreign Office and BMZ. The AA and the BMZ have formed an inter-ministeral working group to facilitate a review of their current performance assessment systems (including evaluation) with regard to humanitarian aid, which will inform the aforementioned general report to the Budget Committee and lay the ground for more in depth evaluations. 2. Purpose and objective Focussing on humanitarian assistance, two phases are envisaged to respond to the various requests: 158 The German budget code requires the funding agency, i.e. AA and BMZ, to undertake performance reviews and evaluations ( performance assessments ) of all financial investments and contributions, with reagards to effectiveness, efficiency and impact of larger projects and programmes for more details see annex D. 47

66 Phase I: the purpose of this phase is to review the current German system of performance assessments including (internal and external) evaluations of a) voluntary contributions to I.O. and b) projects and programmes implemented by national organisations, primarily the German Technical Cooperation Agency (GTZ), and NGOs, in the field of HA provide recommendations for establishing a coherent performance review and evaluation system for HA. Phase II will consist of evaluations proper, commissioned individually and collectively, of humanitarian aid projects and programms, including, to the extent necessary, funding to I.O.. The selection will be based on criteria emenating from the results of Phase I. The findings will feed into Phase III, consisting of a) a synthesis report elaborating on the overall performance of the German humanitarian aid system and b) dissemination to stakeholders. Consultancy for phase II + III will be commissioned seperately from phase I. 3. Utilisation The study as to a) (I.O.) will feed into the aforementioned report to the budget committee. The recommendations as to b) will be used for a new approach to performance reviews and evaluations for funding I.O.. The primary audience and users will be the inter-ministerial working group on HA, in addition possibly other units in AA and BMZ dealing with I.O. as well as other ministries; by contributing to the report by AA and BMZ to the budget committee, the members of this committee as well as the Court of Auditors, which has to to sign off the report, form an additional and important audience. Further users are NGOs and GTZ funded by the two ministries. 4. Scope of work for Phase I and evaluation questions The main objective of the study is to provide the cornerstones for a future coherent performance assessment system, based on a light review of current practices and the underlying quality of reporting and M&E and feedback systems of the organisations receiving funding from AA and BMZ. The study is therefore largely formative. The review covers two major channels of contributions: 1. Voluntary contributions to I.O. comprising various forms: core contributions to the budget of I.O., co-financing of budget lines, of specific programmes or parts thereof and of freestandig projects. Responsibilities of AA and BMZ vary from case to case: while core responsibility for a particular organisation rests with one ministry, particular programmes might be financed by the other ministry as well. The I.O. currently receiving the largest shares of German contributions are WFP, ICRC, UNHCR and UNRWA National contributions comprising the financing for German NGOs and GTZ, who partly implement themselves or use local partner organisations for execution. Overall between 159 see annex A 48

67 30 and 40 NGOs receive financing for H.A. projects annually, some of which by both from AA and BMZ. The core questions to be answered are (1) Are the reports submitted to the donors (AA and/or BMZ) sufficiently comprehensive and conclusive to allow an assessment - according to standard evaluation criteria - of the funded contributions, individually and collectively (distinguishing between the various financing modalities and corresponding channels and means of influence)? (2) How is the information provided assessed, possibly verified by other sources, and the results documented and, if necessary, disseminated internally (e.g. between representatives at the I.O. and headquarters) and to other concerned parties (e.g. between AA and BMZ)? (3) What kind of measures are taken and could be taken by the donor in case the information provided is not sufficient for a comprehensive and credible assessment (distinguishing between the various channels and means of influence)? (4) What kind of follow up is or could be undertaken in terms of learning for future similar cases or funding for an organisation? (5) Is the approach taken by AA and BMZ coherent, in the sense of a) treating similar cases in a similar way and b) assessing transboundary or common issues adequately and in a consistent manner (in particular when providing funds for the same organisation or even the same programmes)? (6) In particular, how should the current approach be improved? When and how should evaluations (individually or jointly) be conducted by the donors themselves? Which criteria should be used for selecting evaluations and field studies? As to funding for I.O., information provided and means of assessments and influencing further decisions vary: generally speaking, performance assessments have primarily to rely on various forms of reporting, including evaluations, by the respective I.O.. With core contributions they are largly limited to exercising membership rights in governing bodies 160. Therefore, Phase I will focus on a selected number of I.O., their internal systems of planning, monitoring and evalalution, the organisational learning culture and practice, and means and quality of reporting to governing bodies and donors. WFP, UNHCR and ICRC have been selected for Phase I. Systems and procedures of further I.O. might be assessed in Phase II. 160 Evaluations commissioned or co-financed so far by BMZ include: BMZ: Joint Evaluation of Effectiveness and Impact of the Enabling Development Policy of the WFP (2005) and TEC: Joint Evaluation of the International Response to the Indian Ocean Tsunami (2006), with additional inputs on German funding; AA is currently participating in a joint evaluation on UNRWA. 49

68 3. Core funding of I.O.: Specific questions to (1) are i.a.: What system (quality: coverage, comprehensiveness; organisation: HQ/ field etc) has the I.O. for monitoring, mid-term and terminal reporting, and evaluation? Has there been a recent assessment of the quality of the system? 161 Is there an independent central evaluation unit? What are its main functions? What is the coverage of its evaluations? To whom does the head of the unit report? Is the unit independent (and sufficiently staffed, with adequate financial ressources), is its work credible and are its outputs used? Is there a system in place for the use of its outputs, who checks on this use and how? 162 Is a knowledge management system in place? Is learning, also from mistakes, part of the organisation s culture? How is the board or any other governing body engaged in discussing results, including results reported by the evaluation unit? Are actions taken? How are roles and responsibilities distributed between permanent representatives (embassies) and HQ? Is the information received by HQ sufficient to make funding decisions? How is communication structured and flowing between the organisation and HQ in case there is no resident representative engaged in a governing body? b) Programme financing of I.O.: specific questions are i.a. Are funding proposals complete? Is information provided on the context, rational and aims of the intervention (including indicators, specifics of the target group etc); on means to achieve these aims, risks assessment, costs and financing, etc? Is M&E included/ foreseen and of sufficient quality? Are mid-term (if applicable) and terminal reports complete, providing credible information and assessments according to ALNAP or comparable evaluation standards for HA, including conflict related standards 163, where appropriate? Is there any independent verification of these reports? In as far are these reports based on independent assessments? Are there any independent evaluation reports available of appropriate quality? What M&E system, knowledge management etc has the implementing organisation in place? 161 Initiatives of donors relating to primarily to development assistance, like MOPAN or MEFF (DfID), but also work by UNEG, should be checked for possible use. 162 See: DAC Template for Assessing Multilateral Organisations Evaluation Systems 163 Conflicted related standards are emerging pratice. While needs assessments and a do-no-harm assessment can be considered a standard good practice, and a K marker (for Konflikt / conflict) ist mandatory in German development cooperation including humanitarian aid, further good parctice is only emerging; see also: Guidance on Evaluating Conflict Prevention and Peace Building Activities, working draft 2008, OECD/DAC. 50

69 Similar questions as to b) apply to national contributions (implementation by German organisations or by their partner organisations). The study team is expected to develop a classification system for these contributions and an assessment grid, possibly to be developed further after Phase II and III, taking into account i.a. the average amount of annual funding, size of the NGO/GTZ, the overall share of official funding of total funding, the governance structure and different phases of HA (emergency, reconstruction etc). A sample of national organisations (and terminal reports of some further organisations) should be reviewed in Phase I. The review of the M&E systems (including use of data and recommendations provided) of the organisations selected and the quality of the reports submitted to the donor will have to be light, but nevertheless provide a balanced picture of the adequacy (in terms of completeness, coverage, reliability, credibility etc, with special reference to UN and/ or DAC/ ALNAP evaluation standards) of the information provided to the donor (core question 1). Use of evaluation results and recommendations by the organisation concerned and the donor will be a further step of the assessment (core questions 2-4), as well as issues of coherence between the donors (core question 5). International good practices, current practices of other donors and the requirements of administrative regulations of the German budget code on performance reviews and evaluation should provide a benchmark for the core questions Approach and Methodology Phase I consists mainly of a literature and document review of and on the I.O./NGO concerned: reviews / assessments of the M&E system, evaluation reports etc., commissioned by the respective (funded) organisation, governing bodies or other donors; a review of documents of the two ministries concerned, including a sample of funding proposals and terminal reports received; and interviews with key stakeholders including staff and decision makers of the respective ministries, I.O. and national implementing agencies (GTZ and NGOs) selected for the sample. For the purpose of benchmarking and learning, interviews are to be conducted with a sample of other donors (HA desk and evaluation units), e.g. SDC/Switzerland, DANIDA/Denmark, MFA Netherlands. The ALNAP scretariat and possibly those of other humanitarian networks should be interviewed as a further important source of information. 6. Outputs and timing A brief inception report should be delivered within two weeks of commencement of the study, specifying the consultants understanding of the task, the approach and methods planned to accomplish it as well as an outline of the structure of the report. Points for clarification should be highlighted. A draft report and a final report (max. of 40 pages) have to be delivered by June 15 and July 15 respectively, with the aformentioned workshops in between. The reports on I.O. and national organisations might be split in two. The working language of the individual consultants can be English, whereas the report (or the two reports) has to be in German; translation of the report or a summary thereof in English is envisaged. 7. Management and Process Overall management is provided by a steering group consisting of representatives of the humanitarian aid divisions of AA and BMZ, the respective budget divisions, and the evaluation 51

70 and audit division of BMZ. The steering group will attend meetings, comment on reports and assist the team of consultants by i.a. providing documents and facilitating communication with stakeholders. The consultancy will be managed by Michaela Zintl, head of the Evaluation and Audit Division of BMZ, on behalf of the steering group. In addition, an advisory group is envisaged, consisting of a representative of the NGO community (not receiving funds of AA or BMZ) and independent experts on HA and evaluation. Their role will be to advise the steering group and provide comments on the report and in particular the proposals for further action. The study team will be required to attend up to four meetings: a start-up meeting to clarify the understanding of the contract; a second meeting presenting and discussing the inception report (team leaders only); a third meeting to discuss the emerging findings and proposals for further action (draft report) with the steering and advisory group and a fourth (workshop) with national stakeholders, in particular representatives of the national organisations receiving funding, i.e. NGOs and GTZ. 7. Consultants The review will be performed by a team of consultants who complement each other in experience with various forms of HA and familiarity with organisations providing HA (AA and BMZ, other donors and recipient organisations (I.O., NGOs and GTZ). In case of two teams and two reports (one on I.O. and one on national implementation) close cooperation between the two teams is required. A member of the national implementation team will have to feed into the study on I.O. (in particular on the German performance assessment requirements and practices) and participate in part of the meetings with other donors, discussing financing and performance assessments (including evaluations) of NGO implementation. 8. Contract Arrangements The consultants will be contracted by the Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ), contract department, on behalf of the BMZ evaluation and audit division. Attachment: Performance Assessments in the German budget code attached 52

71 Attachment: Performance Assessments in the German budget code The German budget code requires performance assessments ( Erfolgskontrolle ) for every financial contribution or investment. Performance assessments are defined as the assessment of the effectiveness and efficiency of the measure financed, including attribution of outcomes observed to the measure financed. Further review of literature showed that the DAC criteria for evaluation cover the ground envisaged by performance assessments. The depth and breadth of the assessments should be commensurate with the reach of the project. The budgetary regulations do not spell out by whom these assessment studies are to be carried out. They do say, however, that performance assessments are an official duty. Therefore, according to evolving practice in bilateral aid over many years, BMZ has interpreted these regulations as following: If a report is submitted by the funded or implementing agency, which provides adequate and credible information that relevant outcomes of the financed intervention have been achieved efficiently, a desk review undertaken by the donor is sufficient. Credibility is increased by the degree of independence involved in the assessment, like with decentralized evaluations and in particular evaluations by a central evaluation unit. Quality control of management reports or of decentralized evaluations exercised by an independent unit enhance their credibility as well. In addition evaluations (commissioned) by the funding ministry might be required. Reasons could be: poor quality of mid-term or terminal reports; recurrent, large contributions for projects and programmes; specific risks; issues like connectedness, or coherence between several funded interventions, etc. In case these issues or any other issue of strategic/ programmatic importance to the funder are not adressed by an independent evaluation unit or any other credible source of the funded organisations, or, if coverage of independent evaluations is not sufficient, the funding ministry will commission an evaluation itselve. As the Court of Auditors stated, the amount of funds involved in financing I.O. required an external assessment conducted by AA and BMZ. The regulations to the budget code refer to evaluation practices of the ministry concerned which can be used. Therefore, the term evaluation whether conducted by the donor or reviewed is used in accordance with OECD/DAC standards of evaluation, adapted to the special features of humanitarian assistance (see i.e.: Evaluating Humanitarian Action Using OECD DAC Criteria an ALNAP Guide for Humanitarian Agencies (2007), ALNAP). 53

72 Anlage 2: Untersuchungsmatrix Untersuchungsfragen I.O. N.O. Beobachtungsfelder / Core Programm Indikatoren Quellen der Information Methoden der Datenerhebung 1) Sind die Berichte an die Geber (AA, BMZ) einzeln wie auch insgesamt (unterschieden nach verschiedenen Finanzierungsmodalitäten und entsprechenden Kanälen und Einflussmöglichkeiten) hinreichend umfassend und überzeugend, um eine Einschätzung entsprechend Standard- Evaluierungskriterien des finanzierten Beitrags zu gestatten? 1.1) Welches System (Qualität und Aufbau) hat die Organisation für Monitoring, Zwischen- und Schlussberichterstattung und Evaluierung, wodurch ist das System charakterisiert? 1.1.1) Sind die Finanzierungsanträge vollständig genug für eine spätere Erfolgskontrolle? 1.1.2) Nehmen die Zwischen- (soweit relevant), Schluss- und sonstigen (besonders Evaluierungs-) Berichte inhaltlich Bezug auf den Finanzierungsantrag, belegen sie den Erfolg der durchgeführten Maßnahmen und gehen sie rechtzeitig ein? ( ) (begrenzt relevant) ( ) (begrenzt relevant) ( ) (soweit nicht identisch mit core-finanzierter I.O.) Deckungsgrad des M&E- und Berichterstattungssystems, bezogen auf a) Maßnahmen und b) Inhalte (entsprechend ALNAP-Kriterien, VV- BHO usw. 1 ) Unabhängigkeit, Funktion und Ausstattung (personell, finanziell) der Evaluierungseinheit Struktur und Zielgruppen des M&Eund Berichterstattungssystems (Feld, Zentrale) Vollständigkeit der Anträge hinsichtlich a) Vorgaben des AA/BMZ und b) allgemeinen Erfordernissen, die sich aus BHO und internationaler guter Praxis ergeben: Problemstellung/ Ausgangslage; Kontext und Risiken; Zielgruppen (Zahl, Differenzierung insbes. Gender); Leistungen und Ziele (ggf. weitergehende Wirkungen); Indikatoren; Kosten und Finanzierung; Träger; Zusammenarbeit I.O./ N.O./Durchführungsorg. Vollständigkeit der Berichte entsprechend a) Berichtsvorgaben des AA/ BMZ sowie b) ALNAP- oder vergleichbaren Standards Bezugnahme der Berichte auf den Antrag (Soll-Ist-Vergleich) Datenquellen, Unabhängigkeit der Information und deren Verifizierung Dauer der Erstellung von Berichten, Organisationsmitarbeiter Organisationsinterne und externe Dokumente (Leitlinien, unabhängige Qualitätsbeurteilungen usw. 2 ) Dito (inkl. Organigramme) Dito Vorgaben von AA/BMZ 3, ausgewählte Finanzierungs- bzw. Projekt-/ Programmanträge 4 Mitarbeiter anderer Geber Vorgaben von AA/BMZ 5, ausgewählte Berichte inkl. Evaluierungsberichte 4 Mitarbeiter anderer Geber Dito Dito 6, sowie Organisationsmitarbeiter Dito Interview Dokumentenstudium und -auswertung Dito Dito Dokumentenstudium und -auswertung Interview Dokumentenstudium und -auswertung Interview Dito Dito, sowie Interview Dito

73 Untersuchungsfragen I.O. N.O. Beobachtungsfelder / Core Programm Indikatoren Rechtzeitigkeit ihres Eingangs 1.2) Inwieweit sind die Informationen Inhalt, Umfänglichkeit und Aussagekraft / Entscheidungsrelevanz der von der Zentrale der I.O. relevant und ausreichend, um künftige Finanzierungsentscheidungen Berichte zu treffen? Förderentscheidungskriterien 1.3) Über welches Wissensmanagementsystem verfügt die Organisation, ist Lernen (auch aus Misserfolgen) Teil der Organisationskultur? ( ) (soweit nicht identisch mit core-finanzierter I.O.) Nutzung von M&E-Ergebnissen, insbesondere auch von Empfehlungen, innerhalb der Organisation und Kontrolle der Nutzung Zuständigkeiten für das Wissensmanagement (Personal- und Finanzausstattung, Medien) Konkrete Formen der Aufbereitung und Verbreitung von Lernerfahrung Anreize und Sanktionen für die Nutzung von M&E-Ergebnissen Grad der Verankerung des Wissensmanagements im System (u. a. Vernetzung mit M&E-Einheit und Personal, Zugang für Mitarbeiter in den Zentralen der I.O./N.O. und im Feld) Quellen der Information Ministeriumsmitarbeiter 7, Dokumente (Jahresberichte usw.) Ministeriumsmitarbeiter 7 Organisationsmitarbeiter, organisationsinterne und externe Dokumente Dito Dito Dito Dito Dito Methoden der Datenerhebung Interview, Dokumentenstudium und -auswertung Interview Interview, Dokumentenstudium und -auswertung Dito Dito 2) Wie werden die zur Verfügung gestellten Informationen bewertet, gegebenenfalls durch andere Quellen der Information verifiziert, die Bewertungsergebnisse dokumentiert und, falls nötig, intern (z. B. zwischen Vertretungen bei internationalen Organisationen vor Ort und in den Zentralen) und an andere wichtige Betroffene (z. B. zwischen AA und BMZ) verbreitet? 2.1) Wie und durch wen erfolgt die Bewertung der in den Berichten enthaltenen Informationen? 2.1.1) Wie ist die Leitungsebene (leitende Organe) der I.O. an den Diskussionen von Ergebnissen beteiligt? 2.1.2) Wie sind bei der Bewertung die Rollen und Verantwortlichkeiten zwischen ständigen Vertretern (Botschaf- Form der Bewertung und Grad ihrer institutionellen Verankerung; Vergleich mit früheren Berichten Verantwortlichkeiten für die Bewertung innerhalb AA und BMZ (Hierarchieebenen, Berichterstattung innerhalb der Referate) Beteiligung an Diskussionen von Ergebnissen Verteilung von Rollen und Verantwortlichkeiten Ministeriumsmitarbeiter 7 Interne Formulare u.ä. Ministeriumsmitarbeiter 7, Mitarbeiter anderer Geber (zum Vergleich), Aufgabenbeschreibungen u.ä. Mitarbeiter der Leitungsebene der I.O., andere Mitarbeiter Dienstverteilungspläne, Aufgabenbeschreibungen, Ablaufschemata Dito Dito Dito Interview Dokumentenstudium Interview Dokumentenstudium Interview Dokumentenstudium

74 Untersuchungsfragen I.O. N.O. Beobachtungsfelder / Quellen der Methoden der Core Programm Indikatoren Information Datenerhebung ten) und AA/BMZ verteilt? Ministeriumsmitarbeiter 7 Interview 2.2) Inwieweit und wie werden die Form der Verifizierung und Grad Ministeriumsmitarbeiter 7 Interview Informationen verifiziert und welche ihrer institutionellen Verankerung Datenquellen stehen den Verantwortlichen hierfür zur Verfügung? Datenquellen Dito und Vermerke Interview und Dokumentenstudium 2.3) In welchen Fällen, wie und zwischen wem werden die Informationen verbreitet? 2.3.1) Wie sind Kommunikationsstruktur und -fluss zwischen der I.O. und dem Ministerium, falls kein ständiger Vertreter im Aufsichtsorgan sitzt? Kommunikationssysteme (Medien, Regelmäßigkeit, Beteiligte) Kommunikationssysteme (Medien, Regelmäßigkeit, Beteiligte) Ministeriumsmitarbeiter 7, Organisationsmitarbeiter Ministeriumsmitarbeiter 7, Organisationsmitarbeiter Interview Interview 3) Welche Art von Maßnahmen ergreifen die Geber oder könnten von ihnen ergriffen werden für den Fall dass die Information unzureichend für eine umfassende und glaubwürdige Bewertung ist (unterschieden nach verschiedenen Finanzierungsmodalitäten und Einflussmöglichkeiten)? 3.1) Welche Maßnahmen ergreifen die Geber gegenwärtig im Falle aus ihrer Sicht unzureichender oder unglaubwürdiger Information? 3.2) Welche Handlungsspielräume besitzen die Geber im Falle unzureichender oder unglaubwürdiger Information und wie wurden sie bisher genutzt? 3.2.1) Wie kommunizieren AA/BMZ die Ergebnisse ihrer Bewertung an die Empfängerorganisationen? Konkrete Beispiele für ergriffene Maßnahmen (aktuell und in der Vergangenheit), Informationsgrundlagen Tatsächliche Einflussmöglichkeiten (einschließlich Sanktionsmöglichkeiten, vertraglich/formell wie informell) und ihre Nutzung Ministeriumsmitarbeiter 7, Mitarbeiter anderer Geber, ggf. Dokumente und Protokolle Ministeriumsmitarbeiter 7, Mitarbeiter anderer Geber Vertragliche Vereinbarungen (MoU u.ä.) Kommunikationswege, Beteiligte Ministeriumsmitarbeiter 7, Organisationsmitarbeiter Interview, ggf. Dokumentenstudium und -auswertung Interview Dokumentenstudium und -auswertung Interview 4) Welche Art des Follow-up wird unternommen oder könnte unternommen werden im Sinne des Lernens für künftige ähnliche Fälle oder die Finanzierung einer Organisation? 4.1) Wie nutzen AA und BMZ (und andere Geber) Erfolgskontrollergebnisse für strategische Entscheidungen (z. B. auch Eingaben in Entscheidungsgremien der geförderten Organisation)? 4.2) Welche Möglichkeiten des Follow-up (im Sinne des Lernens für künftige Fälle und Finanzierungen) bestehen? Konkrete Beispiele für die Nutzung von Erfolgskontrollergebnissen für Politik- und Strategieänderungen (aktuell und in der Vergangenheit) innerhalb der geförderten Organisation und innerhalb der Ministerien Vorhandene Mechanismen und Spielräume für das Follow-up von (Lernen aus) Erfolgskontrollergebnissen innerhalb der Organisation Ministeriumsmitarbeiter 7, Mitarbeiter anderer Geber Ggf. supporting evidence (Dokumente) Ministeriumsmitarbeiter 7, Mitarbeiter anderer Geber Ggf. supporting evidence (Dokumente) Interview Ggf. Dokumentenstudium Interview Ggf. Dokumentenstudium

75 Untersuchungsfragen I.O. N.O. Beobachtungsfelder / Core Programm Indikatoren und innerhalb der Ministerien Quellen der Information Methoden der Datenerhebung 5) Verfolgen AA und BMZ einen kohärenten Ansatz im Sinne a) einer Gleichbehandlung ähnlicher Förderfälle und b) einer angemessenen und konsistenten Bewertung übergreifender oder gemeinsamer Themen (besonders wenn die gleiche Organisation oder sogar das gleiche Programm von beiden gefördert wird)? 5.1) Inwieweit sind Förderrichtlinien und sonstige Vorgaben des AA und des BMZ hinsichtlich Erfolgskontrolle kohärent? 5.2) Inwieweit erfolgt eine ähnliche und ggf. gemeinsame Bewertung von Erfolgskontrollergebnissen und Themen durch AA und BMZ? 5.2.1) Wie finden Abstimmungen zwischen den Ressorts statt? Gemeinsamkeiten und Unterschiede in der Behandlung des Themas Erfolgskontrolle in Förderrichtlinien und anderen schriftlichen Vorgaben für unterschiedliche Finanzierungsformen Förderrichtlinien und andere schriftliche Vorgaben (z. B. Antragsformulare und Berichtsvorgaben) Dokumentenstudium und -auswertung Bewertungsvorgänge und -kriterien Ministeriumsmitarbeiter 7 Interview, ggf. Dokumentenstudium und -auswertung Themen, Mechanismen, Rhythmus, Hierarchieebenen Ministeriumsmitarbeiter 7 Interview, ggf. Dokumentenstudium und -auswertung 6) Im Besonderen, wie sollte der derzeitige Ansatz verbessert werden? Wann und wie sollten Evaluierungen (individuell oder gemeinsam) von den Gebern selbst durchgeführt werden? Welche Kriterien sollten für die Auswahl von Evaluierungen und Feldstudien genutzt werden? 6.1) Welche Möglichkeiten und Grenzen eines kohärenteren Vorgehens von AA und BMZ bei der Erfolgskontrolle Humanitärer Hilfe bestehen? Welche Veränderungen könnten oder sollten vorgenommen werden, um das Vorgehen zu verbessern? 6.1.1) Zu welchen Anlässen, in welcher Frequenz und in welcher Form sollten thematische, Instrumentenoder Organisationsevaluierungen von AA und BMZ selbst (individuell, zusammen oder gemeinsam mit anderen Gebern) durchgeführt werden? 6.1.2) Welche Kriterien sollten der konkreten Auswahl von Evaluierungen und Feldstudien zugrunde gelegt werden? Konkrete Ansatzpunkte, Potenziale und Grenzen für erhöhte Kohärenz Evaluierungsanlässe, -zeitpunkte, -formen und -beteiligung Ministeriumsmitarbeiter 7, Mitarbeiter anderer Geber (zum Vergleich) DAC Peer Review und ggf. andere Dokumente Ministeriumsmitarbeiter 7, Mitarbeiter anderer Geber (zum Vergleich) Auswahl-/Entscheidungskriterien Ministeriumsmitarbeiter 7, Mitarbeiter anderer Geber (zum Vergleich) Interview Dokumentenstudium und -auswertung Interview Interview

76 Erläuterungen: Hierbei soll überprüft werden, inwieweit einschlägige Vorgaben und Standards in dem Planungs-, Monitoring- und Evaluierungssystem der jeweiligen Organisation (entsprechend deren eigenen Leitlinien und Strukturen) grundsätzlich verankert sind und auch entsprechend umgesetzt werden. Systemprüfungsberichte (aus jüngerer Zeit), Peer Review Berichte, Berichte auf Initiative anderer Geber (wie MOPAN oder DFID) u. ä. Förderrichtlinien, Formatvorgaben für Finanzierungsanträge, Zuwendungsbescheide u. ä. Es sollen jeweils abgeschlossene Vorgänge (Antrag, Zwischenbericht, Schlussbericht, sonstiger Bericht) analysiert werden. Förderrichtlinien, Formatvorgaben für Berichte, sonstige Dokumente (Ablaufschemata, Handreichungen u. ä.) Hier ist ggf. anhand von verschiedenen Berichtsversionen insbesondere nachzuvollziehen, wer die Berichte vor Ort erstellt und wie sie ggf. von der Zentrale weiterverarbeitet werden. Dies können (je nach Relevanz) Mitarbeiterinnen und Mitarbeiter von operativen Einheiten, Haushalts- oder Revisionsabteilungen, des Evaluierungsreferats (BMZ) bzw. des mit Evaluierungen beauftragten Referats (AA) und sonstige Beteiligte (in Länder-, Institutionen-, Themenreferaten usw.) sein.

77 Anlage 3: Liste der Gesprächspartner Name, Vorname Organisation Titel, Abteilung Ort Datum Aylieff, John WFP Emergency Coordinator & Director, Rom Assessment, Analysis & Preparedness Division Barras, Isabelle IKRK Head of Operations, Eastern Europe Genf Beck, Herbert Ständige Vertretung der Counsellor, Political Affairs Genf Bundesrepublik Deutschland bei den Vereinten Nationen in Genf Beckstein, Ständige Vertretung der Third Secretary Genf Wolfgang Bundesrepublik Deutschland bei den Vereinten Nationen in Genf Braune, Sybille Deutsches Rotes Kreuz, Sachgebietsleiterin Berlin Generalsekretariat Entwicklungszusammenarbeit Bundscherer, Auswärtiges Amt Stellvertretender Referatsleiter Berlin Dr. Christoph Arbeitsstab Humanitäre Hilfe Burkhalter, IKRK Planning and Evaluation Division Genf Eugen Busino, Nicola IKRK Head of Finance and Administrative Genf Choffat, Michèle UNHCR Division Donor Relations Officer, Donor Relations and Resource Mobilisation Service Genf Crossey, Ann IKRK Editor (Annual Report) Genf Ferriera, Alzira WFP Deputy Director, Donor Relations Division, Fundraising & Communications Department Rom Flik, Peter M. Gignac, Emmanuel Aussenministerium der Niederlande (Minbuza) UNHCR Head, Humanitarian Aid Division Senior Organisation and Management Officer, Organisational Development and Management Service Den Haag Genf Hahn, Ilse BMZ, Ref. 213 Stellvertretende Referatsleiterin Berlin Hahn, Martin Deutsches Rotes Kreuz, Leiter Internationale Zusammenarbeit Berlin Generalsekretariat Heider, WFP Director, Office of Evaluation, Office of Rom Caroline the Executive Director Hines, Deborah WFP Chief, PDPR, Performance and Reports, Policy Strategy and Programme Support Rom Janz, Udo UNHCR Deputy Director, Bureau for Europe Genf Jurriens, Joris Aussenministerium der Senior Policy Officer, Humanitarian Aid Den Niederlande (Minbuza) Division Haag Kerstin BMZ, Ref. 213 Referatsleiterin Berlin Fährmann Kliest, Ted Aussenministerium der Evaluation Officer, Policy and Telefon Niederlande (Minbuza) Operations Evaluation Department Köhler, Traudel BMZ, Ref. 213 Referentin Berlin Kos, Tim Aussenministerium der Senior Policy Officer, Humanitarian Aid Den Niederlande (Minbuza) Division Haag Kroll, Clemens Auswärtiges Amt Vortragender Legationsrat, Arbeitsstab Humanitäre Hilfe Berlin Telefon Kuhn, Dr. Heike Auswärtiges Amt Entwicklungsberaterin Rom Langenkamp, Johanna UNHCR Genf Head of Service, Donor Relations and Resource Mobilisation Service, Division of External Relations

78 Leuenberger, IKRK External Resources Division Genf Hans Liebetanz, Unabhängig Gutachter des AA Telefon Klaus Maingi, Pauline WFP Länderbüro Kenia Reports Officer Telefon Mauron, Yves Eidgenössisches Controlling Telefon Departement für auswärtige Angelegenheiten; Direktion für Entwicklung und Zusammenarbeit (DEZA) Müller, Ursula Auswärtiges Amt Vortragende Legationsrätin 1. Klasse, Berlin Arbeitsstab Humanitäre Hilfe Nielsen, Kai UNHCR Head, Programme Budget Service, Genf Division of Financial and Administrative Management Oberle, Burk WFP Länderbüro Kenia Country Director Telefon Owusu-Tieku, WFP Corporate RBM Officer, Office of Rom Kofi Change Management Oyen, Martina Auswärtiges Amt Konsulatssekretärin, Arbeitsstab Berlin Humanitäre Hilfe, Nord- und Westafrika Pearce, Jane WFP Chief, Operational Reporting Group, Rom Programme Management Division Petersen, Deutsches Rotes Kreuz, Referentin für Schnittstellen- Berlin Barbara Generalsekretariat Koordination Internationale Zusammenarbeit Read, Marian WFP Länderbüro Kenia Deputy Country Director Telefon Robertson, Tim Dfid Evaluierungsabteilung, Kontaktperson Telefon für Humanitären Hilfe Ruijters, Auswärtiges Amt der Ständige Vertretung in Genf Telefon Yvonne Niederlande Saez, Patrick Dfid Humanitarian Advisor, Conflict, Telefon Humanitarian and Security Department Schultz, DFID Leader, UN Strategy Telefon Michael Schweizer, Beat IKRK Deputy Director-General Genf Sharma, Suresh WFP Director, Ethics Office Rom R. Sigurdson, Dag UNHCR Senior Donor Relations Officer, Donor Relations and Resource Mobilisation Service Genf Sommer, Sigrid Auswärtiges Amt Legationsrätin 1. Klasse, Arbeitsstab Berlin Humanitäre Hilfe Sulzer, Marlen Auswärtiges Amt Amtsrätin, Referat Humanitäre Hilfe Berlin Toyota, Terri WFP Director, Government Donor Relations Rom Division, External Affairs and Resource Development Department Türk, Volker UNHCR Director, Organisational Development Genf and Management Tüttinghoff, WFP Programme Advisor, Operations Rom Hildegard Department, Office of the Associate Director of Operations Van Praag, UNHCR Director, Division of External Relations Genf Nicholas Wiedemann, Ursula BMZ, Ref. 213 Sachbearbeiterin Berlin ,

79 Wright, Neill UNHCR Deputy Insptecor General and Head of Service (Inspections and Investigations) Zech, Johannes UNHCR Associate Donor Relations Officer, Donors Relations and Resource Mobilisation Service Genf Genf

80 Anlage 4: Übersicht über die Empfänger freiwilliger Beiträge an Internationale Organisationen VN-Organisationen, -Programme und -Fonds (Quellen: OCHA FTS-Liste 1, BMZ-Liste 2, AA-Listen 3, organisationseigene Webseiten 4 ) Nr. Empfänger Sitz 4 Finanzierung Finanzierende 2007 (USD) 1 Ministerien 23 1 World Food Programme Rom BMZ Anmerkungen 2 UNHCR Genf * AA, BMZ * Enthält Finanzierung für International IDEA aus OCHA FTS-Liste sowie ungebundene Beiträge 3 UNRWA Wien AA, BMZ 4 Central Emergency Response Fund (CERF) New York AA 5 UN-OCHA Genf * AA * Laut AA-Angaben EUR 6 UNDP New York * AA * Laut AA-Angaben EUR 7 International Strategy for Disaster Reduction (ISDR) und ISDR/PPEW (Platform for the Promotion of Early Warning) Genf AA 8 UNICEF New York AA * Laut AA-Angaben EUR Zwischensumme EUR = 1,336 USD ( Jan.-Dez. 2007) 2. Internationale Fonds (Quellen: UN-OCHA FTS-Liste 1, AA-Listen 3, organisationseigene Webseiten 4 ) Nr. Empfänger Sitz 4 Finanzierung Finanzierende 2007 (USD) 1 Ministerien 3 1 International Trust Fund for Demining and Victim Assistance (ITF) Sarajevo (BIH) Anmerkungen * AA * Enthält EUR für ITF/NPA aus AA-Angaben Zwischensumme EUR = 1,336 USD (Jan.-Dez. 2007)

81 3. Internationale Nichtregierungsorganisationen (Quellen: UN-OCHA FTS-Liste 1, BMZ-Liste 2, AA-Listen 3, organisationseigene Webseiten 4 ) Nr. Empfänger Sitz 4 Finanzierung Finanzierende 2007 (USD) 1 Ministerien 23 1 International Committee of the Red Cross (ICRC) Genf (CH) AA, BMZ 2 Norwegian People s Aid (NPA) * Oslo (NOR) AA 3 HALO Trust * Thornhill (UK) AA 4 Mine Advisory Group (MAG) Manchester (UK) AA Anmerkungen 5 Fondation Suisse de Deminage (FST) Genf (CH) *EUR AA * Nicht in der OCHA FTS-Liste 6 International Campaign to Ban Landmines (ICBL) Genf (CH) *EUR AA * Nicht in der OCHA FTS-Liste 7 Lutheran World Federation Genf (CH) AA 8 International Federation of Red Cross and Red Crescent Societies Genf (CH) AA 9 Belgium Red Cross Mechelen (BE) (* ) AA * Wahrscheinlich in Finanzierung für das DRK enthalten 10 DanChurchAid Copenhagen (DK) *EUR AA * Nicht in der OCHA FTS-Liste 11 Geneva International Centre for Humanitarian Demining (GICHD) Genf (CH) * AA * Laut AA-Angaben EUR 12 Aga Khan Foundation Ottawa (CAN) AA Kleinstförderung durch die Deutsche Botschaft 13 Mauretanian Red Crescent k. A AA Kleinstförderung durch die Deutsche Botschaft 14 Australia Red Cross Carlton Victoria (AUS) AA Kleinstförderung durch die Deutsche Botschaft 15 Overseas Development Institute (ODI) * London (UK) *EUR AA * ALNAP-Beitrag für Review of Humanitarian Aid, nicht in der OCHA FTS- Liste Zwischensumme EUR = 1,336 USD (Jan.-Dez. 2007)

82 4. Ausländische staatliche Organisationen (Quellen: UN-OCHA FTS-Liste 1, AA-Listen 3, organisationseigene Webseiten 4 ) Nr. Empfänger Sitz 4 Finanzierung Finanzierende 2007 (USD) 1 Ministerien 3 Anmerkungen 1 Bilateral (Regierung an Regierung) * AA * Nicht eindeutig zuordenbar 2 Cambodian Mine Action and Victim Assistance Authority (CMAA) Phnom Penh (KH) AA 3 National Committee for Demining and Rehabilitation (NCDR) Amman (HKJ) AA Zwischensumme EUR = 1,336 USD (Jan.-Dez. 2007) GESAMTSUMME EUR = 1,336 USD (Jan.-Dez. 2007)

83 Anlage 5 Reporting Cycle UNHCR

84 Anlage 6 Reporting Cycle ICRC