Projektevaluierung: Kurzbericht Deutsche BACKUP Initiative

Transkript

1 Stabsstelle Monitoring und Evaluierung Projektevaluierung: Kurzbericht Deutsche BACKUP Initiative Bezeichnung gemäß Auftrag: Deutsche BACKUP Initiative Projektnummer: Land/Region: Überregional CRS-Sektor: Gesundheitspolitik und Verwaltung des Gesundheitswesens Gesamtziel: Die Qualität der Anträge an den Globalen Fonds zur Bekämpfung von AIDS, TB und Malaria (GFATM) und die Umsetzung der finanzierten Programme sind verbessert, wobei Gesundheitssystemstärkung, zivilgesellschaftliche Teilhabe insbesondere vulnerabler Bevölkerungsgruppen und Geschlechtergerechtigkeit besonders berücksichtigt werden. Gesamtlaufzeit: 10/2012 bis 09/2015 Gesamtkosten: Auftraggeber: 15,250 Millionen EUR Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) Politische(r) Träger: --- Durchführungsorganisationen (im Partnerland): Andere beteiligte Entwicklungsorganisationen: Zielgruppen laut Angebot: Antragsbasierte Förderung staatlicher und zivilgesellschaftlicher Partner weltweit, die mit den Zielgruppen des Vorhabens arbeiten oder diese repräsentieren, im Kontext von GFATM-Programmen Kofinanzierung: Schweizer Direktion für Entwicklungszusammenarbeit, DEZA Menschen in Partnerländern, die von HIV, Tuberkulose und Malaria bedroht oder betroffen sind, insbesondere Frauen und Mädchen (aufgrund biologisch wie auch sozial erhöhten HIV-Risiken) sowie vulnerable Bevölkerungsgruppen wie Drogenkonsumenten, Sexarbeiter/-innen und sexuelle Minderheiten

2 Seite 2 Projektbeschreibung Rahmenbedingungen Die Infektionskrankheiten AIDS (Acquired Immune Deficiency Syndrome), Tuberkulose (TB) und Malaria mindern die Lebenserwartung und Lebensqualität großer Teile der Weltbevölkerung. Weltweit lebten 2012 etwa 35,3 Millionen Menschen mit HIV (2002: 42 Millionen), und es wurden ca. 2,3 Millionen Neuinfektionen verzeichnet (2002: 5 Millionen). An den Folgen von AIDS verstarben etwa 1,6 Millionen Menschen (2005: 2,3 Millionen) führten geschätzte 198 Millionen Fälle von Malaria bzw. 9 Millionen Fälle von TB zu ca bzw. 1,5 Millionen Todesopfern, darunter TB-Sterbefälle im Zusammenhang mit einer HIV/AIDS Infektion. Seit 2002 haben sich die von der internationalen Gebergemeinschaft für die Kontrolle dieser drei Krankheiten bereitgestellten Mittel beträchtlich erhöht, insbesondere durch die Schaffung des Globalen Fonds zur Bekämpfung von AIDS, TB und Malaria (Global Fund to Fight AIDS, Tuberculosis and Malaria, GFATM). Von 2002 bis 2011 stellte der GFATM Finanzmittel in Höhe von 22,9 Milliarden US-Dollar für ca Programme in 151 Staaten zur Verfügung. Der deutsche Beitrag kumuliert sich seit 2002 auf ca. 1,3 Milliarden EUR. Mit einem jährlichen Beitrag von ca. 200 Millionen EUR (in 2014 rund 245 Millionen EUR) ist Deutschland nach den USA und Frankreich der drittgrößte Geber im GFATM (vgl. BMZ 2014). Viele Länder haben jedoch nach wie vor Schwierigkeiten, Zugang zu Finanzierung zu bekommen und Fördermittel adäquat einzusetzen. Es fehlt an geeigneten Strukturen und Kapazitäten, um erhaltene Mittel effektiv, effizient, plangerecht und transparent einzusetzen. In der Folge sind die Qualität von Anträgen und die Umsetzung der finanzierten Programme noch nicht ausreichend (Kernproblem). Die Beteiligung zivilgesellschaftlicher Gruppen, insbesondere vulnerabler Gruppen wie schwulen Männern, Sexarbeitern beiderlei Geschlechtes und intravenösen Drogennutzern an Abstimmungsprozessen ist weiterhin oft unzureichend. Eine Reihe internationaler Geber leistet technische Unterstützung (Technical Assistance, TA) bei der Stellung von Anträgen an den GFATM und der Umsetzung von GFATM-finanzierten Programmen. Als spezialisierte Anbieter sind dabei insbesondere die Deutsche BACKUP Initiative (seit 2002, im Weiteren: BACKUP), die amerikanische, von USAID finanzierte Grant Management Solutions (GMS, seit 2007) und die französische Initiative 5% (seit 2010) zu nennen. Strategischer Ansatz des Vorhabens Seit 2002 berät BACKUP Länder bei Akquise und Umsetzung globaler Finanzierung für die Kontrolle von HIV, TB und Malaria. Das Vorhaben ist ein bedarfs- und nachfrageorientiertes überregionales Programm, dessen Fokus sich abhängig von den jeweils aktuellen Entwicklungen beim GFATM und den spezifischen Problemlagen der zu beratenden Länder auf die Antragstellung (Proposal Development Support) oder die Umsetzung der Mittel (Grant Implementation Support) richtet. Entsprechend den o.g. Problemfeldern liegen Schwerpunkte der Beratung dabei in der Vernetzung staatlicher und zivilgesellschaftlicher Partner, der Berücksichtigung von Bedarfen besonders vulnerabler Bevölkerungsgruppen (Key Affected Populations, KAPs), Gesundheitssystemstärkung, Risikomanagement und Geschlechtergerechtigkeit. BACKUP wird von der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) im Auftrag des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) durchgeführt. Der gegenwärtige, für die vorliegende Projektevaluierung (PEV) maßgebliche Förderzeitraum läuft von Oktober 2012 bis September 2015 (3 Jahre). Das Modulziel lautet: Die Qualität der Anträge an den GFATM und die Umsetzung der finanzierten Programme sind verbessert, wobei Gesundheitssystemstärkung, zivilgesellschaftliche Teilhabe insbesondere vulnerabler Bevölkerungsgruppen und Geschlechtergerechtigkeit besonders berücksichtigt werden. Das Vorhaben verfolgt einen Mehrebenenansatz. Es umfasst die bilaterale Unterstützung von Antrag stellenden Ländern, fördert Maßnahmen des Capacity Development (CD) auf regionaler Ebene und ist konzeptionell und koordinierend auf globaler bzw. multilateraler Ebene tätig. Die bilaterale Kooperation wird auf der Grundlage von Finanzierungs- und Consultingverträgen durchgeführt, die eine auf die Bedarfe der Partner zugeschnittene TA ermöglichen: Fast Access Mode (FA): zeitnahe Bereitstellung von Mitteln für einmalige Aktivitäten (bis EUR); Consultancy Mode (CM): Beauftragung von Beratern (bis EUR); Project Mode (PM): Projekte zur Schaffung von Voraussetzungen im Vorfeld von Anträgen an den GFATM oder zur Unterstützung bei der Umsetzung bewilligter Programme ( EUR). Regionale Kapazitäten, Strukturen und Netzwerke werden vor allem durch internationale Kooperationen (u.a. Finanzierungsverträge mit der International HIV/AIDS Alliance IHAA, der afrikanischen Nichtregierungsorganisation/NRO AIDSPAN oder der International Planned Parenthood Federation IPPF) gefördert. Auf globaler Ebene kooperiert das Vorhaben mit den Fund Portfolio Managern (FPM), dem Grant Management Support Team (CCM Hub) und dem Technical Advice and Partnerships Department im GFATM-Sekretariat zur Identifizierung von Beratungsbedarfen und zur Abstimmung bilateraler TA. Die verschiedenen Interventionsebenen ergänzen sich sinnvoll im Hinblick auf die Effektivität des Vorhabens. Dabei ist jedoch auf die Besonderheit von BACKUP als Globalvorhaben hinzuweisen, dessen einzelne Fördermaßnahmen nicht im Hinblick auf ein aggregiertes Projektziel miteinander verknüpft, sondern dezentral als jeweils spezifische Lösungen für spezifische Problemlagen der Antrag stellenden Länder konzipiert sind.

3 Seite 3 Gesamtbewertung nach OECD/DAC Kriterien: Die Gesamtbewertung des Programms entspricht dem arithmetischen Mittel der Einzelbewertungen der fünf OECD/DAC Kriterien. Die TZ-Maßnahme wird mit insgesamt 11,6 Punkten von 16 Punkten als erfolgreich bewertet. Bewertungsschema: Punkte: sehr erfolgreich Punkte: erfolgreich Punkte: eher erfolgreich 8-9 Punkte: eher unbefriedigend 6-7 Punkte: unbefriedigend 4-5 Punkte: sehr unbefriedigend Einzelbewertung der OECD/DAC Kriterien: Relevanz: Stufe 1 sehr erfolgreich (14 von 16 Punkten) Effektivität: Stufe 2 erfolgreich (12 von 16 Punkten) Impact: Stufe 3 eher erfolgreich (10 von 16 Punkten) Effizienz: Stufe 2 erfolgreich (12 von 16 Punkten) Nachhaltigkeit: Stufe 3 eher erfolgreich (10 von 16 Punkten) Relevanz Die Förderungen von BACKUP leisten einen wichtigen Beitrag zur Lösung von Kernproblemen der Zielgruppen, insbesondere von vulnerablen Bevölkerungsgruppen. Dieser Beitrag wird durch die Zusammenarbeit mit zivilgesellschaftlichen Partnern erreicht. Die nachfrageorientierten Fördermaßnahmen unterstützen Partner meist bei konkreten Problemlösungen und tragen dazu bei, GFATM-Mitteln wirksam und effizient einzusetzen. Schwerpunkt- bzw. Querschnittsthemen wie Teilhabe der Zivilgesellschaft, Bedarfe von KAPs, Gleichberechtigung der Geschlechter und Risikomanagement spiegeln sich im Förderportfolio adäquat wider. Die thematische Ausrichtung der Maßnahmen entspricht auch den Anforderungen der Auftraggeber (BMZ, DEZA) und fügt sich in die Förderlandschaft sinnvoll ein. Dabei ist insbesondere der Fokus auf zivilgesellschaftliche Partner ein wichtiges Alleinstellungsmerkmal. BACKUP leistet einen signifikanten Beitrag zur Sichtbarkeit der deutschen EZ im Kontext der GFATM-Arbeit und im Gesundheitssektor. Die Kleinteiligkeit der Förderung führt aber auch dazu, dass nicht alle Einzelmaßnahmen strategisch gleichermaßen bedeutsam sind und ein längerfristiges CD nicht geleistet werden kann. Insgesamt erfolgt dennoch eine Bewertung mit Stufe 1 ( sehr erfolgreich ). Effektivität Zielindikator 1 Soll laut Angebot Ist-Zustand laut Projektevaluierung In 60% der von BACKUP unterstützten Anträge an den Globalen Fonds (concept note development) wird die Beratung von BACKUP für mindestens eine der folgenden Aufgaben genutzt: zur zusätzlichen Stärkung von Gesundheitssystemen, zur vermehrten Teilhabe der Zivilgesellschaft, zur Verbesserung der Geschlechtergerechtigkeit und/oder zur Verbesserung der Situation vulnerabler Bevölkerungsgruppen. 60 % Von 19 dem Indikator zuzurechnenden Maßnahmen sind 10 Maßnahmen bereits abgeschlossen. 7 von 10 der geförderten Anträge bzw. vorbereitenden Aktivitäten greifen mindestens eines der genannten Schwerpunktthemen auf (= 70%, über dem vorgegebenen Zielwert). Da die BACKUP-Fördermittel bereits zur Hälfte der Projektlaufzeit weitestgehend vergeben waren, wurden jedoch deutlich weniger Länder in der Antragstellung unterstützt als ursprünglich angestrebt (Zielgröße laut Angebot: 30). Damit wurde auch die Gelegenheit verpasst, sich im Rahmen des NFM als Ansprechpartner für die Antragsberatung zu profilieren. Die Zielerreichung im Sinne des Indikators ist daher nur als teilweise erfolgreich zu bewerten. 1 Die Formulierung der Indikatoren 1, 2, 4 und 5 wurde hinsichtlich der Erfüllung der SMART-Kriterien geringfügig angepasst, ohne den Inhalt zu verändern.

4 Seite 4 80% der BACKUP- Unterstützungsleistungen (grant implementation) tragen zur Stärkung von Gesundheitssystemen, der Zivilgesellschaft, von Geschlechtergerechtigkeit und/oder von vulnerablen Bevölkerungsgruppen bei. 10 der unterstützten länderkoordinierenden Mechanismen (Country Coordinating Mechanisms, CCM) haben alle bei BACKUP eingereichten identifizierten Schwachpunkte bezüglich der CCM- Richtlinien des Globalen Fonds behoben. 70% der BACKUP-Beratungsleistungen werden von der Partnerorganisation als gut und wirkungsvoll im Sinne der Zielerreichung erachtet. 80 % Von 52 dem Indikator zuzurechnenden Maßnahmen waren bis zum Evaluierungszeitpunkt 21 Maßnahmen bereits abgeschlossen und werden durch das Projektmonitoring zu 100% als erfolgreich im Sinne des Indikators eingestuft. Der Indikator wird somit voraussichtlich erreicht bzw. übertroffen. Die bedeutet, dass mindestens eines der im Indikator genannten Schwerpunktthemen in der Beratung adäquat berücksichtigt wurde. Auswirkungen auf die Kapazitäten der beratenen Partner oder die tatsächliche Qualität der späteren Grant Implementation erfasst der Indikator nicht. 10 Die 24 dem Indikator zuzurechnenden Maßnahmen unterstützten CCMs u.a. bei der Durchführung so genannter Eligibility and Performance Assessments (EPAs), der daran anschließenden Erarbeitung von Optimierungsplänen, der Entwicklung und Evaluierung von Strategieplänen, der Entwicklung von Kommunikationsstrategien oder der Entwicklung von Arbeitsplänen für die Einbeziehung der Zivilgesellschaft. In 12 von 13 der bis zum Evaluierungszeitpunkt abgeschlossenen Maßnahmen konnten die CCMs die maßgeblichen Anforderungen des GFATM erfüllen. Der Indikator ist damit formal bereits zum gegenwärtigen Zeitpunkt erreicht. 70 % Standardisierte, vom Vorhaben durchgeführte Surveys zur Erfolgsbewertung der im Consultancy Mode und im Project Mode durchgeführten Maßnahmen lassen eine hohe Zufriedenheit der Partner mit den Ergebnissen der BACKUP-Unterstützung erkennen. In der jüngsten Befragung zu im Zeitraum Januar 2013 bis Oktober 2014 beendeten Maßnahmen geben alle Befragten zum CM und PM (n=24) an, die angestrebten Ziele seien ganz (83%) oder teilweise (17%) erreicht worden. Knapp über die Hälfte der Partner im CM und alle Partner im PM geben außerdem an, die Förderung habe über die Beratungsziele hinaus weiteren nichtintendierten (durchweg positiven) Nutzen entfaltet. (a) Alle Antragssteller bei BACKUP werden hinsichtlich der Anwendung von GRAM (Grant Risk Assessment and Management) beraten. (b) Bei mindestens 50% der Anträge, die eine Stärkung des Risikomanagements vorsehen, wird in der Umsetzung GRAM durchgeführt. Durchführung von GRAM in 50% der Fälle Von 120 bewilligten Maßnahmen decken 32 Maßnahmen den Themenbereich Risikomanagement ab. Darunter sind fünf Maßnahmen, die die Anwendung des GRAM Instruments unterstützen. Damit sind die Vorgaben des Indikators nur zu knapp 16% erfüllt. Allerdings wird der Indikator der inhaltlich deutlich breiter angelegten Arbeit und der insgesamt positiv bewerteten Positionierung des Vorhabens, insbesondere im Hinblick auf die Bearbeitung programmatischer Risiken und Risiken im Zusammenhang mit unzureichenden Governance-Strukturen, nicht gerecht. Zum Teil ergeben sich hier Überschneidungen mit auch von anderen Indikatoren erfassten Maßnahmen, so dass die positiven Survey-Ergebnisse auch auf den Arbeitsbereich Risikomanagement übertragbar sind.

5 Seite 5 Insgesamt ergibt sich anhand der Indikatoren ein relativ hoher Zielerreichungsgrad (drei Indikatoren erfüllt bzw. bis Projektende voraussichtlich erfüllbar, ein Indikator teilweise erfüllt, ein Indikator voraussichtlich nicht erfüllbar). Allerdings erfassen die Indikatoren in erster Linie den Output der BACKUP-Fördermaßnahmen (Qualität der Beratungen hinsichtlich der Berücksichtigung der in den Indikatoren genannten Schwerpunktthemen, der Erfüllung von GFATM-Richtlinien durch CCMs, Bewertung der Zielerreichung durch Partnerorganisationen und Durchführung von Risikoanalysen durch die Partner). Zu darüber hinausgehenden Wirkungen liegt wenig systematisches Wissen vor. Es ist allerdings davon auszugehen, dass BACKUP viele Problemlösungen eröffnet, die Partner aus eigener Kraft nicht hätten leisten können. Skeptischer werden jedoch die mittel- bis längerfristigen Wirkungen auf die Kapazitätsentwicklung der Partner eingeschätzt, insbesondere dort, wo keine Möglichkeit zur Verzahnung mit bilateralen Gesundheitsvorhaben besteht. Aufgrund der vorzeitigen Ausschöpfung der Fördermittel konnten allerdings Beratungsbedarfe im Zusammenhang mit dem NFM zwischenzeitlich nicht ausreichend bedient werden, wodurch Potenziale (z.b. bei der Beratung von Länderdialogen und der Formulierung von Concept Notes) nicht ausgeschöpft wurden. Von den drei strategischen Kooperationen mit internationalen Partnern (IHAA, IPPF und AIDSPAN) haben insbesondere die Kooperationen mit IHAA und IPPF ein hohes Potenzial für regional strukturbildende Wirkungen. Nicht intendierte Wirkungen im engeren Sinne werden nicht berichtet. Deshalb erfolgt insgesamt noch eine Bewertung mit Stufe 2 ( erfolgreich ). Übergeordnete entwicklungspolitische Wirkungen Hinsichtlich internationaler Themen und Standards zielt BACKUP auf Beiträge zur Umsetzung von Beschlüssen der G-8 und der Vereinten Nationen (v.a. Millenniumsentwicklungsziele MDG, Universeller Zugang zu HIV-Prävention) auf der Grundlage der Aid Effectiveness Agenda. Im Kontext der GFATM-Arbeit ist der Impact von BACKUP vor allem an dem Beitrag zu einer bedarfsgerechteren, effizienteren und letztlich auch effektiveren Mittelverwendung durch die Partner zu messen. Zwar sind langfristige, kapazitätsbildende Beiträge auf die Partnerorganisationen oder deren Umfeld aufgrund der gegenwärtigen Ausrichtung der Förderung nur in begrenztem Umfang zu erwarten. Der Wirkungstiefe im Hinblick auf die o.g. Zielsetzungen sind damit ebenfalls Grenzen gesetzt. Die Breitenwirksamkeit wird dagegen positiv eingeschätzt aufgrund (a) der Inwertsetzung umfangreicher GFATM-Mittel, und (b) der Vorbildwirkung des Förderinstrumentariums für andere TA- Anbieter innerhalb des Sektors (GMS, Initiative 5%) und darüber hinaus (Übernahme des Förderinstrumentariums durch das Regionalvorhaben Deutsche BACKUP Initiative Bildung in Afrika). Insgesamt wird der Impact mit Stufe 3 ( eher erfolgreich ) bewertet. Effizienz BACKUP steht für eine flexible, zügige und verbindliche Bearbeitung von Anträgen. Die weitgehend standardisierten Arbeitsprozesse haben sich bewährt und gewährleisten eine hohe Produktionseffizienz. Lediglich der Verzicht auf eine Standardisierung von Beratungsprodukten ist mit erhöhten Transaktionskosten verbunden. Die Allokationseffizienz wird aufgrund der hohen Hebelwirkung vieler BACKUP-Maßnahmen positiv eingeschätzt, und es gibt nach Einschätzung des Gutachterteams nur geringe Mitnahmeeffekte. Existierende Kooperationsmechanismen (mit GFATM, BMZ, Sektorvorhaben PROFILE, anderen TA-Anbietern) gewährleisten weitgehend eine Harmonisierung von Geberbeiträgen, müssen aber vereinzelt aktiver nachgehalten werden (z.b. im Verhältnis zu PROFILE oder in der Kommunikationen mit einzelnen Einheiten des GFATM). Insgesamt wird die Effizienz mit Stufe 2 ( erfolgreich ) bewertet. Nachhaltigkeit Auf die gegenwärtige Form der BACKUP-Förderung ist das für bilaterale Entwicklungsmaßnahmen übliche Verständnis von Nachhaltigkeit nur eingeschränkt anwendbar, da langfristig orientierte Kapazitätsentwicklung i.d.r. nicht im Vordergrund steht, sondern konkrete Problemlösungen oder die Schaffung konkreter (instrumenteller und/oder organisatorischer) Voraussetzungen für die Beantragung und Verwendung von GFATM-Mitteln. Das Monitoring von BACKUP erfasst die Dauerhaftigkeit von Ergebnissen daher nicht auf der Outcome-Ebene, sondern auf der Output-Ebene. So fragen die standardisierten Surveys für die Maßnahmen ab, inwieweit Beratungsergebnisse weiterhin fortbestehen und sich auf die Arbeit der Organisation auswirken. Für den aktuellen Förderzeitraum von BACKUP wird diese Frage von 100% der befragten Partner bejaht, was zum einen auf die zumindest mittelfristige Tragfähigkeit der mit BACKUP-Unterstützung erzielten Ergebnisse schließen lässt, zum anderen aber aufgrund der standardisierten Frageform nur begrenzte Rückschlüsse auf das zugrundeliegende Nachhaltigkeitsverständnis und die tatsächliche Reichweite nachhaltiger Wirkungen zulässt. Auf der anderen Seite ergeben sich viele Hinweise auf Bedarfe an weiterführenden Kapazitätsentwicklungsmaßnahmen, denen BACKUP mit seiner gegenwärtigen Ausrichtung nicht begegnen kann. Häufiger kommt es vor, dass im Rahmen eher diagnostisch angelegter Beratungseinsätze Defizite aufgezeigt werden, deren weitere Bearbeitung dann aber selbst nicht mehr Interventionsgegenstand ist. Insgesamt führt dies zu einer Bewertung der Nachhaltigkeit mit Stufe 3 ( eher erfolgreich ).

6 Seite 6 Impressum Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH Sitz der Gesellschaft Bonn und Eschborn Friedrich-Ebert-Allee Bonn T F Dag-Hammarskjöld-Weg Eschborn/Deutschland T F E info@giz.de I