PriME - Programm-integriertes Planungs-, Monitoringund Evaluierungssystem von InWEnt Kurzinformation On behalf of
Inhalt PriME - das PM+E System bei InWEnt 3 Die PM+E-Qualitätsschleife 4 Wirkungsorientierung 5 Wirkungsebenen und Wirkungszusammenhänge 6 Format für Planung: die PM+E-Übersicht 7 Format für Monitoring: der M+E-Report 7 Evaluierungsformate 8 Institutionelles Lernen bei InWEnt 9
PriME das Planungs-, Monitoring und Evaluierungs-System bei InWEnt Als Organisation für Internationale Zusammenarbeit stellt InWEnt hohe Ansprüche an die Qualität ihrer Bildungs-, Austausch- und Dialogprogramme. Der Erfolg der InWEnt-Programme im In- und Ausland wird gemessen an den Wirkungen, die sie erzielen. Um den internationalen Herausforderungen an Wirkungsorientierung und -erfassung gerecht zu werden, wurde das InWEnt-eigene Programmintegrierte Planungs-, Monitoring- und Evaluierungssystem PriME entwickelt. PriME orientiert sich an nationalen und internationalen Standards der Evaluation wie sie von der DeGEval Gesellschaft für Evaluation und der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) aufgestellt wurden. Im Mittelpunkt von PriME stehen die Erfassung und der Nachweis der erreichten Ziele und Wirkungen von InWEnt-Programmen. Damit ist PriME auch ein Instrument zur Schaffung von Transparenz und zur Stärkung der Legitimation gegenüber Auftraggebern und Öffentlichkeit. Das System basiert auf dem im InWEnt- Konzept für Capacity Building festgeschriebenen Mehrebenenansatz (Individuum, Organisation, System). Es fördert Qualität durch Standardisierung und Systematisierung von Planungs-, Monitoring- und Evaluierungsaktivitäten. PriME leistet damit einen wichtigen Beitrag zur Qualitätssicherung aller Programme von InWEnt und bietet Steuerungsinstrumente für die gesamte Qualitätsschleife. Durch institutionelles Lernen werden schließlich kontinuierliche Verbesserungsprozesse eingeleitet. PriME ist darauf ausgerichtet, vielfältigen Ansprüchen zu genügen: denen von Auftraggebern nach Rechenschaft, denen von Mitarbeitern/innen und Leitung nach Qualitätsicherung und Standardisierung als auch denen der Partner und Teilnehmer nach Erfolg und Partizipation. Die Instrumente und Verfahren von PriME sind so konzipiert, dass sie an die jeweiligen externen Anforderungen angepasst werden können. PriME ist daher für die verschiedenen Geschäftsfelder und -bereiche von InWEnt einsetzbar. 3
Die PM+E-Qualitätsschleife Das Programmmanagement bei InWEnt basiert auf einer einheitlichen Qualitätsschleife. Sie besteht aus den Phasen Planung, Durchführung und Abschluss der Programme. Daran schließt sich die Auswertung und Umsetzung von Lessons learned an. Für jede der Phasen werden die relevanten Arbeitsschritte beschrieben, in denen standardisierte PriME-Instrumente zur Anwendung kommen. Die einheitliche PM+E-Qualitätsschleife mit den einzelnen Arbeitsschritten im Rahmen des Programmmanagements ist nachfolgend dargestellt. Sie bezieht sich auf die gesamte Programmlaufzeit und stellt keinen jährlichen Programmzyklus dar. Im PriME-Handbuch werden die Arbeitsschritte und die standardisierten Instrumente ausführlich erläutert und durch Beispiele ergänzt. 4
Wirkungsorientierung Wirkungen sind Veränderungen des Ist- Zustandes, die den Ergebnissen einer Aktivität direkt oder indirekt über nachvollziehbare Plausibilitäten zugeordnet werden können. Im Bereich der internationalen Zusammenarbeit ist die Orientierung auf Wirkungen in den letzten Jahren stark in den Vordergrund gerückt. Jede Organisation in der internationalen Zusammenarbeit, die erfolgreich sein will, muss mit ihren Programmen nachweisen, welche Wirkungen erzielt wurden. Das gilt nicht nur im entwicklungspolitischen Kontext. Der Nachweis von Wirkungen im Sinne des Erfolgs der Programme und der Zufriedenheit der Kunden (Teilnehmer/innen ebenso wie Auftraggeber) ist für alle Geschäftsbereiche von InWEnt also auch in der Zusammenarbeit mit Industrie- und Transformationsländern oder der entwicklungsbezogenen Bildung relevant, um markt- und wettbewerbsfähig zu bleiben. Die Orientierung auf Wirkungen verbindet alle bei InWEnt vorhandenen Geschäftsfelder. Wirkungsorientierung bedeutet, dass bereits bei der Planung von Anfang an die Wirkungen definiert werden, die durch ein Programm erzielt werden sollen. Zentrale Fragestellung für die Planung der Programme ist somit: Was wollen wir mit unseren Programmen bewirken? Diese Frage wird in der Programmplanung konkretisiert. Die beabsichtigten positiven Wirkungen werden in den Zielen der Programme als angestrebter Soll-Zustand festgelegt. Für die Ziele werden Indikatoren entwickelt, anhand derer der Zielerreichungsgrad ermittelt wird. Die Indikatoren bilden somit die Grundlage für Monitoring und Evaluierung. Die festgelegten Ziele und Indikatoren werden während des Programmverlaufs beobachtet und nach Abschluss des Programms einer Bewertung unterzogen. Dann wird gefragt: Was haben unsere Programme bewirkt? Für die Messung des Erfolgs von InWEnt-Programmen sind drei Wirkungsebenen mit Zwischenstufen zu unterscheiden: Output: die Ergebnisse, die durch die einzelnen Maßnahmen (InWEnt-Leistungen) erzielt werden Outcome: unterteilt in 2 Stufen a) die Nutzung der Leistung und der Transfer dieser Nutzung b) die direkten, mittelfristigen Wirkungen, die daraus resultieren Impact: längerfristige, übergeordnete Wirkungen, zu denen die InWEnt-Leistungen beigetragen haben Um signifikante politische, wirtschaftliche und gesellschaftliche Wirkungen zu erzielen, setzt InWEnt gemäß dem Capacity Building Konzept auf den drei Ebenen Individuum, Organisation und System an, die möglichst systematisch in den Programmen miteinander verknüpft werden. Die Darstellung der Wirkungen orientiert sich an den in der Entwicklungszusammenarbeit bewährten und auch für andere Sektoren hilfreichen Kriterien Relevanz, -Effektivität, Effizienz, übergeordnete Wirkungen, Nachhaltigkeit sowie Kohärenz, Komplementarität und Koordination. 5
Wirkungsebenen und Wirkungszusammenhänge Längerfristige, übergeordnete entwicklungs-politische Wirkungen positiv oder negativ, intendiert oder nicht intendiert (indirekte Wirkung) Weitergehende, indirekte Wirkungen beschreiben Veränderungen auf Systemebene, zu denen die InWEnt-Programme einen Beitrag geleistet haben, z.b. Rolle/Einfluss von Organisationen/Institutionen im politischen, gesellschaftlichen oder wirtschaftlichen Umfeld. Kurz- und mittelfristige Wirkungen intendierte positive Veränderungen in Folge der Nutzung der Leistung (direkte Wirkung) z.b. Stärkung der Kapazitäten von Organisationen, Netzwerken, Strukturen, Initiierung von Veränderungsprozessen in Institutionen/Unternehmen (Versorgung mit Gütern und Dienstleistungen, nachhaltige und effiziente Produktion). Ebene des InWEnt- Programmziels Nutzung der Leistung und Transfer Beteiligte wenden die erworbenen Kompetenzen in ihrem Umfeld an, z.b. führen neue Verfahren ein, beraten oder führen Trainings durch, nutzen die erstellten Produkte, Dienstleistungen, Regelwerke... Ebene der InWEnt- Maßnahmenziele Leistungen/Ergebnisse Dienstleistungen, Produkte, Institutionen, Regelwerke, Kompetenzen, die durch die Maßnahmen erstellt/entwickelt wurden. Auf der Output-Ebene werden die Ergebnisse der Maßnahmen erfasst. Maßnahmen Gesamtheit von Aktionen, die durchgeführt werden (Trainings, Dialogveranstaltungen, E-Learning). Ressourcen Finanzielle, personelle, materielle Beiträge und Mittel, die bereitgestellt werden. 6
Format für Planung: die PM+E-Übersicht Schon bei der konzeptionellen Erarbeitung von Programmen erfolgt die Bearbeitung der PM+E-Übersicht, in der das Programmziel, Maßnahmenziele sowie Indikatoren festgelegt werden. Auf diese Weise können die Programme anhand der Wirkungsebenen systematisch und plausibel strukturiert werden. PM+E-Übersicht für die interne Programmsteuerung Programmziel Schlüsselfragen (optional) Was muss ich wissen, um Ergebnisse und Wirkungen feststellen und einschätzen zu können? Indikatoren (relevant für Abschlussevaluierung) Welche Informationen und Daten brauche ich zur Beantwortung der Schlüsselfragen? Maßnahmenziel 1 Schlüsselfragen (optional) Indikatoren (bezogen auf Outcome-Ebene) Maßnahmen Methoden der Informationsbeschaffung (ergänzend zur Maßnahmenevaluierung) Maßnahmenziel 2 Schlüsselfragen (optional) Indikatoren (bezogen auf Outcome-Ebene) Maßnahmen Methoden der Informationsbeschaffung (ergänzend zur Maßnahmenevaluierung Format für Monitoring: der M+E-Report Das Outcome-Monitoring erfolgt in regelmäßigen Abständen und dient der Qualitätssicherung und Steuerung der Programme. Der aktuelle Programmstand wird mit Blick auf die angestrebten Ziele auf der Outcome-Ebene überprüft. Die Ergebnisse werden im M+E- Report dokumentiert, der als Grundlage für die externe Berichterstattung dient. M+E-Report Programmziel Outcome-Ebene (mittelfristige Wirkung) Programmziel Bewertung des derzeitigen Stands der Umsetzung auf Programmzielebene: Welchen direkten Beitrag zur Stärkung der Kapazitäten leistet InWEnt? Welche Informationen bezogen auf die Indikatoren liegen hierzu vor? Inwieweit tragen die Maßnahmenziele zur Erreichung de Programmziels bei? Befindet sich das Programm im Zielkorridor? Schlussfolgerungen für die weitere Programmsteuerung Maßnahmenziele Outcome-Ebene (Nutzung und Transfer) Wesentliche Informationen aus der Durchführung der Maßnahmen, der Fachpartnereinschätzung sowie Auswertung weiterer Informationen (s.a. PM+E-Übersicht, Methoden der Informationsbeschaffung) Bewertung des derzeitigen Stands der Umsetzung auf der Maßnahmenzielebene anhand der Indikatoren Schlussfolgerungen für die weitere Programmsteuerung Maßnahmenziel 1 Maßnahmenziel 2 7
Evaluierungsformate Wesentliches Element von PriME sind die aufeinander abgestimmten Evaluierungsinstrumente: Dazu gehören zum einen die standardisierten Maßnahmenevaluierungen (z.b. Teilnehmerbefragungen für Training- oder - Dialogveranstaltungen/Output). Ergänzend dazu werden in jedem Programm Zwischen- und Abschlussevaluierungen durchgeführt, die sich insbesondere auf die Erfassung und Bewertung der kurz- und mittelfristigen Wirkungen (Outcome) konzentrieren. Zur Erfassung und Bewertung der längerfristigen, übergeordneten Wirkungen (Impact) werden Ex-Post-Evaluierungen durchgeführt. In Abhängigkeit von der konkreten Zielsetzung und dem Zeitpunkt des Einsatzes werden fünf Evaluierungsformate bei InWEnt unterschieden: Zu ausgewählten Programmen, Themen, Instrumenten und in ausgewählten Ländern werden Ex-Post-Evaluierungen/ Wirkungsanalysen durchgeführt. Diese können sich auf ein Programm beziehen oder Programme gebündelt betrachten (nach Sektor, Region o.a.). Ein Instrument für Wirkungsanalysen bei InWEnt sind Verbleibsstudien (Tracer Studies). Ex-Post-Evaluierung Gesamtbewertung von Programmen 1 6 Monate nach Ende der letzten Maßnahme des Programms. Im Rahmen von Abschlussevaluierungen wird festgestellt, welche Ziele und Wirkungen durch das Programm erreicht wurden (Messung auf Outcome-Ebene und Einschätzung des Beitrags zum Impact über Plausibilitäten). Überprüfung des aktuellen Programmstands mit Blick auf die angestrebten Ziele (direkte, kurz- und mittelfristige Wirkungen, Nutzung der Leistungen und Transfer). Outcome- Monitoring ist eine zentrale Steuerungsaufgabe und findet in mehrjährigen Programmen mindestens einmal jährlich vor der Planung der Aktivitäten des Folgejahres statt. Abschlussevaluierung Outcome-Monitoring Wird jeweils am Ende jeder einzelnen Maßnahme durchgeführt. Sie dient der Bewertung der Ergebnisse, d.h. der Zielerreichung und der Qualität (Output) der einzelnen Maßnahmen (InWEnt-Leistungen). Planung und Konzeption von Programmen. Die Ex-Ante- Evaluierung dient zur Klärung der Ausgangssituation, des Bedarfs, der Partnerauswahl u.a. auch Bedarfsanalyse oder Factfinding genannt. Maßnahmenevaluierung Ex-ante Evaluierung 8
Institutionelles Lernen bei InWEnt Im InWEnt-Intranet ist eine Datenbank mit allen Evaluierungsberichten verfügbar. Aber auch Öffentlichkeit, Auftraggeber und politische Entscheidungsträger sollen über die Ergebnisse der Arbeit von InWEnt informiert werden. Um diese Transparenz zu gewährleisten, werden Evaluierungsergebnisse in Form von ausgewählten Publikationen im Internet zugänglich gemacht. Als Organisation, die Wissen vermittelt und kontinuierliches Lernen ermöglicht, ist InWEnt darum bemüht, ihr Leistungsangebot fortlaufend weiter zu entwickeln. Dem Umgang mit Evaluierungsergebnissen kommt deshalb eine große Bedeutung zu. Wie in der PM+E- Qualitätsschleife dargestellt, müssen die Ergebnisse der Wirkungserfassung im Sinne eines lessons learned systematisch bei der Planung neuer Programme berücksichtigt werden. Dies bedeutet, Evaluierungen zur kontinuierlichen Verbesserung der Qualität und Wirkung der Programmarbeit zu nutzen. Ebenso müssen Monitoring- und Evaluierungsergebnisse mit allen bei der Programmplanung und -durchführung Beteiligten (wie z.b. lokale Partnerorganisationen/Projektpartner oder Fachpartner) gemeinsam analysiert und Anpassungen für die Weiterentwicklung laufender Programme bzw. Änderungen für künftige Programme vereinbart werden. Auch in der Nachhaltigkeitsstrategie von InWEnt ist Institutionelles Lernen mit einer eigenen Dimension "Kontinuierliches Lernen" verankert. Das vollständige PriME-Handbuch und die englische Übersetzung sind als CD-ROM erhältlich bei: InWEnt Internationale Weiterbildung und Entwicklung ggmbh Abteilung Qualität und Evaluierung Friedrich-Ebert-Allee 40 53113 Bonn Fon +49 228 4460-1644 Fax +49 228 4460-1578 9
InWEnt Kompetent für die Zukunft InWEnt Internationale Weiterbildung und Entwicklung ggmbh ist ein weltweit tätiges Unternehmen für Personalentwicklung, Weiterbildung und Dialog. Unsere Capacity Building-Programme richten sich an Fachund Führungskräfte aus Politik, Verwaltung, Wirtschaft und Zivilgesellschaft. Wir arbeiten im Auftrag der Bundesregierung mit an der Umsetzung der Entwicklungsziele der Vereinten Nationen. Zudem beraten wir die deutsche Wirtschaft in Public Private Partnership Projekten. Jungen Menschen aus Deutschland geben wir die Chance, in einem Austausch weltweite Erfahrungen zu sammeln. September 2009 1.04i-0002-2009 InWEnt Internationale Weiterbildung und Entwicklung ggmbh Capacity Building International, Germany Friedrich-Ebert-Allee 40 53113 Bonn, Germany Fon +49 228 4460-0 Fax +49 228 4460-1766 www.inwent.org