Effizienzbewertung in Evaluationen Barbara Winker, Bernhard Hoeper und Jens Koy, AG Effizienz des AK-Entwicklungspolitik der DeGEval
Handreichung Effizienzbewertung Zielgruppe: EvaluatorInnen und Auftraggebende von Programm- oder Projektevaluationen Für Standardevaluationen : 2-3 Wochen Feldaufenthalt 30-35 Tage pro Evaluator insgesamt 1-2 Personen im Evaluationsteam Effizienz als eines von mehreren zu bearbeitenden Evaluationskriterien 2
Ausgangspunkte Effizienzbegriff (OECD/DAC) Analyseeinheiten (Strukturen, Arbeitsabläufe/Prozesse, (Teil)Projekte, Programme) Effizienzaspekte (Implementierungs-, Produktions-, Allokationseffizienz) 3
Denkbare Untersuchungseinheiten: Prozesse, Organisationen (Strukturen) Projekte oder Programme Vergleich von mindestens zwei Alternativen? Nein Nur Analyse der Kostenseite Kostenbeschreibung Analyse von Kosten und Leistungen (Output) bzw. von Kosten und Wirkungen (Outcome und Impact) Deskriptive Gegenüberstellung der Kosten und Ergebnisse (Leistungen oder Wirkungen) einer Entwicklungsmaßnahme ohne Berechnung eines eindeutigen Maßes Ja Kostenanalyse Kostenminimierungsanalyse Identifizierung des kostengünstigeren Vorhabens bei unterstellten gleichen Leistungen/Wirkungen Kosten-Effektivitätsanalyse Berücksichtigung einer Leistung oder einer Wirkung und Vergleich von Interventionen anhand zentraler Kennzahlen (Bsp. Bildungsprojekt: Kosten pro weitergebildetem Lehrer mit bestimmter Abschlussqualifikation) Kosten-Nutzwert-Analyse Berücksichtigung mehrerer Leistungen/Wirkungen über die Berechnung eines Nutzenindex (z. B. Qualitätsgleiche Lebensjahre (QALYs)) Kosten-Nutzen-Analyse Berücksichtigung mehrerer quantifizierter und monetarisierter Leistungen/Wirkungen und Berechnung eines Nettonutzens als Differenz von Nutzen und Kosten. Ermöglicht auch den Vergleich ganz unterschiedlich ausgerichteter Interventionen 4
Effizienzanalysen zwischen Anspruch: Unterstützung des Auftrags zu einem wirtschaftlichen, sparsamen und wirkungsvollen Mitteleinsatz, von Transparenz und Rechenschaftslegung Wirklichkeit: Wirkungsmessung, Restriktionen (Zeit, Budget, Daten, Methodik), Widerstände, ethische Gesichtspunkte Offenlegung von Annahmen und Vorgehensweisen (Werthaltung) Vermeidung einer isolierten Betrachtung 5
Kapitel 4: Effizienzbewertung Vorarbeiten Erfassung der Kostenseite Maßstäbe: Ebenen des Vergleichs Verfahren der Effizienzbewertung 7
Vorarbeiten TOR spezifische Evaluationsfragen zu Effizienz nützlich? Von wem für wen? Wie genau? Auftragsklärung: Stellenwert Effizienz gesamt oder fokussiert auf Teilbereiche, Schwachstellen, Kernbereiche, Produktsparten, -linien? Offenlegung der Kosten?! Betrachtung / Dokumentation von nichtmonetären Kosten, Eigenleistungen; [sensitive Daten: Gehälter/Steuern] Welche Daten hat wer, wo und wie verfügbar?! Standardkontenrahmen, zuordbare Kosten, Plan : Ist, Daten aus Wirtschaftsprüfung? Daten aus Buchhaltung/ Finanzadministration.. Fokussierung?!..Begründungszusammenhang. Wenn ja, wo Abstriche machen? 8
Erfassung der Kostenseite Standardvorgehen: Analyse des Budgets und der Finanzberichte Vertiefung: Einheitskosten/Stückkosten nicht nur einfach aus Büchern, Schätzen gemeinsam mit Projektverantwortlichen [z.b. ausgebildete Krankenschwester ] 9
Maßstäbe: Ebenen des Vergleichs 1.: Interner Vergleich im Projekt mit früher 2.: Vergleich mit anderen Projekten / Verfahren 3.: Vergleich mit Statistiken oder Standardindikatoren 4.: Kontrafaktischer Vergleich: Wie könnte eine effizientere Situation aussehen? 10
Verfahren der Effizienzbewertung Budgetanalyse Organisatorische Abläufe und Arbeitsweisen Expenditure Tracking Benchmarking Erhebungen über Interviews, Fragebögen 12
Expenditure Tracking Verfahren aus dem Bereich der öffentlichen Finanzen: Fließen die Gelder wirklich in den vorgesehenen Output? Aufzeichnung aller Ausgaben, die für die Erbringung des Outputs durch das Projekt vorgenommen werden. Beurteilung nach Sparsamkeitsprinzip oder/und Ergiebigkeitsprinzip 13
Benchmarking Instrument der Wettbewerbsanalyse Grundidee: Welche Unterschiede bestehen zu anderen (vergleichbaren) Projekten und Programmen? Warum bestehen die Unterschiede? Was könnte von den anderen gelernt werden? Erarbeitung von Veränderungsschritten 14
Was können wir von anderen lernen? 15
Schlussfolgerungen Effizienzanalyse Wir können sofort mit der Effizienzbewertung beginnen Auf der Ebene der Produktionseffizienz beginnen Effizienzanalysen tragen zu mehr Transparenz bei: Wichtig für Rechenschaft und Lernen Für das Lernen wichtig: Effizienz-Perspektive 16
Vielen Dank für Ihre Aufmerksamkeit 17