What gets measured gets done Michael Quinn Patton

Transkript

1 Erfolgs und Wirkungsmessung Präsentation und kritische Betrachtung Begriffsklärungen und mögliche Zugänge Indikatorenset für LEADER zur Steuerung und Qualitätssicherung System TIROL LEADER TIROL Vom Sinn und Unsinn des Messens What gets measured gets done Michael Quinn Patton consulting.snw.at regiosuisse 1

2 EVALUIERUNG ist der systematische Versuch in einem kontinuierlichen Prozess aus Erfahrungen zu lernen ist die Prüfung der Wirksamkeit durchgeführter Maßnahmen, Projekte, ist die Bewertung der gewonnenen Informationen und das Ziehen von Schlussfolgerungen In welchem Ausmaß wurden die Ziele einer Maßnahme erreicht? In welchem Verhältnis stehen Aufwand und Nutzen? > Effektivität > Effizienz 3 Möglichkeiten: Evaluierung eines Prozesses (auch prozessbegleitend) Messung des Aufwandes Vergleich von Zwischenergebnissen und Zielvorgaben Evaluierung eines Ergebnisses Wirksamkeit der Maßnahme Ziel erreicht? Evaluierung einer Struktur Organisationsstruktur geeignet? Art der Implementierung erfolgreich? consulting.snw.at regiosuisse 2

3 MONITORING ist das Sammeln und Aufbereiten von Daten, gestützt auf Indikatoren Kernstück des Monitoring ist die Verwendung von Indikatoren zur Beobachtung von Veränderungen Indikatoren setzen ein gemeinsames Verständnis voraus einheitliche Sprachregelung werden vorab von Personen festgelegt, die oft fernab der zu beobachtenden Ereignisse stehen (technokratische, statistische Indikatoren) werden beschreibbar gestaltet um Vorhaben monitoringfähig zu machen das führt zur Bevorzugung messbarer Daten und kurzfristiger Effekte und zu einer Vernachlässigung qualitativer, langfristiger, nachhaltiger Effekte werden oft ohne Einbeziehung der Informationslieferanten ausgewertet und interpretiert. sind die Basis und gleichzeitig die Schwäche des Monitoring consulting.snw.at regiosuisse 3

4 Indikatoren müssen sinnvoll sein, das heißt sie müssen. Charakteristische Aussagen treffen können, Leistbar im Sinne von Aufwand und Nutzen, in ein Gesamtkonzept Eingeordnet und Vergleichbar, Ergiebig in der Aussagekraft und Richtungsweisend sein. consulting.snw.at RegioSuisse 4

5 Indikatorenset LEADER consulting.snw.at regiosuisse 5

6 Indikatoren der Länder und Regionen consulting.snw.at regiosuisse 6

7 Bewertungsbeispiel Umsetzungsprozesse IST Bewertung Ziel Bewertung 1. Selbststeuerung 0 0 Maßnahmen Die LAG (bzw. Die LAG (bzw. Die LAG (bzw. Das Regionalkooperation) Regionalkooperation) Regionalkooperation) Das Steuerungssystem, lebt gerade, um die wichtigsten Entscheidungen treffen zu können. Steuerungssystem, lebt gerade, um die wichtigsten Entscheidungen treffen zu können UND es dient zur rechtzeitigen Bearbeitung von Projektanträgen. hat als Steuerungssystem in der Region eine wichtige Aufgabe zur regionalen Intgration vieler sozialer und wirtschaftlicher Aktivitäten und Dynamiken ist die Drechscheibe für regionale Entwicklung. Neben dem Leader- Programm werden weitere Programme durch die LAG- Körperschaften gesteuert. ist auch ohne das Leader-Programm eine fixe Größe in der Region. Sie wird als unverzichtbare Steuerungsgröße unabhängig vom Leaderprogramm in der Region gesehen. consulting.snw.at regiosuisse 7

8 System TIROL Indikatorenset LEADER Selbstevaluierung regional autonom keine top down Vorgaben QMS (Qualitätsmanagementsystem) TIROL Grundlage ist die jeweilige regionale Strategie Pflichtinhalte einer Strategie: Angaben zur Region inklusive der Beschreibung der regionalen Situation Beschreibung der Strategie regionale SWOT Analyse mit Schnittstellen zum Programm Ziele der Strategie Angestrebte Resultate am Ende der Periode Aktions oder Handlungsfelder Steuerung und Qualitätssicherung Organisationsstruktur Finanzplan consulting.snw.at regiosuisse 8

9 Die Erfolgs und Wirkungsmessung beginnt bereits vor dem Projektstart. Das Projekt wird zum Projektstart eingeschätzt zum Projektabschluss und 2 Jahre nach Abschluss bewertet. consulting.snw.at regiosuisse 9

10 Im Rahmen des QMS sind folgende Steuerungs und Bewertungsmöglichkeiten vorgesehen: Pflichtindikatoren Antrag (vom Bund vorgegeben) Prüffragen zur Nachhaltigkeit, regionalen Vernetzung, Förderung der regionalen Identität, multisektoralem Ansatz und zur Chancengleichheit Projektziel > Regionsziele > Aktions /Handlungsfelder der Strategie Projektinhalt bebucht einen Analyseeintrag der regionalen SWOT Analyse 1 x jährliche Selbstbewertung (Indikatorenset LEADER vom Bund vorgegeben) consulting.snw.at regiosuisse 10

11 Projektziel > Regionsziele > Aktions /Handlungsfelder der Strategie Lässt sich das Ziel eines Projektes innerhalb eines Regionszieles und eines Handlungsfeldes verorten? Wie viele und welche der Regionsziele und Aktions /Handlungsfelder der Strategie wurden durch Projekte bebucht? Trifft die Projektarbeit die Ziele der Strategie? Aussagen zur Weiterentwicklung der Strategie. Probleme dabei: Zu viele Projektziele oder zu viele Regionsziele Ziel und Maßnahme dieser Unterscheid macht vielen zu schaffen Gute Ziele sind: Spezifisch Messbar Anspruchsvoll Realistisch Terminisierbar consulting.snw.at regiosuisse 11

12 consulting.snw.at regiosuisse 12

13 Regionale SWOT Analyse Lässt sich ein Projekt innerhalb der regionalen SWOT Analyse in einem Analyseeintrag verorten und welche Hebelwirkung ist angestrebt? Hat das Projekt diese Hebelwirkung erreichen können? Hat sich die regionale SWOT Analyse in Teilbereichen am Ende der Periode verändert? Hat die Regionalentwicklung etwas sichtbar bewirken können? Weiterentwicklung der Strategie consulting.snw.at regiosuisse 13

14 consulting.snw.at regiosuisse 14

15 Laufende Maßnahmen: Bund: LEADER Indikatorenset Projektindikatoren Land: Reg. Projektentscheidungsgremium Reg. Qualitätsteam Selbstbewertung durch LAG ein mal jährlich Pflichteinträge im Rahmen des Antrages SOLL Indikatoren des Projektes Pflichteinträge im Rahmen der Projektabschlusses IST Indikatoren des Projektes Projektbeurteilung im Rahmen des Antrages Projektbeurteilung nach Projektabschlusses Projektbeurteilung 2 Jahre nach Projektabschlusses Region: Ständige Beobachtung der Strategiekohärenz consulting.snw.at regiosuisse 15

16 Punktuelle Maßnahmen: Bund: Halbzeitbewertung 2010: Befragung Regionsmanagement, Projektträger, regionale Verwaltung (Länder) Erhebung Statistische Daten Studie zu Kooperationen Ex post Evaluierung: Inhalt noch nicht definiert Fokus auf Arbeitsplätze und Beschäftigungseffekte Land : Halbzeitbewertung 2010: Mitwirkung an der Halbzeitbewertung des Bundes Evaluierung mit Schwergewicht auf QMS Strategisches Regionsmanagement keine Bewertungen nur Zukunftsorientiert Weiterentwicklung Evaluierung 2014 : Inhalt noch nicht definiert. Regionen: Halbzeitbewertung 2010: Selbstevaluierung autonom, aber zwischen den Regionen abgestimmt. Start der Positionierungen für die neue Periode consulting.snw.at regiosuisse 16

17 Muster eines idealen Wirkungsmodells: KONZEPT: VOLLZUG: OUTPUT: WIRKUNG: Grundthese mit Zielen und Effekten Was man nicht gut beschreiben kann, kann man auch nicht messen [René Descartes] Definition aller erforderlichen Ressourcen, Prozesse und Strukturen, die erforderlich sind um die im Konzept beschriebenen Wirkungen herbeizuführen. > Maßnahmen und deren Zielgruppen > Ressourcen dazu notwendige Organisationsstruktur > Zeitplan beschreibt in welchem Umfang und in welcher Qualität Leistungen an die Zielgruppe erstellt werden sollen. Leistung > Qualität > Zeitplan Outcome beschreibt die gewünscht Wirkung des Outputs bei der Zielgruppe > Ziel > Indikator > Zeitplan Impact beschreibt die erwünschten gesellschaftlichen Effekt den die Wirkung auslösen soll. Effekt/Ziel > Indikator > Zeitplan consulting.snw.at regiosuisse 17

18 Danke für die Aufmerksamkeit! Innsbrucker Strasse 26 AT 6300 WÖRGL consulting.snw.at consulting.snw.at regiosuisse 18