Erfolgs und Wirkungsmessung Präsentation und kritische Betrachtung Begriffsklärungen und mögliche Zugänge Indikatorenset für LEADER zur Steuerung und Qualitätssicherung System TIROL LEADER TIROL Vom Sinn und Unsinn des Messens What gets measured gets done Michael Quinn Patton www.wibmer consulting.snw.at 23.11.2010 regiosuisse 1
EVALUIERUNG ist der systematische Versuch in einem kontinuierlichen Prozess aus Erfahrungen zu lernen ist die Prüfung der Wirksamkeit durchgeführter Maßnahmen, Projekte, ist die Bewertung der gewonnenen Informationen und das Ziehen von Schlussfolgerungen In welchem Ausmaß wurden die Ziele einer Maßnahme erreicht? In welchem Verhältnis stehen Aufwand und Nutzen? > Effektivität > Effizienz 3 Möglichkeiten: Evaluierung eines Prozesses (auch prozessbegleitend) Messung des Aufwandes Vergleich von Zwischenergebnissen und Zielvorgaben Evaluierung eines Ergebnisses Wirksamkeit der Maßnahme Ziel erreicht? Evaluierung einer Struktur Organisationsstruktur geeignet? Art der Implementierung erfolgreich? www.wibmer consulting.snw.at 23.11.2010 regiosuisse 2
MONITORING ist das Sammeln und Aufbereiten von Daten, gestützt auf Indikatoren Kernstück des Monitoring ist die Verwendung von Indikatoren zur Beobachtung von Veränderungen Indikatoren setzen ein gemeinsames Verständnis voraus einheitliche Sprachregelung werden vorab von Personen festgelegt, die oft fernab der zu beobachtenden Ereignisse stehen (technokratische, statistische Indikatoren) werden beschreibbar gestaltet um Vorhaben monitoringfähig zu machen das führt zur Bevorzugung messbarer Daten und kurzfristiger Effekte und zu einer Vernachlässigung qualitativer, langfristiger, nachhaltiger Effekte werden oft ohne Einbeziehung der Informationslieferanten ausgewertet und interpretiert. sind die Basis und gleichzeitig die Schwäche des Monitoring www.wibmer consulting.snw.at 23.11.2010 regiosuisse 3
Indikatoren müssen sinnvoll sein, das heißt sie müssen. Charakteristische Aussagen treffen können, Leistbar im Sinne von Aufwand und Nutzen, in ein Gesamtkonzept Eingeordnet und Vergleichbar, Ergiebig in der Aussagekraft und Richtungsweisend sein. www.wibmer consulting.snw.at 23.11.2010 RegioSuisse 4
Indikatorenset LEADER www.wibmer consulting.snw.at 23.11.2010 regiosuisse 5
Indikatoren der Länder und Regionen www.wibmer consulting.snw.at 23.11.2010 regiosuisse 6
Bewertungsbeispiel Umsetzungsprozesse IST Bewertung Ziel Bewertung 1. Selbststeuerung 0 0 Maßnahmen 1 2 3 4 5 Die LAG (bzw. Die LAG (bzw. Die LAG (bzw. Das Regionalkooperation) Regionalkooperation) Regionalkooperation) Das Steuerungssystem, lebt gerade, um die wichtigsten Entscheidungen treffen zu können. Steuerungssystem, lebt gerade, um die wichtigsten Entscheidungen treffen zu können UND es dient zur rechtzeitigen Bearbeitung von Projektanträgen. hat als Steuerungssystem in der Region eine wichtige Aufgabe zur regionalen Intgration vieler sozialer und wirtschaftlicher Aktivitäten und Dynamiken ist die Drechscheibe für regionale Entwicklung. Neben dem Leader- Programm werden weitere Programme durch die LAG- Körperschaften gesteuert. ist auch ohne das Leader-Programm eine fixe Größe in der Region. Sie wird als unverzichtbare Steuerungsgröße unabhängig vom Leaderprogramm in der Region gesehen. www.wibmer consulting.snw.at 23.11.2010 regiosuisse 7
System TIROL Indikatorenset LEADER Selbstevaluierung regional autonom keine top down Vorgaben QMS (Qualitätsmanagementsystem) TIROL Grundlage ist die jeweilige regionale Strategie Pflichtinhalte einer Strategie: Angaben zur Region inklusive der Beschreibung der regionalen Situation Beschreibung der Strategie regionale SWOT Analyse mit Schnittstellen zum Programm Ziele der Strategie Angestrebte Resultate am Ende der Periode Aktions oder Handlungsfelder Steuerung und Qualitätssicherung Organisationsstruktur Finanzplan www.wibmer consulting.snw.at 23.11.2010 regiosuisse 8
Die Erfolgs und Wirkungsmessung beginnt bereits vor dem Projektstart. Das Projekt wird zum Projektstart eingeschätzt zum Projektabschluss und 2 Jahre nach Abschluss bewertet. www.wibmer consulting.snw.at 23.11.2010 regiosuisse 9
Im Rahmen des QMS sind folgende Steuerungs und Bewertungsmöglichkeiten vorgesehen: Pflichtindikatoren Antrag (vom Bund vorgegeben) Prüffragen zur Nachhaltigkeit, regionalen Vernetzung, Förderung der regionalen Identität, multisektoralem Ansatz und zur Chancengleichheit Projektziel > Regionsziele > Aktions /Handlungsfelder der Strategie Projektinhalt bebucht einen Analyseeintrag der regionalen SWOT Analyse 1 x jährliche Selbstbewertung (Indikatorenset LEADER vom Bund vorgegeben) www.wibmer consulting.snw.at 23.11.2010 regiosuisse 10
Projektziel > Regionsziele > Aktions /Handlungsfelder der Strategie Lässt sich das Ziel eines Projektes innerhalb eines Regionszieles und eines Handlungsfeldes verorten? Wie viele und welche der Regionsziele und Aktions /Handlungsfelder der Strategie wurden durch Projekte bebucht? Trifft die Projektarbeit die Ziele der Strategie? Aussagen zur Weiterentwicklung der Strategie. Probleme dabei: Zu viele Projektziele oder zu viele Regionsziele Ziel und Maßnahme dieser Unterscheid macht vielen zu schaffen Gute Ziele sind: Spezifisch Messbar Anspruchsvoll Realistisch Terminisierbar www.wibmer consulting.snw.at 23.11.2010 regiosuisse 11
www.wibmer consulting.snw.at 23.11.2010 regiosuisse 12
Regionale SWOT Analyse Lässt sich ein Projekt innerhalb der regionalen SWOT Analyse in einem Analyseeintrag verorten und welche Hebelwirkung ist angestrebt? Hat das Projekt diese Hebelwirkung erreichen können? Hat sich die regionale SWOT Analyse in Teilbereichen am Ende der Periode verändert? Hat die Regionalentwicklung etwas sichtbar bewirken können? Weiterentwicklung der Strategie www.wibmer consulting.snw.at 23.11.2010 regiosuisse 13
www.wibmer consulting.snw.at 23.11.2010 regiosuisse 14
Laufende Maßnahmen: Bund: LEADER Indikatorenset Projektindikatoren Land: Reg. Projektentscheidungsgremium Reg. Qualitätsteam Selbstbewertung durch LAG ein mal jährlich Pflichteinträge im Rahmen des Antrages SOLL Indikatoren des Projektes Pflichteinträge im Rahmen der Projektabschlusses IST Indikatoren des Projektes Projektbeurteilung im Rahmen des Antrages Projektbeurteilung nach Projektabschlusses Projektbeurteilung 2 Jahre nach Projektabschlusses Region: Ständige Beobachtung der Strategiekohärenz www.wibmer consulting.snw.at 23.11.2010 regiosuisse 15
Punktuelle Maßnahmen: Bund: Halbzeitbewertung 2010: Befragung Regionsmanagement, Projektträger, regionale Verwaltung (Länder) Erhebung Statistische Daten Studie zu Kooperationen Ex post Evaluierung: Inhalt noch nicht definiert Fokus auf Arbeitsplätze und Beschäftigungseffekte Land : Halbzeitbewertung 2010: Mitwirkung an der Halbzeitbewertung des Bundes Evaluierung mit Schwergewicht auf QMS Strategisches Regionsmanagement keine Bewertungen nur Zukunftsorientiert Weiterentwicklung Evaluierung 2014 : Inhalt noch nicht definiert. Regionen: Halbzeitbewertung 2010: Selbstevaluierung autonom, aber zwischen den Regionen abgestimmt. Start der Positionierungen für die neue Periode 2014+ www.wibmer consulting.snw.at 23.11.2010 regiosuisse 16
Muster eines idealen Wirkungsmodells: KONZEPT: VOLLZUG: OUTPUT: WIRKUNG: Grundthese mit Zielen und Effekten Was man nicht gut beschreiben kann, kann man auch nicht messen [René Descartes] Definition aller erforderlichen Ressourcen, Prozesse und Strukturen, die erforderlich sind um die im Konzept beschriebenen Wirkungen herbeizuführen. > Maßnahmen und deren Zielgruppen > Ressourcen dazu notwendige Organisationsstruktur > Zeitplan beschreibt in welchem Umfang und in welcher Qualität Leistungen an die Zielgruppe erstellt werden sollen. Leistung > Qualität > Zeitplan Outcome beschreibt die gewünscht Wirkung des Outputs bei der Zielgruppe > Ziel > Indikator > Zeitplan Impact beschreibt die erwünschten gesellschaftlichen Effekt den die Wirkung auslösen soll. Effekt/Ziel > Indikator > Zeitplan www.wibmer consulting.snw.at 23.11.2010 regiosuisse 17
Danke für die Aufmerksamkeit! Innsbrucker Strasse 26 AT 6300 WÖRGL wibmer.oeg@snw.at www.wibmer consulting.snw.at +43 664 2261343 www.wibmer consulting.snw.at 23.11.2010 regiosuisse 18