Regierungspräsidium Kassel Einführung in die Bewertungsstruktur des Wettbewerbes Unser Dorf Die Schwierigkeit der Bewertung von Prozessen und Projekten, ihrer Ergebnisse und Wirkungen - 30.11.2004
Themenübersicht 1. Einführung am Beispiel Anlage eines Spielplatzes 2. Gegenstand der Bewertung und seine Erfassung 3. Ziele und Erwartungen 4. Methodischer Zugang 5. Bewertungsprobleme 6. Folgerungen 2
Einführung: Beispiel Spielplatz Was bewerten Sie? Wo notieren Sie Ihre Bewertung? Worauf achten Sie? Auf welcher Grundlage bewerten Sie? 3
Bewertungsgrundlagen Dorf Info (Anlage) örtliche Vorstellung Zusatzinfos z.b. Broschüren, Chroniken 4
Bewertungsarten Ex-ante (vorausschauende Strategie- und Projektbewertung) Zwischenbewertung (Halbzeitbewertung) Ex Post (abschließende Bewertung) 5
Bewertung aus Sicht der BewohnerInnen Ein Verfahren, mit dem Ergebnisse und Wirkungen ihres Engagements geprüft und gewichtet werden Anerkennung und (Leistungs-) Vergleich Hilfe, die Leistungen zu verbessern und besser zu planen/organisieren 6
Gegenstand der Bewertung Leistungen, die zur Verbesserung der dörflichen Lebensqualität beitragen (gesellschaftliches Oberziel) Dörflicher Lebensraum und seine Qualität definiert durch 5 Aspekte = 5 Handlungsfelder = 5 Hauptkriterien 7
Schritte der Bewertung 1. Was wollen wir bewerten? 2. Wo stehen die BewohnerInnen/Kommune? 3. Wo wollen sie hin? 4. Wie weit sind sie gekommen? 8
Ziele der Bewertung soll feststellen, welche Ergebnisse und Wirkungen erzielt wurden, welche Problemlösungen das Projekt/ die Aktion anbietet und überprüfen helfen, ob und wie die Ziele erreicht wurden, Stärken und Defizite in Organisation und Management aufzeigen 9
Methodischer Zugang Bewertung beruht auf offenen (Bewertungs-) Fragen. Diese beziehen sich auf erfolgs- (ziel-) bezogene Kriterien und Indikatoren. 10
Definitionen Erfolg: Ergebnisse und Wirkungen Ergebnis: unmittelbarste Auswirkung ( Ziel) Ziel: gewünschter Endzustand (Inhalt, Ausmaß, Zeit) Wirkung: Auswirkung, die als Vor- oder Nachteil empfunden wird Kriterium: Bedingung, die für das Eintreten des Zieles oder der Wirkung gesetzt wird Indikator: Anzeiger für das Erfüllen des Kriteriums Maßnahme: Aktionsbündel zur Erreichung des 11 Zieles
Bewertungsfragen Ziel: Was soll wann in welchem Umfang erreicht werden? Wirkung: Welche positiven Effekte sollen sich einstellen (Vorteile)? Kriterium: Welche Bedingung (Merkmal) ist für die Ziel- oder Wirkungserreichung verbindlich? Indikator: Woran erkenne ich die Bedingung? Maßnahme: Welche Maßnahmen sind geplant? 12
Beispiel: Spielplatz (Wirkungsanalyse) Ziel (Ergebnis) :Spielbereich für Kleinkinder schaffen Wirkung: die örtlichen zwischenmenschlichen Bindungen werden generations- und sozialübergreifend verstärkt Kriterium: Verantwortung wird von vielen Bewohnern getragen Indikator: gemeinsame Ausführung Maßnahme: Bildung einer AG, Neugestaltung einer Freifläche 13
Beispiel: Spielplatz (Wirkungsanalyse) Ziel (Ergebnis): Spielbereich für Kleinkinder schaffen (Was soll erreicht werden?) Wirkung: die örtlichen zwischenmenschlichen Bindungen werden generations- und sozialübergreifend verstärkt (Was soll für die Dorfgemeinschaft gewonnen werden?) Kriterium: Verantwortung wird von vielen Bewohnern getragen (Welche Bedingung muss erfüllt sein?) Indikator: gemeinsame Ausführung (Woran sehe ich, dass die Bedingung erfüllt ist?) Maßnahme: Bildung einer AG, Neugestaltung einer Freifläche (Wie wurde geplant und umgesetzt?) 14
Beispiel: Spielplatz (Zielanalyse) Ziel (Ergebnis) :Spielbereich für Kleinkinder schaffen Wirkung: die örtlichen zwischenmenschlichen Bindungen werden generations- und sozialübergreifend verstärkt Kriterium: gute Erreichbarkeit Indikator: intensive Inanspruchnahme Maßnahme: Bildung einer AG, Neugestaltung einer Freifläche 15
Beispiel: Spielplatz (Zielanalyse) Ziel (Ergebnis): Spielbereich für Kleinkinder schaffen (Was soll erreicht werden?) Wirkung: die örtlichen zwischenmenschlichen Bindungen werden generations- und sozialübergreifend verstärkt (Was soll für die Dorfgemeinschaft gewonnen werden?) Kriterium: gute Erreichbarkeit (Welche Bedingung muss erfüllt sein?) Indikator: intensive Inanspruchnahme (Woran sehe ich, dass die Bedingung erfüllt ist?) Maßnahme: Bildung einer AG, Neugestaltung einer Freifläche (Wie wurde geplant und umgesetzt?`) 16
Operationalisierung UK TK TK 3 Ind. HK 1 UK UK TK TK TK TK 2 Ind. 3 Ind. 1 Ind. UK TK 5 Ind. 17
Zusammenfassung und erste Folgerungen (1) 1. Leistungen umfassen Ergebnisse und Wirkungen; sie beziehen sich auf Projekte und Prozesse. 2. Kriterien verweisen auf quantitative (physische) und /oder qualitative (gesellschaftliche) Zielwerte. 18
Zusammenfassung und erste Folgerungen (2) 3. Werte sind grundsätzlich subjektiv; es gibt keine objektive Bewertung. 4. Den Zielerreichungsgrad erfahre ich über offene Fragen ( Bewertung) 5. Eine Leistung kann mehrfach bewertet werden. 19
Zusammenfassung und erste Folgerungen (3) 6. Leistungen sind kontext- und prozessbezogen verankert in einer offenen und komplexen örtlichen Entwicklung 7. Zwischenbewertung schließt ex-post und ex-ante Bewertung ein. 20
Bewertungsprobleme (1) Kein Stichtag für Projekt-/Prozessanfang und ende Keine Vorgabe für Leistungsverantwortliche (Kommune, Bewohner) Ergebnisse und Wirkungen unbegrenzt Keine eindeutige Zuordnung der Teilkriterien zu Unterkriterien 21
Bewertungsprobleme (2) Unbestimmte Zielwerte, Kriterien und Qualitätsindikatoren Wirkungen können mehrere Ursachen haben Selbst- und Fremdbewertung (Bewohner-Jury) ev. nicht übereinstimmend Kompetenz der Jury (fachlich/interdisziplinär und methodische Qualifikation, Werte und Einstellungen) 22
Folgerungen für die Kommission Zusatzinformationen insbes. über Wirkungen unverzichtbar vor Ort fragen Interpretierende und subjektive Bewertung Transparenz der Bewertung herstellen Protokolle Mehrfachbewertungen möglich Kompetenz der Jury (fachlich/interdisziplinär und methodische Qualifikation, Werte und 23 Einstellungen) Weiterbildung