Developmental Evaluation: Was bedeutet die Evaluation von Innovationen in komplexen, dynamischen Umfeldern für das Bewerten?

Transkript

1 Developmental Evaluation: Was bedeutet die Evaluation von Innovationen in komplexen, dynamischen Umfeldern für das Bewerten? Transdisziplinäres Kolloquium Zwischen Objektivität und Normativität: Wie kommt die Evaluation zu(m) Werten? 1 Dr. Maria Gutknecht-Gmeiner , Justus-Liebig-Universität Gießen!

2 Was Sie heute erwartet... Beispiel DE was ist das? (in aller Kürze) DE & Werten Wozu? Für/an wen? Wer? Auf der Basis welcher Werte? Nach welchen Kriterien? Fazit und Diskussion 2

3 Technik zu den Mädchen bringen CSM/KoMD Technische Ausbildung an Mädchenschule 3

4 Ausbildungsschwerpunkt CSM/KoMD Übereinstimmung Fern von Nahe zu Schultypen Systemmerkmal sozial kompliziert Beziehungen pflegen, eine gemeinsame Basis aufbauen Einfach Planen, kontrollieren Nahe zu Lehrplan NEU Zielgruppe Technisch kompliziert Experimentieren, Expertise koordinieren Gewissheit Fern von Zone der Komplexität OE & PE Einzigartiges Curriculum Neuartige Kooperationen 4

5 Developmental Evaluation (Patton) ist... Evaluation und zwar nutzungsorientiert (UFE) und entwicklungsorientiert Gegenstand (Programm) ist komplex. Programm ist noch nicht ausdefiniert. Evaluationszweck ist (Weiter)Entwicklung des Programms. Innovative Projekte Bereitschaft der Zusammenarbeit mit Evaluation 5

6 Wozu? Für/an wen? Entwicklungen unterstützen Programmumsetzende als intended users Handlungsrelevanz von Bewertungen Handlungsentscheidungen unterstützend Rechtzeitig/zeitnah Konkret und im Detail Priorisierung Evolutiv, formativ Summativ (Synthese?) 6

7 Wer?!"#$%&'()*(( +,-./%01%2&( 34,50#"/-(!"#$%&'()%*+,!"#$%&'()%*+, #/),%2#(3#"'*, 12#(3#"'*,,,!"#$%&'()%*+,%+"#-(.+&,+"#/)#*)+,#,0*.'*., 12#(3#"'*,0*'2.)%+,)#"#,"',.)%/".4.%),+"#$%&'()%*+, 12#(3#"'*,0*'2.)%+,)#"#,4'*,3+%,-5,-*'#),#3).%/6%+, 12#(3#"'*,=3.)%+,+"#$%&'()%*+,-5,%+"#-(.+&./=,#,4*#:%>'*$, 4'*,2#(3./=, 12#(3#"'*,=3.)%+,+"#$%&'()%*+,-5,=3.)./=,"&%,2#(3./=, 0*'6%++,."%*#".2%(5, 12#(3#"'*,0#*".6.0#"%+,>."&,+"#$%&'()%*+,./,2#(3./=, 12#(3#"'*,2#(3./=,+"*'/=(5,-#+%),'/,"&%,0*':'".'/,'4, %2#(3#"'*,2#(3%+,B%C=C,:'*#(+D, 12#(3#"'*,2#(3./=,-#+%),30'/,%2#(3#".'/,%E0%*".+%, 12#(3#"'*,2#(3./=,-#+%),0*.:#*.(5,'/,0*'=*#:,%E0%*".+%, 12#(3#"'*,2#(3./=,-#+%),30'/,+6.%/".4.6,#00*#.+#(, 75(%*89'0&#:,!"#$%, ;'3+./+8A./=, F'3+%,!6*.2%/, 1.+/%*, G'*36&8;''$, Typology of Evaluator Valuing Roles (Alkin/Vo/Christie 2012, 33) 7

8 Auf der Basis welcher Werte? Programm/Programmumsetzende Zielgruppen und andere Stakeholder Evaluator/in 8

9 Auf der Basis welcher Werte? Programm/Programmumsetzende Many social innovators are driven more by values than by specifiable outcomes. They aren t necessarily sure what SMART (specific, measurable, attainable, realistic, timely) goals are, nor do they particularly care, and they aren t very explicit in advance about what outcomes can be attained, but they are sure about what values will drive their efforts. (Patton 2010, 246) 9

10 Auf der Basis welcher Werte? Zielgruppen und andere Stakeholder Sehr wichtig Bewertungen eingeholt und berücksichtigt Merit or Worth? -- Beides! 10

11 Auf der Basis welcher Werte? Werte der Evaluatorin/des Evaluators? Confluence of interest (Stake 2004) We don t have to pretend neutrality about the problems programs are attacking to do fair, balanced, and neutral evaluations of those programs. [ ] I want to see prevention programs work. That means I am motivated to hold staff feet to the fire of evaluation to assure that the program works. (Patton 2008) 11

12 Auf der Basis welcher Werte? Glaubwürdigkeit der Evaluatorin/des Evaluators? Standards für Evaluation Genauigkeitsstandards Nachvollziehbarkeit, Transparenz Selbstreflexion Ethik 12

13 Wie Veränderungen bewirken? Top down Verbreitung und Implementierung von Best Practice Adaptives Management Developmental Evaluation Bottom up Selbstinitiierte Innovation durch Betroffene/Beteiligte 13

14 Wie Veränderungen evaluieren? Top down Verbreitung und Implementierung von Best Practice Theory-driven evaluation, Impact Evaluation, standardisierte M&E-Verfahren Adaptives Management Developmental Evaluation (Realistic Evaluation) Bottom up Selbstinitiierte Innovation durch Betroffene/Beteiligte Participatory Evaluation, Empowerment Evaluation, Transformative Evaluation, (feministische Evaluation), Aktionsforschung 14

15 Nach welchen Kriterien? Gesamtprogramm unvergleichbar Konkrete Ziele und Kriterien emergent Entwickeln sich mit/aus dem Programm Aber auch forschungsgeleitet, im Vergleich mit anderen Programmen etc. Teile des Programms durchaus vergleichbar 15

16 Danke für Ihre Aufmerksamkeit! Dr. Maria Gutknecht-Gmeiner IMPULSE Evaluation und Organisationsberatung 16