Die Bedeutung der Evaluationsfragestellung für das Bewerten

Transkript

1 Die Bedeutung der Evaluationsfragestellung für das Bewerten Dr. Verena Friedrich Zentrum für universitäre Weiterbildung Universität Bern Übersicht Die Evaluationsfragestellung Definition Stellenwert in der Evaluationslogik Operationalisierung: Kriterium Indikator Übungen im DAS Evaluation Die Schokoladenübung Klärung von Fragestellungen Tipps zur Formulierung von Fragestellungen 2 1

2 Fragestellung der Evaluation = Fragesatz der festhält, welche Informationen die Evaluation zum Evaluationsgegenstand bereitstellen soll. Mit der Evaluationsfragestellung wird eingegrenzt, zu welchen Aspekten des Evaluationsgegenstands systematisch Daten zu gewinnen sind. Da es oft mehr Fragestellungen gibt, als eine Evaluation im gegebenen finanziellen/zeitlichen Rahmen beantworten kann, müssen Prioritäten gesetzt werden. Sprachliche Konvention: Fragestellung der Evaluation (oder Evaluationsfragestellung) Frage (oder Item) im Fragebogen, Interviewleitfaden etc. 3 Beispiel Fragestellung / Fragen Fragestellung: «In welchem Masse hat sich das Teamklima im Kollegium durch die Teamentwicklungsmassnahme verbessert?» Fragen / Items des "Teamklima Inventars" 4 2

3 Eine Logik der Evaluation Zweck Fragestellung Methoden Ergebnisse Nutzen beantworten die erfüllt den 5 Von der Fragestellung zur Methode Fragestellung: In welchem Masse hat die Einführung des Gesetzes dazu beigetragen, dass die Luft in öffentlichen Räumen weniger mit Passivrauch belastet ist? 1. Um Luftqualität zu messen, müssen wir uns überlegen: was genau bedeutet «Luftqualität»? (z.b. subjektive Meinung von Restaurantgästen? Anzahl gerauchter Zigaretten pro Stunde? Konzentration von Luftschadstoffen?) 2. Die Antwort darauf impliziert eine bestimmte Methode der Datenerhebung (z.b. Befragung, Beobachtung, chem. Messung), 3. die Auswahl bzw. Entwicklung spezifischer Erhebungsinstrumente (z.b. Fragebogen, Beobachtungsschema, Messvorrichtung) 4. und die Auswahl eines bestimmten Untersuchungsdesigns. 6 3

4 Operationalisierung oder: Wie löse ich das Überbrückungsproblem? THEORIE EMPIRIE 7 Operationalisierung Von der alltagssprachlichen zur operationalen Definition: 2. Analytische Definition: Luftqualität bedeutet, THEORIE 1. Alltagssprachliche Definition: Luftqualität EMPIRIE 3. Operationale Definition: Luftqualität zeigt sich dadurch, 8 4

5 Operationalisierung = Messbarmachung Die O. beschreibt die Art und Weise, wie ein Konstrukt, das an sich nicht beobachtbar ist, gemessen werden soll. Beispiel: «Lernerfolg» kann operationalisiert werden, indem die Kursteilnehmenden einen bestimmten Wissenstest bearbeiten müssen. «Luftqualität» kann operationalisiert werden, indem beobachtet wird, wie viele Zigaretten in einem bestimmten (Zeit-)Raum geraucht werden 9 Kriterium = Beurteilungsgesichtspunkt Altgr. kriterion, meint Beurteilungsgesichtspunkt für den Richter, also: Beurteilungsgesichtspunkt, hinsichtlich dessen etwas beurteilt wird. Bspw. «Teamklima», «Lernerfolg», «Luftqualität» das zu messende Konstrukt entspricht dann einem Kriterium, wenn das Konstrukt wertgeladen ist Generische Kriterien Zielerreichung Effektivität / Wirksamkeit Effizienz Nachhaltigkeit 10 5

6 Indikator = Anzeiger Von lat. indicare (auf) etwas zeigen, also: Anzeiger, der auf das Vorliegen eines Sachverhaltes hindeutet, der an sich nicht beobachtbar ist. Beispiel: Die Anzahl richtig gelöster Testaufgaben kann ein Indikator für «Lernerfolg» sein. Die Anzahl gerauchter Zigaretten kann ein Indikator für die «Luftqualität» sein. 11 Kriterienpunkt = Schwellenwert Kriterienpunkt: Welche Ausprägung muss der Indikator mindestens / höchstens annehmen, damit von einem Erfolg gesprochen werden kann? Kriterienzone: In welchem Bereich muss der Indikator liegen, damit von einem Erfolg gesprochen werden kann? Beispiele (Kriterienpunkte): Wenn mindestens 70% der Teilnehmenden 60% der Testaufgaben richtig gelöst haben, kann von einem Erfolg gesprochen werden. Wenn maximal 2 Zigaretten im Zeitraum X im Raum Y geraucht werden, kann noch von guter Luftqualität gesprochen werden. 12 6

7 13 Die Schokoladenübung 14 7

8 Die Schokoladenübung Bewertungssystem > Kriterien > Indikatoren (operationalisierte Kriterien wie messen?) > Kriterienpunkte (welche Ausprägung soll der Indikator mindestens / höchstens haben? Oder Kriterienzone: von bis) 15 Beispiel: Klärung von Fragestellungen I 1. «Welche Zielgruppen werden erreicht bzw. nicht erreicht?» 2. «Arbeitet man mit den richtigen Partnern zusammen?» 3. «Trägt die Art und Weise des Programmmanagements zur Zielerreichung bei?» 16 8

9 Arten von Fragestellungen Deskriptive Fragenstellungen Erfassen des Ist-Zustands Brauchen keine Kriterien, aber geeignete Kategorien Evaluative Fragenstellungen Bewerten des konstatierten Ist-Zustands Brauchen Kriterien, die sich auf den Gegenstand beziehen Kausale Fragestellungen Erfassen und Bewerten der Wirkungen bzw. der Ursachen des festgestellten und bewerteten Ist-Zustands Bewertung erfolgt über die festgestellten Kausalzusammenhänge (Es gibt aber auch deskriptive kausale Fragestellungen) 17 Beispiel: Klärung von Fragestellungen II Evaluationsgegenstand: Verordnung über die Verwertung der inländischen Schafwolle «Welche finanzielle Bedeutung hat die Inwertsetzung der Wolle für die Schafhalterinnen und -halter im Hinblick auf die Wirtschaftlichkeit der Schafhaltung?» «Wie zutreffend ist die dem Konzept zugrundeliegende Annahme, dass die Inwertsetzung der Schafwolle für die Schafhaltung wirtschaftlich von Bedeutung ist?» 18 9

10 Beispiel: Klärung von Fragestellungen III Es wurde ein Kurs durchgeführt, mit dem die Teilnehmer unzufrieden waren. Fragestellung: «Wie soll der Kurs weiterentwickelt werden?» «Wie sieht das Konzept der Schulungsmassnahme aus?» Verschiedene soziale Einrichtungen haben einen neue, gemeinsamen Standort erhalten. Fragestellung: «Bewährt sich die Zusammenfassung der verschiedenen Institutionen unter einem Dach?» Ein Programm zur Förderung von Strassenkindern in Osteuropa. Fragestellung: «Welche Effekte zeigen sich bei den Kindern durch die Teilnahme am Programm?» 19 Wie formuliert man Fragestellungen 1? f.ö.r.d.e.r.n. fokussiert: Es wird deutlich, auf welche Bestandteile des Gegenstands die Fragestellung gerichtet ist. öffnend bzw. gradierend: Es wird nicht danach gefragt, ob ein Sachverhalt vorliegt oder nicht (wäre mit ja oder nein beantwortbar), sondern in welchem Ausmass, in welcher Ausprägung etwas festgestellt werden kann. realistisch: Die Fragestellung bezieht sich auf einen Sachverhalt, der durch den Evaluationsgegenstand (in der gegebenen Zeit) beeinflussbar ist. deutlich: Die Fragestellung ist verständlich, Begriffe werden ggf. definiert. empirisch beantwortbar: Es ist möglich, die Fragestellung aufgrund von Daten zu beantworten; die angesprochenen Sachverhalte sind operationalisierbar. ressourcenangepasst: Es ist möglich, die Fragestellung mit den zur Verfügung stehenden Mitteln / in angemessener Zeit zu beantworten. nützlich: Die Fragestellung ist auf die Informationsinteressen der Adressaten bezogen. 1 Aus Evaluation Schritt für Schritt (Beywl et al., 2007) 20 10

11 Wie formuliert man Fragestellungen? Lieber nicht generisch, z.b. Wie schlüssig ist das Konzept des Programms? Ist die Organisation des Programms zweckmässig? Was sind Stärken und Schwächen des Programms? Hat das Programm XY seine Ziele erreicht? Welche Wirkungen hat das Programm?) generische Fragestellungen geben wenig Orientierung. Sie sind zwar am Anfang einfach, bedürfen aber der Konkretisierung, damit ein konkretes methodisches Vorgehen abgeleitet werden kann. Aus einer guten Fragestellung wird das Kriterium deutlich und man bekommt eine Idee, wie es operationalisiert werden kann ( Indikator). Durch die saubere Klärung der Evaluationsfragestellung werden Fragen des (Be-)Wertens gemeinsam mit relevanten Stakeholdern bereits in der Planungsphase der Evaluation thematisiert