Evaluation. von Weiterbildungsveranstaltungen. Vortrag. Evaluation Dipl.-Theol. M. A. Elmar Weyand

Transkript

1 Evaluation von Weiterbildungsveranstaltungen Vortrag

2 0. Was ist Evaluation? Evaluation zwischen Wissenschaftlichkeit und spontanem Feedback ist mehr als das Bauchgefühl, mehr als die Feedbackrunde zum Abschluss, muss aber nicht zwingend in eine umfangreiche sozialwissenschaftliche Untersuchung münden lat. valor - Wert (engl. value) e/ex - aus/heraus einen Wert aus etwas ziehen, bewerten

3 0. Was ist Evaluation? meint das Erfassen und das Bewerten von Prozessen und Ergebnissen zur Wirkungskontrolle, Steuerung und Reflexion im Bildungsbreich explizite Handlung, methodisch organisiert Daten werden erfasst Ergebnis wird festgehalten Vergleich Ist/Soll-Wert Soll-Wert nachvollziehbar intersubjektive Überprüfbarkeit Blick zurück Blick nach vorne Verstehen von Lernprozessen

4 Gliederungsübersicht 1. Zielanalyse Grobziele - operationalisierte Ziele 4 Stufen von Evaluation: Einschätzung - Können - Anwendung - Wirkung 2. Durchführung Befragung - Beobachtung - Tests - Materialanalyse 3. Auswertung quantitativ - qualitativ 4. Ergebnisinterpretation Validität 5. Evaluationsbericht (idealtypisch)

5 1. Zielanalyse Grobziel: Was will ich untersuchen/herausfinden? Zielbeschreibung: Was will ich als erwünschte oder befürchtete Wirkungen feststellen? operationalisierte Ziele: Welches sind die Kriterien und Indikatoren, die ich erfassen kann und an denen ich den Erfolg messen will? konkret, nachvollziehbar, messbar

6 von der Zielklärung zur Durchführung Einschätzung Befragung Können Beobachtung Anwendung Test Wirkung Materialanalyse

7 2. Durchführung Befragung mündlich (Interview) - schriftlich (Fragebogen) Rating - Fragebogen - narrative Befragung Fragen: offene - halboffene - geschlossene Strukturierungsgrad didaktische Nützlichkeit: Was sind sinnvolle Informationen für das Verstehen und Gestalten des Ganzen? Ökonomie: Wie viel Befragung kann ich den Befragten zumuten?

8 2. Durchführung Beobachtung Es werden Dinge erfasst dort, wo sie passieren, in ihrem natürlichen Kontext, ungefiltert durch Berichterstatter oder Interviewpartner aufwändig, abhängig von der Kompetenz und dem Briefing der Beobachter

9 2. Durchführung Tests TN führen Tätigkeiten aus, die nach der Veranstaltung beherrscht werden sollen; diese werden kontrolliert standardisiert - informell Anwendung, wo fest umschreibbares Wissen/Können erworben wird

10 2. Durchführung Materialanalyse Daten über Erreichtes sind nicht selten über vorliegende Materialien, gegenständliche Produkte fassbar; Blick auf vorhandene Materialien statt überflüssiger Fragen keine Reaktanz (Ergebnis wird durch die Untersuchung verfälscht)

11 3. Auswertung quantitative Daten = Zahlen schnelle und objektive Auswertung es lassen sich Mittelwerte, Streuungen und Korrelationen berechnen, aber: viel Zeit investieren in Überlegung, Planung und Erprobung nur Antwort auf das, was gefragt wird lässt sich das erfassen, was ich erfassen möchte? (1,3 - mein bestes Seminar)

12 3. Auswertung qualitative Daten = Wörter große Datenmengen, erheblicher Auswertungsbedarf Kategorisierung: deduktiv - induktiv Verbindung von Intuition und Handwerk Qualitative Verfahren beweisen nicht - sie erleuchten (Reischmann)

13 4. Ergebnisinterpretation Validität Zeigt das Ergebnis das, was es zu zeigen beansprucht? Hawthorne-Effekt: Die Tatsache der Beobachtung führt bereits dazu, dass sich Menschen anders verhalten Im Bildungsbereich gibt es nie den Beweis einer eindeutigen Kausalität (Außeneinflüsse sind nicht ausschließbar), aber eine Evidenz lässt sich aufzeigen.

14 0. Abstract 5. Evaluationsbericht idealtypische Gliederung 1. Absicht der Untersuchung 2. Die zu evaluierende Maßnahme und ihre Probleme 3. Untersuchungsmethode 4. Präsentation der Daten und Darstellung der Ergebnisse 5. Diskussion 6. Schlussfolgerungen und Empfehlungen

15 Standards für Evaluation (nach DeGEval, degeval.de) Nützlichkeit Ausrichtung an geklärten Evaluationszwecken sowie am Informationsbedarf der NutzerInnen Durchführbarkeit realistisch, gut durchdacht, diplomatisch und kostenbewusst geplant und ausgeführt Fairness respektvoll und fair mit betroffenen Personen und Gruppen umgehen Genauigkeit gültige Informationen und Ergebnisse hervorbringen und vermitteln

16 Qualitätsmanagement vs. Evaluation Alle organisierten Maßnahmen, die der Verbesserung von Produkten, Prozessen oder Leistungen jeglicher Art dienen Das Erfassen und Bewerten von Prozessen und Ergebnissen zur Wirkungskontrolle, Steuerung und Reflexion

17 Qualitätsmanagement vs. Evaluation bezieht sich auf die ganze Einrichtung/das gesamte Unternehmen Perspektive von der Betriebswirtschaft her Gewinn, Marktwert allumfassendes System mit Entscheidungsfunktion Führungsinstrument, i.d.r. topdown bezieht sich auf einzelne Veranstaltungen / didaktische Produkte Perspektive von der Sozialwissenschaft her allseitiger Nutzen Datenerfassung u. -analyse ohne Entscheidungsfunktion Bewertungsinstrument, bottomup möglich QM + Evaluation als sich ergänzende Konzepte