Wegleitung für Lehrpersonen Feedback durchführen und auswerten 1. Daten erheben - Feedback einholen 2. Daten eingeben 3. Daten auswerten 4. Daten interpretieren - Feedbackergebnisse verstehen Anhang a. Tipps zum Drucken aus einer Excel-Tabelle von Gerold Brägger / Verena von Aesch / Peter Marti / Isabelle Truniger 24. Februar 2011, Version 4 IQES online Tellstrasse 18 8400 Winterthur Schweiz Telefon +41 52 202 41 25 info@iqesonline.net www.schulentwicklung.ch www.iqesonline.net
1. Daten erheben Feedback einholen Sie haben in unserem Evaluationscenter einen passenden Fragebogen gefunden. Klicken Sie nun auf Fragebogen als PDF herunterladen und drucken Sie den Fragebogen für alle Schüler/innen aus. (Falls Sie einen eigenen Fragebogen erstellen oder einen bestehenden abändern wollen, beachten Sie bitte die Wegleitung "Eigenen Feedbackbogen erstellen"). Verteilen Sie den Fragebogen in der Klasse und erklären Sie die "Spielregeln" für das Ausfüllen. Unter Umständen können auch Sie selbst einen Fragebogen ausfüllen. Überlegen Sie hierfür, was Sie erwarten, wie Ihre Klasse Sie im Durchschnitt bezüglich der einzelnen Fragen einschätzt. Auf diese Art und Weise können Sie Hypothesen darüber aufstellen, wie Ihre Klasse den Unterricht einschätzen wird, und diese Hypothesen dann anschliessend durch die Auswertung der Schülerfragebögen überprüfen. Sollte es zu grossen Diskrepanzen zwischen Ihren Erwartungen und den Einschätzungen der Schüler/-innen kommen, kann dies ein wichtiger Ansatzpunkt für die Verbesserung Ihres Unterrichts sein. 2. Daten eingeben Die Daten aus den Schülerfragebögen geben Sie anschliessend in eine Auswertungstabelle ein. Klicken Sie dazu im Evaluationscenter beim entsprechenden Fragebogen auf Instrument herunterladen, speichern diese Datei auf Ihrem persönlichen Computer. Seite 2
Da in die Tabelle ein Makro für den Ausdruck eines Auswertungsberichtes eingebunden ist, erscheint beim Herunterladen in älteren Excelversionen eine Sicherheitswarnung. Klicken Sie auf Makros aktivieren. In neueren Excel Versionen wird die nebenstehende Sicherheitswarnung etwas diskreter plaziert. Es öffnet sich kein spezielles Fenster. Die Sicherheitswarnung steht unterhalb der Funktions-leiste und zeigt an, dass die Makros deaktiviert wurden. Klicken Sie auf Optionen. Es öffnet sich das Fenster Sicherheitsoptionen. Wählen Sie diesen Inhalt aktivieren, dann schliessen Sie mit OK ab. Seite 3
Die Registerblätter, durch die Sie im folgenden geführt werden, können Sie am unteren Rand des Bildschirms anklicken. Sollte beim Aufstarten der Tabelle die Leiste mit den Registerblättern nicht sichtbar sein, muss das Fenster mit ganz geöffnet werden: Tragen Sie nun im Registerblatt Eingabe (einzelne Fragebogen) die Antworten der Schüler/innen in die vorgegebenen Spalten ein: (1 = stimmt nicht, 2 = stimmt wenig, 3 = stimmt ziemlich, 4 = stimmt genau, 0 = keine Antwort) Anstelle dieser Variante können Sie die allenfalls bereits von Ihnen zusammengezählte Anzahl Nennungen pro Antwortmöglichkeit in der dafür vorgesehenen Spalte im Registerblatt Eingabe (zusammengezählt) eintragen. Seite 4
3. Daten auswerten Klicken Sie auf das Registerblatt Ergebnisse. Hier werden Ihnen nun automatisch folgende statistische Werte angezeigt: Mittelwert Streuung und Standardabweichung Verteilung der Antworten % 3 + 4 Anzahl der Personen, die diese Frage beantwortet haben. Erläuterungen zu den statistischen Fachbegriffen der Auswertung Mittelwert Der Mittelwert ist der Durchschnitt aller gegebenen Antworten. Das arithmetische Mittel berechnet sich aus der Summe der Werte, deren Mittelwert wir suchen, geteilt durch die Zahl dieser Werte. Er balanciert die Verteilung quasi aus. Die Summe der positiven und negativen Abweichungen vom Mittelwert ist gleich Null. Der Mittelwert als Reduktion der Verteilung auf einen Wert ist dann repräsentativ für die Verteilung der Antworten, wenn die Verteilung in etwa einer Glockenkurve entspricht und ist um so besser, je kleiner die Streuung ist. Wenn die Werte 1 und 4 stark und die Werte 2 und 3 wenig besetzt sind (Verteilung entspricht dann eher einer Hängebrücke), beschreibt der Mittelwert die Verteilung schlecht. Streuung und Standardabweichung Ein Streuwert gibt an, wie typisch ein Mittelwert ist. Je kleiner die Streuung der Antworten ist, desto treffender charakterisiert der Mittelwert die Verteilung. Je grösser die Streuung, desto mehr sollte darauf geachtet werden, mit was die grosse Bandbreite der Antworten zu tun hat. Die Streuung wird durch die sogenannte Standardabweichung gemessen. Bei normal verteilten Antworten (Verteilung ähnelt eher einer Glockenkurve als einer Hängebrücke) liegen rund 2/3 der Antworten weniger als eine Standardabweichung vom Mittelwert entfernt. Seite 5
Verteilung der Antworten KA (keine Antwort) Die Verteilung der Antworten wird mit einem Säulendiagramm in absoluten Zahlen dargestellt. Die Anzahl der Antworten steht oberhalb der Säule. Die Antwortkategorien lauten: 1=stimmt gar nicht, 2=stimmt wenig, 3=stimmt ziemlich, 4=stimmt genau. Anzahl der Personen, die auf diese Frage keine Antwort gegeben haben. % 3 + 4 Prozentsatz der Personen, die eine der zwei höheren Einschätzungen, d.h. eine positiven Antwort, angekreuzt haben. Der Prozentsatz zeigt auf, bei welchen Qualitätsaussagen die Zufriedenheit vergleichsweise hoch oder niedrig ist. N Anzahl der Personen, die diese Frage beantwortet haben. Seite 6
Im Registerblatt Profil Mittelwert und Profil Streuung werden die Mittelwerte und die Streuung bzw. die Standardabweichung in einer grafischen Kurve visualisiert. Im Registerblatt Auswertung" können Sie, nach Eingabe aller Feedbackantworten einen Ergebnisbericht auszudrucken. Klicken Sie dazu auf den Knopf Auswertung ausdrucken. Dieser Ergebnisbericht, der alle Auswertungsdaten auf einen Blick zeigt, erleichtert Ihnen nun die individuelle oder gemeinsame Dateninterpretation. Seite 7
4. Daten interpretieren Feedbackergebnisse verstehen 4.1. Individuelle Datenauswertung und -interpretation Beachten Sie bitte bei der Interpretation der Feedback-Ergebnisse Folgendes: Insbesondere Ergebnisse, die Sie nicht erwartet haben, bedürfen einer inhaltlichen Interpretation. Diese inhaltlichen Interpretationen können nur Sie vornehmen, da Sie Expert/in für Ihre eigene Klasse sind. Lesen Sie sich die Frage, deren Ergebnis Sie erstaunt, nochmals genau durch. Suchen Sie nach verschiedenen Begründungen für die gefundenen Klassenmittelwerte. Betrachten Sie auch die Verteilung der Antworten. Möglicherweise gibt es einzelne Einschätzungen, die stark von den übrigen abweichen. Wenn Sie selbst den Schüler/innen-Fragebogen im Sinne einer Prognose ausfüllen, können Sie zusätzlich den Mittelwert Ihrer Klasse mit Ihren Erwartungen vergleichen. Sie haben auch die Möglichkeit den passenden Selbsteinschätzungsbogen auszufüllen, um so Ihre Sichtweise mit derjenigen der Schüler/innen zu vergleichen. Wenn diese beiden Werte wesentlich voneinander abweichen, ist es wiederum wichtig, nach inhaltlichen Gründen für die grosse Diskrepanz zu suchen. Überprüfen Sie Ihre Überlegungen, indem Sie sie entweder mit Ihren Schüler/innen diskutieren oder aber Aspekte Ihres Unterrichts verändern und die Wirkung der Veränderung beobachten. Fragen zur Selbstreflexion: Was bedeuten die Ergebnisse für mich persönlich? Was bestätigt, was widerspricht meinen Einschätzungen? Welche Ergebnisse sind überraschend? Wo und warum zeigen sich Ungereimtheiten? Wozu sagen die Ergebnisse nichts aus? Wo zeigt sich Handlungsbedarf? 4.2. Dateninterpretation mit Schüler/innen Nachdem die Daten persönlich ausgewertet und interpretiert worden sind, ist der nächste unverzichtbare Schritt die Besprechung der Ergebnisse mit den Schüler/innen. Dieser Schritt ist deshalb so wichtig, weil das Interpretieren der Daten am besten gelingt, wenn Feedbackergebnisse aus verschiedenen Blickwinkeln betrachtet und verstanden werden. Wenn den Lernenden die Feedbackergebnisse offen gelegt werden und wenn sie bei der Diskussion um Schlussfolgerungen beteiligt werden, fühlen sie sich ernst genommen. So werde sie sind auch später wieder bereit sein, an Feedbacks und Evaluationen teilzunehmen. Beispiel: Jede/r Schüler/in erhält eine Kopie der Datenauswertung (Es dürfen darin nie personenbezogene Aussagen über Mitschüler und Kollegen enthalten sein!). Seite 8
Feedbackbasierte Unterrichtsentwicklung steht und fällt mit der Güte ihres Herzstücks der Qualität der Feedbackgespräche 1 Deshalb ist es empfehlenswert, die Feedback- und Auswertungsgespräche gut zu strukturieren und sich genügend Zeit dafür zu lassen: offene Einstiegsphase: Was fällt mir auf? Themen sammeln anschliessende Priorisierung von Themen mit Klebepunkten Thema Punkte Rang vertiefende Bearbeitung einzelner Themen in Kleingruppen: die Gruppen analysieren Teilaspekte mit Hilfe von Leitfragen (siehe unten) mit Visualisierung die Beachtung von Feedbackregeln fördern die Ergebnisse verschriftlichen und präsentieren lassen Leitfragen für die Schüler/innen: Was fällt euch auf? Was würdet ihr auswählen, wenn ihr die Ergebnisse für einen Aussenstehenden zusammenfassen solltet? Welches Ergebnis überrascht euch am meisten? Welches Ergebnis ist für die weitere Arbeit besonders hilfreich? Welches Ergebnis ist (besonders) kritisch? Wichtig erscheint uns, dass Sie die Schüler/innen immer wieder darauf hinweisen, ihre positiven Erfahrungen zu verstärken und sich nicht nur auf die Defizite zu konzentrieren! Aus der daraus entstehenden Diskussion werden die Konsequenzen gemeinsam herausgearbeitet. Wo wird unsere Arbeit in der Klasse bestätigt? Wo sind Veränderungen erforderlich? Was wäre die wichtigste nächste Veränderung? Wie könnte diese Veränderung herbeigeführt werden? Wo kann ich bei Veränderungen bei mir selbst anfangen? 1 Bastian (2007): Einführung in die Unterrichtsentwicklung. S.174 Seite 9
4.3. Dateninterpretation mit Kolleg/-innen Feedbackergebnisse mit anderen Lehrpersonen zu interpretieren hilft Ihnen, die eigene Perspektive durch die Sichtweise von Kolleginnen und Kollegen zu erweitern, die ebenfalls über breite Erfahrungen im Praxisfeld verfügen. Kolleg/innen können als kritische Freunde Aussagen von Schüler/innen relativieren oder bestätigen, sie können wohlwollend in Frage stellen, aufmunternd bestärken oder mit Fragen weiterhelfen, Optimierungsmöglichkeiten für den eigenen Unterricht zu finden. Vorgehen und hilfreiche Fragen: Bei der Dateninterpretation (z.b. von Ergebnissen eines Schülerfeedbacks) innerhalb einer Q-Gruppe, oder einer kollegialen Gruppe, empfiehlt sich folgendes Vorgehen: Die betroffene Lehrperson benennt diejenigen 3-4 Auffälligkeiten des Befragungsergebnisses, welche ihr als besonders bedeutsam erscheinen. Interpretation: Welches ist aus der Sicht der Betroffenen eine mögliche Erklärung für die Auffälligkeit? Feedback der kritischen Freunde zu den Erklärungen: Gibt es andere Interpretationsmöglichkeiten, denen eventuell noch genauer nachgegangen werden müsste? Haben die Erklärungen die Tendenz, die Schülersichtweise als absolut zu betrachten oder diese vorschnell zu entkräften? Gemeinsam werden nun Lösungsansätze und Handlungsperspektiven entwickelt. Die Lehrperson zieht ihre individuellen Konsequenzen; ein Feedback / eine Evaluation sollte zu konkreten persönlichen Schlussfolgerungen führen, sonst lohnt sich der Aufwand nicht! Metaevaluation: Das gesamte datengestützte Feedback schliesst mit einem Meta-Gespräch ab. Dieses Gespräch über das Auswertungsgespräch klärt folgende Fragen: Was hat es den Beteiligten gebracht? Wie wurden die Feedbackregeln eingehalten? Was war förderlich? Was war hinderlich? Was hat sich bewährt? Was sollte nächstes Mal verändert werden? Die Form der Rückmeldung an die Klasse wird besprochen: Die Schüler/innen haben ein Recht darauf, über die Verarbeitung ihres Feedbacks und mögliche Konsequenzen informiert zu werden. Seite 10
Konsequenzen einplanen und kontrollieren: zumindest im kleinen Rahmen zeigen, dass Schülerrückmeldung Wirkungen hat. Ansonsten schwindet die Motivation der Schüler/innen, bei einem nächsten Mal erneut ein ernsthaftes Feedback zu geben. In jedem Fall müssen der Prozess, die Dateninterpretation und die Rückmeldung der Q- Gruppe in schriftlicher Form festgehalten werden! Anhang a. Tipps zum Drucken aus einer Excel-Tabelle Problem Lösung Wenn leere Zeilen ausgedruckt werden Damit Sie keine leeren Zeilen ausdrucken müssen, können Sie den Druckbereich anpassen. Markieren Sie die Zeilen, welche Sie gedruckt haben möchten und klicken Sie unter Seitenlayout / Druckbereich auf Druckbereich festlegen. Problem Lösung Wenn beim Ausdruck des Blattes Fragebogen auf einem Apple Macintosh der Fragebogen nicht Platz auf einem Blatt hat Klicken Sie auf Datei / Seite einrichten / Papierformat / Verkleinern und stellen Sie die Skalierung auf 90% ein. Überprüfen Sie das Ergebnis vor dem Ausdruck, indem Sie im Druckdialog auf die Taste Vorschau klicken. Passen Sie gegebenenfalls die Skalierung und/oder die Seitenränder an. Problem Lösung Wenn beim Ausdruck des Blattes Ergebnis auf einem Apple Macintosh die Auswertung zu breit wird und nicht Platz auf einem Blatt hat Klicken Sie auf Datei / Seite einrichten / Seitenränder. Stellen Sie den rechten und den linken Rand auf 1.5 cm ein. Überprüfen Sie das Ergebnis vor dem Ausdruck, indem Sie im Druckdialog auf die Taste Vorschau klicken. Passen Sie gegebenenfalls die Skalierung und/oder die Seitenränder an. Seite 11