LEITFADEN FORMULIERUNG VON EVALUATIONSFRAGEN

Transkript

1 LEITFADEN FORMULIERUNG VON EVALUATIONSFRAGEN 7. August 2017 Institut für Externe Schulevaluation auf der Sekundarstufe II Institut pour l'évaluation externe des écoles du degré secondaire II Istituto per la valutazione esterna delle scuole di livello secondario II Institut per evaluaziuns externas da la scola sin il stgalim secundar II Assoziiertes Institut der Universität Zürich

2 INHALTSVERZEICHNIS Vorbemerkungen zur Themenwahl Fokusthema Qualitätsmanagement... 2 Formulierung von Evaluationsfragen Welche Rolle spielen die Evaluationsfragen? Fokusthemen aus dem IFES-Angebot Selbst formulierte Fokusthemen Sind Ihre Evaluationsfragen evaluierbar? Weiteres Vorgehen Kommunikation der Evaluationsfragen an das IFES Weitere Auftragsklärung durch das Evaluationsteam Bezugsrahmen Bewertungskriterien... 4 Anhang: Anforderungen an Evaluationsfragen Fragetypen Weitere Kriterien für die Eignung der Fragestellung... 5 VORBEMERKUNGEN ZUR THEMENWAHL 1. FOKUSTHEMA Bei der Wahl des Fokusthemas sind die Schulen meistens frei. Folgende Überlegungen können dabei eine Rolle spielen: Ein laufendes Unterrichts- oder Schulentwicklungsprojekt ist in einem Stadium, in dem eine Standortbestimmung angezeigt ist. Sie wünschen eine Bestandesaufnahme. Sie möchten ein Thema evaluieren lassen, das aufgrund der Unbefangenheit und der Anonymität der Berichterstattung besser von Aussenstehenden untersucht werden kann als in einer internen Selbstevaluation. Sie nehmen das Jahresthema der Schule auf und formulieren passende Evaluationsfragen für die externe Evaluation. Sie möchten einen Schulentwicklungsprozess starten und von einer soliden Standortbestimmung ausgehen. 2. QUALITÄTSMANAGEMENT Beim Thema Qualitätsmanagement ist die Freiheit der Themenwahl meist stark eingeschränkt, weil die Evaluationsfragen durch die kantonalen Rahmenvorgaben resp. Q2E vorgegeben sind. Bei Mehrschritt-Evaluationen kann es sein, dass die Schule die Evaluationsfragen selber bestimmen kann. Hier kommen dieselben Überlegungen zur Anwendung wie bei Fokusthemen. Leitfaden Formulierung von Evaluationsfragen für Fokusthemen IFES 7. August /5

3 FORMULIERUNG VON EVALUATIONSFRAGEN 3. WELCHE ROLLE SPIELEN DIE EVALUATIONSFRAGEN? Mit den Evaluationsfragen wird das Fokusthema inhaltlich konkretisiert und definiert. Sie werden im Bericht aufgeführt und beantwortet. Grundsätzlich gilt: Je besser die Evaluationsfragen, desto nützlicher die Ergebnisse. Deshalb lohnt es sich, sie sehr sorgfältig zu erarbeiten (vgl. auch Anhang dieses Dokuments). Für Rückfragen steht Ihnen das IFES jederzeit gerne zur Verfügung: Tom Burri, Abteilungsleiter Externe Schulevaluationen & Transfer, , 3.1 Fokusthemen aus dem IFES-Angebot Bei Fokusthemen aus dem IFES-Angebot sind die Evaluationsfragen in der Ausschreibung aufgeführt, und das Evaluationsteam kann auf ein vom IFES erprobtes Evaluationsdesign und Instrumentarium zurückgreifen. Insbesondere bei Mehrschritt-Evaluationen können diese Evaluationsfragen auf der Grundlage der Ausschreibung gemeinsam mit der Schule konkretisiert und/oder erweitert werden. Bitte kommunizieren Sie die von Ihnen gewünschten Anpassungen an das IFES (vgl. unten 5.) 3.2 Selbst formulierte Fokusthemen Wenn Sie das Fokusthema selber formulieren, bestimmen Sie mit den Evaluationsfragen die Ausrichtung der Evaluation. Das Evaluationsteam erarbeitet ein entsprechendes Evaluationskonzept und die passenden Befragungsinstrumente. 4. SIND IHRE EVALUATIONSFRAGEN EVALUIERBAR? Ob ein Fokusthema im Rahmen der externen Schulevaluation tatsächlich untersucht werden kann, hängt sowohl vom Thema als auch von der konkreten Formulierung der Evaluationsfragen ab. Aus methodischen und zeitlichen Gründen sind nicht alle Fragen evaluierbar. Im Anhang dieses Leitfadens finden Sie Beispiele und Kontrollfragen, die Ihnen Hinweise auf die methodische Eignung des Themas und der konkreten Evaluationsfragen geben. Vielleicht wird es nötig sein, die konkrete Formulierung der Evaluationsfragen im Sinne eines Findungsprozesses mehrmals anzupassen. Je präziser Sie die Evaluationsfragen formulieren, desto präziser kann das Evaluationsteam arbeiten und desto nützlicher werden die Ergebnisse sein. Bitte nutzen Sie die Evaluationsfragen, um eine möglichst präzise Formulierung des gewählten Themas zu erreichen. Die Erfahrung zeigt, dass sich dies lohnt. 5. WEITERES VORGEHEN 5.1 Kommunikation der Evaluationsfragen an das IFES Wenn Sie ein Fokusthema aus dem IFES-Angebot wählen, ist es eventuell ausreichend, auf die Ausschreibung zu verweisen und Ihre Anpassungen mitzuteilen. In allen anderen Fällen verwenden Sie für die Kommunikation der Evaluationsfragen bitte die Dokumente Evaluationsfragen zum Qualitätsmanagement resp. Evaluationsfragen zum Fokusthema, die beide von IFES bezogen werden können. Leitfaden Formulierung von Evaluationsfragen für Fokusthemen IFES 7. August /5

4 Das IFES wird die Evaluationsfragen aus methodischer Sicht auf die Evaluierbarkeit hin überprüfen und bei Bedarf Rücksprache nehmen. 5.2 Weitere Auftragsklärung durch das Evaluationsteam Anlässlich des ersten Gesprächs, das die beiden Evaluationsfachpersonen im Vorfeld der Evaluation mit der erweiterten Schulleitung durchführen, erfolgt eine detaillierte Auftragsklärung. Die Evaluationsfachpersonen werden darauf Wert legen, mit Ihnen gemeinsam einen Bezugsrahmen für die Evaluation zu klären und, wenn möglich und sinnvoll, konkrete Bewertungskriterien festzulegen Bezugsrahmen Der Bezugsrahmen dient als inhaltliche Grundlage für die Ausrichtung der Befragungsinstrumente. Mit dem Bezugsrahmen wird nicht eine Wahrheit gesetzt, sondern ganz einfach Klarheit geschaffen, wie Thema verstanden wird, welche Aspekte wichtig sind und wie die Ergebnisse am Schluss eingeordnet werden. Mögliche Bezugsrahmen können sich zum Beispiel aus folgenden Quellen ableiten: Kantonale Rahmenvorgaben Dokumente der Schule (Qualitätsansprüche, Projektziele, etc.) Fachliteratur (insbesondere bei Fokusthemen aus dem IFES-Angebot) Bewertungskriterien Nach Möglichkeit wird versucht, gemeinsam mit der Schule zusätzlich konkrete Erfolgskriterien zu vereinbaren, z.b. aufgrund der schulinternen Qualitätsansprüche/-ziele oder der Fachliteratur. Je nach Ausgangslage wird bei der Evaluation ein kriterienorientiertes oder ein exploratives Vorgehen im Vordergrund stehen. Sofern Ihre Schule über formulierte Qualitätsziele, Qualitätsleitsätze o.ä. verfügt oder bei der Vorbereitung der externen Evaluation in der Lage ist, im gewählten Themenbereich eigene Kriterien zu formulieren, hat ein kriterienorientiertes Vorgehen erfahrungsgemäss den Vorteil, dass die Schule klarere und konkretere Rückmeldungen und Empfehlungen zu den formulierten Evaluationsfragen erhält als bei einem explorativen Vorgehen. Bei einem explorativen Vorgehen wird möglichst das "ganze Feld" beleuchtet, was der vertieften Analyse einzelner Aspekte naturgemäss entgegensteht. Die Ergebnisse explorativ angelegter Evaluationen weisen deshalb oft auf Punkte hin, welche später von der Schule genauer untersucht werden sollten und erlauben i.d.r. weniger konkrete Empfehlungen und Massnahmen als kriterienorientiert angelegte Evaluationen. Leitfaden Formulierung von Evaluationsfragen für Fokusthemen IFES 7. August /5

5 ANHANG: ANFORDERUNGEN AN EVALUATIONSFRAGEN 6. FRAGETYPEN Aufgrund methodischer Überlegungen sind in einem Themenbereich nicht alle Arten von Fragen für eine Evaluation geeignet. Grundsätzlich sind im Rahmen von externen Schulevaluationen nur Einschätzungsfragen evaluierbar. Die folgende Tabelle illustriert diese Aussage anhand von Beispielen: Geeigneter Fragetyp Wie beurteilen die verschiedenen an unserer Schule beteiligten Personengruppen die Qualität von...? Einschätzungsfrage Worin sehen die verschiedenen an unserer Schule beteiligten Personengruppen die Stärken und Schwächen von...? Inwiefern ist die Schule aus Sicht der Beteiligten in der Lage,... umzusetzen? Ungeeignete Fragetypen Erklärungsfrage Warum gibt es an unserer Schule...? Outputvergleich Wie gut sind unsere Schülerinnen/Schüler im Vergleich mit...? Normsetzungsfrage Qualifizierung von Einzelpersonen Beratungsfrage Ist... ein sinnvolles Ziel? Wie beurteilen Sie die Fähigkeiten von...? Was können wir tun, um... zu erreichen? Darstellung 1: Geeignete und ungeeignete Fragetypen 7. WEITERE KRITERIEN FÜR DIE EIGNUNG DER FRAGESTELLUNG Grundsätzlich geeignete Evaluationsfragen vom Typ Einschätzungsfrage (s. oben) müssen weiteren Kriterien genügen. Bitte überprüfen Sie die Evaluationsfragen auch in folgender Hinsicht: Kriterium Relevanz für die Institution Handlungsfähigkeit der Institution Datengestütztheit des Berichts Eingrenzung des Themas Beschreibung Die Evaluationsfrage ist auf Institutionsebene angesiedelt. Sie thematisiert einen Arbeitsbereich bzw. Arbeitsprozess, der für die Schule und das Kollegium relevant ist (nicht nur für einzelne Personen). Die Evaluationsfrage betrifft einen Arbeitsbereich bzw. einen Arbeitsprozess, der im Kompetenzbereich der Schule (Schulleitung, Kollegium) liegt, d.h. in dem die Schule grundsätzlich handlungsfähig ist. Die Evaluationsfrage ermöglicht eine Antwort, die auf Dokumenten, konkreten Aussagen der Befragten und auf Beobachtungen des Evaluationsteams (nicht nur auf Mutmassungen) basieren kann. Die Evaluationsfrage ist gut eingegrenzt und kann vom Umfang und der Komplexität her im vorgegebenen Rahmen gut bewältigt werden. Darstellung 2: Kriterien für geeignete Evaluationsfragen Leitfaden Formulierung von Evaluationsfragen für Fokusthemen IFES 7. August /5