Befragung der Schulkoordinatoren

Transkript

1 Befragung der Schulkoordinatoren Die beiden Testtage liefen hervorragend!" (Schulkoordinator/in einer Realschule aus Hessen) Dieses erfreuliche Resümee über die Durchführung der PISA-Studie zog ein/e Schulkoordinator/in aus Hessen nach Abschluss der Erhebung. Um zu erfahren, wie die Durchführung der Tests an den einzelnen Schulen funktionierte, und um Effekte eventuell aufgetretener Schwierigkeiten abschätzen zu können, wurden alle Schulen, die an PISA teilgenommen haben, nach Abschluss der Erhebungsphase in einer zusätzlichen Studie befragt. Fragestellung Bei den Schulkoordinatoren handelt es sich um diejenigen Lehrerinnen und Lehrer, die die Durchführung der Tests vor Ort, an der jeweiligen Schule, organisierten. Mit Hilfe einer nachträglichen Befragung sollte erfasst werden, wie sich der Ablauf der Studie gestaltete. Neben dem organisatorischen Aspekt interessierte auch, wie die Lehrkräfte das Verhalten der Schülerinnen und Schüler während der Testsitzungen einschätzten. Erhebung Nachdem die Erhebung abgeschlossen war, erhielten die Schulkoordinatoren aller Schulen, die an der Studie teilgenommen haben, einen Fragebogen. Dieser bestand aus Fragen zum Ablauf (z.b. Vorbereitung der Erhebung, Unterstützung bei schulinternen Aufgaben) und zum Verhalten der Schülerinnen und Schüler während der Testsitzungen. Für die Einschätzungen des Schülerverhaltens wurde ein relativer Maßstab gewählt, d.h. die Lehrerinnen und Lehrer sollten beurteilen, wie sich die Jugendlichen im Vergleich zu einer regulären Klassenarbeit verhalten hatten. Zusätzlich zu diesen geschlossenen Fragen hatten die Koordinatoren die Möglichkeit, uns weitere Beobachtungen und Kommentare schriftlich mitzuteilen. Ergebnisse Von 154 versandten Fragebögen wurden 85 % ausgefüllt zurückgeschickt. Es liegen zurzeit also Informationen aus 1274 Schulen vor. Insgesamt beurteilten die Schulkoordinatoren die Studie sehr positiv, und zwar sowohl was den Ablauf der Erhebung als auch was das Verhalten der Schülerinnen und Schüler betrifft. Dies soll anhand von einigen Beispielen verdeutlicht werden. Vorbereitung und Durchführung Die Vorbereitung war ausgezeichnet fast überorganisiert." (Schulkoordinator/in einer Gesamtschule aus Bremen) In Abbildung 1 sind die Antworten auf Fragen dargestellt, die sich auf den Gesamtablauf der Studie beziehen. Es wird deutlich, dass die große Mehrheit der Schulen von den Informationsangeboten (Materialien, Schulleiterkonferenzen) Gebrauch machte und diese Angebote als angemessen bewertete. Bei der Durchführung der Studie fühlten sich fast alle Schulkoordinatoren ausreichend unterstützt. Insgesamt beurteilten die Schulkoordinatoren also den Ablauf der Studie, was organisatorische Belange angeht, sehr positiv. Dies geht auch deutlich aus den schriftlichen Kommentaren hervor. In einigen Fällen wurden zwar einzelne Schwierigkeiten bei der Koordination berichtet (z.b. kleinere Schwierigkeiten bei der Erstellung der Schülerdateien, mit leichter Verspätung eingetroffene Unterlagen), doch in der überwältigenden Mehrheit aller Schulen traten keinerlei Probleme auf. Weiterhin weist der - 1 -

2 von fast allen Schulen geäußerte Wunsch nach einer individuellen Schulrückmeldung auf ein großes inhaltliches Interesse an der Studie hin. Verteilung der Antworten in Wurden Sie im Vorfeld durch die Ihnen zugegangenen Materialien hinreichend über die Inhalte der PISA-Studie informiert? 2 ja 98 Hat Ihre Schule an einer Schulinformationsveranstaltung oder Schulleiterkonferenz teilgenommen? 8 ja 92 Fühlten Sie sich bei den schulintern zu erledigenden Aufgaben hinreichend informiert und unterstützt? 4 ja 96 Hat Ihre Schule Interesse an einer individuellen Schulrückmeldung? 3 ja 97 Abbildung 1: Schulkoordinatorenbefragung Fragen zum Ablauf der Studie Beurteilung der Testsitzung Insgesamt fühlten sich die Schüler/innen in ihrem Leistungsstreben gefordert und hatten - trotz großer Hitze - an beiden Testtagen Spaß." (Schulkoordinator/in einer Sekundarschule aus dem Saarland) Die Fragen über der Verlauf der Testsitzungen wurden von den jeweiligen Lehrerinnen und Lehrern, die an diesen Tagen Aufsicht führten, beantwortet. Diese berichteten sehr positive Eindrücke: Neben einer sehr günstigen Einschätzung der Testleiterinnen und Testleiter (in nur drei der Schulen wurden diese eher negativ beurteilt) wurde auch die Anstrengung und Konzentration der Schülerinnen und Schüler bei der Bearbeitung der Tests positiv bewertet (siehe Abbildung 2). Mehr als zwei Drittel der Lehrkräfte meinten, dass sich ihre Schülerinnen und Schüler in den PISA-Testsitzungen genauso wie angestrengt und konzentriert haben. In 28 % (erster Testtag) bzw. 16 % (zweiter Testtag) der Schulen war die Anstrengung sogar höher als bei einer regulären Arbeit und in 3 % (erster Testtag) bzw. 17 % (zweiter Testtag) der Schulen die Konzentration. Nur ein - 2 -

3 sehr geringer Anteil der Schülerinnen und Schüler zeigte nach Ansicht der Lehrerinnen und Lehrer weniger Einsatz als. Anstrengung am ersten Testtag Anstrengung am zweiten Testtag Konzentration am ersten Testtag Konzentration am zweiten Testtag Abbildung 2: Schulkoordinatorenbefragung Anstrengung und Konzentration - 3 -

4 Die aufsichtführenden Lehrkräfte wurden auch gesondert zu der Gruppenaufgabe, die in den meisten Schulen eingesetzt wurde, befragt. Zur Bearbeitung dieser Aufgabe sollten sich die Jugendlichen in Dreiergruppen zusammensetzen und ein Problem gemeinschaftlich lösen. Da es sich hierbei um ein neues Verfahren handelt, das zum ersten Mal in einer Schulleistungsstudie wie PISA eingesetzt wurde, war es besonders interessant zu sehen, ob dieser Teil der Untersuchung ohne größere Probleme durchgeführt werden konnte. Abbildung 3 zeigt, wie die Lehrerinnen und Lehrer den Ablauf der Gruppenarbeit beurteilten. Verteilung der Antworten in Lief die Durchführung der Gruppenaufgabe am zweiten Testtag unproblematisch ab? 5 ja 95 Hatten Sie den Eindruck, dass die Kleingruppen tatsächlich kooperativ zusammengearbeitet haben? 7 ja 93 Abbildung 3: Schulkoordinatorenbefragung Beurteilung der Gruppenaufgabe Diese Angaben verdeutlichen, dass die Bildung der Kleingruppen und die Bearbeitung der Aufgabe in fast allen Schulen ohne größere Schwierigkeiten möglich war, und dass die Aufgabe nach Eindruck der Lehrkräfte auch wirklich in Zusammenarbeit gelöst wurde. Anregungen und Kommentare Eine erste Durchsicht der schriftlichen Kommentare bestätigt ebenfalls, dass die Schulkoordinatoren mit der Organisation und Durchführung der Studie zufrieden waren und die Erhebung nahezu reibungslos verlief. Zu den wenigen Kritikpunkten, die häufiger erwähnt wurden, gehörte, dass der Testzeitraum ungünstig lag, da die Monate vor den Sommerferien in der Regel durch viele Schuljahresende-Aktionen belastet sind. 1 Weiterhin wurde von einigen Schulkoordinatoren bedauert, dass die Berichte zur Studie erst im Herbst 21 erscheinen können. 2 Eine systematische Auswertung der schriftlichen Kommentare ist in Arbeit und wird in die Planungen zukünftiger Studien eingehen. 1 Die Wahl des Testzeitraums geht auf Festlegungen der internationalen Projektleitung zurück. Diese musste das Testfenster relativ eng definieren, um die Vergleichbarkeit des Testzeitpunkts in den Teilnehmerländern, z.b. im Hinblick auf seine Position innerhalb des Schuljahres, zu gewährleisten. 2 In PISA wird großer Wert darauf gelegt, die Ergebnisse der Studie so rasch wie möglich zu veröffentlichen. Bevor jedoch mit den eigentlichen Auswertungen begonnen werden kann, müssen zunächst verschiedene Vorarbeiten geleistet werden (z.b. Bewertung der Antworten der Schülerinnen und Schüler auf offene Testfragen, Übertragung der Angaben auf elektronische Datenträger). Um der Vielschichtigkeit der Befunde gerecht zu werden, sind weiterhin umfangreiche und komplexe Analysen notwendig. Schließlich müssen die Ergebnisse dieser Analysen in den Berichten sorgfältig und klar verständlich dargestellt und diskutiert werden. Der für diese Arbeitsschritte zur Verfügung stehende - 4 -

5 Zusammenfassung der Ergebnisse Die Schulkoordinatoren schätzten den Ablauf der Studie insgesamt sehr positiv ein. Die Ergebnisse der Befragung ergaben, dass die Vorbereitung und Organisation der Testdurchführung in fast allen Schulen problemlos verlief und die Schulkoordinatoren sich gut vorbereitet und unterstützt fühlten. Auch das Verhalten der Schülerinnen und Schüler während der Tests wurde sehr positiv beurteilt. Nach Angaben der aufsichtführenden Lehrkräfte strengten sich die meisten Jugendlichen mindestens genauso stark an wie bei einer Klassenarbeit. Dieses Urteil stimmt mit den Einschätzungen der Testleiter und Testleiterinnen überein und weist darauf hin, dass die Schülerinnen und Schüler bei der Bearbeitung des Tests großes Engagement und viel Ausdauer zeigten. Zeitraum von weniger als 1 ½ Jahren (zwischen Abschluss der Tests im Sommer 2 und Publikation der ersten Berichte Ende 21) ist bereits sehr knapp bemessen. Eine weitere Beschleunigung des Vorgangs wäre ohne erhebliche Qualitätseinbußen nicht zu leisten