Testleiterbefragung Einleitung "Ruhe bitte!" Vom Pausenhof schallt Geschrei in die Klasse, in der hinteren Reihe tauschen sich mehrere Schülerinnen und Schüler über die Lösung der letzten Frage aus, ein Schüler bemalt sein Testheft mit lustigen Mustern, Papierkügelchen fliegen durch die Luft dies soll eine PISA-Testsitzung sein? Dass Testergebnisse, die unter solchen Bedingungen erbracht wurden, kaum die tatsächlichen Leistungen der Schülerinnen und Schüler abbilden, liegt auf der Hand. Angemessene Durchführungsbedingungen während der Testsitzungen sind ein Mindeststandard, der gewährleistet sein muss, wenn man Schülerleistungen untersuchen möchte. Um sicherzustellen, dass die Testsituationen an den beteiligten Schulen angemessen waren und um zu bestimmen, welche Störungen möglicherweise auftraten, wurden Testleiter und Testleiterinnen in einer zusätzlichen Erhebung zum Ablauf der Tests in den Schulen befragt. Fragestellung Ziel dieser zusätzlichen Befragung war es, eine detaillierte Beschreibung der Testsituation und der eventuell aufgetretenen Probleme zu erhalten. Diese Beschreibung sollte zusätzlich zu dem regulären Testleiterprotokoll, das alle Testleiterinnen und Testleiter ausfüllten, veranschaulichen, unter welchen Bedingungen die Schülerinnen und Schüler die Testaufgaben bearbeiteten. Wichtig war hierbei, anstelle von pauschalen Beurteilungen wie "es gab starke Disziplinprobleme" Informationen darüber zu gewinnen, wie sich Schülerinnen und Schüler in den Testsitzungen konkret verhielten. Anhand dieser Informationen lässt sich die Frage klären, ob während der Testsituation Schwierigkeiten auftraten, welche die Interpretation der Testergebnisse erschweren könnten. Weiterhin wird es damit möglich, die Ergebnisse von Gruppen, in denen die Erhebung nicht ganz reibungslos verlaufen ist, systematisch zu analysieren. Methode Für die Untersuchung wurden alle Testleiterinnen und Testleiter aus zwei Ländern, Hessen und Brandenburg, befragt. Sie erhielten nach Abschluss der Testung Fragebögen, in denen sie Aussagen zum Verhalten der Schülerinnen und Schüler und zum Auftreten externer Störungen machen sollten. Es wurden konkrete Verhaltensweisen beschrieben und danach gefragt, wie viele Personen das jeweilige Verhalten zeigten und wie häufig es auftrat. Wichtig bei diesen Fragen war, bei den Beschreibungen und Antwortkategorien wenig Interpretationsspielraum zu lassen, denn es sollten keine globalen Eindrücke erhoben, sondern die Situation während der Testung möglichst anschaulich abgebildet werden. In Tabelle 1 sieht man ein Beispiel für die gestellten Fragen. Tabelle 1: Testleiterbefragung - Beispiel aus dem Fragebogen Wie viele Schüler/innen zeigten das folgende Verhalten? Schüler/innen blättern lustlos im Testheft herum und füllen wenig aus. Schüler/innen scheinen wahllos oder nach grafischen Mustern Kästchen anzukreuzen. Schüler/innen hören beim Verlesen der Instruktion nicht zu. keine Person eine Person zwei bis fünf Personen sechs Personen bis etwa die Hälfte der Klasse mehr als die Hälfte der Klasse
Insgesamt wurden 25 solcher Verhaltensweisen aufgeführt. Diese wurden bei der Auswertung zu den Skalen "Anstrengungsbereitschaft", "Unruhe", "Probleme mit der Lautstärke", "externe Störungen" und "Schwierigkeiten bei der Gruppenaufgabe" zusammengefasst. Ergebnisse Von 1 versendeten Fragebögen wurden 147 zurückgeschickt (Rücklaufquote 81 %). Insgesamt schildern die Testleiter und Testleiterinnen ein sehr positives Bild vom Ablauf der Testdurchführung und berichten von nur sehr wenigen Störungen oder Schwierigkeiten. Zunächst einmal wird deutlich, dass beide Testtage insgesamt so gut wie störungsfrei abliefen. Wie in Abbildung 1 zu sehen ist, traten in fast aller Schulen gar keine äußeren Störungen (z. B. starker Lärm von außen; Schüler, die in die Klasse hereinplatzen) auf, und in knapp kamen solche Störungen maximal zweimal pro Testtag vor. Die äußerlichen Bedingungen gewährleisteten demnach eine angemessene Testsituation. 0 Wie häufig traten externe Störungen auf? 59 38 0 nie ununterbrochen alle 5 Min. einmal alle 15 Min. einmal alle 45 Min. einmal 1-2 mal je Testtag Abbildung 1: Testleiterbefragung - Auftreten externer Störungen Wie sieht es nun mit Störungen von Schülerseite aus? In Abbildung 2 sieht man die Ergebnisse zum Bereich der Anstrengungsbereitschaft. Hier wurden Verhaltensweisen zusammengefasst, die darauf hinweisen, dass sich die Schülerinnen und Schüler nur wenig angestrengt haben, wie etwa wahlloses Ankreuzen oder lustloses Herumblättern im Testheft. Die Abbildung verdeutlicht, dass nur sehr wenige Schülerinnen und Schüler in den Schulen solche Verhaltensweisen zeigten. Wie man sieht, verhielt sich in 39 der Schulen keiner der Jugendlichen in dieser Weise, und in 41 war es maximal eine Person, die sich nur wenig anstrengte. Dass sich mehr als fünf Personen wenig anstrengten, wird so gut wie gar nicht beschrieben.
0 Wie viele Schüler/innen strengen sich nur wenig an? 39 41 0 17 keine Person eine Person 2-5 Personen bis halbe Klasse mehr als die Hälfte Abbildung 2: Testleiterbefragung - Geringe Anstrengungsbereitschaft Ein ähnlich erfreuliches Bild zeigt sich bei den Fragen, die sich auf Disziplinprobleme beziehen. Unter dieser Kategorie wurden Verhaltensweisen zusammengefasst, die auf eine starke Unruhe während der Testsituation schließen lassen, wie Herumlaufen in der Klasse, Werfen von Gegenständen oder Ermahnungen durch die beaufsichtigende Lehrkraft. Die Ergebnisse hierzu sind in Abbildung 3 und Abbildung 4 zu sehen. Es zeigt sich zunächst in Abbildung 3, dass in mehr als der Hälfte aller Schulen ein solch unruhiges Verhalten überhaupt nicht auftrat, und in den Schulen, in denen es zu beobachten war, betraf es nur sehr wenige Schülerinnen und Schüler (in der Fälle war es eine Person). Betrachtet man dann weiterhin, wie häufig sich diese Schülerinnen und Schüler unruhig verhielten (Abbildung 4), sieht man, dass dies in mehr als der Schulen nur ein- bis zweimal pro Testtag oder alle 45 Minuten einmal der Fall war.
0 Wie viele Schüler/innen zeigen unruhiges Verhalten? 52 0 6 keine Person eine Person 2-5 Personen bis halbe Klasse mehr als die Hälfte Abbildung 3: Testleiterbefragung - Wie viele Schülerinnen und Schüler zeigten unruhiges Verhalten? 0 Wie oft zeigen diese Schüler/innen unruhiges Verhalten? 57 0 1-2 mal je Testtag alle 45 Min. einmal alle 5 Min. einmal alle 15 Min. einmal ununterbrochen Abbildung 4: Testleiterbefragung - Wie oft wurde unruhiges Verhalten gezeigt? Entsprechende Befunde ergeben sich auch für Fragen zur Lautstärke und für Fragen, die sich speziell auf die in einem Teil der Schulen durchgeführte Gruppenaufgabe beziehen. Die Daten zeigen somit, dass die Durchführungsbedingungen während der PISA-Testung einer ganz normalen Klassensituation entsprachen - oder möglicherweise sogar noch besser war.
Wenn Störungen überhaupt auftraten (und dies war in den meisten Schulen der Stichprobe nicht der Fall), gingen sie nur von einzelnen Schülerinnen und Schülern aus und kamen nicht mehr als ein- oder zweimal während der Testsitzung vor. Dieser generelle Eindruck bestätigt sich auch, wenn man die Ergebnisse nach Schulformen getrennt abbildet, wie dies in Abbildung 5 zu sehen ist. 5,0 4,5 Mittelwert von mehreren Fragen (Skala 0-5 ) 4,0 3,5 3,0 2,5 2,0 1,5 1,0,5 0,0 Hauptschule Gesamtschule Realschule Gymnasium Schulform Geringe Anstrengung Unruhiges Verhalten Abbildung 5: Testleiterbefragung - Probleme in den einzelnen Schulformen Deutlich wird zunächst, dass sich die einzelnen Schulformen darin unterscheiden, wie häufig die genannten Verhaltensprobleme auftraten. Während beispielsweise in den Gymnasien so gut wie gar keine Schwierigkeiten zu beobachten waren, kamen diese in den Hauptschulen, wenn auch in einem sehr geringen Ausmaß, gelegentlich vor. Aufschlussreiche Erkenntnisse liefert aber vor allem ein Blick auf die mögliche Breite der Skala und die beobachteten Ausprägungen. Beachtet man, dass die Häufigkeitsskala theoretisch von null (keine Person zeigt dieses Verhalten) bis maximal fünf (das Verhalten wird von mehr als der Hälfte der Klasse gezeigt) reicht, wird sehr deutlich, dass die Probleme in Schulen aller Schulformen als sehr gering einzustufen sind und die Schülerinnen und Schüler sich durchweg sehr kooperativ verhalten haben. Zusammenfassende Diskussion Die Beobachtungen der Testleiterinnen und Testleiter zeigen, dass die PISA-Tests in den erfassten Schulen ohne Schwierigkeiten ablaufen konnte. Es wurden weder bedeutende externe Störungen berichtet, noch zeigten die Teilnehmerinnen und Teilnehmer problematisches Verhalten. Durch die Befragung mithilfe von konkreten Verhaltensbeschreibungen ist es gelungen, ein anschauliches Bild der Testsituation zu zeichnen, und es wird deutlich, dass die Schülerinnen und Schüler konzentriert und motiviert an ihren Aufgaben arbeiteten. Die eingangs geschilderte Schreckensvision einer chaotischen und unruhigen Testsitzung ist also von der Realität weit entfernt. Die in dieser Befragung erhobenen Daten sollen jedoch nicht nur zu deskriptiven Zwecken verwendet werden, sondern sie werden auch in die Analysen der PISA-Ergebnisse
eingehen. So wird es mit Hilfe dieser Information zum Beispiel möglich, Effekte von Störungen während der Testdurchführung auf die Leistungen zu schätzen und statistisch zu kontrollieren.