Urs Moser Institut für Bildungsevaluation Assoziiertes Institut der Universität Zürich

Transkript

1 Standardisierte Erfassung der sprachlichen Kompetenzen im Fachbereich «Texte schreiben» Kurzbericht zuhanden des Pilotprojekts «Neugestaltung des 9. Schuljahrs» und der Projektleitung Sekundarstufe I der Bildungsdirektion des Kantons Zürich Urs Moser Institut für Bildungsevaluation Assoziiertes Institut der Universität Zürich

2 Inhalt 1 Ausgangslage Durchführung Beurteilung der Texte Beurteilungszuverlässigkeit Berechnung der Testergebnisse Ergebnisse nach Schultypen Fazit...11 Anhang 1: Schreibanlass...13 Anhang 2: Rohdaten zur Beurteilungsübereinstimmung

3 1 Ausgangslage Im Rahmen des Pilotversuchs «Neugestaltung des 9. Schuljahrs» wird das computergestützte Testsystem «Stellwerk» zur schultypenunabhängigen Leistungsbeurteilung eingesetzt. Die Stellwerk-Tests werden ausschliesslich am Computer gelöst. Die Tests sind adaptiv, das heisst, sie passen sich den Fähigkeiten der Schülerinnen und Schüler an. Adaptive Tests haben den Vorteil, dass die Schülerinnen und Schüler in der Regel mit Aufgaben getestet werden, die weder viel zu schwierig noch viel zu einfach sind. Die Auswahl der Testaufgaben wird durch einen Algorithmus gesteuert. Währenddem die Schülerinnen und Schüler die Testaufgaben bearbeiten, werden vom Testsystem fortwährend ihre Fähigkeiten geschätzt. Sobald sich keine grossen Änderungen mehr in der Schätzung der Fähigkeiten abzeichnet, wird der Test abgebrochen und das definitive Testergebnis liegt vor. Adaptive Testsysteme haben gegenüber traditionellen «Papier-und-Bleistift-Tests» auch den Vorteil, dass die Objektivität bei der Testdurchführung gesichert ist, sofern keine technischen Probleme auftreten, und dass der Computer bei der Korrektur keine Fehler macht. Die fehlerlose Korrektur des Computers hat aber auch Nachteile. Computergestützte Tests prüfen vorwiegend reproduktive Fähigkeiten, weil ausführliche Antworten auf offene Fragen oder Texte vom Computer meist nicht in der gewünschten Art und Weise korrigiert und bewertet werden können. Produktive Fähigkeiten können deshalb am Computer nicht getestet werden. Aus diesem Grund hat die Projektleitung des Pilotversuchs «Neugestaltung des 9. Schuljahrs» das Institut für Bildungsevaluation an der Universität Zürich mit der Durchführung eines Tests zur Erfassung der sprachlichen Kompetenzen im Bereich «Texte schreiben» beauftragt. 2 Durchführung Am 18. und 19. Januar 27 haben 74 Schülerinnen und Schüler der Pilotschulen einen Text zum Thema «Rauchen an unserer Schule» geschrieben. Die Schülerinnen und Schüler mussten zuerst einen kurzen Text mit dem Titel «Die Schule ist der Ort, an dem Jugendliche am meisten rauchen» lesen und anschliessend drei Aufgaben schriftlich lösen (siehe Anhang 1). Zuerst musste der Inhalt des Textes in drei bis fünf Sätzen zusammengefasst werden. Danach mussten Argumente für und gegen das Rauchen an der Schule aufgeführt werden und zum Schluss musste die eigene Meinung zum Rauchen an der Schule aufgeführt und begründet werden. Die Texte mussten zuerst als Entwurf auf Notizpapier und danach auf die dafür vorgesehenen Blätter übertragen werden. Die Schülerinnen und Schüler wurden darauf hingewiesen, auf die Rechtschreibung zu achten. Die Texte mussten von den Lehrpersonen kopiert und dem Institut für Bildungsevaluation zur Korrektur und Beurteilung zugestellt werden. Die Ergebnisse in Form einer Punktzahl wurden anschliessend von der Firma «Cybersystems», die im Projekt «Stellwerk» für die Informatik zuständig ist, den Lehrpersonen auf dem Internet zur Verfügung gestellt. Ab dem 19. Februar waren die Ergebnisse im Bereich «Texte schreiben» für die Lehrpersonen beziehungsweise für die Schülerinnen und Schüler auf dem Internet einsehbar. 3

4 3 Beurteilung der Texte Zur Beurteilung der Texte wurde ein Kriterienraster entsprechend bisheriger Erfahrungen mit der Korrektur von Texten und auf der Grundlage der Testtheorie entwickelt. Der Kriterienraster wurde in Anlehnung an das Zürcher Textanalyseraster von Nussbaumer & Sieber (1994) 1 entwickelt, wobei aus testtheoretischen Überlegungen nur ein Teil dieser Kriterien berücksichtigt und in adaptierter Form eingesetzt wurde. Beurteilt wurde zum einen, wie gut die drei Aufgaben richtig ausgeführt wurden. Dabei wurde beurteilt, ob der Text vollständig zusammengefasst wurde (Aufgabe 1), wie viele Argumente für oder gegen das Rauchen aufgeführt wurden (Aufgabe 2) und ob die eigene Meinung begründet wurde (Aufgabe 3). Zum anderen wurden die Texte insgesamt zu folgenden sieben Bereichen beurteilt: Verständlichkeit des Textes, Aufbau der Argumente, Wortwahl, Textlänge, Rechtschreibung, Stil beziehungsweise sprachlicher Ausdruck, Textaufbau sowie ästhetisches Wagnis beziehungsweise Kreati- drei Inhalte und vität. Insgesamt konnten für einen Text 38 Punkte vergeben werden, die den 12 erwähnten Kriterien zugeordnet wurden (Tabelle 1). Die 12 Kriterien wurden gleich wie 12 Testaufgaben behandelt und einer Itemanalyse nach der klassischen Testtheorie unterzogen. In der ersten Spalte von Tabelle 1 befindet sich die Bezeichnung des Beurteilungskriteriums, in der zweiten Spalte die qualitative Abstufung zur Beurteilung des Textes anhand des Kriteriums. Beispielsweise wurde die inhaltliche Vollständigkeit anhand der Häufigkeit von Inhalten, Argumenten oder Begründungen beurteilt. In der dritten Spalte befindet sich die Schwierigkeit beziehungsweise der Prozentanteil Schülerinnen und Schüler, deren Text zumindest mit der entsprechenden Beschreibung beurteilt wurde. 97 Prozent der Schülerinnen und Schüler erwähnten beispielsweise bei der ersten Aufgabe zur Zusammenfassung des gelesenen Textes zumindest einen zutreffenden Inhalt. 93 Prozent erwähnten zwei Inhalte, 76 Prozent erwähnten 27 Prozent gingen in ihrem Text auf sechs oder mehr Inhalte ein. In der vierten Spalte sind die Angaben zur Trennschärfe des Kriteriums enthalten, ein Koeffizient, der bei einem Test zeigt, inwiefern eine Aufgabe Schülerinnen und Schüler mit hohem Gesamtwert von Schülerinnen und Schülern mit niedrigem Gesamtwert trennt. Angewendet auf die Beurteilung von Texten zeigt die Trennschärfe, wie gut die Punktzahl eines Kriteriums mit der Gesamtbeurteilung übereinstimmt. Ein hoher Trennschärfekoeffizient zeigt, dass gute Texte anhand des Kriteriums positive und schlechte Texte eher negativ beurteilt werden. Ein niedriger Trennschärfekoeffizient (um ) besagt, dass gute und schlechte Texte anhand des Kriteriums gleich ähnlich beurteilt werden, und ein negativer Koeffizient bedeutet, dass gute Texte anhand des Kriteriums oft negativ, schlechte oft positiv beurteilt werden. Der Trennschärfekoeffizient sollte nicht kleiner als r it =.3 sein. Die Reliabilität beziehungsweise die Messgenauigkeit der Kriterien erreicht ein Cronbach-Alpha von α = 8, was darauf hinweist, dass die Kriterien konsistent sind Nussbaumer, M. & Sieber, P. (1994). Texte analysieren mit dem Zürcher Textanalyseraster. In P. Sieber (Hrsg.), Sprachfähigkeiten besser als ihr Ruf und nötiger denn je! Ergebnisse aus einem Forschungsprojekt (S ). Aarau: Sauerländer. Bei einmaliger Testvorgabe wird zur Berechnung der Reliabilität der Koeffizient «Cronbach alpha» verwendet. Lienert, G. A. & Raatz, U. (1994). Testaufbau und Testanalyse. Basel: Beltz. 4

5 Tabelle 1: Beurteilungskriterien mit Angaben zu Schwierigkeit und Trennschärfe Beurteilungskriterium Qualitative Abstufungen Schwierigkeit Trennschärfe Inhaltliche Vollständigkeit - Zusammenfassung 1 Inhalt erwähnt 97% Inhalte erwähnt 93% 4-5 Inhalte erwähnt 76% 6 oder mehr Inhalte erwähnt 27% - Argumente 1 Argument aufgeführt 97%.55 2 Argumente aufgeführt 88% 3 Argumente aufgeführt 68% 4 Argumente aufgeführt 45% - Meinung und Begründung 1 Meinung ohne Begründung 99%.52 1 Meinung, 1 Begründung 95% 1 Meinung, 2 Begründungen 82% 1 Meinung, 3 Begründungen oder 2 Meinungen 2 Begründungen 56% Verständlichkeit ziemlich verständlich 98%.63 gut verständlich 67% Aufbau der Argumente Argumente aneinandergereiht 99%.65 Argumente verknüpft, kommentiert 61% logischer Aufbau der Argumente 7% Wortwahl adäquat 95%.39 elaboriert 6% Textlänge eine halbe Seite 99%.64 eine Seite 98% eineinhalb Seiten 79% mehr als eineinhalb Seiten 45% Rechtschreibung trotz Fehlern gut lesbar 95%.55 sehr gut lesbar 43% (nahezu) fehlerfrei 7% Satzzeichen rudimentär vorhanden 99%.51 Gut 42% (nahezu) fehlerfrei 7% Stil/sprachlicher Ausdruck teilweise korrekte Sätze 9%.68 einfache korrekte Sätze 52% komplexe korrekte Sätze 4% Textaufbau Aufbau erkennbar 86%.73 klarer Aufbau 35% klarer Aufbau und abgeschlossener Text 3% Ästhetisches Wagnis/Kreativität wagt etwas, kreativ 92%.62 wagt vie, kreativ 28% ausgesprochen kreativ, unerwartete Ideen 4% 5

6 4 Beurteilungszuverlässigkeit Die Texte wurden von zwei Lehrpersonen mit Germanistikstudium nach den vorgegebenen Kriterien korrigiert und beurteilt. Die beiden Lehrpersonen arbeiten bereits seit längerer Zeit am Institut für Bildungsevaluation bei der Korrektur von Texten mit und sind im Korrigieren von solchen Tests versiert. Das Korrekturteam wurde bewusst klein gehalten, so dass die Standardisierung der Beurteilung dank gemeinsamer Absprache und regelmässiger Kontrolle hoch gehalten werden konnte. In einer ersten Schulungsphase wurde der Kriterienkatalog auf seine Tauglichkeit überprüft. Anhand einer repräsentativen Auswahl von Texten wurde zudem ein gemeinsamer Beurteilungsmassstab gesucht. Im Anschluss an diese Phase wurden zwanzig Texte doppelt korrigiert und Abweichungen bei der Beurteilung wurden diskutiert. Die Überprüfung der unabhängigen Beurteilung der gleichen Texte führte zu keinen grossen Differenzen zwischen den beiden beurteilenden Personen. Während der gesamten Korrekturphase wurden nach der Korrektur von insgesamt 1 Texten jeweils rund 2 Texte doppelt korrigiert, um die Beurteilungsübereinstimmung ständig zu überprüfen. Abweichungen in der Beurteilung wurden diskutiert. Tabelle 2: Prozentuale Übereinstimmung und Interraterreliabilität Beurteilungskriterium Übereinstimmung Abweichung : 1 Punkt Abweichung : 2 Punkte Kappa Zusammenfassung 94% 6%.92 Argumente 94% 6%.92 Meinung und Begründung 93% 7%.88 Verständlichkeit 86% 14%.7 Aufbau der Argumente 89% 11%.8 Wortwahl 96% 4%.79 Textlänge 94% 6%.91 Rechtschreibung 88% 12%.88 Satzzeichen 86% 14%.72 Stil/sprachlicher Ausdruck 87% 13%.69 Textaufbau 22% 76% 2%.8 Ästhetisches Wagnis/Kreativität 85% 15%.66 Tabelle 2 enthält Informationen zur Beurteilungsübereinstimmung der insgesamt 16 doppelt korrigierten Texte. In der zweiten Spalte ist pro Kriterium angegeben, wie hoch die Übereinstimmung in Prozent ist. Die Urteile zur inhaltlichen Vollständigkeit (Zusammenfassung, Argumente, Meinung und Begründung) stimmen in 94 beziehungsweise 93 Prozent der Fälle überein. In 6 Prozent der Fälle besteht eine Abweichung von einem Punkt. Aufgrund dieser Angaben kann auch ein Mass für die Beurteilungsübereinstimmung (Interraterreliabilität: gewichteter Kappakoeffizient) berechnet werden, indem die Anzahl der Übereinstimmungen berechnet und am Anteil der zufälligen 6

7 Übereinstimmung relativiert wird 3 (Tabelle 2, Spalte 5). Kappa kann den Wert zwischen 1 und +1 annehmen. Der maximale Wert wird bei totaler Übereinstimmung erreicht. Bei einer systematisch gegensätzlichen Einstufung wird der Wert negativ. Liegt Kappa >.7, dann wird die Übereinstimmung als gut bezeichnet. Die Urteile zu den 12 Kriterien (Rohdaten) befinden sich im Anhang 2. Die Beurteilungsübereinstimmung ist für nahezu alle Kategorien gut. Die höchste Übereinstimmung wird bei jenen Kriterien erreicht, die eine quantitative Abschätzung im Text verlangen (drei Kriterien zur inhaltlichen Vollständigkeit sowie das Kriterium «Textlänge»). Das Kriterium «Textaufbau» wurde von den beiden Beurteilenden hingegen sehr unterschiedlich beurteilt. Hier handelt es sich um einen systematischen Beurteilungsfehler, der trotz Schulung und Kontrolle nicht verhindert werden konnte. Eine Person beurteilte den Textaufbau systematisch strenger, was bei der Berechnung der Ergebnisse berücksichtigt werden muss. 5 Berechnung der Testergebnisse Dass der gleiche Text trotz vorgegebener Kriterien, Schulungsphase und ständiger Kontrolle von mehreren Personen nicht in jedem Fall identisch beurteilt werden kann, entspricht einer Tatsache. Wie kann aber verhindert werden, dass systematische Unterschiede bei der Beurteilung von Texten für die Ergebnisse der Schülerinnen und Schüler keine negativen Folgen haben? Unterschiedliche Beurteilungsmasstäbe können mit verschieden schwierigen Testaufgaben verglichen werden: Je strenger ein Kriterium von einer beurteilenden Person angewendet wird, desto schwieriger ist die Aufgabe für die Schülerinnen und Schüler. Eine solche Situation ist natürlich für jene Schülerinnen und Schüler unangenehm, deren Texte strenger beurteilt werden. Wird die Strenge oder Milde in der Beurteilung der Texte bei der Berechnung der Testergebnisse nicht berücksichtigt, dann ist beispielsweise der gleiche Schreibanlass je nach beurteilender Person entweder etwas einfacher oder etwas schwieriger. Bei der Beurteilung eines Textes bestimmen folglich drei Faktoren das Testergebnis: (1) Die Fähigkeit des Schülers oder der Schülerin. Leistungsstärkere Schülerinnen und Schüler erhalten eine höhere Beurteilung als leistungsschwächere. (2) Die Schwierigkeit der Kriterien. Ein Kriterium ist dann schwierig, wenn die Schülerinnen und Schüler generell eher eine niedrige Beurteilung erhalten. Dies trifft beispielsweise für das Kriterium «Textaufbau» zu. 3. Die Strenge oder Milde der beurteilenden Person. Fähigkeit der Schülerinnen und Schüler, Schwierigkeit der Beurteilungskriterien und Beurteilungsstrenge werden als Facetten der Urteilsituation aufgefasst Zuerst wird der Anteil der beobachteten Übereinstimmungen P berechnet (Diagonale in einer k x k- Tafel). Danach wird aufgrund der Zeilen- und Spaltensummen der Anteil aller zufälligen Übereinstimmungen P e bestimmt. Kappa entspricht Der Differenz zwischen P P e über 1 P e.[bortz, J. (1993). Statistik für Sozialwissenschaftler. Berlin: Springer. (S. 538)]. Eckes, T. (24). Facetten des Sprachtestens: Strenge und Konsistenz in der Beurteilung sprachlicher Leistungen. In A. Wolff, T. Ostermann & C. Chlosta (Hrsg.), Integration durch Sprache (S ). Regensburg: Fachverband Deutsch als Fremdsprache. 7

8 Mit der Anwendung der Item-Response-Theorie ist es möglich, die Beurteilungsstrenge der beurteilenden Personen ins Testmodell einzubeziehen und bei der Berechnung der Testergebnisse entsprechend zu berücksichtigen. Ein solches Modell wird auch als Facettenmodell bezeichnet. Die Beurteilungskriterien (Items) und die beurteilenden Personen (Rater) werden als Facetten eines mehrdimensionalen Testmodells betrachtet, so dass sich die mangelnde Beurteilungsübereinstimmung nicht negativ auf das Ergebnis der Schülerinnen und Schüler auswirkt 5. Die Anwendung der Item-Response-Theorie bei der Berechung der Ergebnisse führt zu einer standardisierten Skala. Analog der Stellwerkskala betrug der Mittelwert 5 Punkte und die Standardabweichung 1 Punkte. Diese Skala hat die Eigenschaft, dass rund 68 Prozent der Ergebnisse zwischen 4 und 6 Punkten liegen, rund 95 Prozent zwischen 3 und 7 Punkten und nahezu alle Ergebnisse zwischen 2 und 8 Punkten. Die Anzahl Punkte zeigt den Schülerinnen und Schülern, wie gut sie innerhalb der Vergleichsgruppe (74 Schülerinnen und Schüler der Pilotschulen, die den Text geschrieben haben) abgeschnitten haben. Die Anwendung der Item-Respons-Theorie hat auch den Vorteil, dass sich die Schwierigkeit der Kriterien und die Fähigkeiten der Schülerinnen und Schüler auf derselben Skala beziehungsweise mit demselben Massstab abbilden lassen. Zwischen den Fähigkeiten der Schülerinnen und Schüler und dem Beurteilungskriterium wird eine Beziehung hergestellt 6. Tabelle 3 zeigt zusammenfassend, welche Schreibkompetenzen innerhalb eines bestimmten Intervalls vorhanden sind. Tabelle 3: Kompetenzbeschreibungen nach Punkteintervallen Punkteintervall 2 bis 3 Punkte 31 bis 4 Punkte 41 bis 5 Punkte 51 bis 6 Punkte 61 bis 7 Punkte 71 bis 8 Punkte Kompetenzbeschreibungen Die Texte enthalten jeweils einen Inhalt pro Aufgabe und sind verständlich. Die Länge des Texts entspricht in der Regel einer halben Seite. Die Texte enthalten jeweils mehrere Inhalte, sind verständlich und enthalten teilweise korrekte Sätze. Die Länge des Textes entspricht in der Regel einer Seite. Die Texte sind gut verständlich und trotz Rechtschreibfehlern gut lesbar. Satzzeichen sind rudimentär vorhanden. Es werden verschiedene Inhalte oder Argumente angesprochen. Zum Teil werden die Texte im Ansatz als kreativ beurteilt. Die Texte umfassen in der Regel eineinhalb Seiten. Die Texte sind sehr gut lesbar, gut verständlich, enthalten Satzzeichen und haben einen klaren Aufbau. Die Inhalte werden vollständig aufgezählt. Meinungen werden begründet, Argumente werden verknüpft und kommentiert. Die Texte umfassen in der Regel mehr als eineinhalb Seiten. Die Texte sind inhaltlich vollständig, die Argumente sind verknüpft und folgen einem logischen Aufbau. Die Schülerinnen und Schüler wagen viel und benutzen einen adäquaten Wortschatz. Die Texte überzeugen durch komplexe Sätze und eine adäquate Wortwahl. Die Texte sind ausgesprochen kreativ und bestechen durch unerwartete Ideen. Die Texte haben einen klaren Aufbau und sind in sich geschlossen. 5 6 Rost, J. (23). Lehrbuch Testtheorie Testkonstruktion. Bern: Hans Huber. Moser, U. (26). Wie werden die Ergebnisse in den Stellwerk-Tests interpretiert? Von den Testergebnissen zu einer professionellen Beurteilung der Kompetenzen der Schülerinnen und Schüler. ( 8

9 Die Intervalle sind hierarchisch aufgebaut. Das bedeutet für die Interpretation der Ergebnisse, dass Schülerinnen und Schüler, die ein Intervall erreichen (beispielsweise 51 bis 6 Punkte), nicht nur die Fähigkeiten des Intervalls 5 bis 6 Punkte vorweisen, sondern auch über alle Fähigkeiten der darunter liegenden Intervalle verfügen. Wenn ein Text mit 65 Punkten beurteilt wurde, dann gilt für diesen Text selbstverständlich auch, dass er sehr gut lesbar und gut verständlich ist. 6 Ergebnisse nach Schultypen Ergebnisse nach Geschlecht Abbildung 1 zeigt die Verteilung der Ergebnisse insgesamt sowie nach Geschlecht. Der Mittelwert der Mädchen liegt bei 524 Punkten, der Mittelwert der Knaben bei 482 Punkten. Die Differenz von 42 Punkten ist statistisch signifikant und von mittlerer Bedeutung. Die Geschlechterdifferenzen sind allerdings nicht in allen Schultypen gleich gross. In der Dreiteiligen Sekundarschule Abteilung A betragen die Differenzen zwischen Knaben und Mädchen beispielsweise nur 13 Punkte, in der Abteilung B sind es 54 Punkte und in der Abteilung C sind es 44 Punkte. Abbildung 1: Ergebnisse insgesamt und nach Geschlecht 5% 4% Total Mädchen Knaben 3% 2% 1% % Ergebnisse nach Anforderungsniveau Abbildung 2 zeigt die Ergebnisse nach den Abteilungen A, B und C der Dreiteiligen Sekundarschule, Abbildung 3 nach den Stammklassen E und C der Gegliederten Sekundarschule. Die Verteilungskurven entsprechen den Erwartungen. Die Texte der Schülerinnen und Schüler der Abteilung A beziehungsweise der Stammklassen E wurden am häufigsten mit 5 bis 6 Punkten beurteilt. Die Texte der Schülerinnen und Schüler der Abteilung B und der Stammklasse G wurden am häufigsten mit 4 bis 5 Punkten beurteilt. Die Texte der Schülerinnen und Schüler der Abteilung C wurden am häufigsten mit 35 bis 45 Punkten beurteilt. 9

10 Die Verteilungen zeigen aber auch, welche Vorteile eine schultypenunabhängige Beurteilung dank eines objektiven Verfahrens für einzelne Schülerinnen und Schüler haben können. Die Überschneidungsbereiche sind relativ gross. Einzelne Schülerinnen und Schüler der Abteilung B beziehungsweise der Stammklasse G erreichen weit bessere Ergebnisse als ein grosser Teil der Schülerinnen und Schüler der Abteilung A beziehungsweise der Stammklasse E. Abbildung 2: Dreiteilige Sekundarschule nach Abteilungen 6% 5% A B C 4% 3% 2% 1% % Abbildung 3: Gegliederte Sekundarschule nach Stammklassen 6% 5% E G 4% 3% 2% 1% %

11 Ergebnisse nach Klassen Abbildung 4 zeigt die Ergebnisse der beteiligten Klassen der Dreiteiligen Sekundarschule. Die individuellen Testergebnisse wurden zu einem Klassenmittelwert zusammengefasst und sind in der Abbildung als Quadrat, Punkt oder Dreieck dargestellt. Abbildung 4: Klassenmittelwerte nach den drei Abteilungen der Dreiteiligen Sekundarschule Abteilung C Abteilung B Abteilung A Die Mittelwerte der Klassen der Abteilung A liegen mit einer Ausnahme zwischen 5 und 6 Punkten. Die Mittelwerte der Klassen der Abteilung B liegen in der Regel deutlich tiefer. Es gibt aber auch Klassen der Abteilung B, deren Texte im Durchschnitt höher beurteilt wurden als Klassen der Abteilung A. Und auch die durchschnittlichen Ergebnisse der Klassen der Abteilung C liegen zum Teil deutlich über den Klassenergebnissen der Abteilung B. 7 Fazit Die Durchführung des Schreibanlasses im Rahmen des Pilotversuchs «Neugestaltung des 9. Schuljahrs» verlief ohne organisatorische oder technische Probleme. Nimmt man die Textlänge als Indikator, dann stiess der gewählte Schreibanlass bei den Schülerinnen und Schüler auf grosses Interesse. Rund 45 Prozent der Schülerinnen und Schüler verfassten mehr als anderthalb Seiten; rund 35 Prozent der Schülerinnen und Schüler schrieben anderthalb Seiten oder mehr. Die Beurteilungsübereinstimmung kann insgesamt als gut bezeichnet werden. Die doppelte Korrektur gleicher Texte durch zwei Personen führte zu einer Interraterreliabilität, die bei drei Viertel der Kriterien über.7 lagen (Kappakoeffizient). Bei Kriterien, mit denen die inhaltliche Vollständigkeit anhand eines zählbaren Ergebnisses überprüft wurde, wurde die höchste Übereinstimmung bei der Beurteilung erreicht. Dank der Anwendung der Item-Respons-Theorie können die unterschiedlichen Beurteilungsmassstäbe bei der Berechnung der Ergebnisse der Schülerinnen und Schüler berücksichtigt werden, so dass eine zuverlässige und faire Beurteilung möglich wird. 11

12 Die Ergebnisrückmeldung auf der transformierten Skala (Mittelwert = 5 Punkte und Standardabweichung = 1 Punkte) darf nicht darüber hinwegtäuschen, dass die Ergebnisse unabhängig der anderen Testergebnisse der Stellwerktests zu interpretieren sind. Mittelwert und Standardabweichung beziehen sich auf die 74 beteiligten Schülerinnen und Schüler des Kantons Zürich. Im Gegensatz zum adaptiven Testsystem Stellwerk, das die Ergebnisse ständig auf der gleichen geeichten Skala (mit einheitlicher Metrik) ausweist, muss die Skala bei einem Schreibanlass immer wieder neu berechnet beziehungsweise erstellt werden. Sowohl die Texte als auch die korrigierenden Lehrpersonen werden bei der nächsten Durchführung nicht die gleichen sein. Die Darstellung der Ergebnisse nach Anforderungsniveaus zeigt, dass sich die schultypenunabhängige Beurteilung für einen grossen Teil der Schülerinnen und Schüler lohnt. Das Anforderungsniveau erklärt zwar die unterschiedlichen Ergebnisse wie erwartet gut. Die Überschneidung der Verteilungskurven der Testergebnisse ist aber ebenfalls wie erwartet gross. Die schultypenunabhängige Beurteilung entspricht deshalb einer wertvollen Zusatzinformation, sowohl für die Schülerinnen und Schüler als auch für die Lehrpersonen und die Eltern. Das Schreiben eines Textes führt zu einer notwendigen Ergänzung von Testergebnissen, die vorwiegend durch Tests zustande kommen, die reproduktives Wissen und Können testen. Dank der Standardisierung der Korrektur und der Anwendung moderner Skalierungstechniken führen auch offene Testverfahren zu einer nützlichen Ergänzung der klassenbezogenen Beurteilung durch Lehrpersonen. 12

13 Anhang 1: Schreibanlass 1. Fasse in drei bis fünf Sätzen zusammen, was im Eingangstext «Die Schule ist der Ort, an dem Jugendliche am meisten rauchen» steht. 2. Welche Argumente sprechen dafür, das Rauchen an deiner Schule zu erlauben? Welche dagegen? Formuliere in ganzen Sätzen und erkläre möglichst genau. 3. Schreibe zu diesem Thema deine eigene Meinung und begründe sie. 13

14 Anhang 2: Rohdaten zur Beurteilungsübereinstimmung (Anzahl Übereinstimmungen sind in den markierten Feldern der Diagonalen) Zusammenfassung Argumentation Meinung und Begründung Verständlichkeit Aufbau der Argumente Wortwahl

15 Textlänge Rechtschreibung Satzzeichen Stil/sprachlicher Ausdruck Textaufbau Ästhetisches Wagnis/Kreativität