FORSCHUNGSBERICHTE DES LANDES NORDRHEIN-WESTFALEN. Herausgegeben vom Minister fur Wissenschaft und Forschung

Transkript

1 FORSCHUNGSBERICHTE DES LANDES NORDRHEIN-WESTFALEN Nr / Fachgruppe Geisteswissenschaften Herausgegeben vom Minister fur Wissenschaft und Forschung Prof. Dr. phil. Jfirgen Grzesik Dr. phil. Michael Fischer PAdagogisches Seminar der Philosophischen F akultat der UniversitAt zu KlHn Was leisten Kriterien ffir die Aufsatzbeurteilung? Theoretische. empirische und praktische Aspekte des Gebrauchs von Kriterien und der Mehrfachbeurteilung nach globalem Ersteindruck Westdeutscher Verlag 1984

2 CIP-Kurztitelaufnahme der Deutschen Bibliothek Grzesik, JUrgen: Was leisten Kriterien fur die Aufsatzbeurteilung? : theoret., empir. u. prakt. Aspekte d. Gebrauchs von Kriterien u.d. Mehrfachbeurteilung nach globalem Ersteindruck / JUrgen Grzesik; Michael Fischer. - Opladen: Westdeutscher Verlag, (Forschungsberichte des Landes Nordrhein Westfalen ; Nr : Fachgruppe Geisteswissenschaften) ISBN ISBN (ebook) DOl / NE: Fischer, Michael:; Nordrhein-Westfalen: Forschungsberichte des Landes 1984 by Westdeutscher Verlag GmbH, Opladen Herstellung: Westdeutscher Verlag Lengericher Handelsdruckerei, 4540 Lengerich

3 INHALT Seite Vorwort 1 Jurgen Grzesik Erster Teil: Grundsatzliches zum Gebrauch von Kriterien im ProzeB der Aufsatzbeurteilung Was wird von Kriterien fur die Aufsatzbeurteilung erwartet, und wieweit konnten bis jetzt diese Erwartungen erfullt werden? Der Beziehungszusarnrnenhang, in dem Beurteilungskriterien fur Aufsatze stehen Das Urteil setzt Kriterien zu einem bestirnrnten Aufsatz in Beziehung Der Aufsatz wird als Fall einer Kategorie angesehen Dem Aufsatz wird ein Grad in einer Dimension zugesprochen Der Aufsatz ist vom Schuler unter bestirnrnten Bedingungen geschrieben worden Unterrichtliche Entstehungsbedingungen Subjektive Entstehungsbedingungen Die Kriterien haben eine Entstehungsgeschichte Begrundung der Geltung von Kriterien durch eine Theorie der relevanten Dimensionen des Aufsatzes Die begriffliche Fassung der Kriterien Die Anwendung von Kriterien auf einen Aufsatz hangt von Bedingungen in der Person des Beurteilers ab Die Fahigkeit, Kriterien zu verstehen Die Fahigkeit, Kriterien anzuwenden Der Gebrauch von Kriterien kann mehrere unterschiedliche Funktionen erfullen Die unmittelbaren Funktionen des Kriteriengebrauchs im BeurteilungsprozeB Die mittelbaren Funktionen des Kriteriengebrauchs in einem neuen Verwendungszusarnrnenhang Die feldartige Struktur des Kriteriengebrauchs Der Satz von 17 Kriterien, der der Untersuchung zugrundeliegt Michael Fischer Zweiter Teil: Empirische Untersuchungen zur analytischen und globalen Aufsatzbeurteilung Anlage der Untersuchung Internationale Aktivitaten zur Erforschung der Aufsatzbeurteilung Ziele der Untersuchung Aufbau der Untersuchung Die Aufsatzstichprobe Die Beurteilerstichprobe Der Untersuchungsverlauf und die erhobenen Daten III

4 Die Reduktion des Kriterienkataloges auf einen Faktorensatz Korrelationen zwischen den Kriterien Resultate der Faktorenanalyse Interpretation der Faktoren Die Gtite der analytischen Aufsatzbeurteilung Intercoderreliabilitat Retestreliabilitat Validitat Mehrfachbeurteilung nach globalem Ersteindruck Das Urteil nach globalem Ersteindruck Der implizite Gebrauch von Kriterien im g'lobalen Schatzurteil Funktionen der Globalbeurteilung Die Mehrfachbeurteilung Empirische Befunde zur Mehrfachbeurteilung nach globalem Ersteindruck Der Anteil impliziter Kriterien am globalen Schatzurteil Mehrfachbeurteilung bei analytischer Auswertung der Aufsatze Eine Kontrolluntersuchung mit einer Stichprobe von Studenten Fragestellungen der Kontrolluntersuchung Aufbau und Methode der Kontrolluntersuchung Ergebnisse Zusammenfassung der Resultate aus der Kontrolluntersuchung Empirische Befunde zu den Beurteilern Merkmale von Beurteilern Eine Typologie auf der Basis von vier Merkmalen des Beurteilungsverhaltens Typologien auf der Basis von zwei Merkmalen des Beurteilungsverhaltens Die intraindividuelle Stabilitat von Urteilsstreuung, -konsistenz und -kompatibilitat Die intraindividuelle Stabilitat des Urteilsstandards Eine Beurteilertypologie auf der Basis von Praferenzen ftir Kriterien Zusammenfassung der Resultate tiber Beurteilertypen Empirische Befunde zu den Urteilskriterien Merkmale der Kriterien Das Gewicht der einzelnen Kriterien bei der Beurteilung Beziehungen zwischen den Kriterien Zusammenfassung der Befunde zu den Urteilskriterien Seite IV

5 Seite JUrgen Grzesik/Michael Fischer Dritter Teil: Folgerungen aus den empirischen Befunden fur die Verwendung von Kriterien in der Praxis der Aufsatzbeurteilung Der Gebrauchswert eines groben Kriteriensatzes Der Gebrauchswert eines kleinen Kriteriensatzes Der Gebrauchswert der Mehrfachbeurteilung nach globalem Ersteindruck Eine neue Einstellung bei der Beurteilung von Aufsatzen Anmerkungen 221 Anhang 233 Literaturverzeichnis 243 v

6 Vorwort Die Ausbildung von Schreibfahigkeiten gehort in allen Kulturstaaten zu den grundlegenden Aufgaben des Schulunterrichts. Sobald die elementaren Schreibfahigkeiten vermittelt worden sind, wird he ute ftir die weitere Entwicklung der Schreibkompetenz in der Regel ein besonderer Aufsatzunterricht in der Muttersprache eingerichtet. Ftir ihn ist eine Beurteilung der Schreibleistungen selbstverstandlich, weil nur so der Schtiler eine Rtickmeldung tiber die Entwicklung seiner Fahigkeiten erhalt. DaB diese Beurteilung auch im Gesamtzusammenhang der Bewertung von Schtilerleistungen eine wichtige Rolle spielt, kommt hinzu. So sind im Aufsatzunterricht stets Kriterien im Gebrauch. Schtiler wie Lehrer haben aber keinen vollen Vberblick tiber die Kriterien, die im Spiel sind, denn sie sind ihnen keineswegs samtlich bewubt. Das AusmaB des Kriteriengebrauchs ergibt sich nicht nur aus der Haufigkeit ihrer Verwendung, sondern auch aus ihrer Vielzahl. Daher hat der Kriteriengebrauch nicht nur im Hinblick auf seine Funktionen, sondern auch im Hinblick auf den Umfang dieser Praxis eine kaum zu tiberschatzende Bedeutung. Was die Kriterien im Gebrauch tatsachlich leisten, das ist trotz einer verhaltnismabig umfangreichen Literatur, vor allem in den USA, noch wenig aufgeklart. Das MiBverhaltnis zwischen der praktischen Bedeutung des Kriteriengebrauchs ftir die Schulung der Schreibfahigkeiten und ftir die Leistungsbewertung auf der einen Seite und unseren Kenntnissen von dem, was sie vermogen, auf der anderen Seite ist krab. Diese Untersuchung will deshalb zur Aufklarung der Leistungen von Kriterien in der Praxis der Aufsatzbeurteilung beitragen. 1m ersten Teil wird der Zusammenhang des Kriteriengebrauchs im Aufsatzunterricht phanomenologisch beschrieben. Auf der Grundlage dieser Theorie des Kriteriengebrauchs wird im zweiten Teil der tatsachliche Kriteriengebrauch empirisch tiberprtift. Dabei werden internationale Untersuchungen zur Objektivitat, Reliabilitat und Validitat repliziert, aber auch neue Wege beschritten. Nur so konnten Annahmen tiber weitere Aspekte des Kriteriengebrauchs, z.b. tiber Beurteilertypen und unterschiedliche Leistungen ein und desselben Kriteriums bzw. verschiedener Kriterien, empirisch geprtift werden. 1m dritten Teil schlieblich werden aus der Theorie, die den Gesamtzusammenhang des Kriteriengebrauchs umfabt, und ihrer partiellen Vberprtifung in empirischen Untersuchungen Folgerungen ftir die Praxis der Aufsatzbeurteilung gezogen. Sie reichen freilich nur so weit, wie es durch die Theorie und Empirie dieser Untersuchung begrtindet werden kann. Es gibt aber auch etliche Gemeinsamkeiten zwischen dem Kriteriengebrauch in den engen Grenzen unserer Untersuchung und jedem Kriteriengebrauch bei der Aufsatzbeurteilung. Ja, es gibt sogar Gemeinsamkeiten mit der Beurteilung von komplexen Schtilerleistungen aller Art, in jedem Fach und auch der mtindlich geauberten Leistung. So hoffen wir, dab es uns gelingt, die Reflexion tiber einen sachgerechten Gebrauch von Kriterien und eine angemessene Einschatzung ihrer diversen Leistungen zu beleben. Die in diese Publikation investierte Arbeit ist von so vie len Mitarbeitern aufgebracht worden, dab wir sie nicht alle namentlich anftihren konnen. Wir liefen sogar Gefahr, den einen oder anderen dabei zu vergessen. Zuvorderst seien die Personengrup-

7 pen genannt, die an der Untersuchung ihren Anteil hatten: die Leiter der Schulen, in denen die Aufsatze geschrieben worden sind, und die Lehrer, die den Unterricht gehalten und auberdem die Klassenarbeiten beurteilt haben; die 40 Lehrer, die als Fremdbeurteiler mit den drei Verfahren des groben Kriteriensatzes, eines kleinen Satzes und der globalen Mehrfachbeurteilung die Aufsatze beurteilt haben, wobei die 30 Lehrer der Versuchsgruppe den Lowenanteil der Arbeit zu bewaltigen hatten; die beiden studentischen Beurteilergruppen; die Mitarbeiter bei der Auswertung der Daten und der Herstellung des Manuskripts im Computer. Obwohl wir alle un sere Arbeit im Dienst der Sache getan haben, danken die Autoren der Untersuchung ihnen allen fur die Bereitschaft zur Mitarbeit und den uber die jeweilige Verpflichtung weit hinausgehenden Einsatz und auch den hohen Grad der Zuverlassigkeit. Besonderer Dank gilt Herrn Dr. Peter Fleischhauer, der im Verlauf des Forschungsprojektes "Interaktions- und Leistungstypen im. Literaturunterricht" die Idee fur diese Untersuchung und den ersten Kriteriensatz entwickelte; Herrn Dr. Norbert Meder, der mit Herrn Dr. Fleischhauer und den Autoren eine entsprechende Pilotstudie als Vorbereitung der Untersuchung durchfuhrte, das Untersuchungsdesign festlegte und die Auswahl der Methoden beratend begleitete. Ohne die finanzielle Forderung des Ministeriums fur Wissenschaft und Forschung des Landes NRW hatte ein solches Projekt gar nicht begonnen werden konnen. Obwohl die bewilligten Mittel bei weitem nicht fur den erforderlichen Aufwand ausreichten, so ware es ohne sie auch nicht zu dem zusatzlichen Einsatz gekommen. 1m Interesse der gemeinnutzigen Sache ist deshalb den politischen Geldgebern uneingeschrankt zu danken. 2