SCHRIFTLICHE PRÜFUNGEN UND PÄDAGOGISCHE DIAGNOSTISCHE TESTVERFAHREN

Transkript

1 SCHRIFTLICHE PRÜFUNGEN UND PÄDAGOGISCHE DIAGNOSTISCHE TESTVERFAHREN Nadine Prinz Jaqueline Graubaum Gliederung Definition Begründung für die Präferenz schriftlicher Prüfungen Formen schriftlicher Prüfungen Konstruktion schriftlicher Prüfungen Beurteilung schriftlicher Prüfungen Methoden der Aufsatzbeurteilung Studienergebnisse zur Objektivität, Reliabilität und Validität Bemühungen um eine Verbesserung der Messqualität des traditionellen Aufsatzes Bemühungen der Verbesserung der Messqualität von anderen schriftlichen Aspekten

2 Definition: Pädagogische diagnostische Testverfahren Beobachtungszugang Das Messproblem Zielsetzung Eigenschaft Die Messung Messung und Leistungsethik Konstruktionsschritte bei der Entwicklung eines formellen Testverfahrens Definition nach Ingenkamp & Lissmann (2005): Sie zählen zu den schriftlichen Prüfungen den Aufsatz, Übersetzungen, Arbeiten mit Kurzfragen, Mathematikarbeiten, das Diktat, formelle Prüfungsarbeiten und informelle Zettelarbeiten. Ihnen ist gemeinsam, dass auf mündlichem oder schriftlichem Wege von einem Prüfer oder mehreren Prüfern Vorgaben inhaltlicher Art vorliegen, die anschließend vom Kandidaten schriftlich zu bearbeiten sind. Die Anweisungen über die Ausfertigungen können formelle Vorgaben über die zur Verfügung stehende Zeit enthalten, ebenso Angaben über den Bearbeitungsmodus, Bearbeitung von Teilaufgaben, etc.

3 Begründungen für die Präferenz von schriftlichen Prüfungen - Unabhängigkeit - Feedbackfunktion - Objektivität - Förderungsfunktion - Selektive Funktion - Vergleichbarkeit - Differenzierungsfunktion - Transparenz - Justiziabilität Formen schriftlicher Prüfungen Aufsatz Darstellung Diktat Problemstellung

4 Die Konstruktion von schriftlichen Prüfungen Egal ob es sich um eine formelle oder informelle schriftliche Prüfung handelt, sie muss konstruiert werden Der Begriff bedeutet, dass sich ein Prüfer vor der Weitergabe an einen oder mehrere Kandidaten Gedanken über folgende Einzelaspekte der Konstruktion der schriftlichen Prüfung machen muss: Zeit, Form, Inhalt, Auswertung, Beurteilung Je geringer der Aufwand ist, desto eher wird von einer informellen schriftlichen Prüfung gesprochen Curriculum Unterricht Operationalisierung Themenstellung Umsetzung in Aufgabe Bewertung der Aufgabe Entwicklung Vorgabe der Aufgaben Vergleich der Leistungen: Norm Bewertung

5 Beurteilung von schriftlichen Prüfungen Objektivität Reliabilität Validität Methoden der Aufsatzbeurteilung Globalbeurteilung Vergleichskorpus Mehrfachbeurteilung

6 Wiederholte Beurteilung Analytische Beurteilung Mikroanalyse Berücksichtigung linguistischer Merkmale von Texten Alle Methoden können miteinander kombiniert werden Ergebnisse bisheriger Studien über Objektivität, Reliabilität und Validität verschiedener Bewertungsmethoden bei Aufsätzen Analytische Methoden: Welche analytischen Methoden lassen sich unterscheiden? Formale Merkmale: Rechtschreibung; Interpunktion, Handschrift, Sauberkeit; Sprachliche Angemessenheit; Inhalt; Aufbau; Originalität Für welche Dimensionen lassen sich höhere Auswertungsobjektivitäten erzielen? Die sprachliche Angemessenheit als Kriterium schneidet besser ab als eine Bewertung nach Inhalt und Aufbau Grammatik und Rechtschreibung als Kriterien schneiden besser ab als eine Bewertung nach Inhalt und Aufbau

7 Fehlermöglichkeiten bei den Beurteilern Urteilsdifferenzen zwischen den Bewerten, u.a. wegen der Existenz von Zusammenhangsfehlern Inkonsistenzen desselben Beurteilers Inkonsistenzen auf der Basis der Aufgabenstellung Inkonsistenzen auf der Grundlage des Leistungsverhaltens des Prüflings Inkonsistenzen auf der Basis der verwendeten Skala und des Berechnungsmodus Beurteilungsfehler durch Beeinflussung (Länge des Aufsatzes, Handschrift, grammatikalische und orthografische Fehler, Zusammenhangsfehler, Vergleichsfehler) Die Objektivität der Auswertung bei schriftlichen Prüfungen ist eher nicht gegeben Als Konsequenz einer eingeschränkten Objektivität sind dann die beiden anderen Gütekriterien (Reliabilität und Validität) ebenso suboptimal ausgeprägt

8 Bemühungen um eine Verbesserung der Messqualität des traditionellen Aufsatzes Textganzheitlich orientierte Vorgehensweise Textanalytisch bestimmte Verfahrensweisen Kombinierte Verfahren Bemühungen um eine Verbesserung der Messqualität von anderen schriftlichen Aspekten Mögliche Beurteilungskriterien von wissenschaftlichen Arbeiten Hinführung zum Thema; Überblick über die Arbeit; Strategie und Methodik der Arbeit; Beantwortung von Fragen; Erkenntnisgewinn; Zusammenfassung; Schlussfolgerung/ Perspektiven; Selbstständigkeit; Ertrag

9 Pädagogische- diagnostische Testverfahren Testverfahren = Zugangsweisen in der Pädagogischen Psychologie, sie bilden den Zugang zur Leistungserfassung und gehören zu den Instrumenten der Pädagogischen Diagnostik. Die Pädagogische Diagnostik umfasst alle diagnostischen Tätigkeiten, durch die bei Lernenden Voraussetzungen und Bedingungen planmäßiger Lehr- und Lernprozesse ermittelt, Lernprozesse analysiert und Lernergebnisse festgestellt werden, um individuelles Lernen zu optimieren. Dazu sind Testverfahren hilfreich. Testverfahren dienen der Erkundung und Beschreibung individueller Unterschiede. Informationsgewinnung muss so erfolgen, dass ein wissenschaftlich gerechtfertigter Rückschluss auf die Ausprägung eines oder mehrerer Merkmale des bzw. der Probanden gezogen werden kann Werden solche Verfahren innerhalb einer Schule eingesetzt, um den Lernerfolg festzumachen, nennt man sie auch Schulleistungstests

10 Beobachtungszugang Reaktiv- Selbstbeobachtung: schriftliche Befragung, Portfolio, Lerntagebuch Reaktiv- Fremdbeobachtung: Test, Aufsatz, mündliche Prüfung Nicht reaktiv- Selbstbeobachtung: Inhaltsanalyse eines Textes, Interpretation eines Gedichtes Nicht reaktiv- Fremdbeobachtung: Aufsatz (aus Sicht der Lehrkraft), Dokumentenanalyse: Lerntagebuch (aus Sicht der Lehrkraft) Das Messproblem - Zielsetzungen Mit Hilfe von Testverfahren sollen Messungen erfolgen, diese müssen quantifizierbar sein. Zielsetzungen betreffen: Singuläre Aussagen gruppenbezogene Aussagen Testen Inventarisierung Veränderungsbezogene Aussagen statusbezogene Aussagen Normorientierung Kriteriumsorientierung Bei einer Messung wird die Ausprägung einer Eigenschaft eines Messobjekts bestimmt. Dies geschieht durch Zuordnung von Zahlen zum Messobjekt.

11 Eigenschaft Da ein Objekt nicht als Ganzes erfasst werden kann, bezieht man sich in aller Regel auf ausgewählte Eigenschaften. Eigenschaften charakterisieren ein Objekt, welches direkt oder indirekt erfasst wird. Man spricht von latenten (indirekt beachtete) und manifesten (direkt beachtete) Eigenschaften. Die Messung Die Messung erfolgt mit Hilfe einer Skala und dient der Leistungsfeststellung. Messfehler kommen dadurch zustande, dass die Reliabilität der Messungen in solchen Fällen nicht maximal werden kann. Leistungsfähigkeit der Studierenden ist schwer einzuschätzen und Messinstrument (Klausur o.ä.) ist mit Fehlern behaftet.

12 Messung und Leistungsethik Erst seit 1930 taucht der Begriff Leistung in pädagogischen Lexika auf. Im Zusammenhang mit der Schule wird Leistung in vierfacher Form gebraucht: Leistung als schulische Forderung für den Schüler, als Tätigkeit des Einzelnen sowie innerhalb der verschiedenen Leistungsbereiche und als besonderer Beitrag der Schule für Gesellschaft, Staat, Wirtschaft und Wissenschaft. Konstruktionsschritte bei der Entwicklung eines formellen Testverfahrens Die Entwicklung formeller Tests dauert, aufgrund ihres Umfangs, meist sehr lange. Curriculum Operationalisierung: Global- und Skalenebene Ableitung einer geeigneten Aufgabenform (Lückentext, C-Test, Multiple- Choice Test, Ergänzungsaufgaben, Statements) Ableitung von Items Erste empirische Überprüfung Item-/ Skalenrevision Erhebung von Vergleichsmessdaten Gewinnung von Daten zur Objektivität, Reliabilität und Validität

13 Am häufigsten werden Testverfahren mit einer sozialen Bezugsnorm (sachlich und individuell) angeboten. Aus ihr lässt sich erkennen, wie gut oder schlecht eine Leistung zu bewerten ist.