Universität Duisburg-Essen Lehrstuhl für Lehr-Lernpsychologie Tests im Spannungsfeld von Individualdiagnostik und Bildungsmonitoring Detlev Leutner Dank an Jens Fleischer, Christian Spoden & Joachim Wirth D. Leutner Tests im Spannungsfeld 1 [30]
Was Sie erwartet Einleitung Tests Interpretation von Testergebnissen: Testmodelle Tests im Spannungsfeld Individualdiagnostik versus Bildungsmonitoring Lernstandserhebungen/Vergleichsarbeiten als Bindeglied? Konsequenzen Testentwicklung Testdurchführung Umgang mit Testergebnissen Ausblick: DFG-Schwerpunktprogramm Kompetenzmodelle D. Leutner Tests im Spannungsfeld 2 [30]
Was Sie erwartet Einleitung Tests Interpretation von Testergebnissen: Testmodelle Tests im Spannungsfeld Individualdiagnostik versus Bildungsmonitoring Lernstandserhebungen/Vergleichsarbeiten als Bindeglied? Konsequenzen Testentwicklung Testdurchführung Umgang mit Testergebnissen Ausblick: DFG-Schwerpunktprogramm Kompetenzmodelle D. Leutner Tests im Spannungsfeld 3 [30]
Einleitung Seit PISA: Ergebnisse von Bildungs- und Ausbildungsprozessen vermehrt im Fokus der Aufmerksamkeit ( Produkte statt Zertifikate ) erworbenes Wissen, ausgebildete Fähigkeiten, Fertigkeiten, Einstellungen und Bereitschaften, verfügbare Qualifikationen Kompetenzen (als Kontextspezifische kognitive Leistungsdisposition, die sich funktional auf Situationen und Anforderungen in einer bestimmten Domäne beziehen ; Klieme & Leutner, 2006). Tests als notwendige Instrumente zur Erfassung von Lernvoraussetzungen (z.b. individuelle Sprachstandsfeststellung in NRW) Lernergebnissen (Ebene einzelner Schüler, Ebene einzelner Klassen & Schulen, Ebene der Bildungssysteme) evidence-based policy and practice (Slavin, 2002) D. Leutner Tests im Spannungsfeld 4 [30]
Einleitung Ziele der Nutzung von (standard-bezogenen) Testverfahren in der Bildungspraxis ( Klieme -Expertise zur Entwicklung nationaler Bildungsstandards; Klieme et al., 2003) Bildungsmonitoring» Das Erreichen von Bildungsstandards kontrollieren zum Beispiel: Werden die Mindeststandards von allen Schülern erreicht? Entspricht die Verteilung der Schüler über die Kompetenzstufen den Erwartungen? Schulevaluation» Rückschlüsse auf den Erfolg schulischer Programme oder unterrichtlicher Maßnahmen ziehen, um damit eine Grundlage für die Verbesserung von Schule zu haben Individualdiagnostik» Etwas über den einzelnen Schüler erfahren, über seine Stärken und Defizite, damit Entscheidungen über gezielte Fördermaßnahmen getroffen werden können D. Leutner Tests im Spannungsfeld 5 [30]
Einleitung Jeder kennt Tests Zweck des Tests unmittelbar erkenntlich? D. Leutner Tests im Spannungsfeld 6 [30]
Einleitung Jeder kennt Tests Wie komme ich preisgünstig und schnell von A nach B? Zweck des Tests unmittelbar erkenntlich? D. Leutner Tests im Spannungsfeld 7 [30]
Einleitung Jeder kennt Tests Zweck des Tests unmittelbar erkenntlich? D. Leutner Tests im Spannungsfeld 8 [30]
Was Sie erwartet Einleitung Tests Interpretation von Testergebnissen: Testmodelle Tests im Spannungsfeld Individualdiagnostik versus Bildungsmonitoring Lernstandserhebungen/Vergleichsarbeiten als Bindeglied? Konsequenzen Testentwicklung Testdurchführung Umgang mit Testergebnissen Ausblick: DFG-Schwerpunktprogramm Kompetenzmodelle D. Leutner Tests im Spannungsfeld 9 [30]
Tests: Interpretation von Testergebnissen Grundstruktur eines Tests: Beobachtung einer Verhaltensstichprobe P x S R Schluss auf ein (latentes) Konstrukt in Abhängigkeit von einem geeigneten Testmodell KTT Item Person 1 2 3 4 5 6 7 8 Summe 1 0 0 0 0 0 0 0 0 0 2 0 0 1 0 0 0 0 0 1 3 0 1 0 1 0 0 0 0 2 4 1 1 0 0 0 1 0 0 3 5 0 0 1 0 1 0 1 0 3 6 0 1 1 0 1 0 1 0 4 7 1 1 0 1 0 1 1 0 5 8 0 1 1 1 0 1 1 1 6 9 1 0 1 1 1 1 1 1 7 10 0 1 1 1 1 1 1 1 7 Summe 3 6 6 5 4 5 6 3 38 D. Leutner Tests im Spannungsfeld 10 [30]
Tests: Interpretation von Testergebnissen Kompetenz als Konstrukt Vgl. (kognitivistische) Lehrzieldefinition nach Klauer (1987), vgl. Klauer & Leutner (2007) S-Komponente (Inhalt und Situation) R-Komponente (Erwartete Handlung) Lösungswahrscheinlichkeit Aufgabenmenge (Lehrstoff) Geforderter Ausprägungsgrad Kompetenz bzw. Verhaltensdisposition (Ist-Zustand) Lehrziel (Soll-Zustand) D. Leutner Tests im Spannungsfeld 11 [30]
Tests: Interpretation von Testergebnissen Testmodelle: Justus hat 4 Punkte im Mathe-Test erreicht.??? (Justus hat mehr Punkte als Johanna.) Justus hat 4 von 8 Aufgaben im Mathe-Test richtig gelöst. Justus hat 50 % richtig. Justus hat 4 von 8 Aufgaben im lehrziel-orientierten Mathe-Test richtig gelöst. Justus hat nach dem binomialen Testmodell eine Kompetenz von 50 % (95 %-Vertrauensintervall 50 +/- 34.3 %). KTT Item Person 1 2 3 4 5 6 7 8 Summe 1 0 0 0 0 0 0 0 0 0 2 0 0 1 0 0 0 0 0 1 3 0 1 0 1 0 0 0 0 2 4 1 1 0 0 0 1 0 0 3 5 0 0 1 0 1 0 1 0 3 6 0 1 1 0 1 0 1 0 4 7 1 1 0 1 0 1 1 0 5 8 0 1 1 1 0 1 1 1 6 9 1 0 1 1 1 1 1 1 7 10 0 1 1 1 1 1 1 1 7 Summe 3 6 6 5 4 5 6 3 38 D. Leutner Tests im Spannungsfeld 12 [30]
Lösungswahrscheinlichket Tests: Interpretation von Testergebnissen Testmodelle: Justus hat 4 von 8 Aufgaben im Guttman- oder Rasch-skalierten Mathe-Test richtig gelöst. 1.0 0.5 0.0 Justus hat Kompetenzniveau xyz erreicht. Empirisch prüfbare Datenstruktur, setzt kumulative Aufgaben voraus. Guttman-Items Items mit ICC Rasch-Items Kompetenz Guttman Item Person 1 2 3 4 5 6 7 8 Summe 1 0 0 0 0 0 0 0 0 0 2 1 0 0 0 0 0 0 0 1 3 1 1 0 0 0 0 0 0 2 4 1 1 1 0 0 0 0 0 3 5 1 1 1 0 0 0 0 0 3 6 1 1 1 1 0 0 0 0 4 7 1 1 1 1 1 0 0 0 5 8 1 1 1 1 1 1 0 0 6 9 1 1 1 1 1 1 1 0 7 10 1 1 1 1 1 1 1 1 8 Summe 9 8 7 5 4 3 2 1 39 Rasch Item Person 1 2 3 4 5 6 7 8 Summe 1 0 1 0 0 0 0 0 0 1 2 1 0 1 0 0 0 0 0 2 3 1 0 1 0 0 0 0 0 2 4 1 1 0 1 0 0 0 0 3 5 1 1 1 0 1 0 0 0 4 6 1 1 1 0 1 0 0 0 4 7 1 1 1 1 0 0 1 0 5 8 1 1 1 1 0 1 0 1 6 9 1 1 1 1 1 0 1 0 6 10 1 1 1 1 1 1 0 1 7 Summe 9 8 8 5 4 2 2 2 40 D. Leutner Tests im Spannungsfeld 13 [30]
Tests: Interpretation PISA 2003: Zuordnung der Anschlusszüge - Aufgabe zu den Stufen der Problemlösekompetenz D. Leutner Tests im Spannungsfeld 14 [30]
Tests: Interpretation von Testergebnissen Lernstandserhebungen NRW 2004: Mathematische Modellierkompetenz M4/4+: Komplexes Modellieren, Modelle entwickeln M3: Einschrittiges Modellieren M2: Elementares Situationsverständnis M1: Kontextbezogenes Rechnen D. Leutner Tests im Spannungsfeld 15 [30]
Was Sie erwartet Einleitung Tests Interpretation von Testergebnissen: Testmodelle Tests im Spannungsfeld Individualdiagnostik versus Bildungsmonitoring Lernstandserhebungen/Vergleichsarbeiten als Bindeglied? Konsequenzen Testentwicklung Testdurchführung Umgang mit Testergebnissen Ausblick: DFG-Schwerpunktprogramm Kompetenzmodelle D. Leutner Tests im Spannungsfeld 16 [30]
Tests im Spannungsfeld: Individualdiagnostik versus Bildungsmonitoring Funktion Fokus Individualdiagnostik Vorbereitung von Entscheidungen im Einzelfall (Selektion, Platzierung) Inhaltliche Tiefe in einem Fachgebiet: Itemstichprobe Bildungsmonitoring (der KMK) Vorbereitung politischer Entscheidungen auf Schulsystemebene (Fremdevaluation) Fachliche Tiefe und zugleich fachliche Breite: Item- und Personenstichprobe; rotiertes Testdesign Kompetenzschätzung des Individuums Kompetenzverteilung in Bundesländern, Staaten (keine Individualdiagnostik, keine Aussagen auf Schul- und Klassenebene) D. Leutner Tests im Spannungsfeld 17 [30]
Tests im Spannungsfeld: Lernstandserhebungen/ Vergleichsarbeiten als Bindeglied? Funktion Fokus Individualdiagnostik Vorbereitung von Entscheidungen im Einzelfall (Selektion, Platzierung) Inhaltliche Tiefe in einem Fachgebiet: Lernstandserhebungen (in NRW) Vorbereitung päd./ did./ curricularer Entscheidungen auf Schul- und Unterrichtsebene (Selbstevaluation) Erst Tiefe in einem Fachgebiet, dann Breite: Bildungsmonitoring (der KMK) Vorbereitung politischer Entscheidungen auf Schulsystemebene (Fremdevaluation) Fachliche Tiefe und zugleich fachliche Breite: Itemstichprobe Vollerhebung aller Personen; Itemstichprobe Item- und Personenstichprobe; rotiertes Testdesign Kompetenzschätzung des Individuums Kompetenzverteilung in Klassen, Schulen (keine Individualdiagnostik) Kompetenzverteilung in Bundesländern, Staaten (keine Individualdiagnostik, keine Aussagen auf Schul- und Klassenebene) D. Leutner Tests im Spannungsfeld 18 [30]
Was Sie erwartet Einleitung Tests Interpretation von Testergebnissen: Testmodelle Tests im Spannungsfeld Individualdiagnostik versus Bildungsmonitoring Lernstandserhebungen/Vergleichsarbeiten als Bindeglied? Konsequenzen Testentwicklung Testdurchführung Umgang mit Testergebnissen Ausblick: DFG-Schwerpunktprogramm Kompetenzmodelle D. Leutner Tests im Spannungsfeld 19 [30]
Konsequenzen: Testentwicklung & Testdurchführung Gewährleistung der Testgütekriterien Objektivität» Durchführung, Auswertung & Interpretation: Externe Testleiter versus Lehrkräfte vor Ort Reliabilität» Unsystematischer Messfehler bei (kompetenzbezogenen) Aussagen über einzelne Personen» Unsystematischer Stichprobenfehler bei (kompetenzbezogenen) Aussagen über Personengruppen Validität» Gültigkeit aller Aussagen: Kontent, Konstrukt & Testmodell; aber auch: Curriculum Nicht trivial. D. Leutner Tests im Spannungsfeld 20 [30]
Konsequenzen: Testentwicklung & Testdurchführung Beispiel Reliabilität & Objektivität bei den Lernstandserhebungen 2004 Klasse 9 in NRW, Deutsch schreiben Ursprünglich: Je Schreibaufgabe 6 Dimensionen (Items), die auf einer von 4 Lösungsstufen (A bis D) zu bewerten waren. Schreibaufgabe Reliabilität auf Skalen-Ebene (Interne Konsistenz, Erst-Rater) Objektivität auf Item-Ebene (mittleres Item-Gamma zweiter Rater) A 1.94.57 A 2.91.67 A 3.92.54 A 4.93.39 Überarbeitet: Dimension 1 ausgeschärft ( Lupenmodell ) und skaliert; Reliabilität als person seperation reliability der Raschskala. Reliabilität Objektivität (Mittleres Item-Gamma) Deutsch (Schreiben).87.72 D. Leutner Tests im Spannungsfeld 21 [30]
Konsequenzen: Testentwicklung & Testdurchführung Beispiel Reliabilität: 95 %-Vertrauensintervalle für Kompetenstufenzuordnung +3.84 auf Ebene des Individuums der Klasse der Schule Lernstandserhebung 2007 Klasse 8 in NRW, Deutsch Leseverständnis 3 2 +1.66 1 +.83 +.24 0 -.33 -.67 5 4 3 2 1 Kompetenzstufen WLE- Parameter Individuum N=1 Klasse N=25 Schule N=100 D. Leutner Tests im Spannungsfeld 22 [30]
Konsequenzen: Testentwicklung & Testdurchführung Beispiel Validität: Lernstandserhebung 2005 Klasse 9 in NRW, Konstruktvalidität Englisch Hörverst Problemlösen Mathematik Schreiben Lesen Hörverst Schreiben Deutsch NMDS (stress <.001) Radex-Struktur Fach als Circumplex -Facette Kompetenzskala innerhalb des Faches als Simplex -Facette (rezeptiv Lesen rezeptiv Hören produktiv Schreiben/ Problemlösen) D-L D-S D-H E-H E-S M-P D-Lesen 1,00 0,54 0,70 0,63 0,64 0,60 D-Schreiben 0,54 1,00 0,51 0,40 0,47 0,38 D-Hörverst. 0,70 0,51 1,00 0,57 0,56 0,55 E-Hörverst. 0,63 0,40 0,57 1,00 0,67 0,57 E-Schreiben 0,64 0,47 0,56 0,67 1,00 0,51 M-Probleml. 0,60 0,38 0,55 0,57 0,51 1,00 D. Leutner Tests im Spannungsfeld 23 [30]
Konsequenzen: Umgang mit Testergebnissen (LSE 2004 NRW, Ergebnisrückmeldung) Verständlichkeit & Akzeptanz Deutsch & Englisch (Lesen): unauffällig Mathematik (Modellieren): anders (homogener) als in Referenzgruppen, aber gleiches Niveau D. Leutner Tests im Spannungsfeld 24 [30]
Konsequenzen: Umgang mit Testergebnissen (LSE 2004 NRW, Ergebnisrückmeldung) Verständlichkeit & Akzeptanz Deutsch & Englisch (Lesen): Niveau höher als in Referenzgruppen Mathematik (Modellieren): unauffällig D. Leutner Tests im Spannungsfeld 25 [30]
Was Sie erwartet Einleitung Tests Interpretation von Testergebnissen: Testmodelle Tests im Spannungsfeld Individualdiagnostik versus Bildungsmonitoring Lernstandserhebungen/Vergleichsarbeiten als Bindeglied? Konsequenzen Testentwicklung Testdurchführung Umgang mit Testergebnissen Ausblick: DFG-Schwerpunktprogramm Kompetenzmodelle D. Leutner Tests im Spannungsfeld 26 [30]
Ausblick: DFG-Schwerpunktprogramm Kompetenzmodelle Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen Das Schwerpunktprogramm soll kognitiv orientierte Experten auf den Gebieten einzelner bereichsspezifischer Kompetenzen mit Experten auf dem Gebiet des Messens und Testens zusammenbringen. Ziel ist es, Kompetenzstruktur- und Kompetenzentwicklungsmodelle zu erarbeiten und empirisch zu prüfen, anhand derer sich valide und faire Messinstrumente auf zwei Ebenen konstruieren lassen: zum einen auf der Ebene der Förderung individueller Lernprozesse (im Sinne einer individuellen Kompetenzdiagnostik ), zum anderen auf der Ebene von Untersuchungen zum Monitoring von Bildungsinstitutionen und Bildungssystemen ( Assessment ). Kompetenz = Kontextspezifische kognitive Leistungsdisposition, die sich funktional auf Situationen und Anforderungen in einer bestimmten Domäne bezieht (Klieme & Leutner, 2006). D. Leutner Tests im Spannungsfeld 27 [30]
Ausblick: DFG-Schwerpunktprogramm Kompetenzmodelle Nutzung von Diagnostik und Assessment Messkonzepte und Messverfahren psychometrische Modelle Kompetenzmodelle Strukturen und Niveaus Kognitive Grundvoraussetzungen 1 2 3 4 D. Leutner Tests im Spannungsfeld 28 [30]
Ausblick: DFG-Schwerpunktprogramm Kompetenzmodelle Psychologie: Orientierung am Individuum Bildungsforschung: Orientierung an Schule & Schulsystem Fachdidaktik: Orientierung am Unterricht Fruchtbare Kooperation dreier fremder Schwestern??? (in Anlehnung an Terhart, 2002) Positiv-Beispiele koord. DFG-Forschungsprogramme» NWU-Essen: FG und GK Naturwissenschaftlicher Unterricht» Bamberg: FG Bildungsprozesse, Kompetenzentwicklung und Selektionsentscheidungen im Vor- und Grundschulalter» Tübingen: FG "Analyse und Förderung effektiver Lehr- Lernprozesse» Landau: GK Unterrichtsprozesse» SPP 1293: Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen Perspektiven der Einbindung weiterer sozial- & geisteswissenschaftlicher Fachdidaktiken??? D. Leutner Tests im Spannungsfeld 29 [30]
Kontakt: detlev.leutner@uni-due.de; http://www.uni-due.de/llpsych http://kompetenzmodelle.dipf.de Veröffentlichungen: Klieme, E. & Leutner, D. (2006). Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen. Beschreibung eines neu eingerichteten Schwerpunktprogramms der DFG. Zeitschrift für Pädagogik, 52, 876-903. Leutner, D., Fleischer, J., Spoden, C. & Wirth, J. (2007). Landesweite Lernstandserhebungen zwischen Bildungsmonitoring und Individualdiagnostik. Zeitschrift für Erziehungswissenschaft, Sonderheft 8, 149-167. Klieme, E., Leutner, D. & Kenk, M. (2010). Kompetenzmodellierung. Eine aktuelle Zwischenbilanz des DFG-Schwerpunktprogramms (Editorial). Zeitschrift für Pädagogik, Beiheft 56, 9-11. Online unter http://www.pedocs.de/frontdoor.php?source_opus=3342&la=de. D. Leutner Tests im Spannungsfeld 30 [30]