Diskussion Berlin

Transkript

1 Diskussion

2 Diskussion: Kompetenzzuwachs im Lehramtsstudium messen Prof. Dr. Olga Zlatkin-Troitschanskaia Johannes Gutenberg-Universität Mainz Programmkongress zur Qualitätsoffensive Lehrerbildung Berlin, Oktober 2016

3 Agenda Studie 1: Qualitätssicherung in der Zukunftsstrategie Lehrer*innenbildung Köln (ZuS) Studie 2: Professionelles Lehrerhandeln zur Förderung fachlichen Lernens (ProfaLe) Studie 3: PRONET Meta-Evaluationsstudie (PROMETEUS) 3

4 Gesamteindruck Solides Vorgehen nach dem State-of-the-art der Kompetenzmodellierung und der Kompetenzmessung Spezifikation theoretischen Kompetenzmodells Operationalisierung durch Testinstrument Umfassende Analysen

5 Gesamteindruck Im Fokus: Erklärung der Wirkungen nach dem Input- Prozess-Output-Modell (I-P-O) Erfordert: Mehrebige Betrachtung: klare Differenzierung der Ebenen (AV/UV// Variablenkonfundierung) Längsschnitt Angemessene Modellierung und Erfassung des I, P & O

6 Fragen Erklärung der Wirkungen nach dem Input-Prozess-Output- Modell (I-P-O)? - Status models - Change Models: Cohort-to-cohort change models Growth models - Value-added models: Attribuierung des Kompetenzzuwachs zu spezifischen Studienprogrammen und Institutionen - erfordert komplexe hierarchische statistische Modellierung

7 Fragen Society and socio-cultural context Domain (organization of fundamental concepts and beliefs, etc.) Teaching-and-learning environment (incl. teachers, books, tasks, digital resources, etc.) Cognitive processes Individual Non-cognitive processes knowledge & skills Time (development of knowledge and skills over the course of study) Cross-level perspectives

8 Fragen Mehrebige Betrachtung Längsschnitt Angemessene Modellierung und Erfassung des I-P-O Beginn 2 FS. Erfassung und Kontrolle des Inputs / Eingangsvoraussetzungen? Teilstichproben mit 1. und 2. Fach / Kontrolle der Domäneneffekte? Modellierung und Erfassung des pädagogischen Wissens / Domänenspezifität?

9 Fragen Geringe Varianzaufklärung: auch in den anderen Studien - Konstruktoperationalisierung & bedeutsame Prädiktoren? Die Zusammenhänge zwischen Kompetenz und Lerngelegenheiten sind relativ klein. Annahmen darüber, durch welche Faktoren die restlichen 75% der Varianz erklärt werden könnten? Ansatzpunkte, wie Zusammenhänge erhöht werden können? (Anpassung des Modells, Optimierung Testverfahren, etc.)

10 Fragen Untersuchung des Prozesses (inkl. Entwicklungsverläufe) und in welchem Maß sie durch Lehr-Lern-Gelegenheiten ermöglicht, gefördert und optimiert werden können? Zeitpunkt D10_SUM Median spline Graphs by ID

11 Fragen Kontext: Wirksamkeitsforschung [ Fußnote : Studiengänge, Lehrveranstaltungen und Prüfungen kompetenzorientiert zu gestalten, ist eine zentrale Anforderung der Bologna Reform, die allerdings in vielen Bereichen des Studiums an deutschen Hochschulen bisher nur formal berücksichtigt und umgesetzt wird. HRK, 2012] Bestimmung der geeigneten Indikatoren dessen, was als Kompetenz oder Wissen postuliert wird? (Biggs & Tang, 2011)

12 Wahl der Instrumente 1. Domain selected for testing (math, ELA, etc.) 2. Elements from domain included in standards Elements from domain omitted from standards 3. Tested subset of standards Untested subset of standards 4. Tested material from within tested standards Untested material from within tested standards 5. Tested representations Untested representations (Koretz, 2016)

13 Zweck von Tests / Nutzung der Testergebnisse Für welchen Zweck können die Tests und die damit gewonnenen Ergebnisse genutzt werden? Prüfung der psychometrischen Qualität des Messinstruments Validierung von Testwertinterpretationen Prüfung des theoretischen Kompetenzmodells Deskription inhaltlicher Ergebnisse Implikationen für die Lehrerbildung Könnte man sie als Kriterium für Studienerfolg in diesen Lehrerbildungsprogrammen verwenden?

14 Taxonomie der Testnutzung Use Examples Stakes Inference Fully internal Instructor-designed tests None No comparison Diagnostic external traditional NRTs None Limited comparison Monitoring NAEP, ILSAs Vary Comparison, (causal) "Value-added" modeling High-stakes tests High Comparison, causal Other accountability High-stakes tests High Comparison, causal (Koretz, 2016)

15 Empfehlungen Reliability, validity, comparability, generalizability, and fairness are not just measurement principles, but social values that have meaning and force outside of measurement wherever evaluative judgments and decisions are made. (Messick, 1994) Matching tests to specific uses and inferences, avoiding too broad an inference Avoiding function creep : sukzessive Zunahme von weiteren Funktionen (Koretz, 2016) Use multiple indicators (MVAM) in evaluating the quality of highereducation institutions (Shavelson et al., 2016)

16 Konsolidierung der Forschungsarbeiten Kompetenzmodelle und Instrumente der Kompetenzerfassung im Hochschulsektor Validierungen und methodische Innovationen ( ) 15 Projektverbünde mit ca. 70 Projektbeteiligten 7 Projekte bereits im ersten KoKoHs-Programm ( ) dabei

17 Vielen Dank für Ihre Aufmerksamkeit!

18 18 Assumptions Underlying VAM

19 Quellen