Mehrebenenanalyse am Beispiel der Lernwirkung von Aufgaben im Physikunterricht

Transkript

1 Material zu Kapitel 22 Mehrebenenanalyse am Beispiel der Lernwirkung von Aufgaben im Physikunterricht Jochen Kuhn Übersicht über das Vorgehen zur Modellentwicklung bei den Mehrebenenanalysen zum Leistungs-Posttest Modell-Nr. M0 M1a M1b M2a M2b M2c M2d M2e M2f M2g M2h M7a M7b M7c M7d M7e Feste Effekte Intercept Bedingung BED (E2) Physik-Vorleistung PHY (E1) Interaktionen PHY (E1) x BED (E2) Motivations-Prätest MOT_PRE (E1) MOT_PRE (E1) x BED (E2) Lehrermerkmal EI (E3) EI (E3) x BED (E2) EI (E3) x PHY (E1) EI (E3) x MOT_PRE (E1) Zufallseffekte Restvarianz auf Ebene 1 Restvarianz auf Ebene 2 Restvarianz auf Ebene 3 BED-Zufallseffekt auf E3 PHY-Zufallseffekt auf E2 PHY-Zufallseffekt auf E3 MOT-Zufallseffekt E2 MOT-Zufallseffekt E3 auf auf EI-Zufallseffekt auf E2 Anmerkung. = Prädiktor/Komponente wird ins Modell eingeführt und bleibt im Modell nur dann enthalten, wenn statistische Signifikanz erreicht wird; = Komponente wird ins Modell eingeführt und bleibt aus theoretischen Gründen auch bei Insignifikanz im Modell enthalten Im Folgenden soll die Modellentwicklung in dieser Untersuchung exemplarisch und einstiegsweise für die Modellserien 0 bis 2 verdeutlicht werden. Ergänzt werden die Darstellungen durch exemplarische Screenshots von Eingabemaske und Output des Programms HLM (Version 6.00), das zur Auswertung verwendet wurde. Für weitere Details dazu sei an dieser Stelle auf die weiterführende Literatur verwiesen (z.b. Raudenbush et al. 2004).

2 Null-Modell M0 Ausgangspunkt des Modellierungsverfahren stellt die Ermittlung der Verteilung der Varianzanteile der Gesamtmotivation auf die drei Ebenen durch das Null-Modell dar (s. Tabelle 3.). Tabelle 3. Zufallseffekte des Null-Modells zum Leistungs-Posttest Zufallseffekt SD VAR df χ² p Varianzanteil in % Schüler, e ijk Klassen, r 0jk Lehrer, u 00k Anmerkungen. SD = Standardabweichung (der Zielvariablen); VAR = Varianz; df = Freiheitsgrade; χ² = χ²-werte; e ijk : Restvarianz auf Ebene 1; r 0jk : Restvarianz auf Ebene 2; u 00k : Restvarianz auf Ebene 3 In Abbildung 1 ist der Screenshot der Eingabemaske der Software HLM (Version 6.0) zum Nullmodell dargestellt. Nachdem das Projekt in der Software angelegt wurde (s. Raudenbush et al. 2004, Kuhn 2010), sind in der linken Menüleiste die jeweiligen Prädiktoren pro Level aufgeführt, die sukzessive in die Modellgleichung eingefügt werden können. Im Hauptbildschirm sind dann die ebenenbezogenen Modellgleichungen und im unteren Bereich ( Mixed Model ) die jeweilige Gesamtmodellgleichung aufgeführt. Somit kann man die Modelländerung durch jeden Erweiterungsschritt (z.b. durch Einfügen eines weiteren Prädiktors) sowohl ebenenspezifisch als auch im Gesamtmodell zeitgleich erkennen. Im Falle des Nullmodells sind noch keine Prädiktoren eingefügt. Abbildung 1. Screenshot der HLM-Eingabemaske im Falle des Nullmodells Nachdem die Modellgleichung mit den Daten gestartet wurde (Befehl Run im Menü File ), wird eine txt- Datei ( Output-Datei ) erzeugt, in der die Ergebnisse dargestellt sind (s. Abbildung 2a/b). Im ersten Teil des Outputs (Abbildung 2a) ist eine Zusammenfassung des Modells aufgeführt, in der die grundlegenden Einstellungen, Grunddaten (z.b. Einheiten pro Ebene), Zielvariable sowie die ebenenspezifischen Modellgleichungen präsentiert sind. Der zweite Teil des Outputs (Abbildung 2b) zeigt dann neben der Devianz die statistischen Daten der einzelnen Prädiktoren und Parameter pro Ebene. Diese Tabelle korrespondiert zu Tabelle 3. Die Devianz D des Nullmodells beträgt bei vier geschätzten Parametern (df 0 = 4).

3 Abbildung 2a. Screenshot des HLM-Outputs (Ausschnitt Zusammenfassung ) im Falle des Nullmodells Abbildung 2b. Screenshot des HLM-Outputs (Ausschnitt ebenspezifische Varianzschätzung ) im Falle des Nullmodells Modell M1a Da im Null-Modell noch kein Einfluss der Experimentalbedingung (BEDING; EG vs. KG) berücksichtigt ist, muss M0 zunächst um diesen Ebene-2-Prädiktor im Sinnen eines Haupteffektes erweitert werden. Modell M1a

4 prüft damit, ob sich auf der zweiten Ebene globale Unterschiede auf die Gesamtleistung LPO im Leistungs- Posttest zwischen EG und KG zeigen. In den Abbildungen 3a und 3b sind Screenshots der HLM-Eingabemaske zum Modell M1a dargestellt: Zunächst wird dem Nullmodell der Ebene-2-Prädiktor BEDING zugefügt. Dazu werden in der linken Menüleiste nach dem Klick auf Level 2 die dort verfügbaren Prädiktoren aufgeführt. Der zuzufügende Prädiktor (hier: BEDING ) wird ausgewählt und man erhält dadurch eine Option, in welcher Form der Zentrierung 1 dieser in das Modell eingefügt werden soll. Die Experimentalbedingung wird als unzentrierter Prädiktor in das Modell eingefügt ( add variable uncentered ; s. Abbildung 3a). Abbildung 3b zeigt die Modellgleichungen nach Einfügen des Prädiktors. Abbildung 3a. Screenshot der HLM-Eingabemaske im Falle des Modells 1a Abbildung 3b. Screenshot der HLM-Eingabemaske im Falle des Modells 1a 1 Für die Interpretation von Mehrebenenanalysen ist die Definition des Nullpunktes ( Zentrierung ) eines Prädiktors wichtig. Die Zentrierung ist für die Bewertung der Koeffizienten maßgeblich und beeinflusst die numerische Stabilität der Schätzungen (vgl. Raudenbush & Bryk, 2002, S. 25 ff.). Zur Zentrierung der Prädiktoren sind die drei gängigsten Formen a) die Verwendung der natürlichen Metrik: Der gegebene Nullpunkt wird übernommen. Dies macht nur dann Sinn, wenn der Nullpunkt interpretierbar ist (Bsp. IQ: Ein Intelligenzquotient von null ist theoretisch unsinnig); b) die Zentrierung um den Gruppenmittelwert ( group-mean-centered ): Das Gruppenmittel wird von jedem Wert des Prädiktors abgezogen (Bsp.: Von der Physikleistung jedes Schülers einer Klasse wird die mittlere Physikleistung der Klasse abgezogen); c) die Zentrierung um das Gesamtmittel ( grand-mean-centered ): Von den Werten des Prädiktors wird das Mittel aller verfügbaren Werte abgezogen (Bsp.: Von der Physikleistung jedes Schülers wird die mittlere Physikleistung aller Schüler abgezogen).

5 Nach dem die Modellgleichung mit den Daten gestartet wurde (Befehl Run im Menü File ), wird analog zu Abbildung 2a/b eine txt-datei ( Output-Datei ) erzeugt, in der die Ergebnisse dargestellt sind. Während der erste Output-Teil entsprechend Abbildung 2a die grundlegenden Einstellungen, Grunddaten (z.b. Einheiten pro Ebene), Zielvariable sowie die ebenenspezifischen Modellgleichungen präsentiert (ergänzt um den Prädiktor BEDING ), zeigt der zweite Teil des Outputs (Abbildung 4) neben der Devianz die statistischen Daten des Prädiktors BEDING (fester Effekt) und die ebenenspezfische Varianzaufklärung.. Abbildung 4. Screenshot des HLM-Outputs (Ausschnitt Feste Effekte/ebenenspezifische Varianzaufklärung ) im Falle von Modell M1a Dieses Modell weist somit einen signifikanten, positiven Einfluss (gekennzeichnet durch positiven Regressionskoeffizienten β) der Experimentalbedingung auf den Leistungs-Posttest aus (BEDING: β = 0.74; df = 37; T = ; p < 0.001). Die Devianz D des Modells beträgt bei fünf geschätzten Parametern (df 1a = 5), sodass die Verbesserung in der Modellanpassung zwischen M0 und M1a als statistisch bedeutsam eingestuft werden kann (ΔD 01a = 40.14; df 01a = 1; p < 0.001). Die entsprechend durchgeführte Modellanpassung durch Prüfung der auf unterschiedliche Lehrermerkmale auf Ebene 3 zurückzuführende Beeinflussung dieses Effekts bleibt insignifikant (M1b; u 01k : df = 14; χ² = ; p = 0.363). Modell M2a Im nächsten Schritt berücksichtigt M2a aufbauend auf M1a den globalen Einfluss der Physik-Vorleistung im Sinne eines Haupteffektes auf die Gesamtleistung LPO im Leistungs-Posttest, d. h. die Auswirkung auf die in

6 Klassen gemittelte Leistung. Zu diesem Zweck wird die Physik-Vorleistung (PHY) als Ebene-1-Prädiktor modelliert. In den Abbildungen 5a und 5b sind Screenshots der HLM-Eingabemaske zum Modell M2a dargestellt: Dem Modell 1a wird der Ebene-1-Prädiktor PHY_PROZ (Physikleistung in %) zugefügt. Dazu werden wiederum in der linken Menüleisten nach Klick auf Level 1 die dort verfügbaren Prädiktoren dargestellt. Der zuzufügende Prädiktor (hier: PHY_PROZ ) wird ausgewählt und als am Gruppenmittelwert zentrierter Prädiktor dem Modell zugefügt (die Software stellt dies vereinfacht als group centered dar; s. Abbildung 5a). Abbildung 5b zeigt die Modellgleichungen nach Einfügen des Prädiktors. Abbildung 5a. Screenshot der HLM-Eingabemaske im Falle des Modells 2a Abbildung 5b. Screenshot der HLM-Eingabemaske im Falle des Modells 2a

7 Nachdem die Modellgleichung mit den Daten gestartet wurde (Befehl Run im Menü File ), wird analog zu den vorangehenden Schritten eine txt-datei ( Output-Datei ) erzeugt, in der die Ergebnisse dargestellt sind. Neben den grundlegenden Einstellungen, den Grunddaten (z.b. Einheiten pro Ebene), der Zielvariable sowie der ebenenspezifischen Modellgleichungen (ergänzt um den Prädiktor BEDING aus Modell 1a und PHY_PROZ hier) im ersten Output-Teil, zeigt der zweite Teil des Outputs (Abbildung 6) neben der Devianz die statistischen Daten der Prädiktoren BEDING und PHY_PROZ (feste Effekte) und die ebenenspezfische Varianzaufklärung. Abbildung 6. Screenshot des HLM-Outputs (Ausschnitt Feste Effekte/ebenenspezifische Varianzaufklärung ) im Falle von Modell M2a In diesem Modell hat zusätzlich zu den Effekten in M1a die Physik-Vorleistung einen signifikanten, positiven Einfluss auf die Gesamtleistung im Leistungs-Posttest (PHY: β = 0.02; df = 813; T = ; p < 0.001). Die Devianz D des Modells beträgt bei sechs geschätzten Parametern (df 2a = 6), sodass die Verbesserung der Modellgüte von 1a nach 2a wiederum statistisch bedeutsam ist (ΔD 1a2a = ; df 1a2a = 1; p < 0.001).

8 Weitere entsprechend durchgeführte Modellanpassungen durch Berücksichtigung des Effektes der Physik- Vorleistung auf die Leistung zwischen den Klassen auf Ebene 2 (M2b) bzw. Lehrermerkmalen auf Ebene 3 (M2c) bleiben insignifikant (M2b: r 0jk : df = 38; χ² = ; p = 0.174; ΔD 2a2b = 1.9; df 2a2b = 2; p = 0.386; M2c: u 02k : df = 14; χ² = ; p = 0.469; ΔD 2a2c = 0.63; df 2a2c = 1; p = 0.426). Gleiches gilt für die Cross-Level- Interaktion zwischen Experimentalbedingung und Physik-Vorleistung (M2d: PHY x BED; df = 812; T = 0.791; p = 0.429; ΔD 2a2d = 2.60; df 2a2d = 1; p = 0.107). An dieser Stelle wäre es jetzt erforderlich, die Effekte der Moderatorvariablen Allgemeine Intelligenz und Lesekompetenz sowie des Motivations-Prätests auf die Gesamtleistung zur weiteren Verbesserung der Modellgüte im Rahmen der Modellserie M2 zu untersuchen. Allerdings korrelieren die Prädiktoren Physik- Vorleistung, Allgemeine Intelligenz und Lesekompetenz alle signifikant miteinander, sodass Multikollinearität zwischen diesen Variablen besteht. Deshalb dürfen diese nicht simultan in Mehrebenenstrukturen modelliert werden. Durch explorative Analysen besteht nun die Möglichkeit, zu prüfen, welche der Variablen als potentiell signifikante Prädiktoren zur Verbesserung der Modellgüte dienen könnte. Dabei zeichnet sich neben der Physik-Vorleistung zudem beim Motivations-Prätest eine statistisch bedeutsame Varianzaufklärung bei der Gesamtleistung ab. Deshalb wird an dieser Stelle der Motivations-Prätest als nächster Ebene-1-Prädiktor in die Mehrebenenstruktur modelliert. Modell M2e Die folgende Erweiterung von M2a prüft den globalen Einfluss des Motivations-Prätest im Sinne eines Haupteffektes auf die Gesamtleistung LPO des Leistungs-Posttests. Zu diesem Zweck wird diese Variable (MOT_PRE) als Ebene-1-Prädiktor modelliert. In den Abbildungen 7a und 7b sind Screenshots der HLM-Eingabemaske zum Modell M2e dargestellt: Dem Modell 2a wird nun der Ebene-1-Prädiktor GMOTT0 (Prätest der Gesamtmotivation in %) zugefügt. Dazu werden wiederum in der linken Menüleisten nach Klick auf Level 1 die dort verfügbaren Prädiktoren dargestellt. Der zuzufügende Prädiktor (hier: GMOTT0 ) wird ausgewählt und wiederum als am Gruppenmittelwert zentrierter Prädiktor dem Modell zugefügt (s. Abbildung 7a). Abbildung 7b zeigt die Modellgleichungen nach Einfügen des Prädiktors. Abbildung 7a. Screenshot der HLM-Eingabemaske im Falle des Modells 2e

9 Abbildung 7b. Screenshot der HLM-Eingabemaske im Falle des Modells 2e Nachdem betätigen des Run -Befehls (im Menü File ) wird die Modellgleichung mit den Daten gestartet und erneut eine txt-datei ( Output-Datei ) erzeugt, in der die Ergebnisse dargestellt sind. Neben den grundlegenden Daten in der Zusammenfassung (ergänzt um den Prädiktor BEDING aus Modell 1a, PHY_PROZ aus M2a und GMOTT0 hier) des ersten Output-Teils, zeigt der zweite Teil des Outputs neben der Devianz die statistischen Daten der Prädiktoren BEDING, PHY_PROZ und GMOTT0 (feste Effekte) sowie die ebenenspezfische Varianzaufklärung.. In diesem Modell hat zusätzlich zu den Effekten in M2a der Motivations-Prätest einen signifikanten, positiven Einfluss auf die Gesamtleistung (MOT_PRE: β = 0.02; df = 812; T = ; p < 0.001). Die Devianz D des Modells beträgt bei sieben geschätzten Parametern (df 2d = 7), sodass die Verbesserung in der Modellanpassung zwischen M2a und M2e statistisch bedeutsam ist (ΔD 2a2e = 9.02; df 2a2e = 1; p < 0.003). Weitere entsprechend durchgeführte Modellanpassungen durch Berücksichtigung des Effektes des Motivations- Prätests auf die Gesamtleistung zwischen den Klassen (M2f) bzw. Lehrermerkmalen (M2g) bleiben insignifikant (M2f: r 0jk : df = 38; χ² = ; p = 0.112; ΔD 2e2f = 1.89; df 2e2f = 1; p = 0.169; M2g: u 02k : df = 14; χ² = ; p = 0.235; ΔD 2e2g = 0.68; df 2e2g = 1; p = 0.411). Gleiches gilt für Cross-Level-Effekte zwischen MOT_PRE und Experimentalbedingung (M2h: MOT_PRE x BED; df = 37; T = 0.094; p = 0.926; ΔD 2e2h = 1.78; df 2e2h = 3; p = 0.619). Orientiert an den theoriegeleiteten Hypothesen und Forschungsfragen des Projekts würden nun das Geschlecht (Modellserie M3), das Thema (Modellserie M4), die verschiedenen Schularten (Modellserie M5) und das Schulsystem (Modellserie M6) als nächstfolgende Prädiktoren zur Mehrebenenanalyse der Gesamtleistung des Leistungs-Posttests an dieser Stelle diskutiert werden. Allerdings weisen alle diese Prädiktoren keine signifikanten Haupteffekte auf die Gesamtleistung aus und tragen nicht zur Verbesserung der Modellgüte bei. Deshalb werden sowohl die M3- und M4-Modellreihe zur Untersuchung des Einflusses von Geschlecht und Thema als auch die M5- und M6-Modelle zur Einwirkung der Schularten und des Schulsystems auf die Gesamtleistung hier nicht weiterverfolgt. Im nächsten Schritt werden deshalb noch die Lehrermerkmale als weitere, mögliche Prädiktoren untersucht. Um zu prüfen, welche der verschiedenen Merkmale als potentiell signifikante Prädiktoren zur Verbesserung der Modellgüte beitragen könnten, werden explorative Analysen durchgeführt. Dabei zeichnen die Lehrermerkmale Eigene Ideen entwickeln lassen EI und Interesse am Unterrichten von Physik IUP als weitere, mögliche Prädiktoren aus, sodass hier die Modellanpassung mit Modellreihe M7 fortgeführt wird. Für diese Analysen sei auf Kuhn (2010) verwiesen.

10