Anwendung von Multi-Level Moderation in Worst Performance Analysen

Transkript

1 Anwendung von Multi-Level Moderation in Worst Performance Analysen Präsentation auf der FGME Jena Gidon T. Frischkorn, Anna-Lena Schubert, Andreas B. Neubauer & Dirk Hagemann 16. September 2015

2 Was ist die Worst Performance Rule? On multitrial cognitive tasks, worst performance trials are more indicative of general intelligence (g) than best performance trials (Larson & Alderton, 1990) Warum ist dieses Phänomen interessant? (siehe Coyle, 2003) 1) Die WPR widerspricht bestimmten Annahmen der KTT 2) Die WPR hinterfragt wichtige Annahmen zur Struktur und Konzeptualisierung des Intelligenzkonstrukts 3) Die WPR hängt von der g-ladung der verwendeten Aufgabe ab 2

3 Wie sehen Worst Performance Analysen typischerweise aus? Klassische WPA: 1) Trials nach Leistung sortieren 2) Performanz-Bänder oder Perzentile bilden 3) Mittelwert oder Median für die Performanz-Bänder oder Perzentile berechnen 4) Korrelation zwischen Mittelwert/Median und einem Indikator für allgemeine Intelligenz berechnen (siehe Coyle, 2003 & Schubert, Frischkorn & Hagemann, 2015) 3

4 Probleme von Worst Performance Analysen Die klassische WPA beschreibt das Phänomen der WPR eher als es zu testen Die Unterschiede zwischen Korrelationen auf Signifikanz zu prüfen ist sehr testschwach, insbesondere im Bereich kleiner Korrelationen (Cohen, 1988) 4

5 Die Worst Performance Rule als Moderation Im Kern ist das Phänomen der WPR eine Moderation: Der Zusammenhang zwischen allgemeiner Intelligenz und Leistung in einer kognitiven Verarbeitungsaufgabe wird durch das Perzentil der Leistung bestimmt Vorteile dieser Konzeptualisierung: Die WPR wird als Anstieg der Korrelation bzw. des Regressionsgewichts zwischen allgemeiner Intelligenz und Leistung in einer kognitiven Verarbeitungsaufgabe modelliert Darstellung der WPR in einem einzelnen Regressionskoeffizienten Vereinfachte Testung dieses Koeffizienten auf statistische Bedeutsamkeit 5

6 Ein Multi-Level Framework für WPA Die Datenstruktur dieser Analyse entspricht einer Zwei-Ebenen Struktur: Trials in Personen deshalb sollte diese Analyse in einem Multi-Level Modell durchgeführt werden. Auf Level 1 wird die Leistung L im Trial i der Person p durch das Perzentil vorhergesagt a Auf Level 2 wird die Leistung durch die allgemeine Intelligenz vorhergesagt a Der Verlauf von RT-Mittelwerten über Perzentile wird annähernd perfekt durch ein Polynom dritten Grades beschrieben. 6

7 Ein Multi-Level Framework für WPA Indem nun die interindividuellen Unterschiede des Regressionsgewichts des Perzentils der Leistung durch allgemeine Intelligenz vorhergesagt wird, implementieren wir die Interaktion zwischen Perzentil und allgemeiner Intelligenz: woraus die folgende vollständige Gleichung des MLM folgt: 7

8 Stichprobe: Empirisches Beispiel 121 Teilnehmer (58.7% weiblich) aus der Allgemeinbevölkerung 18 bis 61 Jahre alt (M = 36.64, SD = 15.65) Allgemeine Intelligenz (gemessen mit dem BIS): M = 99.6, SD = 5.7 (BIS Stand., M = 100, SD = 10) Range = Rel =.937 (geschätzt mit Cronbach s α) 8

9 Empirisches Beispiel Kognitive Verarbeitungsaufgabe: Sternberg Memory Span Task Teilnehmer sehen ein Set aus 5 Zahlen (1 bis 9) Anschließen wird eine Zahl als Probe präsentiert Teilnehmer soll möglichst schnell entscheiden, ob die Zahl im Memory Set enthalten war oder nicht Memory Set Probe

10 Empirisches Beispiel Schätzung des MLM: Random Intercept Model als Baseline Schrittweise Parameter hinzufügen Evaluation des Model-Fits durch Likelihood- Ratio Test und Verringerung in AIC & BIC Prädiktoren: Perzentil: 9-stufig, zentriert auf das 5. Perzentil Intelligenz: kontinuierlich, z-standardisiert 10

11 Model Fit: Empirisches Beispiel Model Df AIC BIC LogLike LogRatio p Baseline FE P <.01 +FE P <.01 +FE P <.01 +RE P <.01 +RE P <.01 +RE P <.01 +FE g =.017 +FE P x g =.121 +FE P 2 x g <.01 +FE P 3 x g <.01 11

12 Empirisches Beispiel Parameter des angenommenen Models RTs steigen mit Perzentilen Teilnehmer mit höheren Werten auf g haben schnellere Reaktionszeiten Mit steigendem Perzentil wird der Effekt von g auf RT größer Schätzer S.E. Intercept 825.8* 18.3 FE P 43.4* 2.5 FE P * 0.5 FE P 3 3.4* 0.2 FE g -89.2* 19.3 FE P x g -8.6* 2.6 FE P 2 x g -3.0* 0.6 FE P 3 x g -0.7*

13 Empirisches Beispiel 13

14 Empirisches Beispiel Vergleich von Korrelationen mit b-gewichten Korrelation steigt (nicht signifikant) mit Perzentilen an (z = 1.266, p =.103, q =.10) b-gewicht steigt bedeutsam mit Perzentilen an SD(RT) steigt deutlich (nicht linear) mit Perzentil an Perzentil r IQ,RT b IQ,RT SD RT Die Standardabweichung des IQ liegt mit leicht unter 1 14

15 Diskussion Das MLM kann den Anstieg in unstandardisierten Regressionsgewichten mit einer höheren Power testen Interpretation der Ergebnisse muss für unstandardisierte Koeffizienten angepasst werden Die Standardabweichung der Leistung spielt, entgegen der bisher herrschenden Meinung, eine entscheidende Rolle im Bezug auf die WPR Möglicherweise sind unstandardisierte Effekte eine bessere Möglichkeit die WPR darzustellen: Repräsentieren die absoluten Unterschiede in der Leistung der Personen Anstieg der unstandardisierte Effekte ist eine notwendige Bedingung für die WPR (angenommen die SD der Leistung bleibt konstant oder steigt mit den Perzentilen an) 15

16 Vielen Dank für Ihre Aufmerksamkeit! Bei Fragen können Sie mich gerne jederzeit ansprechen oder kontaktieren.

17 Literatur Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences. Hilsdale, New Jersey: Lawrence Erlbaum Associates. Coyle, T. R. (2003b). A review of the worst performance rule: Evidence, theory, and alternative hypotheses. Intelligence, 31, Larson, G. E., & Alderton, D. L. (1990). Reaction time variability and intelligence: A "worst performance" analysis of individual differences. Intelligence, 14, Schubert, A.-L., Frischkorn, G. T., & Hagemann, D. (2015, June). A systematic replication of the worst performance rule. Retrieved from 17