Norm- vs. Kriteriumsorientiertes Testen

Transkript

1 Norm- vs. Kriteriumsorientiertes Testen Aus psychologischen Test ergibt sich in der Regel ein numerisches Testergebnis, das Auskunft über die Merkmalsausprägung der Testperson geben soll. Die aus der Testauswertung resultierenden Rohwerte sind für sich genommen zunächst nicht aussagekräftig, da sie von den verwendeten Items abhängen. 38 Punkte auf einer Extraversionsskala 12 gelöste Aufgaben / 70% gelöste Aufgaben im Vokabeltest Norm- vs. Kriteriumsorientiertes Testen Um eine eindeutige Aussage über die individuelle Merkmalsausprägung treffen zu können, wird zusätzlich zum Testwert ein Vergleichsmaßstab stab benötigt, anhand dessen der Testwert eingeordnet bzw. interpretiert wird. Norm- vs. Kriteriumsorientiertes Testen Ein Testwert kann auf zweierlei Weise sinnvoll interpretierbar gemacht werden Normorientierte Interpretation durch den Vergleich mit einer Bezugsgruppe Kriteriumsorientierte Interpretation durch den Bezug auf ein vorab definiertes inhaltlichpsychologisch definiertes Kriterium. 1

2 Normorientierte Testwertinterpretation Die allermeisten psychologischen Tests sind normorientiert: Testwerte von Personen oder Gruppen werden in Bezug gesetzt zu den Testwerten anderer Gruppen oder idealerweise einer Grundgesamtheit (Normstichprobe). Beispiel: IQ als Abweichung von der durchschnittlichen Intelligenz der Population. Bildung von Normwerten Um die Testergebnisse mit den Werten einer Bezugsgruppe zu vergleichen, werden die individuellen Testwerte in Normwert transformiert. Anhand eines Normwertes lässt sich eine getestete Person hinsichtlich der erfassten Merkmalsausprägung innerhalb der Bezugsgruppe positionieren. Bildung von Normwerten Zur Bildung von Normwerten existieren zwei geläufige Verfahren: Die Bildung von Prozenträngen ngen durch eine nicht-lineare Transformation auf Basis der Häufigkeitsverteilung der Testwerte. Die Bildung von z-normen durch Standardisierung an Mittelwert und Standardabweichung der Testwerteverteilung. 2

3 Bildung von Prozenträngen ngen Ein Prozentrang gibt an, wie viel Prozent der Bezugsgruppe einen Testwert erzielten, der niedriger oder maximal ebenso hoch ist, wie der Testwert x v der Testperson v. Der Prozentrang entspricht somit dem prozentualen Flächenanteil der Häufigkeitsverteilung der Bezugsgruppe, der am unteren Skalenende beginnt und nach oben hin durch den Testwert x v begrenzt wird. Bildung von Prozenträngen ngen Häufigkeit 1. Quartil 2. Quartil 3. Quartil PR v freqcum (x = 100 N v ) 25% 25% 25% 25% Testwert x v Prozentrang Prozentränge und Quartile bei einer schiefen Häufigkeitsverteilung Bildung von z v -Normen Der z v -Normwert gibt an, wie stark der Testwert x v einer Testperson v vom Mittelwert x der Verteilung der Bezugsgruppe in Einheiten der Standardabweichung s x der Testwerte x v abweicht. Der z v -Normwert von Testperson v wird wie folgt berechnet: xv x zv = s x 3

4 Zusätzliche Transformation des z v -Normwertes Beispiel: Eine Testperson habe in einem Intelligenztest mit dem Mittelwert von x = 31 und der Standardabweichung von s x = 12 einen Testwert von x v = 27 erzielt. Der z v -Normwert ergibt sich folgendermaßen z v = = Aus dem z v -Normwert kann der Intelligenz- Quotient wie folgt bestimmt wird: IQ = z = ( 0.33) 95 v v = Zusätzliche Transformation des z v -Normwertes Da mit der Bildung von z-normen negative Vorzeichen und Dezimalstellen einhergehen, ist ihre Verwendung eher unüblich. Stattdessen werden die z-normwerte weiteren Lineartransformationen unterzogen, um Normwerte mit positivem Vorzeichen sowie möglichst ganzzahliger Abstufung zu erhalten. Zusätzliche Transformation des z v -Normwertes Gebräuchliche Standardnormen, Stanine-Norm und Prozentrangnorm unter Annahme normalverteilter Testwerte 4

5 Kriteriumsorientierte Testwertinterpretation Insbesondere im Leistungsbereich sind auch kriterienorientierte Tests zu finden: Es interessiert, ob ein bestimmter Wert erreicht wird. Hierbei interessiert nicht, wie viele Personen das Kriterium erfüllen. Theoretisch könnten alle getesteten Personen ein Kriterium erreichen oder aber keine einzige. Kriterienorientiert interpretierbare Tests können jederzeit auch normorientiert verwendet werden, nicht jedoch umgekehrt. Kriteriumsorientierte Testwertinterpretation Um eine kriteriumsorientierte Interpretation eines Testwertes vorzunehmen, werden in der Regel vorab bestimmte Schwellenwerte definiert, ab denen ein Kriterium als zutreffend angenommen wird. Solche Schwellenwerte können auf zwei Weisen ermittelt werden: Bezug zu einem externen Kriterium; das Vorliegen des externen Kriteriums muss in diesen Untersuchungen zusätzlich zu den individuellen Testwerten erfasst werden. Bezug auf die Testinhalte, wenn die Items eine repräsentative Stichprobe aller möglichen Items darstellen. Beispiel: Untersuchung eines externen Kriteriums In einem Depressivitätstest können 0-35 Punkte erzielt werden. In einer Untersuchung beantworten Patienten mit einer Major Depression und eine Kontrollgruppe den Test. Die Diagnose Major Depression ist hierbei separat mit einem aufwendigen klinischen Interview (z.b. SKID) erhoben worden. 5

6 Beispiel: Untersuchung eines externen Kriteriums Aufgrund des Unterschieds zwischen beiden Gruppen kann ein Schwellenwert ermittelt werden, ab dem das Vorliegen einer Major Depression angenommen werden sollte. Zuordnung richtig positiv (RP) falsch negativ (FN) richtig negativ (RN) falsch positiv (FP) Schwellenwert Gesunde Depressive Häufigkeit Testwert im Depressivitätsfragebogen Beispiel: Repräsentative Itemstichprobe In einer Fremdsprache soll ein Grundwortschatz der häufigsten 1000 Wörter erlernt werden. Ein Vokabeltest kann konstruiert werden, indem eine Stichprobe aus diesen 1000 Wörtern gezogen wird. Wenn ein Schüler in diesem Test 75% der Items lösen kann, kann man schließen, dass er 75% des Grundwortschatzes beherrscht. Für das hinreichend sichere Beherrschen des Grundwortschatzes kann ein Schwellenwert von z.b. 90% festgelegt werden. Häufiger Fehler: Kriteriumsorientierte Interpretation anhand der Antwortskala Bei Lernziel- oder Leistungstests kann eine kriteriumsorientierte Interpretation durch eine entsprechende Itemauswahl möglich werden. Im Falle von Fragebögen dieses Vorgehen in der Regel nicht möglich. Dies liegt daran, dass die Schwierigkeiten der Items eines Fragebogens nicht nur durch die Inhalte, sondern auch durch die verbale Formulierung beeinflusst werden. 6

7 Häufiger Fehler: Kriteriumsorientierte Interpretation anhand der Antwortskala Zwei unterschiedlich schwierige Fragebogenitems zur Erfassung derselben depressiven Symptomatik mit einer vierstufigen Antwortskala. trifft nicht zu trifft eher nicht zu trifft eher zu trifft zu Ich fühle mich manchmal grundlos traurig. Mich überkommt oft ohne Anlass eine tiefe Traurigkeit. Häufiger Fehler: Kriteriumsorientierte Interpretation anhand der Antwortskala Wenn die Antworten auf diese zwei Items mit 1 bis 4 Punkten bewertet würden, würde sich bei Item 1 bei denselben Personen ein höherer Mittelwert ergeben als bei Item 2. Dieser Unterschied würde jedoch nichts über eine unterschiedliche Depressivität aussagen, sondern wäre allein auf die verbale Itemformulierung zurückzuführen. Dies lässt sich auch auf Testwerte, die auf mehreren Items basieren, übertragen! Integration von norm- und kriteriumsorientierter Testwerinterpretation Norm- und kriteriumsorientierte Testwertinterpretation schließen sich nicht gegenseitig aus, vielmehr ist je nach Anwendungsfall die eine oder andere Art vorherrschend Beide Arten der Testwertinterpretation können sich ergänzen, z.b. bei der Beurteilung der Schulleistung (Bezug zum Lehrziel u. zur Klasse) Bei der Setzung von (Auswahl-) Standards können im Falle konfligierender Interessenlagen norm- und kriteriumsorientierte Testwertinterpretation unvereinbaren Zielsetzungen führen 7

8 Normdifferenzierung Wie spezifisch soll eine Vergleichsgruppe sein? Eine Normendifferenzierung ist ggf. dann erforderlich, wenn mit dem Untersuchungsmerkmal korrelierte Hintergrundfaktoren (z.b. Alter, Geschlecht, Geübtheit) der Testpersonen nicht mit jenen der Vergleichsgruppe übereinstimmen. In Wetterberwerbssituationen die Mitbewerber Vergleichsgruppe als wählen. Überanpassung von Normen (overadjustment, Cronbach, 1990) kann zu Fehleinschätzungen und einem Zerrbild der Normalität führen. Testeichung Letzter Schritt einer Testkonstruktion zur Bildung von Testnormen (z.b. z-norm oder PR-Norm) Definition der Zielpopulation unter Berücksichtigung von Anwenderinteressen (ggf. Normdifferenzierung vorsehen) Repräsentativität der Normstichprobe bzgl. der Zielpopulation durch geeignetes Erhebungsdesign sicherstellen (globale vs. spezifische Repräsentativität) Testeichung Umfang der Normierungsstichprobe ist abhängig von der Normabstufung (z.b. Quartil- vs. PR- Norm), Reliabilität und dem Geltungsbereich des Tests Nach der Datenerhebung Verteilungseigenschaften prüfen (NV Standardnormen möglich) Überprüfung der Gültigkeit von Normen nach spätestens 8 Jahren (vgl. Flynn-Effekt) Dokumentation der Normen im Testmanual: Zielpopulation, Erhebungsdesign, Stichprobe, Deskriptivstatistiken, Erhebungsjahr 8