Prof. Dr. Gabriele Helga Franke TESTTHEORIE UND TESTKONSTRUKTION

Transkript

1 Prof. Dr. Gabriele Helga Franke TESTTHEORIE UND TESTKONSTRUKTION 1. FS Master Rehabilitationspsychologie, SoSe 2012

2 Normierung 2 Begriffsbestimmung Zweck der Normierung Vorgehen bei der Normierung Exkurs: Mögliche Ursachen für eine anormale Rohwertverteilung Wann werden üblicherweise welche Normen verwendet? Normdifferenzierung Effektstärke Normierung und kein Ende

3 Begriffsbestimmung 3 Unter Normierung (Eichung) eines Tests versteht man das Erstellen eines Bezugssystems, mit dessen Hilfe die Ergebnisse einer Testperson im Vergleich zu den Merkmalsausprägungen anderer Personen eindeutig eingeordnet und interpretiert werden können. (Moosbrugger & Kelava, 2007, S. 19)

4 Zweck der Normierung (Bühner, 2011, S. 262; Moosbrugger & Kelava, 2007, S. 19) 4 Erhalt möglichst aussagekräftiger Vergleichswerte von solchen Personen, die der Testperson hinsichtlich relevanter Merkmale (z. B. Alter, Geschlecht, Bildung) ähnlich sind (repräsentative Eichstichprobe)

5 Vorgehen bei der Normierung eines 5 Tests (Bühner, 2011, S ) Basis: Vorliegen der Ergebnisse eines Tests als Skalenrohwerte Skalenrohwerte mit Hilfe eines Histogramms per Inspektion auf NV hin überprüfen; alternativ bzw. zusätzlich: K-S-Test auf NV Fall 1: NV liegt vor Skalenrohwerte in z-werte umrechnen z-werte mittels linearer Transformation in gewünschte andere Normskala transformieren

6 Vorgehen bei der Normierung eines 6 Tests (Kubinger, 2006, S. 70)

7 Vorgehen bei der Normierung eines 7 Tests Fall 2: NV liegt nicht vor Flächentransformation nach McCall durchführen PR ermitteln PR=(cf-f/2)*100/N anschließend z. B. möglich: a) Umwandlung in Stanine mittels Umrechnungstabelle von Tent und Stelzl b) Bestimmung von z und folgend Umwandlung in gewünschten Standardnormwert mittels Umrechnungstabelle von Lienert c) Bestimmung von z und folgend Umwandlung in gewünschten Standardnormwert mittels der Tabelle zur Verteilungsfunktion der Normalverteilung, z. B. zu finden bei Bortz

8 Vorgehen bei der Normierung eines 8 Tests (Bühner, 2011, S. 264) a) Tent & Stelzl

9 Vorgehen bei der Normierung eines 9 Tests (Lienert & Raatz, 1998, S. 410) b) Lienert

10 Vorgehen bei der Normierung eines 10 Tests (Bühner, 2011, S. 264) c) Bortz Bitte hier Tabelle noch einfügen!!!danke!!!

11 Vorgehen bei der Normierung eines 11 Tests (Lienert & Raatz, 1998, S. 294) Rechenbeispiel unter Verwendung von Lienert

12 Exkurs: Mögliche Ursachen für eine 12 anomale Rohwertverteilung (Lienert & Raatz, 1998, S ) Die Analysestichprobe kann heterogen sein... und dies wurde bei der Planung der Normierung nicht erkannt Der Test kann mangelhaft konstruiert sein z. B. unzweckmäßige Schwierigkeitsgraduierung, unzweckmäßige Aufgabenbewertung Das untersuchte Persönlichkeitsmerkmal kann anomal verteilt sein z. B. Depressivität in der Normalbevölkerung

13 Wann werden üblicherweise welche 13 Normen verwendet? (Bühner, 2011, S ) Leistungstests: T bzw. SW Intelligenztests: IQ = Konvention Persönlichkeitstests: Stanine (und auch T) CAVE!!!: bei Stanine-Werten handelt es sich um eine Reduzierung der C-Skala auf neun Werte

14 Wann werden üblicherweise welche 14 Normen verwendet? (Bühner, 2011, S. 265) GENERELL GILT: Bei nicht-normalverteilten Kennwerten einer Stichprobe sollten nur PR bzw. Stanine-Werte angeben werden PR eignen sich im Gegensatz zu den anderen Normen auch zur Beschreibung schief verteilter Messwerte, da sie keine lineare Transformation der Itemrohwerte darstellen Stanine-Werte haben den Vorteil, dass sie schiefe Verteilungen u. U. normalisieren Bei normalverteilten Testkennwerten, ist es sinnvoll, die verwendeten Normen dem Differenzierungsgrad des Tests anzupassen reliable Testkennwerte, die stark differenzieren (sehr) differenzierte Normen verwenden wenig reliable und undifferenzierte Testkennwerte eher grobe Normen verwenden

15 Normdifferenzierung 15 Eine Differenzierung von Normen ist dann erforderlich, wenn wesentliche, d. h. mit dem Untersuchungsmerkmal korrelierte Hintergrundfaktoren der Testperson zu anderen Testwerten als denen der Vergleichsgruppe führen. Wird für relevante Ausprägungen auf dem Hintergrundfaktor jeweils eine eigene Norm gebildet, kann der Einfluss des Faktors auf die Testinterpretation kontrolliert werden. (Goldhammer & Hartig, 2007, S. 184) So werden z. B. Normdifferenzierungen... zum Ausgleich von Alters-, Geschlechts- oder Bildungseffekten vorgenommen, d. h. es werden getrennte Normen nach Alter, Geschlecht, Bildung etc. gebildet (Goldhammer & Hartig, 2007, S )

16 Normdifferenzierung (Goldhammer & Hartig, 2007, S ) 16 Gefahr: overadjustment = Überanpassung von Normen Dies kann... zu Fehleinschätzungen führen ein Zerrbild der Normalität entstehen lassen

17 Normdifferenzierung 17 Wie finde man nun eigentlich heraus, ob eine Normdifferenzierung (z. B. Bildung von Normen nach Geschlecht und/ oder Alter getrennt) notwendig ist? Korrelationstatistische bzw. varianzanalytische Prüfung soziodemographischer Daten Bsp.: Geschlecht: t-test für unabhängige Stichproben Alter: 1-faktorielle Varianzanalyse Geschlecht & Alter: 2-faktorielle Varianzanalyse Daraus folgt das Ergebnis, z. B. nach Geschlecht und Alter getrennte Normierung

18 Normdifferenzierung (Bühner, 2011, S. 167) 18 CAVE!!! Ein signifikantes Ergebnis... sagt noch nichts über die Größe des gefundenen Unterschieds aus bedeutet nur, dass der gefundenen Unterschied mit einer gewissen Wahrscheinlichkeit nicht null ist Deswegen zusätzlich Berechnung der Effektstärke notwendig

19 Effektstärke (Bühner, 2011, S ) 19 Effektstärken können unterschiedlich definiert/ berechnet werden Bsp.: Eta² Effektstärke als quadrierter Zusammenhang Berechnung: Eta²=QSEffekt/Qstotal Bewertung:

20 Normierung und kein Ende (Moosbrugger & Kelava, 2007, S. 20) 20 DIN fordert Überprüfung der Eichwerte und ggf. Neunormierung von Verfahren/ Tests zur Eignungsbeurteilung spätestens nach 8 Jahren Notwendigkeit einer Neunormierung, z. B. aufgrund... von Lerneffekten in der Population (Bekanntheit des Testmaterials) von einer Merkmalsveränderung in der Grundgesamtheit im Laufe der Zeit

21 Literatur 21 Bühner, M. (2011). Einführung in die Test- und Fragebogenkonstruktion (3., aktualisierte Auflage). München: Pearson. Goldhammer, F. & Hartig, J. (2007). Interpretation von Testresultaten und Testeichung. In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion (S ). Heidelberg: Springer. Kubinger, K. D. (2006). Psychologische Diagnostik. Theorie und Praxis psychologischen Diagnostizierens. Göttingen: Hogrefe. Lienert, G. A. & Raatz, U. (1998). Testaufbau und Testanalyse (6. Auflage). Weinheim: Beltz. Moosbrugger, H. & Kelava, A. (2007). Qualitätsanforderungen an einen psychologischen Test (Testgütekriterien). In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion (S. 7-26). Heidelberg: Springer.