Grundlagen der Testkonstruktion

Transkript

1 Professur E-Learning und Neue Medien Institut für Medienforschung Philosophische Fakultät Grundlagen der Testkonstruktion Maik Beege M.Sc.

2 Test und Fragebogen Fragebogen: Sammelausdruck für vielfältige Befragungen in verschiedenen inhaltlichen Bereichen, bestenfalls orientiert an testtheoretischen Konzepten und mit eigenen Gütekriterien

3 Merkmale Das Verhalten kann mit Merkmalen erklärt werden diese werden mit Tests erfasst. qualitativ (kategorial) vs. quantitativ (abgestuft) unidimensional vs. multidimensional zeitlich stabil (traits) vs. zeitlich veränderbar (staits)

4 Testarten Leistungstests kognitive Leistungsfähigkeit nur faking nach unten möglich Antworten sind richtig oder falsch Speedtests: einfache Aufgaben, Zeit gegrenzt, Bewertung der Anzahl der gelösten Aufgaben Leistungstests: schwieriger werdende Aufgaben, Bewertung der schwersten noch gelösten Aufgaben auch Mischformen möglich

5 Testarten Persönlichkeitstests typisches Verhalten in Abhängigkeit eines Merkmals, keine Leistung sondern Selbstauskunft faking bad und faking good kein richtig oder falsch

6 Persönlichkeitstests Objektive Tests siehe später: Objektivität + Unverfälschbarkeit Eigenschaften werden aus dem Verhalten in einer Situation bewertet

7 Persönlichkeitstests Projektive Verfahren Persönlichkeits-Entfaltungsverfahren qualitiative Erfassung der Gesamtpersönlichkeit, kaum Erfüllung von Gütekriterien

8 Persönlichkeitstests Apparative Tests sensorische und motorische und kognitive Verfahren (oft computerbasiert adaptives testen)

9 Geltungsbereich und Zielgruppe Geltungsbereich: Anwendungsmöglichkeiten auf Inhaltsvalidität und Kriteriumsvalidität achten kurzum: Warum gerade dieser Test? oder: Welcher Test ist am Besten für diese Situation geeignet? enge Geltungsbereiche? je enger, desto eher ist ein unidimensionaler Test geeignet, allerdings ist ein Anforderungsprofil oft sehr umfassend

10 Geltungsbereich und Zielgruppe Zielgruppe: Personenkreis, für die mit dem Test Aussagen getroffen werden sollen mehr Anforderungen an Tests für breite Zielgruppen (breiterer Schwierigkeitsgrad, inhaltlich breitere Fächerung, ) Analysestichprobe: an welcher Stichprobe soll der Test später angewendet werden Eichstichprobe: Gewinnung der Normtabellen

11 Testlänge und Testzeit Testlänge: Itemanzahl Abhängig von dem Geltungsbereich (einfache Konstrukte lassen sich auch mit wenigen Items erfassen) PSI Process Scales mehr Items: bessere Messgenauigkeit, aber: Absinken der Konzentration und Motivation Testzeit: Bearbeitungsdauer Zielgruppe bedenken (Grundschüler, Senioren, ) Screeningverfahren vs. differenzierte Verfahren

12 Qualitätsanforderungen Objektivität Reliabilität Validität Skalierung Normierung Testökonomie Nützlichkeit Zumutbarkeit Unverfälschbarkeit Fairness

13 Objektivität Objektivität Durchführungsobjektivität Auswertungsobjektivität Interpretationsobjektivität

14 Objektivität Durchführungsobjektivität Das Testergebnis hängt nicht vom Testleiter ab, der den Versuch durchführt Tests sollten standardisiert sein genaue Durchführungsanweisungen geben!

15 Objektivität Auswertungsobjektivität Bei vorliegendem Testprotokoll hängt das Ergebnis nicht vom Auswerter ab Übereinstimmung zwischen Auswertern lässt sich berechnen

16 Objektivität Interpretationsobjektivität verschiedene Testanwender kommen bei Testpersonen mit denselben Testwert zu denselben Schlussfolgerungen Normtabellen anhand einer Eichstichprobe

17 Reliabilität Reliabilitätskoeffizient 0 <= Rel. <= 1 reine Messfehler bis hin zu keinen Messfehlern Formale Definition: Reliabilität ist der Anteil der wahren Varianz an der Gesamtvarianz der Testwerte (wahre Varianz: Merkmalsstreuung der wahren Testwerte)

18 Reliabilität

19 Reliabilität Retest-Reliabilität derselbe Test wird zu 2 Zeitpunkten derselben Stichpunkte vorgelegt (Annahme: Merkmal ist stabil) Achtung: Dauer zwischen den Testungen kann die Reliabilität beeinflussen Paralleltest-Reliabilität Korrelation aus 2 Tests mit Itemzwillingen Königsweg (Eliminierung von Übungs- und Erinnerungseffekten und Merkmalsveränderungen)

20 Reliabilität Testhalbierungs-Reliabilität 2 parallele Testhälften werden miteinander korreliert Korrekturrechnungen um die Reliabilität an einen doppelt so langen Test anzugleichen Innere Konsistenz Verallgemeinerung der Testhalbierung jedes Item als eigenständiger Testteil Korrelation zwischen den Items (Chronbachs Alpha Koeffizient) am häufigsten in der wissenschaftlichen Praxis zu sehen

21 Validität wichtigstes Gütekriterium! Objektivität und Reliabilität als Voraussetzungen hohe Reliabilität: Generalisierung der Testergebnisse auf latente Variablen und Verhalten außerhalb der Testsituation

22 Validität

23 Validität Inhaltsvalidität logische und fachliche Überlegung von Fachpersonal beschreibt ob das besagte Item aus dem Itempool stammen, der das Merkmal repräsentativ erfasst Augenscheinvalidität

24 Validität Konstruktvalidität Struktursuchende vs. Strukturprüfende Ansätze

25 Konstruktvalidität Struktursuchendes Vorgehen - Explorative Faktorenanalyse (Dimensionalität der Merkmalsstruktur) - Innerhalb einzelner Merkmale geben Faktorladungen und Trennschärfen Auskunft über die Homogenität der Items - erste deskriptive Einordnung in ein theoretische Gefüge nomologisches Netzwerk theoriekonforme Zusammenhänge zu anderen Tests

26 Konstruktvalidität Struktursuchendes Vorgehen Konvergente Validität: Übereinstimmung mit Ergebnissen aus Tests, die ähnliche, oder gleiche Merkmale erfassen Diskriminante/divergente Validität: Abgrenzen von anderen Merkmalen: Ergebnisse sollten eine geringe Korrelation zu Tests haben, die Konstrukte Messen, zu denen man sich abgrenzen will

27 Konstruktvalidität Strukturprüfendes Vorgehen Prüfung, ob latente Variablen (z.b. Intelligenz) durch manifeste Variablen (Testitems) erfasst werden - Konfirmatorische Faktorenanalyse - einzelne Dimensionen können mithilfe von IRT Modellen überprüft werden - Multitrait-Multimethod-Analysen

28 Validität Kriteriumsvalidität praktische Anwendbarkeit! Übereinstimmungsvalidität vs. Vorhersagevalidität z.b. Berufserfolg

29 Skalierung Leistungsstärkere Probanden müssen besser abschneiden als leistungsschwache! adäquates Skalenniveau!

30 Normierung/Eichung Vergleichswerte einer möglichst großen Stichprobe müssen zur Verfügung gestellt werden! Erstellen von Normtabellen und von Prozenträngen und Standardnormen (bei normalverteilten Eigenschaften) Normtabellen müssen einen Geltungsbereich angeben

31 Normierung/Eichung

32 Testökonomie Wirtschaftlichkeit! finanzieller Aufwand: Druck, Beschaffung, Hard-, Software zeitlicher Aufwand: Bearbeitung, Auswertung, Vorbereitung

33 Nützlichkeit

34 Zumutbarkeit betrifft nicht den Testleiter schwierig: ab wann unzumutbar? Wenn der Nutzen hoch ist, kann die Grenze versetzt werden

35 Unverfälschbarkeit Messprinzip sollte nicht leicht zu duschschauen sein hier ist eine hohe Augenscheinvalidität problematisch z.b. Effekt der sozialen Erwünschtheit vor allem bei Persönlichkeitstests relevant

36 Fairness vor allem in der Intelligenzdiagnostik diagnostiziert (vgl. Rindermann) Culture-Fair-Tests : hohe sprachliche Kompetenz ist zur Bearbeitung und Lösung nicht von Nöten Durchführungsfairness: z.b.: Computer bei Senioren jeder Test wird individuell beurteilt (keine allgemeine Regel)

37 Testtheorie vs.

38 Klassische Testtheorie theoretische Basis psychodiagnostischer Tests auch: Messfehlertheorie 1. Existenzaxiom 2. Verknüpfungsaxiom. Unabhängigkeitsaxiom 4. Zusatzannahmen

39 Klassische Testtheorie Existenzaxiom Es existiert ein wahrer Wert (true score) als Erwartungswert der Messung x eines Probanden v in Item i Verknüpfungsaxiom Die Messung besteht aus einem wahren Wert und einem Messfehler (Messfehler hat Erwartungswert 0)

40 Klassische Testtheorie Unabhängigkeitsaxiom Die Korrelation zwischen Messfehler und wahrem Wert bei beliebigen Personen und Items ist 0. Zusatzannahmen

41 Klassische Testtheorie Bestimmung des wahren Wertes mehrere Items: langfristigen Neutralisierens des Zufallsfehlers Testwert/ Rohwert Schätzung des wahren Wertes (Axiom 2)

42 Klassische Testtheorie Gütekriterium der Reliabilität = zentrales Gütekriterium wie Messgenau ist der Fragebogen/Test? Reliabilitätskoeffizient des Tests zwischen 0 und 1

43 Klassische Testtheorie Reliabilität

44 Klassische Testtheorie Grenzen und Schwächen

45 Klassische Testtheorie Grenzen und Schwächen

46 Item-Response Theorie Ergänzung zur KTT wichtig: latente vs. manifeste Variablen! Itemhomogenität: manifeste Variable wird nur von Ausprägung der zu messenden latenten Variable systematisch beeinlusst

47 Item-Response Theorie IRT Modelle Latent-Class-Modelle: Annahme qualitativ kategorialer latenter Klassen zur Charakterisierung von Personenunterschieden Latent-Trait-Modelle: quantitative kontinuierliche latente Variablen am gebrächlichsten

48 Item-Response Theorie Grundlegende Ergänzung zur KTT: IC-Funktionen Deterministische Funktion: Antwortverhalten komplett von Item- und Personenparameter bestimmt

49 Item-Response Theorie Grundlegende Ergänzung zur KTT: IC-Funktionen Probabilistische Funktion: stochastische Beziehung zwischen dem Antwortverhalten und der Personen- Itemparameter

50 Item-Response Theorie Modelle Rasch Modell Birnbaum Modell

51 Maik Beege M.Sc. Professur E-Learning und Neue Medien Institut für Medienforschung Philosophische Fakultät